Cloudflare опубликовала ежегодный отчет о состоянии глобального интернета, и ключевой акцент в нем сделан на стремительный рост ИИ-трафика. В 2025 году боты, собирающие данные для обучения нейросетей, превратились в один из самых заметных источников активности в сети, при этом абсолютное доминирование сохраняет Google.
Согласно данным Cloudflare, Googlebot сегодня сканирует больше веб-страниц, чем все остальные ИИ-краулеры вместе взятые. Его активность затрагивает 11,6% всех сайтов, что почти втрое превышает охват GPTBot от OpenAI. Основная проблема заключается в том, что Google использует одного и того же бота одновременно и для поисковой индексации, и для обучения своих ИИ-моделей. Попытка ограничить доступ Googlebot ради защиты контента от ИИ автоматически ставит под угрозу позиции сайта в поиске, оставляя владельцам ресурсов фактически безальтернативный выбор.
Если рассматривать рынок в целом, то ИИ-краулеры (без учета Googlebot) уже формируют около 4% всех HTML-запросов в сети Cloudflare. В ряде случаев соотношение между объемом сканирования и реальными переходами пользователей достигает десятков тысяч к одному. Для сравнения, у классического поискового трафика Google этот разрыв значительно ниже, что подчеркивает ключевую проблему новой ИИ-экономики: массовое потребление контента без сопоставимой отдачи для его источников.
Мнение эксперта
Игорь Дрозд, SEO-специалист и автор блога seo-magazine эксклюзивно для Afftimes прокомментировал эту новость.
Насколько критично для сайтов то, что Google использует одного бота и для поиска, и для обучения ИИ, и есть ли у издателей реальный выбор?
Ситуация и правда неоднозначная. Google представил токен Google-Extended для блокировки в robots.txt — формально это позволяет запретить использование контента сайта для обучения ИИ-моделей, не затрагивая при этом обычный органический поиск. Однако на практике всё сложнее.
Во-первых, директивы в файле robots.txt всегда были рекомендациями для поисковых систем, а не строгими правилами. Google может игнорировать (и игнорирует на практике) такие директивы при наличии других сигналов, более весомых, по его мнению, например внешних ссылок на сайт. Во-вторых, даже блокировка отдельного токена Google-Extended технически работает лишь для запрета обучения ИИ и не решает проблему того, что контент сайта всё равно будет использоваться в генеративных ответах Google — AI Overviews и AI Mode.
Реального выбора у издателей и авторов контента практически нет. Блокировать Googlebot полностью — значит потерять источник трафика, для многих основной. Поэтому разумным компромиссом сейчас становится восприятие чат-ботов и ИИ-режимов поиска как нового канала дистрибуции контента, работа над присутствием в них и развитие прямых каналов взаимодействия со своей аудиторией (e-mail, соцсети, приложения).
Можно ли технически ограничить использование контента для обучения ИИ, не теряя позиции в поиске, или это иллюзия?
Скорее, это иллюзия, чем реальность — по крайней мере сейчас. Теоретически тот же Google-Extended должен разделять эти процессы, но никаких гарантий соблюдения нет. Даже если заблокировать использование сайта для обучения ИИ, контент всё равно может применяться для генеративных ответов, а именно там и происходит основная «потеря» трафика.
К сожалению, выбор между трафиком и принципами по сути сводится к выбору — присутствовать в интернете или отсутствовать. Разумнее сосредоточиться на том, как извлечь максимум из новой реальности, чем пытаться её игнорировать.
