Кто на самом деле ходит по казахстанскому сайту: 11 дней журналов сервера

Про обходчиков ИИ обычно рассуждают вслух, а мы залезли в журналы своего сервера. Одиннадцать дней, с 22 августа по 1 сентября, и счёт запросов по имени каждого обходчика. Сайт казахстанский, страниц на нём десятки тысяч, тематика — услуги

Три вещи, которые видно сразу

Обходчики ИИ обогнали поисковые. ClaudeBot один сделал больше запросов, чем Googlebot и YandexBot вместе. Год назад такой строки в журналах не было вовсе

Bing почти не ходит. 392 запроса против 13 391 у Google — разница в 34 раза. Для сайта, который хочет попадать в ответы Copilot, это отдельная работа: Bing приходит туда, куда ведут внешние ссылки, а их у нас почти нет

ChatGPT-User — единственная строка в этом списке, где за обходчиком стоит живой человек. За ней стоит переход по ссылке из ответа чата. 776 заходов за одиннадцать дней показывают, что ответ модели уже приводит живых людей, а не только читается ею

Что с этим делать владельцу сайта

Проверьте свой `robots.txt` поимённо. Общее правило для всех обходчиков не значит, что конкретный обходчик разрешён: многие сайты закрывают GPTBot и ClaudeBot, сами того не заметив, копируя чужой файл. Если вы хотите попадать в ответы ИИ, эти имена должны быть открыты явно

Посмотрите, какие адреса они запрашивают. Обходчик берёт не только страницы, но и стили, картинки и скрипты — без них он не соберёт страницу и не покажет картинку в ответе. Закрытая папка со стилями стоит дороже, чем кажется

И посчитайте свои цифры сами. Журнал сервера у вас уже есть, считать нужно только имена в строке `User-Agent`. Одиннадцать дней хватает, чтобы увидеть порядок