ИИ аралаушылары туралы әдетте сырттай әңгіме айтады, ал біз өз серверіміздің журналдарына үңілдік. Он бір күн, 22 тамыздан 1 қыркүйекке дейін, әр аралаушының атымен сұрау санын санадық. Сайт қазақстандық, беттер саны ондаған мың, тақырыбы — қызметтер
| аралаушы | кімдікі | 11 күндегі сұрау | 11 күннен қанша күн |
|---|---|---|---|
| ClaudeBot | Anthropic | 25 434 | 9 |
| Amazonbot | Amazon | 24 697 | 7 |
| Googlebot | Google, іздеу | 13 391 | 11 |
| YandexBot | Яндекс, іздеу | 10 906 | 11 |
| GPTBot | OpenAI, оқыту | 6 600 | 6 |
| meta-externalagent | Meta | 4 541 | 8 |
| OAI-SearchBot | OpenAI, іздеу | 3 045 | 10 |
| Applebot | Apple | 2 006 | 7 |
| ChatGPT-User | чаттан өту | 776 | 11 |
| bingbot | Microsoft, іздеу | 392 | 11 |
| PerplexityBot | Perplexity | 122 | 7 |
ИИ аралаушылары іздеу жүйелерінен озып кетті. ClaudeBot жалғыз өзі Googlebot пен YandexBot қосылғаннан да көп сұрау жіберді. Бір жыл бұрын журналда мұндай жол мүлде болған жоқ
Bing дерлік кірмейді. 392 сұрау — Google-дің 13 391-іне қарсы, айырмашылығы 34 есе. Copilot жауаптарына түскісі келетін сайт үшін бұл бөлек жұмыс: Bing сыртқы сілтемелер апаратын жерге барады, ал бізде олар дерлік жоқ
ChatGPT-User — тізімдегі артында тірі адам тұрған жалғыз жол. Оның артында чат жауабындағы сілтеме арқылы өту тұр. Он бір күнде 776 кіру моделдің жауабы тірі адамдарды әкеле бастағанын көрсетеді, тек модельдің өзі оқып қана қоймайды
robots.txt файлыңызды атап-атап тексеріңіз. Барлық аралаушыларға ортақ ереже белгілі бір аралаушыға рұқсат бар дегенді білдірмейді: көптеген сайт біреудің файлын көшіріп алып, өзі байқамай GPTBot пен ClaudeBot-ты жауып тастайды. ИИ жауаптарына түскіңіз келсе, осы атаулар анық ашық тұруы керек
Олар қандай мекенжайларды сұрайтынын қараңыз. Аралаушы тек беттерді емес, стильдерді, суреттерді және скрипттерді де алады — соларсыз ол бетті құрастыра алмайды және жауапта суретті көрсете алмайды. Жабық стиль қалтасы көрінгеннен қымбатқа түседі
Және өз сандарыңызды өзіңіз санаңыз. Сервер журналы қолда бар, тек User-Agent жолындағы атауларды санау керек. Тәртіпті көру үшін он бір күн жетеді