О боте QeruenBot
QeruenBot — автоматический обходчик сайтов, который строит поисковый индекс Qeruen.
User-Agent: QeruenBot/0.1 (+https://qeruen.kz/bot)
Как мы обходим сайты
- Соблюдаем robots.txt, включая Crawl-delay.
- Соблюдаем мета-тег robots (noindex, nofollow) и заголовок X-Robots-Tag.
- Не больше 1 запроса в секунду и 1 соединения одновременно на сайт.
- Обходим только сайты в зонах .kz и .қаз.
Как ограничить или запретить обход
Запретите обход в robots.txt для User-agent: QeruenBot, либо напишите нам — исключим сайт или страницу из индекса.