QeruenBot туралы
QeruenBot — Qeruen іздеу индексін құратын автоматты сайт аралаушы.
User-Agent: QeruenBot/0.1 (+https://qeruen.kz/bot)
Сайттарды қалай аралаймыз
- robots.txt ережелерін, соның ішінде Crawl-delay-ды сақтаймыз.
- robots мета-тегін (noindex, nofollow) және X-Robots-Tag тақырыбын сақтаймыз.
- Бір сайтқа секундына 1 сұраудан және бір мезгілде 1 қосылымнан артық жібермейміз.
- Тек .kz және .қаз аймақтарындағы сайттарды аралаймыз.
Аралауды қалай шектеу немесе тыйым салу керек
robots.txt файлында User-agent: QeruenBot үшін тыйым салыңыз, немесе бізге жазыңыз — сайтты немесе бетті индекстен аламыз.