Робот iskalo.ru-bot

Если вы видите в логах сайта запросы с User-Agent

iskalo.ru-bot/0.1 (+https://iskalo.ru/bot)

— это робот поисковой системы Искало. Он строит индекс русскоязычного интернета.

Как он себя ведёт

• Читает и соблюдает robots.txt, в том числе Crawl-delay. Правила для него можно задать отдельно: User-agent: iskalo.ru-bot.
• Обращается к одному сайту не чаще раза в секунду и только по одному соединению.
• Учитывает <meta name="robots"> и <meta name="iskalo.ru-bot"> (noindex, nofollow), rel="canonical", rel="nofollow".
• Не заполняет формы, не входит в личные кабинеты, не скачивает файлы, кроме HTML. Картинки, скрипты, стили и документы не загружаются — сохраняется только текст страницы.

Как запретить

User-agent: iskalo.ru-bot
Disallow: /

Вопросы и жалобы: mcp@iskalo.ru.