Tools
Robots.txt Generator
Easily generate a robots.txt file to control how search engines crawl and index your website.
Блокировать ИИ-краулеров
Выберите ботов ИИ для блокировки. Невыбранные следуют правилу по умолчанию.
ИИ-поиск
Обучение
Агенты
Common Crawl
robots.txt Output
Скопировано в буфер обмена