工具箱

Robots.txt 生成器

轻松生成 robots.txt 文件,控制搜索引擎如何抓取和索引您的网站。

屏蔽 AI 爬虫
勾选要拒绝的 AI 爬虫。未勾选的爬虫沿用上方的默认规则。
AI 搜索
模型训练
用户代理
Common Crawl

robots.txt 输出

已复制到剪贴板