首页
批量扫描
工具箱
GEO 工具
SERP 预览
Schema 生成器
Robots.txt 生成器
llms.txt 生成器
博客
定价
控制台
登录
控制台
退出
Lang
US · English
CN · 简体中文
TW · 繁體中文
ES · Espanol
FR · Francais
PK · Urdu
RU · Russkiy
DE · Deutsch
JP · Nihongo
KR · Hangugeo
BR · Portugues (Brasil)
IT · Italiano
SA · Al-Arabiyya
IN · Hindi
ID · Bahasa Indonesia
VN · Tieng Viet
TR · Turkce
NL · Nederlands
工具箱
Robots.txt 生成器
轻松生成 robots.txt 文件,控制搜索引擎如何抓取和索引您的网站。
默认访问(所有机器人)
全部允许(推荐)
全部拒绝
站点地图网址
禁止访问的目录(每行一个)
屏蔽 AI 爬虫
勾选要拒绝的 AI 爬虫。未勾选的爬虫沿用上方的默认规则。
全部屏蔽
全部允许
AI 搜索
OAI-SearchBot
OAI-SearchBot
OpenAI
PerplexityBot
PerplexityBot
Perplexity
模型训练
GPTBot
GPTBot
OpenAI
ClaudeBot
ClaudeBot
Anthropic
anthropic-ai
anthropic-ai
Anthropic
Google-Extended
Google-Extended
Google
Applebot-Extended
Applebot-Extended
Apple
Bytespider
Bytespider
ByteDance
Amazonbot
Amazonbot
Amazon
Meta-ExternalAgent
Meta-ExternalAgent
Meta
用户代理
ChatGPT-User
ChatGPT-User
OpenAI
Claude-Web
Claude-Web
Anthropic
Perplexity-User
Perplexity-User
Perplexity
Common Crawl
CCBot
CCBot
Common Crawl
robots.txt 输出
复制文件
已复制到剪贴板