robots.txt 生成器（含 AI 爬蟲）
可視化生成 robots.txt，內置 GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、PerplexityBot 等 AI 爬蟲預設，按路徑逐行配置，配套 sitemap.xml 字段。
Global disallowed paths
Paths blocked for every crawler you enable. One per line. Example: /admin/, /private/, /cart.
Search engines
All crawlers (default) *
Wildcard rule applied to any bot without its own group
Googlebot Googlebot
Google search index
Bingbot Bingbot
Microsoft Bing search index
DuckDuckBot DuckDuckBot
DuckDuckGo search index
Baiduspider Baiduspider
Baidu search index
YandexBot YandexBot
Yandex search index
AI training crawlers
2023+These crawlers feed training data for ChatGPT, Claude, Gemini, and other LLMs. Blocking them opts your content out of model training.
GPTBot GPTBot
OpenAI training & retrieval (ChatGPT)
ClaudeBot ClaudeBot
Anthropic training & retrieval (Claude)
Google-Extended Google-Extended
Gemini training (separate from Googlebot)
CCBot CCBot
Common Crawl — open dataset used by many models
Bytespider Bytespider
ByteDance training crawler
PerplexityBot PerplexityBot
Perplexity answer engine retrieval
Applebot-Extended Applebot-Extended
Apple Intelligence training
ImagesiftBot ImagesiftBot
Image training (Glooma / Hive)
Sitemap
Generated robots.txt
User-agent: * Disallow:
使用說明
- 1 為每個爬蟲選擇允許、禁止或自定義路徑
- 2 填寫 sitemap.xml 地址和全局禁止路徑（如 /admin/、/private/）
- 3 複製或下載生成的 robots.txt，並上傳到網站根目錄
相關工具
關於此工具
robots.txt 是網站根目錄下控制爬蟲訪問的小文本文件，搜索引擎、AI 訓練爬蟲、監控機器人都遵循其中的規則。本工具幫助你可視化生成 robots.txt，無需手寫語法。
工具預置了主流搜索引擎爬蟲（Googlebot、Bingbot、DuckDuckBot、Baiduspider、YandexBot）和 2023 年後出現的一批 AI 訓練爬蟲（GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、PerplexityBot、Applebot-Extended、ImagesiftBot）。你可以按爬蟲單獨允許或屏蔽，也可以全局禁止所有爬蟲訪問特定路徑。
生成的文件可以直接複製到剪貼板，或下載為 robots.txt 上傳到 https://你的域名.com/robots.txt。建議同時提交 sitemap.xml，讓搜索引擎更快發現你的全部頁面。
常見問題
屏蔽 GPTBot、ClaudeBot 等 AI 爬蟲有什麼影響？ +
屏蔽 AI 爬蟲意味著你的內容不會被這些公司用於訓練下一代模型。OpenAI（GPTBot）、Anthropic（ClaudeBot）、Google（Google-Extended 用於 Gemini 訓練）、Common Crawl（CCBot，許多模型的數據源）等都提供 robots.txt 識別標識。代價是你的內容不會出現在 ChatGPT、Perplexity 等 AI 搜索的回答中。這是內容創作者的商業決策，本工具不替你做選擇。
robots.txt 的規則會被爬蟲嚴格遵守嗎？ +
主流搜索引擎（Google、Bing、百度）和大型 AI 公司都會遵守 robots.txt。但惡意爬蟲、郵件地址採集器、小型 scraping 服務可能無視規則——robots.txt 不是安全機制，不能保護敏感內容。如果某條 URL 真的不能公開，應該用認證、授權或 noindex 標籤，而不是隻依賴 robots.txt。
User-agent: * 和單獨配置某個爬蟲衝突時怎麼處理？ +
爬蟲會先找匹配自己名字的組（如 Googlebot 找 User-agent: Googlebot），找不到才回退到 User-agent: *。如果為某個爬蟲單獨配置了規則，它會忽略 * 組的規則。本工具生成的 robots.txt 會自動按爬蟲分組，避免衝突。
Disallow: / 和 Disallow: 有什麼區別？ +
Disallow: / 表示禁止訪問整站根目錄（即全部頁面）。Disallow: （空值）表示不禁止任何路徑，等價於允許全部。這兩條經常被搞混，導致整站被搜索引擎除名。本工具用「允許」「禁止」「自定義」三個選項明確表達意圖，避免誤寫。
sitemap 字段必須填嗎？ +
不是必須，但強烈推薦。在 robots.txt 中聲明 Sitemap: https://...sitemap.xml 可以讓搜索引擎更高效地發現你的全部頁面，特別是新站、頁面層級深、內部鏈接少的網站。多個 sitemap 可以分行寫多條 Sitemap: 指令。