robots.txt 生成器
可視化編輯抓取規則，自動生成 robots.txt，含衝突判定與抓取測試
常用規則預設
規則列表
附加指令
生成結果
規則檢查
抓取判定測試
使用說明
📖 工具介紹
robots.txt 是放在站點根目錄的一個純文本文件，用來告訴爬蟲哪些目錄可以進、哪些不要進。它語法簡單，但手寫容易踩兩個坑：一是路徑漏了開頭的斜槓，規則直接失效且不報錯；二是規則寫多了互相打架，你以爲放行了，實際被更具體的禁止規則攔住了。
這個工具把規則做成一行行可增刪的表單，填完自動生成按 User-agent 分組的文件內容。同時它會在底部做兩件檢查：列出格式可疑的規則，以及給你一個輸入框，可以模擬某個爬蟲訪問某個路徑時到底是放行還是攔截。
判定邏輯用的是主流爬蟲的實際做法——同一爬蟲的多條規則裡，路徑最長、也就是最具體的那條說了算，而不是寫在前面的那條。這一點和很多人的直覺相反，所以專門做了測試框讓你驗證。
✨ 功能特點
- 規則可視化增刪，每條含爬蟲名稱、允許或禁止、路徑三項
- 五套預設：允許全部、禁止全部、僅屏蔽後臺、WordPress 常規、屏蔽 AI 爬蟲
- 自動按 User-agent 分組輸出，重複爬蟲的規則會合併到同一組
- 支持 Crawl-delay、Host 與多個 Sitemap 地址
- 抓取判定測試：填入爬蟲名和路徑，按最長匹配規則給出放行或攔截結論
- 實時檢查路徑格式與全站封禁風險，問題逐條列出
🚀 使用方式
- 先點一個接近你需求的預設，再在它的基礎上改
- 用「添加規則」補自己的條目，爬蟲名稱填 * 表示對所有爬蟲生效
- 需要的話填 Crawl-delay、Host 和 Sitemap 地址
- 在測試框裡輸入爬蟲名和一個具體路徑，確認判定符合預期
- 點「下載 robots.txt」把文件傳到站點根目錄
⚠️ 注意事項
- robots.txt 不是訪問控制：它只是君子協定，不守規矩的採集程序照樣能抓，真正要保密的內容必須加登錄驗證
- 必須放在根目錄：文件只有在域名根目錄生效，放在子目錄裡爬蟲不會讀取
- 被禁止的頁面仍可能被收錄：只禁止抓取不禁止收錄，若頁面被外鏈引入，仍可能出現在結果裡，需要配合 noindex
- 大小寫與結尾斜槓敏感：/Admin 與 /admin 是兩條不同規則，路徑末尾是否帶斜槓也會影響匹配
- AI 爬蟲名單會變：預設裡的名稱是當前常見的幾款，新的爬蟲不斷出現，需要定期補充