robots.txt 生成器
可视化编辑抓取规则，自动生成 robots.txt，含冲突判定与抓取测试
常用规则预设
规则列表
附加指令
生成结果
规则检查
抓取判定测试
使用说明
📖 工具介绍
robots.txt 是放在站点根目录的一个纯文本文件，用来告诉爬虫哪些目录可以进、哪些不要进。它语法简单，但手写容易踩两个坑：一是路径漏了开头的斜杠，规则直接失效且不报错；二是规则写多了互相打架，你以为放行了，实际被更具体的禁止规则拦住了。
这个工具把规则做成一行行可增删的表单，填完自动生成按 User-agent 分组的文件内容。同时它会在底部做两件检查：列出格式可疑的规则，以及给你一个输入框，可以模拟某个爬虫访问某个路径时到底是放行还是拦截。
判定逻辑用的是主流爬虫的实际做法——同一爬虫的多条规则里，路径最长、也就是最具体的那条说了算，而不是写在前面的那条。这一点和很多人的直觉相反，所以专门做了测试框让你验证。
✨ 功能特点
- 规则可视化增删，每条含爬虫名称、允许或禁止、路径三项
- 五套预设：允许全部、禁止全部、仅屏蔽后台、WordPress 常规、屏蔽 AI 爬虫
- 自动按 User-agent 分组输出，重复爬虫的规则会合并到同一组
- 支持 Crawl-delay、Host 与多个 Sitemap 地址
- 抓取判定测试：填入爬虫名和路径，按最长匹配规则给出放行或拦截结论
- 实时检查路径格式与全站封禁风险，问题逐条列出
🚀 使用方式
- 先点一个接近你需求的预设，再在它的基础上改
- 用「添加规则」补自己的条目，爬虫名称填 * 表示对所有爬虫生效
- 需要的话填 Crawl-delay、Host 和 Sitemap 地址
- 在测试框里输入爬虫名和一个具体路径，确认判定符合预期
- 点「下载 robots.txt」把文件传到站点根目录
⚠️ 注意事项
- robots.txt 不是访问控制：它只是君子协定，不守规矩的采集程序照样能抓，真正要保密的内容必须加登录验证
- 必须放在根目录：文件只有在域名根目录生效，放在子目录里爬虫不会读取
- 被禁止的页面仍可能被收录：只禁止抓取不禁止收录，若页面被外链引入，仍可能出现在结果里，需要配合 noindex
- 大小写与结尾斜杠敏感：/Admin 与 /admin 是两条不同规则，路径末尾是否带斜杠也会影响匹配
- AI 爬虫名单会变：预设里的名称是当前常见的几款，新的爬虫不断出现，需要定期补充