谁会用到这个工具？
- 正在排查页面不收录的站长
- 负责 robots.txt、AI 爬虫和抓取规则的技术 SEO
- 上线前需要确认核心路径没有被误封的开发同学
爬虫访问
Robots 规则测试器
输入 robots.txt 内容和目标路径，快速判断 Googlebot、Bingbot、GPTBot 等是否允许抓取。
允许抓取
Googlebot 访问 /tools/audit：允许。 命中规则：Allow: / 匹配分组：User-agent: *
什么时候先打开它？
- 修改 robots.txt 之前和之后
- Sitemap 里有 URL，但搜索引擎迟迟不抓取时
- 准备开放或限制 Googlebot、Bingbot、GPTBot 等爬虫时