谁会用到这个工具？
- 需要生成基础 robots.txt 的新站站长
- 管理公开目录、后台目录和 Sitemap 入口的运营
- 需要统一爬虫策略的技术团队
站长工具
Robots.txt 生成器
生成基础 robots.txt，并自动关联 sitemap 地址。
robots.txt
生成结果会显示在这里。
什么时候先打开它？
- 新站上线时先声明 Sitemap 地址
- 后台、搜索页、参数页不希望被抓取时
- 调整 AI 爬虫访问边界之前
读取中
站长工具
生成基础 robots.txt，并自动关联 sitemap 地址。
生成结果会显示在这里。