站长工具

Robots.txt 生成器

生成基础 robots.txt,并自动关联 sitemap 地址。

读取中

robots.txt

生成结果会显示在这里。
适合谁

谁会用到这个工具?

  • 需要生成基础 robots.txt 的新站站长
  • 管理公开目录、后台目录和 Sitemap 入口的运营
  • 需要统一爬虫策略的技术团队
什么时候用

什么时候先打开它?

  • 新站上线时先声明 Sitemap 地址
  • 后台、搜索页、参数页不希望被抓取时
  • 调整 AI 爬虫访问边界之前