如何生成 robots.txt 文件？
填写网站网址、爬虫 User-agent、Allow/Disallow 路径和网站地图网址，然后生成文件并复制或下载。
开发者与 SEO 工具
robots.txt 生成器 🤖
生成包含爬虫规则、网站地图地址和可选抓取延迟的 robots.txt 文件。
爬虫规则允许与禁止抓取规则复制或下载
爬虫规则设置
🛡️ robots.txt 在浏览器本地生成，规则不会上传到服务器。
robots.txt 不是访问控制措施，仅向遵循规则的爬虫提出抓取建议。请勿用它保护私有文件、后台页面或敏感网址。
生成的 robots.txt
生成规则数
0
设置爬虫规则以生成 robots.txt 文件。
禁止抓取规则
0
允许抓取规则
0
Sitemaps
0
状态
等待中
上传位置：
https://example.com/robots.txt
文件名：
robots.txt
请将文件上传到网站根目录，例如 https://example.com/robots.txt.
robots.txt 检查报告
robots.txt 检查结果将在此显示。
User agent
*
抓取间隔
无
网站根目录
未设置
抓取模式
自定义
| 检查 | 结果 |
|---|---|
| 当前状态 | 等待输入 |
robots.txt 常见问题
robots.txt 应上传到哪里？
上传到网站根目录，例如 example.com 网站的文件应能通过 https://example.com/robots.txt 访问。
User-agent: * 是什么意思？
表示该组规则适用于读取 robots.txt 的所有爬虫。也可以针对 Googlebot 等特定爬虫设置规则。
Disallow: / 会发生什么？
这条规则要求遵循 robots.txt 的爬虫不要抓取整个网站。使用前应谨慎确认，以免阻碍搜索引擎发现页面。
robots.txt 可以保护私有页面吗？
不能。robots.txt 不提供密码保护或访问限制。敏感页面需要使用可靠的权限控制。
工具会保存我的规则吗？
不会。文件由浏览器本地生成，适合快速制作、复制和下载 robots.txt。
