Robots.txt 文件生成工具
快速创建和定制 Robots 协议文件，科学引导搜索引擎爬虫抓取您的网站内容
规则配置
生成结果预览
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://eeestar.com/sitemap.xml
Robots.txt 与 SEO 知识问答
什么是 Robots.txt 文件？
Robots.txt 是一种存放于网站根目录下的文本文件。它遵循“机器人排除协议”（Robots Exclusion Protocol），专门用于告知搜索引擎爬虫哪些页面可以抓取，哪些页面应当忽略。它是网站与搜索引擎沟通的第一道关卡。
为什么合理配置 Robots.txt 对 SEO 至关重要？
合理的配置可以实现：1. **节省抓取配额**：让爬虫把精力花在高质量页面上；2. **保护隐私**：防止后台地址、临时文件被搜索到；3. **解决权重分散**：通过禁止抓取重复内容页面，将权重集中在核心页面。
生成的 Robots.txt 应该放在哪里？
必须存放在网站的 **根目录** 下。例如，如果您的域名是 `example.com`，那么文件路径必须是 `example.com/robots.txt`。存放于子目录（如 `example.com/js/robots.txt`）是无效的。
Disallow 和 Allow 的优先级是怎样的？
大多数主流搜索引擎（如 Google 和百度）遵循“最长匹配原则”。如果一个路径同时匹配了 Allow 和 Disallow，字符数较长的规则通常具有更高优先级。如果没有 Allow 规则，Disallow 将封锁所有匹配的路径。
为什么我设置了 Disallow，页面还是出现在搜索结果中？
Robots.txt 只能禁止爬虫 **抓取** 内容，但不能阻止爬虫 **索引** 链接。如果外部网站有链接指向该页面，它仍可能出现在搜索结果中（通常只显示标题而没有描述）。要彻底禁止索引，应使用 `noindex` 元标签。