包含的检查项
- 文件可访问性与响应状态
- 像 `Disallow: /` 这样的高风险全局规则
- 是否包含 sitemap 指令
结果模型
Robots.txt 检测器 结果模型
结果重点覆盖 robots.txt 是否可访问、是否对抓取安全，以及是否明确提供 sitemap 发现线索。
建议动作
- 移除正式站上的全站级屏蔽规则。
- 确保重要内容页和验证路径可被抓取。
- 补上一条指向规范主机的 sitemap 语句。
结果模型
结果重点覆盖 robots.txt 是否可访问、是否对抓取安全，以及是否明确提供 sitemap 发现线索。