结果模型

Robots.txt 检测器 结果模型

结果重点覆盖 robots.txt 是否可访问、是否对抓取安全,以及是否明确提供 sitemap 发现线索。

包含的检查项

  • 文件可访问性与响应状态
  • 像 `Disallow: /` 这样的高风险全局规则
  • 是否包含 sitemap 指令

建议动作

  • 移除正式站上的全站级屏蔽规则。
  • 确保重要内容页和验证路径可被抓取。
  • 补上一条指向规范主机的 sitemap 语句。