结果模型

Robots.txt 检测器 结果模型

结果重点覆盖 robots.txt 是否可访问、是否对抓取安全,以及是否明确提供 sitemap 发现线索。

严重级阶梯

每份结果都会把阻断项、警告项和健康确认明确分层。

这就是实时工具背后的输出模型,让执行者知道什么该先修,而不是面对一堆平铺列表。

阻断

这些问题修复前,不建议依赖当前配置去做变现、收录或语言投放。

警告

页面或文件虽然可访问,但技术风险仍值得尽快收口。

健康

公开信号基本对齐,接下来要做的是在扩量时保持稳定。

包含的检测信号

  • 文件可访问性与响应状态
  • 像 `Disallow: /` 这样的高风险全局规则
  • 是否包含 sitemap 指令

执行动作

  • 移除正式站上的全站级屏蔽规则。
  • 确保重要内容页和验证路径可被抓取。
  • 补上一条指向规范主机的 sitemap 语句。
01

先跑公开检测

先看今天公开层面到底暴露出了什么。

02

优先修最高严重级

输出模型故意把 blocker 放在前面,避免你先做无关紧要的清洁工作。

03

部署后立刻复跑

这些工具天生适合修复前后对比,而不是只截一次图。