工具
检查 robots.txt 是否可访问，以及关键规则是否可能误拦截重要页面。
错误配置的 robots.txt 往往会悄悄影响抓取、收录以及广告验证相关资源。
工具会重点识别文件缺失、全局禁止规则，以及广告相关或内容路径是否存在风险。
像 `Disallow: /` 这样的单行规则、缺失 sitemap 指令，或者把测试环境规则带到正式站，都会产生隐蔽问题。
结果还会顺带检查是否存在 sitemap 指令。
我们只抓取公开资源，不存储你提交的目标网址。
每份结果都基于证据、严重级别和修复动作，而不是模糊百分比。