Herramienta

Verificador de Robots.txt

Revisa si robots.txt es accesible y si ciertas reglas pueden bloquear páginas importantes.

Un robots.txt mal configurado puede bloquear en silencio el rastreo, la indexación y recursos de verificación de anuncios.

Enfoque principal

El verificador busca archivos inexistentes, reglas globales de bloqueo y riesgo sobre rutas de anuncios o contenido.

Errores típicos

Una sola línea `Disallow: /`, la ausencia del sitemap o reglas copiadas desde staging pueden causar problemas silenciosos.

El informe también verifica si existe una directiva sitemap.

Solo obtenemos recursos públicos y no almacenamos las URL enviadas.

Comprobar robots.txt

Cada informe utiliza evidencia, severidad y acciones de reparación en lugar de porcentajes vagos.