Comprobaciones incluidas
- Disponibilidad del archivo y estado de respuesta
- Reglas globales riesgosas como `Disallow: /`
- Presencia de una directiva sitemap
Modelo de resultados
Modelo de resultados de Verificador de Robots.txt
El informe se centra en si robots.txt es accesible, seguro para el rastreo y claro sobre el sitemap.
Acciones recomendadas
- Elimina reglas de bloqueo total en producción.
- Mantén rastreables las rutas de contenido y verificación.
- Añade una línea sitemap limpia apuntando al host canónico.