Guía
Fundamentos de robots.txt para publishers y sitios de contenido
Entiende qué reglas son seguras, cuáles son riesgosas y cómo evitar bloquear páginas críticas para ingresos.
Robots.txt debe guiar a los rastreadores, no expulsarlos ciegamente.
Guía el rastreo, no bloquees todo
En producción, robots.txt debe ayudar a los buscadores a descubrir contenido y no impedir la indexación por accidente. Muchos publishers copian reglas de staging y pierden tráfico sin darse cuenta.
Mantén abiertos los recursos de verificación
Recursos como `ads.txt`, páginas HTML clave y referencias del sitemap deben permanecer accesibles. Si los bloqueas, las revisiones de monetización e indexación pueden fallar.