Robots.txt
Archivo de texto que le indica a los bots de búsqueda qué páginas pueden o no rastrear.
El archivo robots.txt vive en la raíz del dominio (ejemplo.com/robots.txt) y contiene instrucciones para los crawlers de los buscadores. Las directivas `Disallow` indican rutas que el bot no debe rastrear. Las directivas `Allow` pueden anular un Disallow más amplio. `User-agent: *` aplica a todos los bots. `User-agent: Googlebot` aplica solo a Google. Robots.txt bloquea el rastreo, no la indexación — una página bloqueada en robots.txt puede seguir apareciendo en resultados si tiene backlinks.
Errores en robots.txt son de los más graves en SEO técnico. Un `Disallow: /` en producción (que suele venir de copiar la configuración de staging) bloquea todo el rastreo del sitio. Google deja de rastrear, las páginas pierden frescura y en semanas pueden caer posiciones. El error opuesto — no bloquear nada — puede desperdiciar crawl budget en áreas administrativas o de prueba.
Revisar robots.txt es paso uno de cualquier auditoría técnica. Es el error más fácil de cometer y el que más tarda en descubrirse si no hay monitoreo activo de GSC.
Número de URLs que Googlebot rastrea en tu sitio en un período dado.
IndexaciónProceso por el que Google agrega una página a su base de datos para poder mostrarla en resultados de búsqueda.
Sitemap XMLArchivo que lista todas las URLs de tu sitio para que Google las encuentre y rastree eficientemente.
¿Quieres aplicar esto en tu sitio?
El diagnóstico SEO evalúa cómo está Robots.txt en tu sitio y qué impacto tiene en tu visibilidad y conversión orgánica.
Solicitar Evaluación SEO