Probador Robots.txt
Probador Robots.txt
Pega una URL y elige un rastreador. Obtenemos el robots.txt del sitio, aplicamos las reglas de coincidencia más largas de Google (con caracteres comodín * y $) y te decimos si la página está permitida o bloqueada - más la lista de sitemaps que declara. Útil después de una migración para confirmar que no enviaste un Disallow: / accidental.
Qué verifica esto
- Permitido o bloqueado: aplica el grupo de rastreador coincidente, la coincidencia más larga gana,
AllowvenceDisallowen empates. - Caracteres comodín: maneja
*(cualquier secuencia) y$(fin de ruta). - Bloqueos en todo el sitio: marca un
Disallow: /accidental. - Sitemaps: enumera sitemaps declarados y obtiene el primero para contar URLs.
- Retraso de rastreo: lo nota (Googlebot lo ignora; Bing lo respeta).
Preguntas frecuentes
¿Cómo funciona la coincidencia robots.txt?
La coincidencia más larga gana, y Allow vence Disallow en empates. La herramienta aplica las reglas exactas de Google.
¿Disallow elimina una página de Google?
No - bloquea el rastreo, no la indexación. Usa una etiqueta
noindex meta para eliminar una página de los resultados.¿Googlebot respeta el retraso de rastreo?
No, Googlebot lo ignora; Bing y otros lo respetan. Controla la velocidad de rastreo de Google en Search Console.
Herramientas gratuitas relacionadas
- Todas las herramientas — explora todas las herramientas gratuitas de hosts.click.
- Validador Hreflang — audita etiquetas SEO internacionales.
- Verificador de caché — califica encabezados HTTP cache + CDN.