El visor de sitios web

Probador Robots.txt

Probador Robots.txt

Pega una URL y elige un rastreador. Obtenemos el robots.txt del sitio, aplicamos las reglas de coincidencia más largas de Google (con caracteres comodín * y $) y te decimos si la página está permitida o bloqueada - más la lista de sitemaps que declara. Útil después de una migración para confirmar que no enviaste un Disallow: / accidental.

Gratis · sin registro

Qué verifica esto

  • Permitido o bloqueado: aplica el grupo de rastreador coincidente, la coincidencia más larga gana, Allow vence Disallow en empates.
  • Caracteres comodín: maneja * (cualquier secuencia) y $ (fin de ruta).
  • Bloqueos en todo el sitio: marca un Disallow: / accidental.
  • Sitemaps: enumera sitemaps declarados y obtiene el primero para contar URLs.
  • Retraso de rastreo: lo nota (Googlebot lo ignora; Bing lo respeta).

Preguntas frecuentes

¿Cómo funciona la coincidencia robots.txt?

La coincidencia más larga gana, y Allow vence Disallow en empates. La herramienta aplica las reglas exactas de Google.

¿Disallow elimina una página de Google?

No - bloquea el rastreo, no la indexación. Usa una etiqueta noindex meta para eliminar una página de los resultados.

¿Googlebot respeta el retraso de rastreo?

No, Googlebot lo ignora; Bing y otros lo respetan. Controla la velocidad de rastreo de Google en Search Console.

Herramientas gratuitas relacionadas

Toggle navigation