Generador de robots.txt con bloqueo de rastreadores
Las reglas de paso de los rastreadores, con o sin los de IA
Punto de partida
Rastreadores de IA
Marcado significa bloqueado. Bloquear un rastreador de entrenamiento no cuesta visibilidad; bloquear uno de búsqueda te saca de las respuestas.
Añade la dirección de tu sitemap. Es la forma más sencilla de señalarla a todos los buscadores de una vez.
Tu robots.txt
User-agent: * Disallow:
Colócalo en la raíz del dominio, en ningún otro sitio. Un robots.txt en un subdirectorio nunca se lee.
Todo se calcula en tu navegador. No se guarda nada.
El robots.txt es el primer archivo que un buscador pide a una web, y uno de los pocos donde un error de una línea resulta catastrófico: un Disallow mal puesto desindexa una web entera. Esta herramienta compone el archivo a partir de decisiones explícitas, añade la dirección del sitemap y ofrece bloquear los rastreadores de entrenamiento de modelos de lenguaje, que se han multiplicado en los últimos años.
Cómo usarla
Cómo funciona
Parte de un preajuste
Web de presentación, web con área de cliente o archivo en blanco. Cada preajuste pone las prohibiciones habituales del caso.
Añade tus rutas
Directorios de administración, páginas de búsqueda interna, parámetros de seguimiento: lo que no tiene ningún interés en ser rastreado.
Decide sobre los rastreadores de IA
Una lista de los principales rastreadores de entrenamiento se puede bloquear en un clic, sin tocar los buscadores clásicos.
Conviene saber
Cuatro cosas que tener en cuenta
Prohibir no es desindexar
Una página prohibida en robots.txt puede seguir en el índice si otras webs la enlazan, mostrada sin descripción. Para retirarla de verdad hace falta una etiqueta noindex, y por tanto permitir el rastreo.
No bloquees nunca el CSS ni el JavaScript
Google renderiza la página como un navegador. Sin sus hojas de estilo ni sus scripts la ve rota y la juzga en consecuencia, lo que puede salir muy caro en móvil.
Una línea Sitemap, siempre
Es la forma más sencilla de señalar tu sitemap sin pasar por una consola. La dirección debe ser absoluta, en https, y apuntar a un archivo que responda de verdad.
Pruébalo antes de subirlo
Search Console ofrece un probador de robots.txt. Una sola barra mal colocada tras Disallow bloquea la web entera, y el efecto se nota en la indexación en pocos días.
FAQ
Preguntas frecuentes
En la raíz del dominio, y en ningún otro sitio. Un robots.txt colocado en un subdirectorio no se lee nunca. Debe responder con código 200 en la dirección raíz seguida de robots.txt.
Por los actores que documentan públicamente su rastreador, en general sí. El robots.txt sigue siendo una convención: no tiene ningún poder vinculante sobre un rastreador que decida ignorarlo.
No es obligatorio, pero un archivo mínimo con la autorización general y la línea Sitemap evita un error 404 en los registros y da la dirección del sitemap a todos los buscadores.
Sí, apuntando a su User-agent. Ojo con el orden: se aplica la regla más específica, y un grupo dirigido ignora por completo las reglas del grupo genérico.
Y también
Otras herramientas de la misma familia
Y también
Lo que Lokvi hace por ti
Imagina todo esto funcionando sin ti
Recogida de reseñas, respuestas, publicaciones y fidelización, en tu ficha de Google Business, en automático.
Sin tarjeta bancaria: crea tu cuenta y explora tus datos reales.
14 días gratis y luego 29 €/mes, sin compromiso.