Générateur de robots.txt avec blocage des IA
Les règles de passage des robots, avec ou sans les robots IA
Point de départ
Robots d'IA
Coché veut dire bloqué. Bloquer un robot d'entraînement ne coûte aucune visibilité ; bloquer un robot de recherche vous retire des réponses.
Ajoutez l'adresse de votre sitemap. C'est le moyen le plus simple de la signaler à tous les moteurs à la fois.
Votre robots.txt
User-agent: * Disallow:
À déposer à la racine du domaine, et nulle part ailleurs. Un robots.txt placé dans un sous-répertoire n'est jamais lu.
Tout se calcule dans votre navigateur. Rien n'est enregistré.
Le robots.txt est le premier fichier qu'un moteur demande à un site, et l'un des rares qu'une erreur d'une ligne peut rendre catastrophique : un Disallow mal placé désindexe un site entier. Cet outil compose le fichier à partir de choix explicites, ajoute l'adresse du sitemap et propose de bloquer les robots d'entraînement des modèles de langage, qui se sont multipliés ces dernières années.
Mode d'emploi
Comment ça marche
Partez d'un préréglage
Site vitrine, site avec espace client, ou fichier vierge. Chaque préréglage pose les interdictions habituelles du cas.
Ajoutez vos chemins
Répertoires d'administration, pages de recherche interne, paramètres de suivi : ce qui n'a aucun intérêt à être exploré.
Décidez pour les robots IA
Une liste des principaux robots d'entraînement peut être bloquée d'un clic, sans toucher aux moteurs de recherche classiques.
À savoir
Quatre choses à garder en tête
Interdire n'est pas désindexer
Une page interdite au robots.txt peut rester dans l'index si d'autres sites la citent, affichée sans description. Pour la retirer vraiment, il faut une balise noindex, donc autoriser l'exploration.
Ne bloquez jamais le CSS ni le JavaScript
Google rend la page comme un navigateur. Sans ses feuilles de style ni ses scripts, il la voit cassée et la juge en conséquence, ce qui peut coûter très cher sur mobile.
Une ligne Sitemap, toujours
C'est le moyen le plus simple de signaler votre sitemap sans passer par une console. L'adresse doit être absolue, en https, et pointer sur un fichier qui répond vraiment.
Testez avant de déposer
La Search Console propose un testeur de robots.txt. Une seule barre oblique mal placée après Disallow bloque la totalité du site, et l'effet se voit sur l'indexation en quelques jours.
FAQ
Questions fréquentes
À la racine du domaine, et nulle part ailleurs. Un robots.txt placé dans un sous-répertoire n'est jamais lu. Il doit répondre en code 200 à l'adresse racine suivie de robots.txt.
Par les acteurs qui documentent publiquement leur robot, en général oui. Le robots.txt reste une convention, il n'a aucun pouvoir contraignant sur un robot qui décide de l'ignorer.
Ce n'est pas obligatoire, mais un fichier minimal contenant l'autorisation générale et la ligne Sitemap évite une erreur 404 dans les journaux et donne l'adresse du sitemap à tous les moteurs.
Oui, en ciblant son User-agent. Attention à l'ordre : la règle la plus spécifique s'applique, et un groupe ciblé ignore complètement les règles du groupe générique.
Et aussi
Les autres outils de la même famille
Et aussi
Ce que Lokvi fait à votre place
Et si tout cela se faisait sans vous
Collecte d'avis, réponses, publications et fidélité, sur votre fiche Google Business, en automatique.
Sans carte bancaire : créez votre compte et explorez vos vraies données.
14 jours gratuits puis 29 €/mois, sans engagement.