Aller au contenu
🛰

Vérificateur de robots.txt pour les crawlers d'IA

Collez votre robots.txt, voyez immédiatement quels moteurs génératifs vous ont perdu.

GratuitSans inscriptionCalcul dans votre navigateur

En bref

Un robots.txt mal réglé vous retire des réponses de ChatGPT, Perplexity ou Copilot sans que rien ne le signale dans vos rapports d'audience. Collez le vôtre : l'outil déroule les règles agent par agent et sépare ce qui ne coûte rien (l'entraînement) de ce qui coûte des citations (la recherche en direct).

Collez le contenu brut. L'analyse est locale : rien ne quitte votre navigateur.

Comment lire le résultat

Un robots.txt ne se lit pas ligne à ligne mais groupe par groupe. Un moteur ne retient qu'un seul groupe : celui dont le User-agent le désigne nommément, et à défaut le groupe générique *. Dès qu'un bloc porte votre nom, le bloc générique cesse de vous concerner, y compris pour les règles qu'il contient et que le bloc nommé ne reprend pas. C'est l'erreur la plus fréquente.

À l'intérieur du groupe retenu, la directive qui l'emporte est la plus longue qui correspond au chemin demandé. À longueur égale, Allow gagne contreDisallow. Un Disallow: vide n'interdit rien : il autorise tout.

Les trois décisions à ne pas confondre

La question « faut-il bloquer les IA ? » n'a pas de réponse unique, parce qu'elle recouvre des comportements qui n'ont pas les mêmes conséquences.

FamilleRôleCoût du blocage
Index de rechercheIndexation classique, qui alimente aussi les réponses générativesTrès élevé : vous sortez du moteur
Recherche en directVa chercher des sources pour répondre et les citerÉlevé : vous disparaissez des réponses citées
À la demandeOuvre une page précise demandée par un utilisateurMoyen : vos URL ne s'ouvrent plus dans l'assistant
EntraînementCollecte pour entraîner de futurs modèlesNul en visibilité immédiate

Trois modèles prêts à coller

Entreprise de services : tout ouvert

Votre contenu n'est pas votre produit, il sert à vous faire trouver. Bloquer quoi que ce soit vous coûte plus que cela ne vous protège.

User-agent: *
Allow: /

Sitemap: https://votre-domaine.fr/sitemap.xml

Média ou éditeur : entraînement fermé, citations ouvertes

Vous vivez de votre production éditoriale et voulez rester cité sans nourrir les corpus d'entraînement. C'est la configuration la plus fréquente chez les éditeurs de presse.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Base propriétaire : catalogue protégé, vitrine ouverte

Votre valeur est dans une base que vous ne voulez pas voir recopiée, mais vos pages de présentation doivent rester trouvables.

User-agent: *
Disallow: /donnees/
Disallow: /export/
Allow: /

Sitemap: https://votre-domaine.fr/sitemap.xml

Ce que cet outil ne fait pas

  • Il n'ouvre pas votre site : c'est vous qui collez le fichier, aucune requête n'est émise.
  • Il ne teste que l'accès à la racine /, pas chemin par chemin.
  • Il ne vérifie pas que les robots respectent effectivement vos règles : seuls vos logs serveur le disent.
  • Il ignore les balises noindex et les en-têtes X-Robots-Tag, qui relèvent de l'indexation et non du crawl.

Les données derrière l'outil

La liste des agents utilisée ici est publiée en accès libre, au format JSON et CSV, sur notre page jeu de données des crawlers d'IA(dernière revue : 2026-08-31). Elle est réutilisable sous licence CC BY 4.0.

Mode d'emploi

  1. 01

    Récupérez votre fichier

    Ouvrez votre-domaine.fr/robots.txt et copiez l'intégralité du contenu affiché.

  2. 02

    Collez-le ici

    L'analyse s'exécute dans votre navigateur : rien n'est envoyé, rien n'est conservé.

  3. 03

    Lisez le verdict

    Chaque agent est classé autorisé ou bloqué, avec l'effet réel sur votre visibilité.

Questions fréquentes

Non. L'analyse s'exécute entièrement dans votre navigateur, en JavaScript, sans aucune requête réseau. Aucun contenu collé n'est transmis, stocké ni journalisé. Vous pouvez le vérifier en coupant votre connexion : l'outil continue de fonctionner.

Il applique la règle des moteurs : seul le groupe dont le user-agent correspond le mieux s'applique, un bloc nommé l'emportant sur le bloc générique. Dans ce groupe, la directive la plus longue qui correspond au chemin racine gagne, et à longueur égale l'autorisation l'emporte sur l'interdiction.

Non. GPTBot collecte pour l'entraînement de futurs modèles, il n'alimente pas les réponses citées en direct. Ce qui vous retire des réponses, ce sont les agents de recherche en temps réel comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot.

Non. C'est une convention respectée par les grands éditeurs, sans force contraignante : un acteur mal intentionné l'ignore. Pour bloquer réellement, il faut des règles au niveau du serveur ou du CDN, avec vérification de l'identité du robot par résolution DNS inverse.

Chaque trimestre, et systématiquement après une mise en production. Les éditeurs ajoutent et renomment des agents sans préavis, et une bascule de préproduction a vite fait de publier un Disallow: / sur l'ensemble du site.

Nos autres outils

Besoin de plus qu'un outil ?

Ces calculs vous donnent un ordre de grandeur. Pour un chiffrage argumenté sur votre cas, décrivez-le en trois lignes.

Décrire mon cas →