Aller au contenu

Jeu de données ouvert

Les crawlers des moteurs génératifs

Licence CC BY 4.0 · Dernière revue le 2026-08-31 · 16 agents

Réponse courte

Cette liste recense les robots d'exploration des moteurs génératifs et de recherche, classés par comportement : entraînement, recherche en direct, récupération à la demande, indexation. La distinction est la seule qui compte, parce que bloquer l'entraînement ne coûte rien en visibilité, alors que bloquer la recherche en direct vous retire des réponses citées.

Le jeu en quatre chiffres

Agents documentés
16
Éditeurs couverts
10
Blocage sans coût
7
Blocage coûteux
9

Les 16 agents

Le tableau est trié par coût de blocage décroissant : ce qui est en haut vous coûte cher à fermer, ce qui est en bas ne vous coûte rien.

User-agentÉditeurFamilleSi vous le bloquez
GooglebotGoogleIndex de rechercheVous sortez de Google Search et des AI Overviews. À ne jamais bloquer par erreur.
BingbotMicrosoftIndex de rechercheVous sortez de Bing, et donc des citations de Microsoft Copilot qui s'appuient sur cet index.
ApplebotAppleIndex de rechercheVous sortez de Siri et de Spotlight.
AmazonbotAmazonIndex de rechercheVous sortez des réponses d'Alexa qui s'appuient sur cet index.
OAI-SearchBotOpenAIRecherche en directVous disparaissez des sources citées par la recherche de ChatGPT.
Claude-SearchBotAnthropicRecherche en directVous disparaissez des sources citées par la recherche web de Claude.
PerplexityBotPerplexityRecherche en directVous disparaissez des réponses sourcées de Perplexity.
ChatGPT-UserOpenAIÀ la demandeVos pages ne s'ouvrent plus quand un utilisateur colle votre URL dans ChatGPT.
Claude-UserAnthropicÀ la demandeVos pages ne s'ouvrent plus lorsqu'un utilisateur les demande explicitement.
GPTBotOpenAIEntraînementVotre contenu n'entre pas dans les corpus d'entraînement. Aucun effet sur les réponses citées aujourd'hui.
ClaudeBotAnthropicEntraînementVotre contenu n'entre pas dans les corpus d'entraînement. Aucune perte de citation.
Google-ExtendedGoogleEntraînementVotre contenu n'entraîne pas Gemini. Aucun effet sur Search ni sur les AI Overviews.
Applebot-ExtendedAppleEntraînementVotre contenu n'entraîne pas les modèles d'Apple. Aucun effet sur Siri ni Spotlight.
Meta-ExternalAgentMetaEntraînementVotre contenu n'entre pas dans les corpus d'entraînement de Meta.
BytespiderByteDanceEntraînementVotre contenu n'entre pas dans les corpus de ByteDance. Crawler réputé agressif en volume.
CCBotCommon CrawlEntraînementVous sortez du corpus public Common Crawl, réutilisé par de nombreux modèles et outils de recherche.

Structure du fichier

Le JSON expose un objet racine portant la licence et la date de revue, puis un tableaucrawlers. Chaque entrée comporte cinq champs stables.

ChampTypeContenu
uachaîneJeton à utiliser dans une directive User-agent
operatorchaîneÉditeur qui opère le robot
familychaîneEntraînement, recherche en direct, à la demande, index de recherche
ifBlockedchaîneConséquence concrète du blocage
costsVisibilitybooléenLe blocage coûte-t-il des citations ou du trafic

Réutiliser ces données

La licence Creative Commons Attribution 4.0 autorise la copie, la modification et l'usage commercial. La seule contrepartie est la citation, avec la date de la version utilisée : une liste de crawlers sans date n'a aucune valeur, puisque les éditeurs en ajoutent en permanence.

Source : SIMGSOFT, « Les crawlers des moteurs génératifs »,
https://simgsoft.com/donnees/crawlers-ia, version du 2026-08-31, CC BY 4.0.

Exemple de récupération, sans dépendance :

const res = await fetch("https://simgsoft.com/donnees/crawlers-ia.json");
const { reviewed, crawlers } = await res.json();
const aRisque = crawlers.filter((c) => c.costsVisibility);

Ce que ce jeu ne contient pas

  • Aucune plage d'adresses IP. Elles changent trop vite pour un fichier statique, et une plage périmée fait plus de dégâts qu'une donnée absente.
  • Aucune chaîne user-agent complète. Seul le jeton utile dans robots.txt est publié : c'est lui qui sert à écrire les règles.
  • Aucune garantie de respect des règles. Robots.txt est une convention. Ce que fait réellement un robot ne se lit que dans vos logs serveur.
  • Aucun agent obscur. La liste s'arrête aux robots dont l'éditeur est identifiable et documenté publiquement.

Méthode et biais assumés

Les jetons user-agent et les éditeurs sont des faits vérifiables auprès des éditeurs eux-mêmes. Le classement par famille et la colonne de coût relèvent en revanche de notre analyse : ils traduisent une position, celle qu'un site d'entreprise a presque toujours intérêt à laisser passer les agents qui citent, et peut fermer sans dommage ceux qui entraînent. Un média dont les abonnements financent la rédaction fera un arbitrage différent, et il aura raison. Nous préférons afficher ce biais plutôt que de présenter une opinion comme une donnée neutre.

Questions fréquentes

Sous licence Creative Commons Attribution 4.0. Vous pouvez les copier, les modifier et les intégrer à un produit commercial, y compris sans nous demander l'autorisation, à condition de citer la source et d'indiquer la date de la version utilisée.

De la documentation publique des éditeurs. Le classement par famille et l'évaluation du coût de blocage sont notre analyse, pas une donnée officielle : ils se discutent.

Parce qu'elles changent trop souvent pour être fiables dans un fichier statique, et qu'une plage périmée est plus dangereuse qu'une absence de donnée : elle fait bloquer des robots légitimes ou laisse passer des usurpateurs. Récupérez-les directement chez chaque éditeur, qui les publie et les met à jour.

Chaque trimestre, et immédiatement lorsqu'un éditeur annonce un nouvel agent. La date de dernière revue figure dans le fichier JSON comme sur cette page : traitez-la comme faisant partie de la donnée.

Par une résolution DNS inverse de son adresse IP, suivie d'une résolution directe du nom obtenu, ou par comparaison avec les plages publiées par l'éditeur. L'en-tête user-agent seul se falsifie en une ligne de code : ne fondez jamais une règle de sécurité dessus.

Une correction à signaler ?

Un agent manquant, un classement contestable, une erreur de famille : écrivez-nous, la liste est corrigée et redatée.

Signaler une correction →