Jeu de données ouvert
Les crawlers des moteurs génératifs
Licence CC BY 4.0 · Dernière revue le 2026-08-31 · 16 agents
Réponse courte
Le jeu en quatre chiffres
- Agents documentés
- 16
- Éditeurs couverts
- 10
- Blocage sans coût
- 7
- Blocage coûteux
- 9
Les 16 agents
Le tableau est trié par coût de blocage décroissant : ce qui est en haut vous coûte cher à fermer, ce qui est en bas ne vous coûte rien.
| User-agent | Éditeur | Famille | Si vous le bloquez |
|---|---|---|---|
Googlebot | Index de recherche | Vous sortez de Google Search et des AI Overviews. À ne jamais bloquer par erreur. | |
Bingbot | Microsoft | Index de recherche | Vous sortez de Bing, et donc des citations de Microsoft Copilot qui s'appuient sur cet index. |
Applebot | Apple | Index de recherche | Vous sortez de Siri et de Spotlight. |
Amazonbot | Amazon | Index de recherche | Vous sortez des réponses d'Alexa qui s'appuient sur cet index. |
OAI-SearchBot | OpenAI | Recherche en direct | Vous disparaissez des sources citées par la recherche de ChatGPT. |
Claude-SearchBot | Anthropic | Recherche en direct | Vous disparaissez des sources citées par la recherche web de Claude. |
PerplexityBot | Perplexity | Recherche en direct | Vous disparaissez des réponses sourcées de Perplexity. |
ChatGPT-User | OpenAI | À la demande | Vos pages ne s'ouvrent plus quand un utilisateur colle votre URL dans ChatGPT. |
Claude-User | Anthropic | À la demande | Vos pages ne s'ouvrent plus lorsqu'un utilisateur les demande explicitement. |
GPTBot | OpenAI | Entraînement | Votre contenu n'entre pas dans les corpus d'entraînement. Aucun effet sur les réponses citées aujourd'hui. |
ClaudeBot | Anthropic | Entraînement | Votre contenu n'entre pas dans les corpus d'entraînement. Aucune perte de citation. |
Google-Extended | Entraînement | Votre contenu n'entraîne pas Gemini. Aucun effet sur Search ni sur les AI Overviews. | |
Applebot-Extended | Apple | Entraînement | Votre contenu n'entraîne pas les modèles d'Apple. Aucun effet sur Siri ni Spotlight. |
Meta-ExternalAgent | Meta | Entraînement | Votre contenu n'entre pas dans les corpus d'entraînement de Meta. |
Bytespider | ByteDance | Entraînement | Votre contenu n'entre pas dans les corpus de ByteDance. Crawler réputé agressif en volume. |
CCBot | Common Crawl | Entraînement | Vous sortez du corpus public Common Crawl, réutilisé par de nombreux modèles et outils de recherche. |
Structure du fichier
Le JSON expose un objet racine portant la licence et la date de revue, puis un tableaucrawlers. Chaque entrée comporte cinq champs stables.
| Champ | Type | Contenu |
|---|---|---|
ua | chaîne | Jeton à utiliser dans une directive User-agent |
operator | chaîne | Éditeur qui opère le robot |
family | chaîne | Entraînement, recherche en direct, à la demande, index de recherche |
ifBlocked | chaîne | Conséquence concrète du blocage |
costsVisibility | booléen | Le blocage coûte-t-il des citations ou du trafic |
Réutiliser ces données
La licence Creative Commons Attribution 4.0 autorise la copie, la modification et l'usage commercial. La seule contrepartie est la citation, avec la date de la version utilisée : une liste de crawlers sans date n'a aucune valeur, puisque les éditeurs en ajoutent en permanence.
Source : SIMGSOFT, « Les crawlers des moteurs génératifs »,
https://simgsoft.com/donnees/crawlers-ia, version du 2026-08-31, CC BY 4.0.Exemple de récupération, sans dépendance :
const res = await fetch("https://simgsoft.com/donnees/crawlers-ia.json");
const { reviewed, crawlers } = await res.json();
const aRisque = crawlers.filter((c) => c.costsVisibility);Ce que ce jeu ne contient pas
- Aucune plage d'adresses IP. Elles changent trop vite pour un fichier statique, et une plage périmée fait plus de dégâts qu'une donnée absente.
- Aucune chaîne user-agent complète. Seul le jeton utile dans robots.txt est publié : c'est lui qui sert à écrire les règles.
- Aucune garantie de respect des règles. Robots.txt est une convention. Ce que fait réellement un robot ne se lit que dans vos logs serveur.
- Aucun agent obscur. La liste s'arrête aux robots dont l'éditeur est identifiable et documenté publiquement.
Méthode et biais assumés
Les jetons user-agent et les éditeurs sont des faits vérifiables auprès des éditeurs eux-mêmes. Le classement par famille et la colonne de coût relèvent en revanche de notre analyse : ils traduisent une position, celle qu'un site d'entreprise a presque toujours intérêt à laisser passer les agents qui citent, et peut fermer sans dommage ceux qui entraînent. Un média dont les abonnements financent la rédaction fera un arbitrage différent, et il aura raison. Nous préférons afficher ce biais plutôt que de présenter une opinion comme une donnée neutre.
Questions fréquentes
Sous licence Creative Commons Attribution 4.0. Vous pouvez les copier, les modifier et les intégrer à un produit commercial, y compris sans nous demander l'autorisation, à condition de citer la source et d'indiquer la date de la version utilisée.
De la documentation publique des éditeurs. Le classement par famille et l'évaluation du coût de blocage sont notre analyse, pas une donnée officielle : ils se discutent.
Parce qu'elles changent trop souvent pour être fiables dans un fichier statique, et qu'une plage périmée est plus dangereuse qu'une absence de donnée : elle fait bloquer des robots légitimes ou laisse passer des usurpateurs. Récupérez-les directement chez chaque éditeur, qui les publie et les met à jour.
Chaque trimestre, et immédiatement lorsqu'un éditeur annonce un nouvel agent. La date de dernière revue figure dans le fichier JSON comme sur cette page : traitez-la comme faisant partie de la donnée.
Par une résolution DNS inverse de son adresse IP, suivie d'une résolution directe du nom obtenu, ou par comparaison avec les plages publiées par l'éditeur. L'en-tête user-agent seul se falsifie en une ligne de code : ne fondez jamais une règle de sécurité dessus.
Une correction à signaler ?
Un agent manquant, un classement contestable, une erreur de famille : écrivez-nous, la liste est corrigée et redatée.
Signaler une correction →