{
  "name": "Crawlers des moteurs génératifs : user-agents et effet du blocage",
  "source": "https://simgsoft.com/donnees/crawlers-ia",
  "license": "CC BY 4.0",
  "licenseUrl": "https://creativecommons.org/licenses/by/4.0/deed.fr",
  "attribution": "SIMGSOFT, version du 2026-08-31, CC BY 4.0",
  "reviewed": "2026-08-31",
  "count": 16,
  "crawlers": [
    {
      "ua": "GPTBot",
      "operator": "OpenAI",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entre pas dans les corpus d'entraînement. Aucun effet sur les réponses citées aujourd'hui.",
      "costsVisibility": false
    },
    {
      "ua": "OAI-SearchBot",
      "operator": "OpenAI",
      "family": "Recherche en direct",
      "ifBlocked": "Vous disparaissez des sources citées par la recherche de ChatGPT.",
      "costsVisibility": true
    },
    {
      "ua": "ChatGPT-User",
      "operator": "OpenAI",
      "family": "À la demande",
      "ifBlocked": "Vos pages ne s'ouvrent plus quand un utilisateur colle votre URL dans ChatGPT.",
      "costsVisibility": true
    },
    {
      "ua": "ClaudeBot",
      "operator": "Anthropic",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entre pas dans les corpus d'entraînement. Aucune perte de citation.",
      "costsVisibility": false
    },
    {
      "ua": "Claude-SearchBot",
      "operator": "Anthropic",
      "family": "Recherche en direct",
      "ifBlocked": "Vous disparaissez des sources citées par la recherche web de Claude.",
      "costsVisibility": true
    },
    {
      "ua": "Claude-User",
      "operator": "Anthropic",
      "family": "À la demande",
      "ifBlocked": "Vos pages ne s'ouvrent plus lorsqu'un utilisateur les demande explicitement.",
      "costsVisibility": true
    },
    {
      "ua": "Googlebot",
      "operator": "Google",
      "family": "Index de recherche",
      "ifBlocked": "Vous sortez de Google Search et des AI Overviews. À ne jamais bloquer par erreur.",
      "costsVisibility": true
    },
    {
      "ua": "Google-Extended",
      "operator": "Google",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entraîne pas Gemini. Aucun effet sur Search ni sur les AI Overviews.",
      "costsVisibility": false
    },
    {
      "ua": "Bingbot",
      "operator": "Microsoft",
      "family": "Index de recherche",
      "ifBlocked": "Vous sortez de Bing, et donc des citations de Microsoft Copilot qui s'appuient sur cet index.",
      "costsVisibility": true
    },
    {
      "ua": "PerplexityBot",
      "operator": "Perplexity",
      "family": "Recherche en direct",
      "ifBlocked": "Vous disparaissez des réponses sourcées de Perplexity.",
      "costsVisibility": true
    },
    {
      "ua": "Applebot",
      "operator": "Apple",
      "family": "Index de recherche",
      "ifBlocked": "Vous sortez de Siri et de Spotlight.",
      "costsVisibility": true
    },
    {
      "ua": "Applebot-Extended",
      "operator": "Apple",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entraîne pas les modèles d'Apple. Aucun effet sur Siri ni Spotlight.",
      "costsVisibility": false
    },
    {
      "ua": "Amazonbot",
      "operator": "Amazon",
      "family": "Index de recherche",
      "ifBlocked": "Vous sortez des réponses d'Alexa qui s'appuient sur cet index.",
      "costsVisibility": true
    },
    {
      "ua": "Meta-ExternalAgent",
      "operator": "Meta",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entre pas dans les corpus d'entraînement de Meta.",
      "costsVisibility": false
    },
    {
      "ua": "Bytespider",
      "operator": "ByteDance",
      "family": "Entraînement",
      "ifBlocked": "Votre contenu n'entre pas dans les corpus de ByteDance. Crawler réputé agressif en volume.",
      "costsVisibility": false
    },
    {
      "ua": "CCBot",
      "operator": "Common Crawl",
      "family": "Entraînement",
      "ifBlocked": "Vous sortez du corpus public Common Crawl, réutilisé par de nombreux modèles et outils de recherche.",
      "costsVisibility": false
    }
  ]
}