Aller au contenu

Visibilité

Repérer les crawlers d'IA dans vos logs serveur

Par , fondateur de SIMGSOFT ·Publié le 1 septembre 2026 · Mis à jour le 18 octobre 2026 · 12 min de lecture

Réponse courte

Les crawlers d'IA n'exécutent pas de JavaScript : ils sont invisibles dans les outils de mesure d'audience classiques. Seuls les journaux du serveur les enregistrent. Les compter par agent et par jour donne un indicateur simple : vos pages sont-elles réellement lues par les moteurs qui citent ?

Les repères

Source de vérité
Logs
Mesure d'audience
Aveugle
Identité
DNS inverse
Blocage
Dernier recours

Une entreprise qui veut savoir si son contenu atteint les moteurs génératifs regarde spontanément ses statistiques de fréquentation, et n'y trouve rien. Elle en conclut que rien ne se passe. En réalité, les passages ont bien lieu, mais ils sont enregistrés à un endroit que presque personne ne consulte : les journaux du serveur web.

Pourquoi ils sont invisibles dans vos rapports

Les outils de mesure d'audience fonctionnent par un script exécuté dans le navigateur du visiteur. Un robot d'exploration ne l'exécute pas : il demande le document, le reçoit, et passe à la suivante. Aucun événement n'est donc envoyé à l'outil de mesure, et le passage n'apparaît nulle part dans vos tableaux de bord.

Le serveur, lui, enregistre chaque requête reçue, avec la date, l'adresse d'origine, la page demandée, le code de réponse et l'en-tête d'identification. C'est la seule source qui décrit réellement ce que les robots font chez vous.

Extraire les passages, concrètement

Le format courant des journaux serveur place l'identification du client en fin de ligne. Un comptage par agent tient en une commande, exécutable sur n'importe quel serveur ou sur une copie locale du fichier.

# Nombre de requêtes par agent d'IA, du plus actif au moins actif
# (Google-Extended n'apparaît jamais dans les journaux : c'est un jeton robots.txt, pas un user-agent)
grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot" access.log \
  | grep -oEi "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot" \
  | sort | uniq -c | sort -rn

Deux variantes plus utiles encore : le comptage par jour, qui révèle la régularité des passages, et le comptage par page, qui montre ce qui est réellement exploré.

# Pages les plus explorées par un agent donné
grep -i "PerplexityBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

# Codes de réponse servis à cet agent : les 404 et 5xx sont le vrai sujet
grep -i "PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

La liste des agents à surveiller est publiée à part, dans notrejeu de données ouvert sur les crawlers d'IA, revu le2026-08-31 et téléchargeable en JSON comme en CSV pour alimenter vos propres scripts.

Vérifier que le robot est bien celui qu'il prétend

L'en-tête d'identification est déclaratif : n'importe qui peut se présenter comme un robot connu. Tant que vous ne faites que compter, l'enjeu est faible. Dès que vous décidez de bloquer, de limiter ou de servir un contenu différent, la vérification devient indispensable.

MéthodePrincipeLimite
Double résolution DNSRésolution inverse de l'adresse, puis résolution directe du nom obtenu, qui doit redonner la même adresseSuppose que l'éditeur publie des noms cohérents
Plages d'adresses publiéesComparaison avec la liste officielle de l'éditeurLes plages changent : il faut les rafraîchir régulièrement
En-tête seulConfiance dans la déclaration du clientAucune valeur pour une décision de sécurité
Ne fondez jamais une règle de sécurité sur un en-tête d'identification. Pour du comptage, il suffit ; pour du blocage, il ne vaut rien.

Lire les résultats sans surinterpréter

Trois lectures apportent une information exploitable, et une quatrième, souvent tentée, n'en apporte aucune.

  • Présence ou absence. L'information la plus nette. Aucun passage d'un agent de recherche en direct sur trois mois signale un blocage, une protection anti-robot trop agressive, ou un contenu inaccessible sans exécution de script.
  • Répartition par page. Elle révèle ce que les moteurs jugent digne d'être exploré, et surtout ce qu'ils ignorent alors que vous y tenez.
  • Codes de réponse. Des erreurs servies à un robot sont un problème immédiat, souvent invisible autrement. Une chaîne de redirections en est un autre.
  • Volume brut. À manier avec précaution : il varie pour des raisons qui vous échappent, et aucune corrélation fiable ne relie ce chiffre au nombre de citations.

Ce qu'on en fait ensuite

L'analyse débouche sur trois décisions concrètes, et elles suffisent à justifier l'exercice.

  1. Corriger l'accès. Si un agent de recherche en direct n'apparaît pas, vérifiez votre robots.txt avec notrevérificateur en ligne, puis les protections anti-robot de votre hébergeur, qui bloquent parfois par défaut des agents légitimes.
  2. Corriger le contenu servi. Un robot qui ne reçoit qu'une page vide en attendant l'exécution d'un script ne verra jamais votre texte. Le rendu côté serveur reste la réponse la plus sûre.
  3. Décider en connaissance de cause. Bloquer l'entraînement ne coûte rien en visibilité, bloquer la recherche en direct vous retire des réponses citées : cette distinction, développée dans notre guiderobots.txt et crawlers d'IA, se vérifie désormais dans vos propres journaux.

Un relevé mensuel de dix minutes suffit à tenir cet indicateur. C'est peu, pour la seule mesure objective dont vous disposiez sur votre accessibilité aux moteurs génératifs.

Sources officielles

Textes et pages officielles consultés le 18 octobre 2026.

  1. Valider les requêtes des robots d'exploration et des extracteurs Google

    Google Search Central

    Méthode de la résolution DNS inverse puis directe, et comparaison aux plages IP publiées.

  2. Robots d'exploration communs de Google

    Google Search Central

    Google-Extended n'a pas de user-agent propre et ne laisse donc aucune trace distincte dans les journaux.

  3. Overview of OpenAI Crawlers

    OpenAI

    User-agents d'OpenAI et fichiers JSON de plages IP pour vérifier leur identité.

  4. Does Anthropic crawl data from the web, and how can site owners block the crawler?

    Anthropic, centre d'aide Claude

    User-agents d'Anthropic, prise en charge de Crawl-delay et plages IP publiées.

  5. Perplexity Crawlers

    Perplexity

    User-agents de Perplexity et plages IP publiées en JSON.

  6. Comment Google interprète la spécification robots.txt

    Google Search Central

    Google ignore la directive crawl-delay.

Questions fréquentes

Parce que la plupart des outils de mesure d'audience reposent sur un script exécuté par le navigateur. Les robots ne l'exécutent pas : ils récupèrent le document et s'arrêtent là. Leur passage est donc enregistré par le serveur web, jamais par la mesure côté client.

Chez un hébergeur mutualisé, ils sont généralement téléchargeables depuis le panneau d'administration, souvent avec une rétention de quelques semaines. Sur un serveur dédié, ils se trouvent dans le répertoire de journalisation du serveur web. Derrière un service de diffusion de contenu, il faut activer l'export des journaux, sinon une partie du trafic n'atteint jamais votre serveur.

Non, il se falsifie en une ligne de commande. Pour toute décision de blocage ou de comptage sérieux, vérifiez l'adresse par une résolution DNS inverse suivie d'une résolution directe du nom obtenu, ou comparez-la aux plages publiées par l'éditeur.

Il n'existe pas de seuil, et il faut se méfier de tout chiffre affirmé sur ce point. Le passage d'un robot est une condition nécessaire, pas suffisante : il indique que votre contenu est accessible et exploré. L'absence totale de passage, en revanche, est un diagnostic sans ambiguïté.

Vérifiez d'abord son identité, puis limitez son débit plutôt que de le bloquer, par une règle de limitation au niveau du serveur ou du service de diffusion. Un blocage sec supprime aussi la visibilité associée. La directive de délai entre requêtes est ignorée par une partie des robots, elle ne remplace pas une limitation côté serveur.

À lire ensuite

Besoin d'un avis sur votre cas ?

Décrivez votre contexte en trois lignes. On répond avec une estimation argumentée, pas un formulaire de qualification.

Poser la question →