Visibilité
Repérer les crawlers d'IA dans vos logs serveur
Par François Castellani, fondateur de SIMGSOFT ·Publié le 1 septembre 2026 · Mis à jour le 18 octobre 2026 · 12 min de lecture
Réponse courte
Les repères
- Source de vérité
- Logs
- Mesure d'audience
- Aveugle
- Identité
- DNS inverse
- Blocage
- Dernier recours
Une entreprise qui veut savoir si son contenu atteint les moteurs génératifs regarde spontanément ses statistiques de fréquentation, et n'y trouve rien. Elle en conclut que rien ne se passe. En réalité, les passages ont bien lieu, mais ils sont enregistrés à un endroit que presque personne ne consulte : les journaux du serveur web.
Pourquoi ils sont invisibles dans vos rapports
Les outils de mesure d'audience fonctionnent par un script exécuté dans le navigateur du visiteur. Un robot d'exploration ne l'exécute pas : il demande le document, le reçoit, et passe à la suivante. Aucun événement n'est donc envoyé à l'outil de mesure, et le passage n'apparaît nulle part dans vos tableaux de bord.
Le serveur, lui, enregistre chaque requête reçue, avec la date, l'adresse d'origine, la page demandée, le code de réponse et l'en-tête d'identification. C'est la seule source qui décrit réellement ce que les robots font chez vous.
Extraire les passages, concrètement
Le format courant des journaux serveur place l'identification du client en fin de ligne. Un comptage par agent tient en une commande, exécutable sur n'importe quel serveur ou sur une copie locale du fichier.
# Nombre de requêtes par agent d'IA, du plus actif au moins actif
# (Google-Extended n'apparaît jamais dans les journaux : c'est un jeton robots.txt, pas un user-agent)
grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot" access.log \
| grep -oEi "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot" \
| sort | uniq -c | sort -rnDeux variantes plus utiles encore : le comptage par jour, qui révèle la régularité des passages, et le comptage par page, qui montre ce qui est réellement exploré.
# Pages les plus explorées par un agent donné
grep -i "PerplexityBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
# Codes de réponse servis à cet agent : les 404 et 5xx sont le vrai sujet
grep -i "PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rnLa liste des agents à surveiller est publiée à part, dans notrejeu de données ouvert sur les crawlers d'IA, revu le2026-08-31 et téléchargeable en JSON comme en CSV pour alimenter vos propres scripts.
Vérifier que le robot est bien celui qu'il prétend
L'en-tête d'identification est déclaratif : n'importe qui peut se présenter comme un robot connu. Tant que vous ne faites que compter, l'enjeu est faible. Dès que vous décidez de bloquer, de limiter ou de servir un contenu différent, la vérification devient indispensable.
| Méthode | Principe | Limite |
|---|---|---|
| Double résolution DNS | Résolution inverse de l'adresse, puis résolution directe du nom obtenu, qui doit redonner la même adresse | Suppose que l'éditeur publie des noms cohérents |
| Plages d'adresses publiées | Comparaison avec la liste officielle de l'éditeur | Les plages changent : il faut les rafraîchir régulièrement |
| En-tête seul | Confiance dans la déclaration du client | Aucune valeur pour une décision de sécurité |
Ne fondez jamais une règle de sécurité sur un en-tête d'identification. Pour du comptage, il suffit ; pour du blocage, il ne vaut rien.
Lire les résultats sans surinterpréter
Trois lectures apportent une information exploitable, et une quatrième, souvent tentée, n'en apporte aucune.
- Présence ou absence. L'information la plus nette. Aucun passage d'un agent de recherche en direct sur trois mois signale un blocage, une protection anti-robot trop agressive, ou un contenu inaccessible sans exécution de script.
- Répartition par page. Elle révèle ce que les moteurs jugent digne d'être exploré, et surtout ce qu'ils ignorent alors que vous y tenez.
- Codes de réponse. Des erreurs servies à un robot sont un problème immédiat, souvent invisible autrement. Une chaîne de redirections en est un autre.
- Volume brut. À manier avec précaution : il varie pour des raisons qui vous échappent, et aucune corrélation fiable ne relie ce chiffre au nombre de citations.
Ce qu'on en fait ensuite
L'analyse débouche sur trois décisions concrètes, et elles suffisent à justifier l'exercice.
- Corriger l'accès. Si un agent de recherche en direct n'apparaît pas, vérifiez votre robots.txt avec notrevérificateur en ligne, puis les protections anti-robot de votre hébergeur, qui bloquent parfois par défaut des agents légitimes.
- Corriger le contenu servi. Un robot qui ne reçoit qu'une page vide en attendant l'exécution d'un script ne verra jamais votre texte. Le rendu côté serveur reste la réponse la plus sûre.
- Décider en connaissance de cause. Bloquer l'entraînement ne coûte rien en visibilité, bloquer la recherche en direct vous retire des réponses citées : cette distinction, développée dans notre guiderobots.txt et crawlers d'IA, se vérifie désormais dans vos propres journaux.
Un relevé mensuel de dix minutes suffit à tenir cet indicateur. C'est peu, pour la seule mesure objective dont vous disposiez sur votre accessibilité aux moteurs génératifs.
Sources officielles
Textes et pages officielles consultés le 18 octobre 2026.
- Valider les requêtes des robots d'exploration et des extracteurs Google
Google Search Central
Méthode de la résolution DNS inverse puis directe, et comparaison aux plages IP publiées.
- Robots d'exploration communs de Google
Google Search Central
Google-Extended n'a pas de user-agent propre et ne laisse donc aucune trace distincte dans les journaux.
- Overview of OpenAI Crawlers
OpenAI
User-agents d'OpenAI et fichiers JSON de plages IP pour vérifier leur identité.
- Does Anthropic crawl data from the web, and how can site owners block the crawler?
Anthropic, centre d'aide Claude
User-agents d'Anthropic, prise en charge de Crawl-delay et plages IP publiées.
- Perplexity Crawlers
Perplexity
User-agents de Perplexity et plages IP publiées en JSON.
- Comment Google interprète la spécification robots.txt
Google Search Central
Google ignore la directive crawl-delay.
Questions fréquentes
Parce que la plupart des outils de mesure d'audience reposent sur un script exécuté par le navigateur. Les robots ne l'exécutent pas : ils récupèrent le document et s'arrêtent là. Leur passage est donc enregistré par le serveur web, jamais par la mesure côté client.
Chez un hébergeur mutualisé, ils sont généralement téléchargeables depuis le panneau d'administration, souvent avec une rétention de quelques semaines. Sur un serveur dédié, ils se trouvent dans le répertoire de journalisation du serveur web. Derrière un service de diffusion de contenu, il faut activer l'export des journaux, sinon une partie du trafic n'atteint jamais votre serveur.
Non, il se falsifie en une ligne de commande. Pour toute décision de blocage ou de comptage sérieux, vérifiez l'adresse par une résolution DNS inverse suivie d'une résolution directe du nom obtenu, ou comparez-la aux plages publiées par l'éditeur.
Il n'existe pas de seuil, et il faut se méfier de tout chiffre affirmé sur ce point. Le passage d'un robot est une condition nécessaire, pas suffisante : il indique que votre contenu est accessible et exploré. L'absence totale de passage, en revanche, est un diagnostic sans ambiguïté.
Vérifiez d'abord son identité, puis limitez son débit plutôt que de le bloquer, par une règle de limitation au niveau du serveur ou du service de diffusion. Un blocage sec supprime aussi la visibilité associée. La directive de délai entre requêtes est ignorée par une partie des robots, elle ne remplace pas une limitation côté serveur.
À lire ensuite
Besoin d'un avis sur votre cas ?
Décrivez votre contexte en trois lignes. On répond avec une estimation argumentée, pas un formulaire de qualification.
Poser la question →