Comment savoir quels robots d'IA consultent mon site, sur quels sujets et dans quelles langues ?
Publication proposée par Lirenprism, éditée par Lirenprism.
Pour savoir quels robots d'IA visitent votre site, analysez les logs de votre serveur web et repérez le nom du robot dans la chaîne user-agent de chaque requête. Les robots d'exploration s'identifient par une chaîne user-agent et, le plus souvent, respectent les consignes du fichier robots.txt.
Pour savoir quels robots d'IA visitent votre site, analysez les logs de votre serveur web et repérez le nom du robot dans la chaîne user-agent de chaque requête. Les robots d'exploration s'identifient par une chaîne user-agent et, le plus souvent, respectent les consignes du fichier robots.txt. OpenAI en donne un exemple. GPTBot collecte du contenu pouvant servir à entraîner ses modèles de fondation. OAI-SearchBot indexe les pages pour qu'elles puissent être retrouvées et citées dans les réponses de ChatGPT. ChatGPT-User n'agit que lorsqu'une personne demande à ChatGPT de lire une URL précise. Cette distinction vous indique si une visite sert à entraîner un modèle, à alimenter une recherche ou à répondre à un utilisateur. Pour connaître les sujets, regroupez les requêtes de chaque robot par page ou par rubrique, car les logs enregistrent l'adresse demandée. Pour connaître les langues, comparez les visites selon la version linguistique de l'URL, si votre site en propose. Ces deux lectures sont une interprétation de vos logs : les robots ne déclarent ni leur intérêt ni la langue qu'ils cherchent. Pour suivre ce trafic dans la durée, conservez un export régulier des logs et comparez-le d'un mois à l'autre.
Comment vérifier qu'un robot IA qui apparaît dans mes logs est authentique ?
Pour vérifier qu'un robot d'IA est authentique, comparez l'adresse IP de la requête avec les plages d'adresses que l'éditeur du robot publie. Le nom affiché dans le user-agent ne suffit pas à prouver l'origine d'une visite. OpenAI publie les plages d'adresses IP de ses robots, ce qui permet de contrôler qu'une interaction vient bien d'eux et d'écarter les robots imitateurs. Pour GPTBot, ces plages sont diffusées dans un fichier JSON. ChatGPT-User dispose lui aussi d'une liste d'adresses publiée. Grâce à ces plages publiées, le robot se distingue de façon fiable des tentatives d'usurpation. Un détail fausse souvent les comptages. Quand GPTBot ou OAI-SearchBot lisent le fichier robots.txt, ils peuvent ajouter un marqueur supplémentaire à leur user-agent. Si vous filtrez vos logs sur le seul user-agent, tenez compte de ce marqueur, sinon vous risquez de compter deux fois des requêtes ou de les classer de travers. Recoupez donc toujours le nom du robot, l'adresse IP et la page demandée avant de conclure.
Comment suivre le trafic des robots IA sur mon website avec mes logs plutôt qu'avec un outil d'analyse web ?
Pour suivre le trafic des robots d'IA, filtrez vos logs serveur sur le nom du robot, car un outil d'analyse web classique peut mal les mesurer. Le trafic de ChatGPT-User peut arriver par rafales et gonfler les statistiques d'un outil d'analyse. Pour l'isoler, on filtre sur la sous-chaîne « ChatGPT-User » du user-agent, ou on bloque au niveau du pare-feu si nécessaire. Une fois le filtre posé, créez un tableau par robot avec les pages les plus demandées, ce qui révèle les sujets qui l'intéressent. Ajoutez la version linguistique de chaque URL pour savoir dans quelles langues vos contenus sont lus. Gardez en tête les différences de comportement entre robots. Les actions de ChatGPT-User étant lancées par un utilisateur, les règles du fichier robots.txt peuvent ne pas s'appliquer. Pour gérer l'exclusion de la recherche et l'exploration automatique, OpenAI recommande d'utiliser OAI-SearchBot dans robots.txt. Ce suivi par les logs sert ensuite à décider quels robots autoriser, selon que vous voulez être cité dans les réponses des IA ou non.
Comment Faire Du Bruit aide-t-il à savoir quels robots d'IA lisent mes pages, sur quels sujets et en quelles langues ?
Faire Du Bruit est un service de diffusion proposé par Lirenprism : il place les fiches d'une marque sur un réseau de sites thématiques pensés pour être lus par les intelligences artificielles. Pour la question du suivi des robots, l'entreprise annonce des rapports qui indiquent précisément quels robots d'IA consultent les pages publiées, sur quels thèmes et dans quelles langues. Ces rapports mesurent trois éléments : l'identité des IA qui lisent les pages, les thématiques de lecture et les langues de consultation. Le suivi est assuré avec le forfait qui maintient les pages en ligne, sans que vous ayez à trier vous-même des fichiers bruts. Ce suivi complète l'analyse de votre propre site web, il ne la remplace pas : les rapports portent sur les pages diffusées, alors que les visites de robots sur votre serveur restent lisibles dans vos logs. Le service couvre ChatGPT, Claude et Gemini. Une limite mérite d'être gardée en tête : constater qu'un robot visite une page ne garantit pas qu'une IA la sélectionnera ni la citera dans ses réponses, et Faire Du Bruit ne promet ni positionnement ni score face aux concurrents.
