llms.txt : les bots IA le lisent-ils vraiment ?

👁 114 lectures

Le site analysé dispose d’un fichier llms.txt de 230 lignes, avec 170 liens vers ses pages principales, généré automatiquement par WordPress. J’ai examiné 13 jours de journaux serveur, du 24 octobre au 5 novembre 2026, soit 1 832 096 requêtes. Pendant cette période, les bots identifiés comme ceux d’OpenAI, d’Anthropic et de Perplexity ont effectué plus de 61 000 requêtes. Combien de fois l’un d’eux a-t-il ouvert llms.txt ? Aucune fois.

J’en parle parce que llms.txt est souvent présenté comme la première étape pour « se positionner dans ChatGPT ». Mes journaux racontent une autre histoire. Voici les chiffres, la méthode de calcul et les commandes pour faire la vérification de votre côté.

Qu’est-ce que llms.txt ?

C’est une proposition de Jeremy Howard, publiée le 3 septembre 2024 sur llmstxt.org. Le fichier se trouve à la racine d’un site, à l’adresse /llms.txt, et se présente sous la forme d’un simple texte en Markdown. Le seul élément obligatoire est un titre H1 portant le nom du site. Il peut être suivi d’une courte description sous forme de citation et de sections H2 avec des listes de liens vers les pages qu’un modèle de langage devrait consulter en priorité. L’idée est de fournir un raccourci : au lieu de parcourir les menus, les publicités et les scripts, le modèle dispose d’une table des matières dans un format facile à traiter.

Mon fichier commence par « # Site », présente le site, puis propose une section « À propos de la source » avec l’auteur et la méthode, suivie de groupes de liens : outils, état des services en direct, prix et comparatifs. Un fichier llms-full.txt se trouve à côté : il contient le texte intégral, pèse 7,34 Mo et compte 80 795 lignes.

Ce n’est pas une norme adoptée par une organisation. Le fichier ne figure pas dans la documentation des robots d’OpenAI, d’Anthropic ou de Perplexity. Google s’est exprimé clairement à ce sujet ; j’y reviens plus loin.

Ce que révèlent les journaux serveur

Le serveur consigne chaque requête avec l’adresse IP, la date, le chemin, le code de réponse et la signature du navigateur, appelée user-agent. J’ai extrait des archives quotidiennes toutes les visites de /llms.txt, /llms-full.txt et /robots.txt, puis j’ai compté séparément les requêtes des bots IA sur l’ensemble du site.

Le fichier llms.txt a reçu 95 visites et llms-full.txt en a reçu 22. SEOJuice, un outil d’audit SEO, a téléchargé le fichier le plus souvent : 26 fois. Viennent ensuite agentwebmap-bot (15 fois), le robot d’exploration du jeu de données code-docs-corpus (7 fois), Googlebot (4 fois), plusieurs outils d’audit de sites et une douzaine de navigateurs ordinaires, probablement utilisés par des professionnels curieux de voir à quoi ressemble le fichier.

Dans les résultats bruts, j’ai aussi trouvé une visite chacun de GPTBot, OAI-SearchBot, ClaudeBot et PerplexityBot, ainsi que d’une douzaine d’autres bots. Le résultat semblait prometteur, jusqu’à ce que je vérifie les horaires. Toutes ces requêtes provenaient d’une seule adresse IP située en Pologne et avaient été effectuées en 13 secondes, le 30 octobre entre 00:03:13 et 00:03:26, avec une signature de bot différente à chaque fois. Il s’agissait d’un test d’accès que j’avais lancé moi-même en mettant au point le générateur du fichier. Un vrai GPTBot ne se connecte pas depuis une connexion domestique en Pologne.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 signatures, une adresse IP, 13 secondes)

Une fois cette série écartée, aucun bot d’OpenAI, d’Anthropic ou de Perplexity n’avait téléchargé llms.txt. J’ai également vérifié dans l’autre sens : j’ai pris les listes officielles d’adresses IP publiées par OpenAI et Perplexity et filtré les visites de llms.txt. Aucune requête ne provenait de ces adresses.

Les bots consultent le site, mais pas llms.txt

Les bots IA connaissent bien mon site. Sur les mêmes 13 jours :

* Requêtes provenant uniquement des plages IP officielles publiées par OpenAI et Perplexity. Les chiffres de ClaudeBot, Claude-User, GPTBot et Googlebot correspondent aux requêtes portant la signature du bot, sans vérification de l’adresse IP. Période : 24.10-5.11.2026, journaux serveur du site analysé.

OAI-SearchBot a consulté 3 484 URL différentes et PerplexityBot, 3 774. Tous deux récupèrent les pages depuis le plan du site et les liens, comme Googlebot. Pourquoi auraient-ils besoin d’un index dans llms.txt s’ils lisent directement les pages ?

Un détail m’a surpris. Sur les 19 921 requêtes d’OAI-SearchBot, seules 5 259 concernaient des pages. Le reste correspondait à des fichiers CSS, des scripts et à 7 364 appels à mes propres compteurs statistiques, qui ne se déclenchent que dans le navigateur. Conclusion : le robot du moteur de recherche de ChatGPT affiche les pages avec leur JavaScript. Si vous mesurez les clics avec votre propre script, filtrez-le : il gonfle les statistiques.

Qui consulte vraiment les pages à la demande des utilisateurs ?

Le cas le plus intéressant est ChatGPT-User. Cette signature apparaît lorsqu’une personne pose une question dans ChatGPT et que le modèle visite un site pour préparer sa réponse. En 13 jours, j’ai relevé 2 219 visites de ce type provenant d’adresses d’OpenAI, sur 790 pages différentes. En tête, après la page d’accueil (388 visites), figuraient : un article sur les dates des élections (56), un calendrier de l’IA (22), un article sur le prix de ChatGPT (18) et le comparatif ChatGPT Plus ou Pro (14).

Une tendance se dessine : le chat consulte un site lorsqu’une question porte sur une information précise et susceptible de changer, comme une date, un prix ou une comparaison de formules. J’ai observé la même chose dans les données de Bing, décrites dans mon article sur la façon dont Copilot cite le site analysé. Le modèle n’a pas besoin de mon résumé. Il a besoin d’une page où l’information à jour figure près du début, avec sa date de vérification.

Méfiez-vous des faux bots

Les journaux comptaient 540 requêtes signées Perplexity-User, mais aucune ne provenait d’une adresse de Perplexity. Elles cherchaient toutes des fichiers tels que /.env, /.env.production ou /config/gcp-credentials.json. Il s’agissait de scanners se faisant passer pour des bots IA, dans l’espoir que les administrateurs les laisseraient passer sans vérification. Sur les 2 782 visites portant la signature ChatGPT-User, 563 ne provenaient pas non plus d’OpenAI.

Conseil pratique : ne faites confiance à une requête sous prétexte que son user-agent indique « GPTBot ». Vérifiez l’adresse IP à l’aide de la liste officielle. Si vous ne pouvez pas le faire, considérez cette signature comme une simple déclaration, pas comme une preuve.

Ce que dit Google sur llms.txt

Dans son guide sur l’optimisation pour la recherche IA, Google indique qu’il n’est pas nécessaire de créer des fichiers dédiés à l’IA ou au format Markdown pour apparaître dans son moteur de recherche, y compris dans ses fonctionnalités génératives, car celui-ci ne les utilise pas. Le guide précise à part que vous pouvez maintenir un fichier llms.txt, mais qu’il n’améliorera ni ne réduira votre visibilité sur Google, qui l’ignore. Ce passage a été ajouté à la documentation en juin 2026 ; un an plus tôt, Gary Illyes, de Google, avait déjà tenu le même discours en public.

Les 4 visites de Googlebot sur llms.txt ne changent rien à ce constat. Googlebot télécharge toutes les URL qu’il trouve dans des liens : il est donc aussi passé par ce fichier.

Mon avis : je garde le fichier, sans y consacrer de budget

Je ne supprime pas llms.txt. Il est généré automatiquement, ne gêne personne et est consulté par des outils SEO et quelques petits robots d’exploration. Si OpenAI ou Anthropic commencent un jour à l’utiliser, il sera déjà prêt.

Mais si quelqu’un vous vend la « mise en place de llms.txt » comme un moyen d’être recommandé dans ChatGPT, vous payez trop cher. Dans mes journaux, ce fichier intéresse des outils d’audit, pas les modèles. Une heure passée à améliorer une page avec un prix, une date et une réponse dès le premier paragraphe sera plus utile.

Voici ce que les journaux indiquent sur les actions réellement utiles :

• Autorisez les bons bots. OAI-SearchBot et PerplexityBot contribuent à la présence dans les moteurs de recherche des assistants conversationnels. Si vous les bloquez dans robots.txt ou avec le pare-feu de votre hébergeur, votre site sort de leur index. L’autorisation de GPTBot, qui collecte des données d’entraînement, est une décision distincte.
• Un site rapide, sans blocages. ChatGPT-User consulte les pages à la demande, pendant une conversation. Si une page répond lentement ou affiche un écran de vérification demandant si vous êtes humain, elle ne sera tout simplement pas utilisée dans la réponse.
• Des informations précises et à jour. Les pages les plus souvent consultées par le chat répondaient à des questions sur une date, un prix ou la différence entre des formules. Le modèle ne dispose pas de ces informations dans sa mémoire et doit donc les récupérer.
• Mesurez plutôt que de deviner. Les journaux serveur sont gratuits et montrent quelles pages les bots consultent, y compris à la demande des utilisateurs.

Comment vérifier vos journaux

Il vous faut les journaux d’accès bruts de votre hébergement. Ils se trouvent généralement dans un dossier logs du panneau de contrôle ou sont disponibles au téléchargement sous forme d’archives. Pour commencer, trois commandes suffisent :

# 1. Qui télécharge llms.txt (adresse, date, signature)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. Nombre de requêtes des bots IA sur l'ensemble du site
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. Pages consultées par ChatGPT à la demande des utilisateurs
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Comparez ensuite les adresses IP aux listes d’OpenAI (fichiers chatgpt-user.json, searchbot.json et gptbot.json sur openai.com) et de Perplexity. Sans cette étape, vous compterez aussi les scanners, comme cela m’est arrivé lors de ma première analyse.

Cette mesure est la première étape de mon cours GEO : comment faire recommander une entreprise par ChatGPT. Il comprend 29 leçons : de la liste de questions posées par les clients d’un secteur à la vérification de l’accès des bots IA au site, puis à la création d’un rapport pour un client. Le cours est également inclus dans le pack kombAIn, avec 27 autres cours. Vous trouverez un aperçu d’autres formations dans le comparatif des cours sur l’IA. Le terme est expliqué dans le glossaire : GEO.

Sources et date de vérification

Journaux et fichiers vérifiés le 6.11.2026.

• Journaux d’accès du serveur du site analysé, du 24.10 au 5.11.2026 (1 832 096 requêtes), analyse personnelle
• Fichier llms.txt du site analysé - 230 lignes, 43 304 octets, 170 liens
• llmstxt.org - proposition llms.txt de Jeremy Howard, 3.09.2024
• Google Search Central - guide d’optimisation pour la recherche IA, passage sur llms.txt
• OpenAI - présentation des bots OAI-SearchBot, GPTBot et ChatGPT-User, et listes d’adresses IP
• Perplexity - présentation de PerplexityBot et Perplexity-User
• Anthropic - bots ClaudeBot, Claude-User et Claude-SearchBot
• Search Engine Roundtable, 24.07.2025 - Gary Illyes : Google ne prend pas en charge llms.txt

// lire la suiteProject Genie 3 et Genie 4 : ce qui change vraimentOutils d'IARay-Ban Meta : combien coûte vraiment une minute d’enregistrement ?MagazineOffice 2024 à 160 € ou gratuit : que perdez-vous vraiment ?Guides

Kinetyra