En bref
- Autoriser un robot dans robots.txt ne lui ouvre pas la porte. Entre la règle et la page, un CDN ou un pare-feu, le vôtre ou celui de l’hébergeur, peut le refuser, parfois sans trace.
- Un visiteur qui s’annonce « GPTBot » n’est GPTBot que si son adresse IP figure dans les plages publiées par OpenAI. Les autres grands éditeurs publient aussi de quoi vérifier.
- Sur dotsland.com, 130 faux GPTBot cherchaient des fichiers de clés et de secrets, pendant que les robots d’Apple et d’Amazon, que nous invitons, étaient coupés par le pare-feu de l’hébergeur. Ils l’étaient encore le 13 octobre.
- Mesure du 13 octobre, sur 45 jours : GPTBot est revenu, avec 466 passages vérifiés et le dernier le 11 octobre, ClaudeBot compte 592 passages vérifiés, et chacun de nos articles publiés depuis plus d’une semaine a été lu par au moins un robot d’indexation IA vérifié.
- Notre propre contrôle s’est trompé sur Anthropic : il a classé comme usurpés des passages du vrai ClaudeBot, faute de vérifier contre la liste publiée par l’éditeur.
- La vérification tient dans un export de journaux : filtrer par robot, vérifier l’adresse, compter les codes de réponse, regarder les dates.
Les robots IA que vous autorisez dans robots.txt n’entrent pas forcément. Notre robots.txt autorise nommément vingt et un agents d’IA, et nos journaux serveur du 31 juillet au 12 septembre 2026 montrent que certains ne sont jamais entrés, que d’autres entraient sous un nom d’emprunt, et que le robot d’OpenAI qui lisait nos nouveaux articles en août s’est arrêté ensuite.
Six semaines de journaux ont contredit notre robots.txt
Le 12 septembre 2026, nous avons récupéré les journaux d’accès de dotsland.com, soit 111 113 lignes. robots.txt ouvert, plan du site à jour, fichier llms.txt en place : la question paraissait formelle. Nous avons comparé l’adresse de chaque passage aux plages de l’éditeur du robot, et pour Google, utilisé le DNS inverse, qui dit à quel domaine appartient une adresse.
Un nom de robot s’écrit en une ligne dans n’importe quel script, et des visiteurs s’en servent pour entrer à sa place. Sur 902 passages se réclamant de GPTBot, 772 venaient bien des adresses d’OpenAI. Les 130 autres ne laissaient aucun doute sur leurs intentions : ils demandaient des fichiers comme /secrets.json ou /id_rsa, où l’on range des clés d’accès. Du côté de Google, 197 des 579 passages annoncés comme Googlebot venaient d’adresses qui ne renvoyaient pas vers Google, soit environ un sur trois. Et quinze requêtes se réclamant de Perplexity tentaient d’atteindre une adresse interne de serveur, un motif d’attaque connu.
Notre contrôle s’est trompé, et c’est ce qui rend la méthode utile
Le 12 septembre, notre script a classé comme usurpés 385 passages se réclamant de ClaudeBot, venus le 13 août d’une même adresse hébergée chez Amazon. Faute d’avoir trouvé une liste d’Anthropic, nous avions vérifié l’adresse dans l’annuaire des réseaux, le whois. Cette liste existe pourtant, citée dans l’aide d’Anthropic, et l’adresse en cause figure dans l’une de ses plages : selon toute vraisemblance, c’était le vrai ClaudeBot. Même erreur sur Perplexity, que nous pensions muet et qui publie deux fichiers d’adresses. On vérifie contre la liste de l’éditeur, relue le jour du contrôle, jamais contre sa mémoire.
Autre piège, le plus flatteur : l’agent le plus présent dans nos journaux était Claude-User, envoyé à la demande d’un utilisateur de Claude. Une grande part de ces passages venait de nos propres sessions de travail, et ne mesurait donc aucune audience.
Les dates en disaient davantage que les totaux. GPTBot a lu nos nouveaux articles les 7, 12 et 17 août, un à cinq jours après leur publication. Puis plus rien : au 12 septembre, les douze articles parus depuis n’avaient pas été récupérés, alors que le robot était encore passé le 4 septembre. Au total, 767 passages vérifiés en août, 5 du 1er au 12 septembre. OAI-SearchBot, le robot de recherche d’OpenAI, passait tous les jours, mais 53 de ses 76 passages de septembre portaient sur robots.txt. Sur une autre fenêtre, du 31 août au 24 septembre, nous n’avons compté que quatre lectures de notre llms.txt par un robot d’OpenAI vérifié, comme nous l’avons publié dans ce que llms.txt v2 change.
Mise à jour du 13 octobre 2026 Nous avons rejoué le contrôle sur les 45 derniers jours de journaux, du 29 août au 13 octobre, soit 92 543 lignes. GPTBot s’était arrêté en septembre : il est revenu, avec 466 passages vérifiés et un dernier passage le 11 octobre. OAI-SearchBot en compte 679, ClaudeBot 592. Au 13 octobre, aucun de nos articles publiés ou modifiés depuis plus de sept jours n’avait échappé à un robot d’indexation IA vérifié. Une erreur restait à corriger chez nous : notre article décrivait déjà la plage d’Anthropic oubliée, mais notre script, lui, l’ignorait encore et a d’abord classé 670 passages de ClaudeBot comme usurpés. Il lit désormais la liste publiée par Anthropic à chaque contrôle. Les robots d’Apple, d’Amazon et de Diffbot, eux, sont toujours coupés par le pare-feu de l’hébergeur.
Pourquoi un robot IA autorisé dans robots.txt peut-il rester dehors ?
robots.txt est une pancarte posée à l’entrée, lue par les robots qui le veulent bien. Elle ne commande rien à votre infrastructure. Avant d’atteindre votre page, une requête traverse souvent plusieurs couches : un CDN s’il y en a un, un pare-feu applicatif, et chez certains hébergeurs une protection anti-robots commune à tous leurs clients. Chacune applique ses propres règles, décidées ailleurs que dans votre robots.txt, et peut refuser un robot que celui-ci accueille.
Un refus en 403 laisse au moins une ligne dans vos journaux. Chez nous, le pare-feu de l’hébergeur coupait la connexion sans répondre du tout, sans code de réponse ni ligne dans le journal du site. Toute requête dont l’identifiant contenait « Applebot », « Amazonbot » ou « Diffbot » était éconduite, alors que la même requête sans ce mot passait. Notre robots.txt les invitait depuis l’été : aucun passage en six semaines, et aucun signal. Rejouées le 30 septembre puis le 13 octobre, ces requêtes sont toujours coupées, et la levée relève de l’hébergeur. C’est la même famille de panne qu’un tracking qui ment en silence : rien ne casse à l’écran, la donnée manque.
Voici, pour chaque couche, ce qu’elle décide et ce qu’elle laisse hors de votre vue.
| Couche | Ce qu’elle fait | Ce qu’elle ne vous dit pas |
|---|---|---|
| robots.txt | Indique aux robots qui le respectent ce qu’ils peuvent lire. Les agents déclenchés par un utilisateur peuvent l’ignorer | Si le robot est réellement entré, et si c’était bien lui |
| Règle de votre CDN | Autorise, bloque ou soumet à un défi les robots, souvent par catégories réglées une fois pour toutes | Ce qu’elle a refusé, tant que vous n’ouvrez pas son journal d’événements |
| Pare-feu applicatif, protection de l’hébergeur | Filtre les requêtes selon des signatures, parfois sur le seul nom du robot | Rien du tout quand il coupe la connexion sans répondre, le cas que nous avons vécu |
| Journaux d’accès | Montrent qui est venu, depuis quelle adresse, avec quel code de réponse et quel jour | Qui a été arrêté avant d’atteindre le serveur |
| Test en rejouant l’identifiant | Révèle en une commande qu’une couche refuse un nom | Si le vrai robot, depuis ses vraies adresses, est traité de la même façon |
Les familles de robots d’IA à chercher dans vos journaux
Chaque éditeur d’IA envoie plusieurs robots. Leur documentation permet, à notre lecture, de les ranger par famille, ce qui dit lesquels chercher et comment lire leurs passages.
GPTBot chez OpenAI et ClaudeBot chez Anthropic sont des robots d’entraînement : ils collectent des contenus qui peuvent servir à entraîner les modèles. Amazonbot aussi, et Applebot alimente en plus la recherche de Siri, de Spotlight et de Safari. OpenAI précise que ses réglages sont indépendants : refuser GPTBot ne vous retire pas de sa recherche.
OAI-SearchBot, Claude-SearchBot et PerplexityBot sont des robots de recherche : ils font apparaître des sites dans les résultats de recherche de ChatGPT, de Claude et de Perplexity, qui précise que le sien ne sert pas à entraîner des modèles. À notre lecture, ce sont eux qui comptent le plus pour être cité dans une réponse. Être lu n’en est que la première condition : la citation se joue ensuite, pour une bonne part, sur ce que d’autres écrivent de vous, comme le montre notre audit de citabilité.
ChatGPT-User, Claude-User et Perplexity-User sont des agents déclenchés par un utilisateur : ils vont chercher une page parce qu’une personne l’a demandé. Selon OpenAI, les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User ; Perplexity et Google écrivent que leurs agents de ce type les ignorent généralement. Anthropic écrit que ses robots respectent robots.txt. Ces passages mesurent l’usage d’une personne, pas l’intérêt d’un moteur.
Deux noms fréquents dans les robots.txt ne sont pas des robots. Google-Extended et Applebot-Extended sont des jetons qui disent si le contenu peut servir à l’IA de Google ou d’Apple. Google précise que Google-Extended n’a pas de user-agent propre, Apple qu’Applebot-Extended n’explore aucune page. Vous ne les verrez jamais dans vos journaux, et c’est normal.
Quelles règles du robots.txt affectent votre visibilité IA, et comment les écrire ?
La réponse dépend de ce que vous voulez obtenir, et les réglages sont indépendants : OpenAI précise que refuser GPTBot ne vous retire pas de sa recherche. Trois décisions, à prendre séparément.
| Votre objectif | Les noms concernés | Ce qu’il faut écrire |
|---|---|---|
| Être cité dans les réponses des moteurs IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Les autoriser |
| Refuser que vos contenus servent à entraîner des modèles | GPTBot, ClaudeBot, et les jetons Google-Extended et Applebot-Extended | Les refuser, sans effet sur les robots de recherche |
| Bloquer les lectures demandées par un utilisateur | ChatGPT-User, Claude-User, Perplexity-User | Robots.txt ne suffit pas toujours : selon leurs éditeurs, plusieurs de ces agents peuvent l’ignorer |
Chez Dotsland, nous autorisons tout : nos articles sont faits pour être lus et cités. Une marque qui protège des contenus à forte valeur peut faire l’inverse sur l’entraînement sans renoncer à la recherche. Voici un exemple de bloc qui accueille la recherche et refuse l’entraînement :
# Recherche des moteurs IA : bienvenue
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /wp-admin/
# Entraînement des modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /Un piège revient souvent. La norme de robots.txt, la RFC 9309, prévoit qu’un robot suit le groupe qui porte son nom, et ne se replie sur le groupe User-agent: * qu’en l’absence d’un tel groupe. Dès que vous nommez un robot, les interdictions générales écrites pour tous ne s’appliquent donc plus à lui : c’est pourquoi l’exemple répète Disallow: /wp-admin/ dans le groupe des robots de recherche. Relisez vos groupes nommés après chaque modification.
Comment vérifier vos robots, un par un ?
Pour savoir où vous en êtes
Parmi les robots que votre robots.txt nomme, lesquels apparaissent au moins une fois dans vos journaux du mois ? Pour le plus fréquent d’entre eux, quelle part de ses passages vient de ses adresses officielles ? Et votre dernier article, quel robot vérifié l’a lu, et combien de jours après sa publication ? Si vous ne pouvez répondre à aucune de ces questions, commencez par demander l’export de vos journaux à votre hébergeur.
Pour y répondre, nous appliquons la méthode suivante, avec un éditeur de texte ou un tableur.
- Récupérez trente jours de journaux d’accès dans votre espace client ou auprès du support de votre hébergeur. Archivez-les aussitôt : chez le nôtre, l’archive d’août, lue le 12 septembre, n’existait plus le 24.
- Filtrez par nom de robot. Cherchez au minimum GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Applebot et Amazonbot. Mettez à part les agents déclenchés par un utilisateur.
- Vérifiez l’adresse de chaque passage. OpenAI, Anthropic, Perplexity, Google, Apple et Amazon publient les leurs, liens en sources. Pour Google, le DNS inverse puis la résolution du nom obtenu doivent redonner la même adresse, ou l’adresse doit figurer dans ses fichiers de plages. Un passage hors plage est un faux jusqu’à preuve du contraire. Si tout un robot tombe hors plage, relisez d’abord la liste, et notez laquelle a servi et de quand elle date.
- Comptez les codes de réponse, robot vérifié par robot vérifié. 200, la page a été servie. 403, le serveur a compris et refuse. 429, le robot a envoyé trop de requêtes et il est freiné. 503, le serveur se dit indisponible pour l’instant. Un vrai robot qui accumule des 403 ou des 429 est arrêté par une couche que robots.txt ne commande pas.
- Cherchez les absents. Pour un robot invité qui n’apparaît jamais, rejouez son identifiant, par exemple avec
curl -I -A "Applebot" https://votre-site.fr/, puis la même commande avec un autre nom. Une connexion coupée sans réponse désigne une protection en amont du site. Ce test porte sur le nom seulement : les journaux disent ce que le vrai robot, depuis ses vraies adresses, a reçu. - Regardez les dates, pas les totaux. Pour chaque article récent, notez le premier passage d’un robot vérifié et le délai depuis la publication, et gardez cet historique d’un mois sur l’autre. C’est ainsi que nous avons vu GPTBot s’arrêter malgré un total d’août flatteur.
Un blocage se lève dans la couche qui l’a posé
La politique d’accès d’un site s’écrit à plusieurs endroits qui ne se parlent pas, et une règle de CDN réglée par un prestataire ou une protection commune à tous les clients d’un hébergeur peut contredire ce que l’entreprise a décidé dans son robots.txt. Le correctif se demande donc à la couche qui refuse. Pour un vrai robot qui accumule des 403 ou des 429, ouvrez le journal d’événements du CDN ou du pare-feu applicatif et cherchez la règle qui le vise. Pour une connexion coupée sans réponse, écrivez au support de l’hébergeur avec la commande de test et son résultat.
Une fois la règle changée, rejouez la commande, puis vérifiez dans les journaux du mois suivant que le vrai robot, depuis ses adresses, reçoit bien des 200 et lit vos nouveaux articles.
Si vous préférez ne pas mener ce contrôle seul, nous pouvons lire avec vous les journaux de votre serveur et les réglages de votre CDN, puis trouver la couche qui arrête les robots que vous invitez. Demandez une séance de lecture : elle relève de notre expertise data et analytics.
Sources
Chaque source a été ouverte le 30 septembre 2026, jour où nous avons aussi rejoué nos tests d’accès.
- OpenAI, « Overview of OpenAI Crawlers », et fichiers de plages d’adresses de GPTBot, OAI-SearchBot et ChatGPT-User. Consulter
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », Claude Help Center. Consulter
- Anthropic, liste des adresses de ses robots, fichier daté du 18 août 2026. Consulter
- Perplexity, « Perplexity Crawlers », avec les fichiers d’adresses de PerplexityBot et de Perplexity-User. Consulter
- Google, « Verify Requests from Google Crawlers and Fetchers », mis à jour le 20 mars 2026. Consulter
- Google, « Google’s common crawlers », section Google-Extended, mis à jour le 14 juillet 2026. Consulter
- Google, « Google User-Triggered Fetchers », mis à jour le 19 août 2026. Consulter
- Apple, « About Applebot », 4 septembre 2026. Consulter
- Amazon, « About AmazonBot ». Consulter
- IETF, RFC 9110, « HTTP Semantics », codes 403 et 503, et RFC 6585, « Additional HTTP Status Codes », code 429. Consulter
- IETF, RFC 9309, « Robots Exclusion Protocol », section 2.2.1 (groupe applicable à un robot), lue le 13 octobre 2026. Consulter
FAQ
Faut-il bloquer les robots d’entraînement et garder les robots de recherche ?
C’est possible chez OpenAI, qui précise que chaque réglage est indépendant, et chez Google, où Google-Extended n’a aucun effet sur votre présence dans la recherche ni sur votre classement. La décision dépend de votre modèle. À notre avis, pour une PME qui vend des produits ou des services, être lu par les robots de recherche compte davantage que le reste. Dans tous les cas, vérifiez ensuite dans vos journaux que la règle produit l’effet voulu.
Pourquoi ChatGPT a-t-il lu ma page alors que robots.txt bloque ses robots ?
Probablement parce qu’un utilisateur le lui a demandé. ChatGPT-User, Perplexity-User et les récupérateurs de Google déclenchés par un utilisateur sont documentés comme pouvant ignorer robots.txt. Vérifiez l’adresse du passage : si elle figure dans la liste de l’éditeur, c’était bien son agent, envoyé à la demande de quelqu’un.
Bloquer les adresses IP d’un robot est-il plus sûr que robots.txt ?
Pas forcément. Anthropic prévient qu’un blocage par adresse peut ne pas garantir un retrait durable, parce qu’il empêche aussi son robot de lire votre robots.txt. Et les plages changent : la liste d’Anthropic que nous avons lue datait du 18 août 2026. Le fichier robots.txt reste l’outil prévu pour exprimer votre choix, les journaux servent à vérifier qu’il est respecté.