llms.txt : comment votre site apparaît-il dans les réponses de ChatGPT, Claude et Perplexity ?

llms.txt est une proposition de fichier, placé à la racine de votre site, qui résume ce site au format Markdown à l’intention des systèmes d’intelligence artificielle. Ce n’est pas une norme officielle, et rien ne garantit que les entreprises d’IA liront ce fichier. Ce qui détermine concrètement si votre site apparaît dans les réponses de ChatGPT, Claude ou Perplexity, c’est la capacité des robots d’exploration de ces entreprises à accéder à vos pages et à lire les informations qu’elles contiennent. Cet accès est régi par votre fichier robots.txt et, si vous en utilisez un, par les réglages anti-bots de votre CDN.

Qu’est-ce que llms.txt ?

llms.txt est une proposition publiée par Jeremy Howard le 3 septembre 2024 sur le site llmstxt.org. La page indique que la proposition a été mise à jour le 10 août 2026 et qu’il s’agit de sa deuxième version. L’objectif : permettre aux modèles de langage d’accéder rapidement aux informations essentielles d’un site sans avoir à traiter des pages HTML complexes.

Selon la proposition, le fichier se trouve à l’adresse /llms.txt et est rédigé en Markdown. Sa structure est la suivante, dans cet ordre :

1. Une ligne # Titre portant le nom du site ou du projet. C’est la seule section obligatoire de la proposition.
2. Un bloc de citation commençant par >, qui donne un bref résumé du site.
3. Des paragraphes de description libres, facultatifs.
4. Sous des titres ## Nom de la section, des listes de liens vers les pages importantes. Une courte description peut accompagner chaque lien.
5. Par convention, une section nommée ## Optional, réservée aux informations secondaires.

La proposition recommande également de proposer une version Markdown propre des pages importantes à la même adresse, en y ajoutant l’extension .md.

Est-il pris en charge ?

llmstxt.org indique qu’OpenAI, Anthropic et Gemini publient un fichier llms.txt pour leur propre documentation de développement. Mais qu’une entreprise publie ce fichier pour sa propre documentation ne signifie pas que ses robots lisent les fichiers llms.txt des autres sites. Les pages consacrées aux robots d’OpenAI, d’Anthropic et de Perplexity, que nous citons en sources ci-dessous, ne contiennent aucun engagement selon lequel ces entreprises utiliseraient le fichier llms.txt des sites.

Considérez donc llms.txt comme un complément simple à préparer et sans risque. Les informations essentielles de votre site doivent rester lisibles sur vos pages elles-mêmes.

Robots d’IA : entraînement, recherche et requête de l’utilisateur

Les entreprises d’IA ne visitent pas votre site avec un seul robot. Selon leur documentation officielle, OpenAI comme Anthropic explorent le web sous des noms différents (user-agent) selon l’objectif poursuivi. Perplexity sépare lui aussi l’index de recherche et les requêtes des utilisateurs entre deux robots distincts.

Concrètement, cette distinction signifie que vous pouvez refuser que votre contenu serve à entraîner des modèles tout en souhaitant que votre site apparaisse comme source lorsqu’un utilisateur interroge ChatGPT ou Claude sur votre secteur. Ces deux choix se gèrent indépendamment l’un de l’autre.

• OpenAI indique que OAI-SearchBot sert à faire apparaître les sites dans les fonctionnalités de recherche de ChatGPT, et GPTBot à explorer les contenus susceptibles d’être utilisés pour l’entraînement de ses modèles de fondation ; chaque réglage est indépendant des autres. OpenAI précise aussi que, ChatGPT-User étant déclenché par une action de l’utilisateur, les règles de robots.txt peuvent ne pas s’y appliquer.
• Anthropic précise que bloquer ClaudeBot est interprété comme une demande d’exclure le contenu futur de votre site de ses jeux de données d’entraînement, et que bloquer Claude-SearchBot et Claude-User peut réduire la visibilité de votre site dans les réponses de recherche. Selon Anthropic, ses trois robots respectent les règles de robots.txt.
• Perplexity indique que PerplexityBot sert à faire apparaître les sites dans ses résultats de recherche et ne collecte pas de contenu pour l’entraînement de modèles de fondation. Perplexity-User, qui agit à la demande d’un utilisateur, ne tient généralement pas compte des règles de robots.txt.

Comment les contrôler avec robots.txt ?

robots.txt est un fichier texte placé à la racine de votre site, qui indique aux robots quels chemins ils peuvent explorer. Les règles s’écrivent par nom de user-agent. Par exemple, un choix fermé à l’entraînement des modèles mais ouvert à la recherche peut s’exprimer ainsi :

• User-agent: GPTBot suivi de Disallow: /
• User-agent: ClaudeBot suivi de Disallow: /
• User-agent: OAI-SearchBot suivi de Allow: /
• User-agent: Claude-SearchBot suivi de Allow: /

Il ne s’agit pas d’une recommandation, seulement d’un exemple de syntaxe : les robots que vous autorisez relèvent de vos choix d’entreprise. Quelques points d’attention :

• Anthropic précise que robots.txt doit être configuré séparément pour chaque sous-domaine que vous souhaitez bloquer. Si vous avez des sous-domaines www et blog, vérifiez les deux.
• Anthropic déconseille le blocage par adresse IP : cette méthode empêche aussi le robot de lire votre fichier robots.txt et ne garantit donc pas que votre choix sera appliqué durablement.
• Comme vous l’avez vu plus haut, certains robots agissant à la demande d’un utilisateur peuvent ne pas respecter robots.txt. Voyez donc robots.txt comme une déclaration de préférence, et non comme un verrou d’accès.

Vérifiez les réglages anti-bots de votre CDN

Si votre site est servi derrière un CDN, un robot que vous autorisez dans robots.txt peut être bloqué au niveau du CDN. Cloudflare, par exemple, propose de bloquer les robots d’IA en les répartissant en trois groupes selon leur comportement :

• Search : les robots qui collectent ou indexent votre contenu pour répondre ultérieurement à des questions.
• Agent : l’activité automatisée qui agit en temps réel pour le compte d’une personne, par exemple les robots des assistants conversationnels qui récupèrent des pages et les agents qui utilisent un navigateur.
• Training : les robots qui récupèrent votre contenu pour entraîner ou affiner un modèle ; les robots à double usage, servant à la fois à l’entraînement et à la recherche, entrent aussi dans ce groupe.

Selon la documentation de Cloudflare, vous pouvez choisir pour chaque groupe entre un blocage sur toutes les pages, un blocage uniquement sur les pages affichant de la publicité, ou aucun blocage. Si vous utilisez un autre CDN ou un autre pare-feu, vérifiez dans la documentation de votre fournisseur s’il existe un réglage similaire. L’essentiel est que votre choix dans robots.txt et le réglage de votre CDN ne se contredisent pas.

Liste de contrôle rapide

1. Gardez les informations essentielles lisibles dans le HTML. Ce que vous vendez, à qui vous vous adressez, votre approche tarifaire et vos coordonnées doivent figurer dans le texte de la page. Un texte présent uniquement dans une image, ou chargé en JavaScript après l’affichage de la page, peut ne pas être lu par tous les robots.
2. Ayez une page de présentation claire. Le premier paragraphe de votre page « À propos » ou de votre page produit doit décrire correctement votre entreprise en deux ou trois phrases. Les assistants d’IA se prêtent bien à la citation de ce type de phrases nettes.
3. Lisez votre fichier robots.txt. Ouvrez l’adresse votredomaine.com/robots.txt dans votre navigateur et vérifiez qu’aucune ligne ne bloque involontairement tous les robots, ou l’un des robots ci-dessus.
4. Vérifiez les réglages de votre CDN et de votre pare-feu. Si un blocage des robots d’IA est activé, assurez-vous qu’il s’agit d’un choix délibéré.
5. Ajoutez llms.txt, si vous le souhaitez. Un fichier simple contenant le nom de votre site, un bref résumé et les liens vers vos pages les plus importantes suffit. Veillez à ce qu’il reste à jour et ne contredise pas vos pages.
6. Observez le résultat. Suivez les robots qui visitent votre site dans les journaux de votre serveur ou avec un outil d’analyse de trafic. Un robot qui n’exécute pas JavaScript n’apparaît pas dans les compteurs de visites fonctionnant uniquement dans le navigateur ; les journaux côté serveur sont donc une source plus fiable.