Aussi appelé : robots.txt, robots.txt IA, bloquer GPTBot, Google-Extended
Le robots.txt est un fichier texte public (exemple : votre-site.fr/robots.txt) qui indique aux robots ce qu’ils peuvent explorer. Le protocole est standardisé depuis 2022. Avec l’arrivée des crawlers IA, il sert aussi à choisir ce que l’on ouvre aux éditeurs d’IA.
Comment l’écrire pour les IA
Chaque robot est visé par son user-agent. Par exemple, autoriser la recherche de ChatGPT mais refuser l’entraînement s’écrit : User-agent: OAI-SearchBot puis Allow: /, et User-agent: GPTBot puis Disallow: /. Le jeton Google-Extended contrôle l’usage de vos contenus pour l’entraînement de Gemini, sans effet sur Google Search ni sur AI Overviews. Le robots.txt est une consigne, pas une barrière technique : les robots sérieux la respectent.
Pourquoi c’est important
Une seule ligne trop large, comme un Disallow: / pour tous les robots hérité d’une préproduction, suffit à faire disparaître un site des réponses de ChatGPT, Claude ou Perplexity. Exemple fréquent : une marque bloque « tous les robots d’IA » par prudence, sans voir qu’elle bloque aussi ceux qui citent les sources. Or 93 % des réponses de ChatGPT aux questions d’achat citent au moins une source (Observatoire Archipel, juillet-octobre 2026).
Ce que fait Archipel
Archipel audite le robots.txt et les règles du CDN de chaque client, puis livre les corrections, appliquées par nos soins ou en consignes à votre développeur. Voir le volet technique.