Aussi appelé : robot IA, bot IA, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, AI crawler
Un crawler IA télécharge des pages web comme le fait Googlebot pour la recherche classique. Chaque éditeur d’IA en utilise plusieurs, avec des rôles différents : collecte pour l’entraînement, indexation pour la recherche, ou lecture à la demande quand un utilisateur pose une question.
Les principaux crawlers IA
- OpenAI : GPTBot (entraînement), OAI-SearchBot (index de ChatGPT Search), ChatGPT-User (lecture à la demande).
- Anthropic : ClaudeBot (entraînement), Claude-SearchBot (recherche), Claude-User (lecture à la demande).
- Perplexity : PerplexityBot (indexation), Perplexity-User (lecture à la demande).
- Mistral AI : MistralAI-User. Google : Googlebot, plus le jeton Google-Extended qui règle l’usage des contenus pour entraîner Gemini. Microsoft : Bingbot, qui alimente aussi Copilot.
Pourquoi c’est important
Un robot bloqué ne lit rien, et une page non lue n’est jamais citée. Les blocages viennent souvent d’un robots.txt trop strict ou d’une protection anti-robots activée par défaut sur un CDN. Autre piège : la plupart de ces robots n’exécutent pas JavaScript (voir rendu JavaScript). Exemple : un site qui bloque OAI-SearchBot disparaît des sources de ChatGPT, qui cite pourtant au moins une source dans 93 % de ses réponses aux questions d’achat (Observatoire Archipel, juillet-octobre 2026).
Ce que fait Archipel pour votre référencement IA
Archipel contrôle l’accès de chaque crawler IA avec ses outils internes : robots.txt, pare-feu, codes de réponse, rendu sans JavaScript. Nous recommandons d’autoriser tous les robots de recherche et de lecture ; l’entraînement relève d’un choix de politique de contenu. Voir le volet technique.