Votre site laisse-t-il entrer l’IA ?
Indiquez le domaine. Nous lisons le robots.txt et montrons quels robots d’IA sont autorisés ou bloqués, et si vous avez un sitemap et un llms.txt.
Les robots d’IA que nous vérifions.
Bloquer les robots d’entraînement ne retire pas le site des réponses. Bloquer les robots de recherche, si.
| Robot | Entreprise | À quoi il sert |
|---|---|---|
GPTBot | OpenAI | Entraînement de modèles |
OAI-SearchBot | OpenAI | Recherche et réponses par IA |
ChatGPT-User | OpenAI | Visites demandées par les utilisateurs |
ClaudeBot | Anthropic | Entraînement de modèles |
Claude-SearchBot | Anthropic | Recherche et réponses par IA |
Claude-User | Anthropic | Visites demandées par les utilisateurs |
PerplexityBot | Perplexity | Recherche et réponses par IA |
Perplexity-User | Perplexity | Visites demandées par les utilisateurs |
Googlebot | Recherche et réponses par IA | |
Google-Extended | Entraînement de modèles | |
Bingbot | Microsoft | Recherche et réponses par IA |
Applebot-Extended | Apple | Entraînement de modèles |
Amazonbot | Amazon | Recherche et réponses par IA |
meta-externalagent | Meta | Entraînement de modèles |
CCBot | Common Crawl | Entraînement de modèles |
Bytespider | ByteDance | Entraînement de modèles |
Entraînement, recherche et visites : ce n’est pas la même chose
Chaque entreprise d’IA utilise plusieurs robots. Ceux d’entraînement, comme GPTBot, ClaudeBot et Google-Extended, collectent du contenu pour entraîner des modèles. Ceux de recherche, comme OAI-SearchBot, Claude-SearchBot et PerplexityBot, lisent des pages pour répondre et citer des sources. Ceux d’utilisateur, comme ChatGPT-User, ouvrent une page à la demande de quelqu’un.
Pour apparaître dans les réponses, l’essentiel est de ne pas bloquer les robots de recherche et d’utilisateur, ni Googlebot et Bingbot, qui alimentent les AI Overviews, Copilot et la recherche de ChatGPT. Bloquer uniquement les robots d’entraînement est un choix légitime qui ne réduit généralement pas la présence dans les réponses.
Comment corriger un blocage
Dans le fichier robots.txt, à la racine du site, ajoutez un groupe pour le robot et une ligne Allow: /. Par exemple : User-agent: OAI-SearchBot suivi de Allow: /. Vérifiez aussi que votre CDN ou votre pare-feu ne bloque pas ces robots, car ce blocage n’apparaît pas dans le robots.txt.
Cet outil lit uniquement le robots.txt public et utilise la page d’accueil comme chemin de test. Il ne détecte pas les blocages effectués par un pare-feu, un CDN ou le serveur.
Découvrez où se situe votre marque dans la recherche par IA.
7 jours gratuits, sans carte bancaire. Votre analyse, vos concurrents et un exemple de plan d’action.