Claude-Web
Claude-Web est le robot de Anthropic utilisé pour un ancien nom utilisé par Anthropic, encore présent dans de nombreux robots.txt.
Ce que cela signifie pour votre site
C’est un ancien nom, remplacé par d’autres robots de la même entreprise. Il figure encore dans de nombreux robots.txt.
Faut-il l’autoriser ou le bloquer ?
Vous pouvez garder la règle existante. Vérifiez que les robots actuels de la même entreprise ont des règles cohérentes.
Comment l’autoriser ou le bloquer
Pour l’autoriser (dans le fichier robots.txt, à la racine du site) :
User-agent: Claude-Web Allow: /
Pour le bloquer :
User-agent: Claude-Web Disallow: /
N’importe qui peut utiliser le nom d’un robot dans le user agent. Pour confirmer qu’une visite est authentique, comparez l’adresse IP avec la liste publiée par l’entreprise. Les blocages au niveau du CDN ou du pare-feu n’apparaissent pas dans le robots.txt.
Comment savoir s’il visite votre site
Le vérificateur de robots.txt indique si ce robot est autorisé. Avec un compte Neural Ranks, la page Robots d’IA du tableau de bord montre combien de fois chaque robot visite le site et quelles pages il lit.
Découvrez où se situe votre marque dans la recherche par IA.
Indiquez votre site, confirmez les sujets proposés et voyez la première analyse réelle sur les 5 moteurs d’IA. Gratuit et sans carte bancaire.