CCBot
O CCBot é o robô da Common Crawl usado para o Common Crawl, um arquivo público da web usado para treinar muitos modelos de IA.
O que significa para o seu site
Recolhe páginas para treinar modelos. Bloqueá-lo não tira o site das respostas atuais, mas pode reduzir o que os modelos futuros sabem sobre a sua marca.
Deve permitir ou bloquear?
É uma decisão sua. Bloquear protege o conteúdo do treino de modelos; permitir ajuda os modelos a conhecer a marca. Não afeta diretamente a presença nas respostas com pesquisa.
Como permitir ou bloquear
Para permitir (no ficheiro robots.txt, na raiz do site):
User-agent: CCBot Allow: /
Para bloquear:
User-agent: CCBot Disallow: /
Qualquer pessoa pode usar o nome de um robô no user agent. Para confirmar que uma visita é verdadeira, compare o endereço IP com a lista publicada pela empresa. Bloqueios na CDN ou na firewall não aparecem no robots.txt.
Como saber se visita o seu site
O verificador de robots.txt mostra se este robô está autorizado. Com uma conta Neural Ranks, a página Robôs de IA do painel mostra quantas vezes cada robô visita o site e que páginas lê.
Veja onde a sua marca está na pesquisa por IA.
Indique o site, confirme os tópicos sugeridos e veja a primeira análise real nos 5 motores de IA. Grátis e sem cartão.