Entrar
Robôs de IA · Treino de modelos

CCBot

O CCBot é o robô da Common Crawl usado para o Common Crawl, um arquivo público da web usado para treinar muitos modelos de IA.

O que significa para o seu site

Recolhe páginas para treinar modelos. Bloqueá-lo não tira o site das respostas atuais, mas pode reduzir o que os modelos futuros sabem sobre a sua marca.

Deve permitir ou bloquear?

É uma decisão sua. Bloquear protege o conteúdo do treino de modelos; permitir ajuda os modelos a conhecer a marca. Não afeta diretamente a presença nas respostas com pesquisa.

Como permitir ou bloquear

Para permitir (no ficheiro robots.txt, na raiz do site):

User-agent: CCBot
Allow: /

Para bloquear:

User-agent: CCBot
Disallow: /

Qualquer pessoa pode usar o nome de um robô no user agent. Para confirmar que uma visita é verdadeira, compare o endereço IP com a lista publicada pela empresa. Bloqueios na CDN ou na firewall não aparecem no robots.txt.

Como saber se visita o seu site

O verificador de robots.txt mostra se este robô está autorizado. Com uma conta Neural Ranks, a página Robôs de IA do painel mostra quantas vezes cada robô visita o site e que páginas lê.

Verificar o meu robots.txt

Experimente a Neural Ranks

Veja onde a sua marca está na pesquisa por IA.

Indique o site, confirme os tópicos sugeridos e veja a primeira análise real nos 5 motores de IA. Grátis e sem cartão.