O seu site deixa a IA entrar?
Indique o domínio. Lemos o robots.txt e mostramos que robôs de IA estão autorizados ou bloqueados, e se tem sitemap e llms.txt.
Que robôs de IA verificamos.
Bloquear robôs de treino não tira o site das respostas. Bloquear robôs de pesquisa, sim.
| Robô | Empresa | Para que serve |
|---|---|---|
GPTBot | OpenAI | Treino de modelos |
OAI-SearchBot | OpenAI | Pesquisa e respostas com IA |
ChatGPT-User | OpenAI | Visitas pedidas por utilizadores |
ClaudeBot | Anthropic | Treino de modelos |
Claude-SearchBot | Anthropic | Pesquisa e respostas com IA |
Claude-User | Anthropic | Visitas pedidas por utilizadores |
PerplexityBot | Perplexity | Pesquisa e respostas com IA |
Perplexity-User | Perplexity | Visitas pedidas por utilizadores |
Googlebot | Pesquisa e respostas com IA | |
Google-Extended | Treino de modelos | |
Bingbot | Microsoft | Pesquisa e respostas com IA |
Applebot-Extended | Apple | Treino de modelos |
Amazonbot | Amazon | Pesquisa e respostas com IA |
meta-externalagent | Meta | Treino de modelos |
CCBot | Common Crawl | Treino de modelos |
Bytespider | ByteDance | Treino de modelos |
Treino, pesquisa e visitas: não são a mesma coisa
Cada empresa de IA usa vários robôs. Os de treino, como GPTBot, ClaudeBot e Google-Extended, recolhem conteúdo para treinar modelos. Os de pesquisa, como OAI-SearchBot, Claude-SearchBot e PerplexityBot, leem páginas para responder e citar fontes. Os de utilizador, como ChatGPT-User, abrem uma página quando alguém pede ao assistente.
Para aparecer nas respostas, o essencial é não bloquear os robôs de pesquisa e de utilizador, nem o Googlebot e o Bingbot, que alimentam as AI Overviews, o Copilot e a pesquisa do ChatGPT. Bloquear só os robôs de treino é uma decisão legítima e não costuma reduzir a presença nas respostas.
Como corrigir um bloqueio
No ficheiro robots.txt, na raiz do site, acrescente um grupo para o robô e uma linha Allow: /. Por exemplo: User-agent: OAI-SearchBot seguido de Allow: /. Confirme também que a sua CDN ou firewall não bloqueia estes robôs, porque esse bloqueio não aparece no robots.txt.
Esta ferramenta lê só o robots.txt público e a página inicial como caminho de teste. Não deteta bloqueios feitos por firewall, CDN ou pelo servidor.
Veja onde a sua marca está na pesquisa por IA.
7 dias grátis, sem cartão. A sua análise, os seus concorrentes e um exemplo de plano de ação.