CCBot
CCBot es el rastreador de Common Crawl que se usa para Common Crawl, un archivo público de la web usado para entrenar muchos modelos de IA.
Qué significa para su web
Recoge páginas para entrenar modelos. Bloquearlo no saca la web de las respuestas actuales, pero puede reducir lo que los modelos futuros saben de su marca.
¿Conviene permitirlo o bloquearlo?
Es decisión suya. Bloquearlo protege el contenido del entrenamiento de modelos; permitirlo ayuda a que los modelos conozcan la marca. No afecta directamente a la presencia en las respuestas con búsqueda.
Cómo permitirlo o bloquearlo
Para permitirlo (en el archivo robots.txt, en la raíz de la web):
User-agent: CCBot Allow: /
Para bloquearlo:
User-agent: CCBot Disallow: /
Cualquiera puede usar el nombre de un rastreador en el user agent. Para confirmar que una visita es real, compare la dirección IP con la lista publicada por la empresa. Los bloqueos en la CDN o el firewall no aparecen en el robots.txt.
Cómo saber si visita su web
El verificador de robots.txt muestra si este rastreador está autorizado. Con una cuenta de Neural Ranks, la página Rastreadores de IA del panel muestra cuántas veces visita la web cada rastreador y qué páginas lee.
Descubra dónde está su marca en la búsqueda con IA.
Indique su web, confirme los temas sugeridos y vea el primer análisis real en los 5 motores de IA. Gratis y sin tarjeta.