Resposta rápida: Desde 15 de setembro de 2026, a Cloudflare descontinuou o antigo controle genérico "Block AI Bots" e passou a separar crawlers de IA em três categorias: treinamento, busca e agentes. Bots de treinamento e de agentes agora são bloqueados por padrão em páginas com anúncios, enquanto crawlers de uso misto — como Googlebot, Bingbot e Applebot, que fazem tanto busca quanto tarefas relacionadas a IA — são avaliados pelo conjunto do comportamento, em vez de bloqueados por completo. Para quem depende de citações em respostas de IA, a mudança reforça a importância de configurar o robots.txt com precisão: bloquear crawlers de treinamento (como GPTBot e Google-Extended) sem impedir o acesso de crawlers de busca de IA (como OAI-SearchBot e PerplexityBot), que são os que geram elegibilidade para citação.
O robots.txt genérico — permitir tudo ou bloquear tudo — está cada vez mais inadequado para quem quer aparecer em respostas de IA sem abrir mão do controle sobre como seu conteúdo é usado. A mudança de política da Cloudflare em 15 de setembro de 2026 torna essa distinção praticamente obrigatória para uma parcela relevante da web.
O que mudou: do bloqueio genérico à separação por finalidade
Até então, o controle "Block AI Bots" da Cloudflare tratava crawlers de IA como um bloco único. A partir de 15 de setembro de 2026, esse controle foi descontinuado em favor de uma abordagem mais granular: bots de treinamento (como GPTBot, Google-Extended e ClaudeBot) e bots de agentes passaram a ser bloqueados por padrão em páginas que exibem anúncios. Já os crawlers de uso misto — que combinam busca, treinamento e função de agente, caso de Googlebot, Bingbot e Applebot — não são bloqueados de forma automática, mas avaliados pelo conjunto do comportamento.
Content-Signal: sinalizando intenção diretamente no robots.txt
Complementando a separação por tipo de crawler, o robots.txt de produção passa a poder incluir diretivas Content-Signal — como ai-train=no, search=yes e ai-input=yes — que declaram explicitamente a intenção do site: permitir que o conteúdo seja indexado e citado em respostas de IA, mas recusar seu uso para treinar novos modelos. Essa configuração, batizada de "Disallow AI Training", evita o efeito colateral mais comum de bloqueios genéricos: desaparecer também da busca tradicional e da elegibilidade para citação em IA ao tentar apenas proteger o conteúdo do treinamento.
Por que isso importa: o volume de tráfego de busca por IA está crescendo rápido
O volume de visitas provenientes de busca por IA saltou de 15,6 bilhões para 27,4 bilhões entre o primeiro trimestre de 2025 e o mesmo período de 2026 — um crescimento de 42,8% ano a ano. Nesse contexto, bloquear indiscriminadamente qualquer bot com "AI" no nome pode significar abrir mão de uma fatia de tráfego que já supera, em alguns nichos, o volume vindo de busca tradicional.
O que fazer na prática
Para sites que já configuram GEO como parte da estratégia de conteúdo, a recomendação é auditar o robots.txt distinguindo três grupos: crawlers de treinamento (bloquear, se a política do site for essa), crawlers de busca de IA como OAI-SearchBot e Claude-SearchBot (manter liberados, já que são os que tornam o site elegível para citação) e crawlers de uso misto (avaliar caso a caso, considerando que bloqueá-los por completo também pode afetar a indexação tradicional). Revisar essa configuração deixou de ser uma tarefa pontual e passou a ser parte da manutenção regular de qualquer estratégia de GEO.
Perguntas frequentes
O que mudou na política da Cloudflare em 15 de setembro de 2026?
O controle genérico "Block AI Bots" foi descontinuado. Bots de treinamento e de agentes de IA passaram a ser bloqueados por padrão em páginas com anúncios, enquanto crawlers de uso misto são avaliados pelo comportamento, não bloqueados automaticamente.
O que são as diretivas Content-Signal no robots.txt?
São sinalizações como ai-train=no, search=yes e ai-input=yes que declaram explicitamente se o conteúdo pode ser usado para treinamento de IA, indexado em buscas ou usado como insumo para respostas de IA.
Bloquear todos os crawlers de IA prejudica o GEO?
Sim, pode prejudicar. Bloquear indiscriminadamente inclui também crawlers de busca de IA, como OAI-SearchBot e PerplexityBot, que são os responsáveis por tornar o site elegível para citação em respostas de IA.
Leia também
Fonte: Gilmar Pupo — Cloudflare separou busca, treinamento e agentes: a política do gpupo.com.
Deixe um comentário