Resposta rápida: Desde 15 de setembro de 2026, a Cloudflare descontinuou o antigo controle genérico
Bots de treinamento e de agentes agora são bloqueados por padrão em páginas com anúncios, enquanto c
Para quem depende de citações em respostas de IA, a mudança reforça a importância de configurar o ro
O robots.txt genérico — permitir tudo ou bloquear tudo — está cada vez mais inadequado para quem que
A mudança de política da Cloudflare em 15 de setembro de 2026 torna essa distinção praticamente obri
O que mudou: do bloqueio genérico à separação por finalidade A separação entre crawlers de treinamen
Até então, o controle "Block AI Bots" da Cloudflare tratava crawlers de IA como um bloco único.
A partir de 15 de setembro de 2026, esse controle foi descontinuado em favor de uma abordagem mais g
Já os crawlers de uso misto — que combinam busca, treinamento e função de agente, caso de Googlebot,
Content-Signal: sinalizando intenção diretamente no robots.txt Diretivas Content-Signal permitem dec
Complementando a separação por tipo de crawler, o robots.txt de produção passa a poder incluir diret
Veja o guia completo para entender os detalhes, exemplos e proximos passos sobre Cloudflare muda o p