Prepare-se para uma novidade que vai dar mais poder aos criadores de conteúdo na internet! A Cloudflare, gigante da segurança e performance online, acaba de lançar uma nova ferramenta para proteger sites contra os famosos crawlers (aqueles robozinhos que rastreiam a web) de inteligência artificial. A partir de agora, os donos de sites hospedados pela Cloudflare terão mais controle sobre quem “escava” seus conteúdos.
O Fim da “Escavação” Gratuita de Conteúdo?
O objetivo é claro: dar aos administradores de sites a opção de permitir – ou não – que bots de IA acessem seus conteúdos para treinar modelos generativos. Sabe aqueles chatbots e assistentes de IA que respondem suas perguntas com base em informações da internet? Pois é, eles aprendem com esses crawlers.
E a melhor parte? A Cloudflare está introduzindo o “pay per crawl”, um modelo onde cada acesso de um bot de IA pode gerar uma compensação financeira para o site. Ou seja, se a IA quiser aprender com seu conteúdo, talvez ela tenha que pagar por isso!
Por Que a Cloudflare é Tão Importante?
A Cloudflare é uma peça fundamental na internet. Ela é dona de uma das maiores redes de distribuição de conteúdo do mundo (CDN), e cerca de 16% de todo o tráfego global da internet passa pelos seus servidores. Isso significa que, quando a Cloudflare tem algum problema, uma parte considerável da web sente o impacto. Por isso, suas iniciativas de segurança e controle são tão relevantes.
Essa nova ferramenta faz parte da campanha “Dia da Independência do Conteúdo”, lançada pela Cloudflare, que busca dar mais autonomia aos criadores.
O Que São Esses Tais “Crawlers”?
Crawlers, também conhecidos como bots ou spiders, são programas automatizados que navegam pela internet, visitando site por site. Eles funcionam como “farejadores de dados”, vasculhando e indexando conteúdos. Google e Bing, por exemplo, usam crawlers para alimentar seus sistemas de busca. E sim, eles acessam seu site sem pedir licença!
Além da indexação tradicional, esses robozinhos também são usados para coletar dados que alimentam os modelos de inteligência artificial. É assim que muitos chatbots e assistentes conseguem gerar respostas com base em textos e informações que eles “leram” na internet.
Se Quiser Treinar, Vai Ter Que Pagar!
A Cloudflare já oferecia opções de bloqueio desde 2024, mas agora o controle ficou ainda mais preciso. Com o modelo pay per crawl, os criadores de conteúdo ganham a chance de monetizar o acesso automatizado aos seus materiais.
Matthew Prince, cofundador e CEO da Cloudflare, resumiu bem a ideia: “Crawlers de IA cavam o conteúdo da internet sem limites. Nosso objetivo é colocar o poder de volta na mão dos criadores, enquanto ainda ajudamos as empresas de IA a inovar.”
Essa discussão ganhou força com o avanço dos grandes modelos de linguagem (LLMs), que precisam de uma quantidade gigantesca de dados para serem treinados. Redes sociais, como o Reddit, já tomaram medidas semelhantes, cobrando pelo acesso às suas APIs (interfaces de programação de aplicativos) para evitar o uso indiscriminado de seus dados.
Por enquanto, o Pay per Crawl será disponibilizado para um número limitado de sites, mas a Cloudflare promete expandir a função para mais clientes no futuro. É um passo importante para garantir que o conteúdo online seja valorizado e que os criadores tenham mais controle sobre o uso de suas criações na era da inteligência artificial.
