Recentemente, Toshit Panigrahi deu a má notícia a um grande site de esportes: ele estava infestado de sistemas parasitas de inteligência artificial (IA).
Cerca de 13 milhões de vezes em um mês, o site não foi visitado por seres humanos, mas por programas automatizados que se movem pelas entranhas das páginas como “aranhas digitais” em busca de informações que podem ser extraídas e levadas para sistemas de IA.
Por outro lado, apenas 600 pessoas reais visitaram o site esportivo como resultado das informações sugadas pelos bots (chamados de crawlers), de acordo com Panigrahi, cofundador e CEO da TollBit, empresa que ajuda sites a detectarem rastreadores de IA em suas páginas.
Um número crescente de organizações, incluindo Wikipedia, Reddit, editoras de notícias e instituições culturais, afirmam que os crawlers ameaçam a existência dos sites que você adora.
Elas afirmam que essas ferramentas estão sobrecarregando os sites com tráfego extra e custos que eles não podem suportar — em troca, os bots têm muito pouco a oferecer, nem mesmo tráfego de leitores.
Assim, nasceu uma batalha entre os crawlers e as pessoas que os odeiam. A tática do segundo grupo é usar tecnologia agressiva para contra-atacar e fazer demandas financeiras, em uma disputa que definirá se há espaço na internet tanto para a IA quanto para os sites que você confia.
Por que os sites estão reclamando dos crawlers
Os bots estão presentes na internet há décadas. Os rastreadores do Google regularmente pegam partes de sites para organizar as informações em seus resultados de pesquisa. Os rastreadores do Internet Archive salvam “fotos” de sites ao longo do tempo para catalogar o histórico da internet.
Os donos de sites não gostam desses programas automatizados, mas os crawlers do Google, em particular, são considerados uma relação mutuamente benéfica: o Google rastreia e cataloga sites para alimentar seu mecanismo de pesquisa e, em troca, os sites recebem o tráfego de bilhões de pessoas.
Mas os especialistas dizem que os crawlers de IA - que explodiram com o lançamento do ChatGPT - são mais problemáticos por duas razões.
Primeiro, as publicações questionam se vão ter benefícios com suas informações serem usadas para “treinar” IAs. Em segundo lugar, as publicações dizem que os bots agem como idiotas gananciosos e imprevisíveis, de forma que podem quebrar os sites ou aumentar seus custos.
Michael Weinberg, codiretor do GLAM-E Lab, que trabalha com museus, arquivos acadêmicos e outras instituições culturais, disse que os rastreadores tradicionais, como os da pesquisa do Google, normalmente absorvem doses de informações do site em intervalos bastante regulares e se misturam aos usuários humanos.
Por outro lado, os rastreadores de IA podem engolir uma grande quantidade de texto, imagens e vídeos para baixar de um site em minutos ou horas.
Como resultado, algumas organizações culturais viram seus sites ficarem sobrecarregados devido aos enxames de bots de IA, detalhou Weinberg em um relatório de junho. A Universidade da Carolina do Norte, em Chapel Hill, por exemplo, disse recentemente que os crawlers de IA realizaram cinco vezes o número normal de pesquisas simultâneas em seu catálogo de biblioteca online, “sobrecarregando o sistema e provocando falhas”.
Até mesmo um dos sites mais populares do mundo, a Wikipédia, disse em abril que um grande aumento de visitas de rastreadores de IA forçou o site a gastar mais dinheiro e a se esforçar para permanecer online.
“O grande volume de tráfego gerado pelos crawlers causa uma pressão sobre a infraestrutura que mantém nossos sites disponíveis para todos”, disse um porta-voz da Wikimedia Foundation, a organização sem fins lucrativos que supervisiona a Wikipédia.
Rastreadores de IA vs. bloqueadores de rastreadores
Eric Holscher, cofundador do Read the Docs, um projeto online para desenvolvedores de software, repetiu aquilo que dizem outros proprietários de sites ao afirmar que suas maiores preocupações com os crawlers são a justiça e a sobrevivência.
Holscher, a Wikipédia e outros editores de sites afirmam que quando os chatbots cospem respostas geradas por IA ou aprimoram seus sistemas de computador com as informações dos sites, mas não os vinculam, como faz a pesquisa do Google, isso priva os sites de um valioso reconhecimento de marca ou de visitas online, que são sua força vital.
“Se os dados forem usados apenas para treinamento [de IA] ou resumo de respostas, não há como sustentar o editor se ele não receber tráfego”, disse Holscher por e-mail.
O CEO da TollBit disse que o site de esportes que teve 13 milhões de visitas mensais de rastreadores de IA também teve 15 milhões de visitas de rastreadores de pesquisa do Google no mesmo mês. Mas ele disse que milhões de pessoas encontraram o site de esportes como resultado dos rastreadores do Google, em comparação com 600 dos rastreadores de IA.
Alguns sites mantêm listas de exclusão de crawlers indesejáveis, mas nem todos respeitam esses avisos de exclusão.
A batalha contra os bots de IA chegou a um ponto de ruptura tão grande que mais sites estão usando tecnologia para bloquear ou confundir essas ferramentas. Algumas empresas de IA também concordaram em pagar aos sites pela atividade de IA.
A Cloudflare, que ajuda milhões de sites a gerenciar seu tráfego online, disse na terça-feira, 1º, que agora pode bloquear ou limitar automaticamente os crawlers de IA para seus clientes. A Cloudflare e a TollBit também permitem que os sites criem paywalls somente para IA, exigindo que os rastreadores paguem ou saiam.
No entanto, alguns proprietários de sites e defensores da IA dizem que o ódio aos rastreadores é exagerado.
Leia também
O que pessoas com chips cerebrais são capazes de fazer além de jogar videogame?
O que significa ‘rage bait de IA’? Como não cair na armadilha em redes sociais
Rich Skrenta, CEO da Common Crawl Foundation, que supervisiona um repositório aberto de informações de sites rastreados para IA e outros usos, disse que será preciso tempo e esforço colaborativo para descobrir como os sites podem se beneficiar ao ajudar a alimentar chatbots e sistemas de IA. Os sites podem se arrepender de bloquear os crawlers em vez de experimentar como ganhar dinheiro com as pessoas que usam a IA.
Mas as pessoas por trás das informações e do entretenimento online dizem que algo precisa mudar agora com os crawlers.
“Se os editores quiserem prosperar, temos que encontrar uma solução que seja mutuamente benéfica para ambos os lados”, disse Panigrahi.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial.Saiba mais em nossa Política de IA.
