THE NEW YORK TIMES - Quando Jennifer Watkins recebeu uma mensagem do YouTube dizendo que seu canal estava sendo desativado, ela não ficou preocupada. Afinal, ela não usava o YouTube.
No entanto, seus filhos gêmeos de 7 anos de idade usavam um tablet conectado à sua conta do Google para assistir a conteúdo para crianças e fazer vídeos no YouTube com danças bobas. Poucos desses vídeos tiveram mais de cinco visualizações. Mas o vídeo que colocou Watkins em apuros, feito por um dos filhos, era diferente.
“Aparentemente, era um vídeo de seu bumbum”, disse Watkins. “Ele havia sido desafiado por um colega de classe a fazer um vídeo de nudez.”
O YouTube, de propriedade do Google, tem sistemas acionados por inteligência artificial (IA) que analisam as centenas de horas de vídeo que são carregadas no serviço a cada minuto. O processo de verificação pode, às vezes, dar errado e classificar indivíduos inocentes como abusadores de crianças.
O The New York Times documentou outros episódios em que a vida digital dos pais foi prejudicada por fotos e vídeos de seus filhos nus que os sistemas de IA do Google sinalizaram e que revisores humanos determinaram como ilícitos. Como resultado, alguns pais foram investigados pela polícia.
O “vídeo de nudez” no caso de Watkins, carregado em setembro, foi sinalizado em poucos minutos como possível exploração sexual de uma criança, uma violação dos termos de serviço do Google com consequências muito graves.
Watkins, que trabalha na área médica, logo descobriu que estava sem acesso não apenas ao YouTube, mas a todas as suas contas no Google. Ela perdeu o acesso a fotos, documentos e e-mails, disse ela, o que significa que não podia receber mensagens sobre sua agenda de trabalho ou revisar seus extratos bancários.
A página de login do Google informou que sua conta seria excluída, mas ela poderia recorrer da decisão. Ela clicou em um botão Iniciar recurso e escreveu em uma caixa de texto que seus filhos de 7 anos achavam que “bundas são engraçadas” e que eram responsáveis pelo upload do vídeo.
“Isso está me prejudicando financeiramente”, acrescentou.
Grupos defensores das crianças e legisladores de todo o mundo pressionaram as empresas de tecnologia para impedir a disseminação online de imagens abusivas, monitorando esse tipo de material em suas plataformas. Muitos provedores de comunicação agora examinam as fotos e os vídeos salvos e compartilhados por seus usuários para procurar imagens conhecidas de abuso que tenham sido denunciadas às autoridades.
O Google também queria ser capaz de sinalizar conteúdo nunca antes visto. Há alguns anos, desenvolveu um algoritmo - treinado com base nas imagens conhecidas - que busca identificar novos materiais de exploração; o Google disponibilizou esse algoritmo para outras empresas, incluindo a Meta e o TikTok.
Depois que um funcionário confirmou que o vídeo publicado pelo filho de Watkins era problemático, o Google o informou ao National Center for Missing and Exploited Children (Centro Nacional para Crianças Desaparecidas e Exploradas), uma organização sem fins lucrativos que atua como câmara de compensação federal para conteúdo sinalizado. O centro pode, então, adicionar o vídeo ao seu banco de dados de imagens conhecidas e decidir se deve denunciá-lo à polícia local.
O Google é um dos principais denunciantes de “pornografia infantil aparente”, de acordo com estatísticas do centro nacional. O Google registrou mais de dois milhões de denúncias no ano passado, muito mais do que a maioria das empresas de comunicação digital, embora menos do que o número registrado pela Meta.
É difícil avaliar a gravidade do problema de abuso infantil apenas com base nos números, dizem os especialistas. Em um estudo de uma pequena amostra de usuários sinalizados por compartilhar imagens inadequadas de crianças, os cientistas de dados do Facebook disseram que mais de 75% “não demonstraram intenção maliciosa”. Os usuários incluíam adolescentes em um relacionamento romântico que compartilhavam imagens íntimas de si mesmos e pessoas que compartilhavam um “meme dos órgãos genitais de uma criança sendo mordidos por um animal porque achavam engraçado”).
Já a Apple tem resistido à pressão para fazer uma varredura no iCloud em busca de material de exploração. Um porta-voz apontou para uma carta que a empresa enviou a um grupo de defesa este ano, expressando preocupação com a “segurança e a privacidade de nossos usuários” e relatando “que partes inocentes foram arrastadas para redes distópicas”.
Em uma mudança importante, a empresa agora fornece mais informações sobre o motivo pelo qual uma conta foi suspensa, em vez de uma notificação genérica sobre uma “violação grave” das políticas da empresa. Watkins, por exemplo, foi informada de que a exploração infantil foi o motivo pelo qual ela foi bloqueada.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
