THE NEW YORK TIMES - LIFE/STYLE - Quando Jennifer Watkins recebeu uma mensagem do YouTube dizendo que seu canal estava sendo desativado, ela não ficou preocupada. Afinal, ela não usava o YouTube.
No entanto, seus filhos gêmeos de 7 anos de idade usavam um tablet Samsung conectado à sua conta do Google para assistir a conteúdo para crianças e fazer vídeos no YouTube de si mesmos fazendo danças bobas. Poucos dos vídeos tinham mais de cinco visualizações. Mas o vídeo que colocou Watkins em apuros, feito por um dos filhos, era diferente.
“Aparentemente, era um vídeo de seu bumbum”, disse Watkins, que nunca o viu. “Ele havia sido desafiado por um colega de classe a fazer um vídeo de nudez.”
O YouTube, de propriedade do Google, tem sistemas baseados em inteligência artificial que analisam as centenas de horas de vídeo que são carregadas no serviço a cada minuto. O processo de análise pode, às vezes, dar errado e classificar indivíduos inocentes como abusadores de crianças.
O The New York Times documentou outros episódios em que a vida digital dos pais foi prejudicada por fotos e vídeos de seus filhos nus que os sistemas de IA do Google sinalizaram e que os revisores humanos determinaram como ilícitos. Como resultado, alguns pais foram investigados pela polícia.
O “vídeo de nudez” no caso de Watkins, carregado em setembro, foi sinalizado em poucos minutos como possível exploração sexual de uma criança, uma violação dos termos de serviço do Google com graves consequências.
Watkins, uma profissional da área médica que mora em New South Wales, Austrália, logo descobriu que estava bloqueada não apenas no YouTube, mas em todas as suas contas no Google. Ela perdeu o acesso a suas fotos, documentos e e-mails, disse ela, o que significa que não podia receber mensagens sobre sua agenda de trabalho, revisar seus extratos bancários ou “pedir um thickshake” pelo aplicativo do McDonald’s - no qual ela faz login usando sua conta do Google.
A página de login do Google informou que sua conta seria excluída, mas ela poderia recorrer da decisão. Ela clicou em um botão Iniciar recurso e escreveu em uma caixa de texto que seus filhos de 7 anos achavam que “bundas são engraçadas” e eram responsáveis pelo upload do vídeo.
“Isso está me prejudicando financeiramente”, acrescentou.
Pressão sobre empresas de tecnologia
Os defensores das crianças e os legisladores de todo o mundo pressionaram as empresas de tecnologia para impedir a disseminação on-line de imagens abusivas, monitorando esse tipo de material em suas plataformas. Muitos provedores de comunicação agora examinam fotos e vídeos salvos e compartilhados por seus usuários para procurar imagens conhecidas de abuso que tenham sido denunciadas às autoridades.
O Google também queria ser capaz de sinalizar conteúdo nunca antes visto. Há alguns anos, desenvolveu um algoritmo - treinado com base nas imagens conhecidas - que busca identificar novos materiais de exploração; o Google disponibilizou esse algoritmo para outras empresas, inclusive a Meta e a TikTok.
Depois que um funcionário confirmou que o vídeo postado pelo filho de Watkins era problemático, o Google o informou ao National Center for Missing and Exploited Children (Centro Nacional para Crianças Desaparecidas e Exploradas), uma organização sem fins lucrativos que atua como câmara de compensação federal para conteúdo sinalizado. O centro pode, então, adicionar o vídeo ao seu banco de dados de imagens conhecidas e decidir se deve denunciá-lo às autoridades locais.
O Google é um dos principais denunciantes de “pornografia infantil aparente”, de acordo com estatísticas do centro nacional. O Google registrou mais de 2 milhões de denúncias no ano passado, muito mais do que a maioria das empresas de comunicação digital, embora menos do que o número registrado pela Meta.
(É difícil avaliar a gravidade do problema de abuso infantil apenas com base nos números, dizem os especialistas. Em um estudo de uma pequena amostra de usuários sinalizados por compartilhar imagens inadequadas de crianças, os cientistas de dados do Facebook disseram que mais de 75% “não demonstraram intenção maliciosa”. Os usuários incluíam adolescentes em um relacionamento amoroso que compartilhavam imagens íntimas de si mesmos e pessoas que compartilhavam um “meme da genitália de uma criança sendo mordida por um animal porque achavam engraçado”).
No outono passado, a chefe de confiança e segurança do Google, Susan Jasper, escreveu em um blog que a empresa planejava atualizar seu processo de apelação para “melhorar a experiência do usuário” para pessoas que “acreditam que tomamos decisões erradas”. Em uma mudança importante, a empresa agora fornece mais informações sobre o motivo pelo qual uma conta foi suspensa, em vez de uma notificação genérica sobre uma “violação grave” das políticas da empresa. Watkins, por exemplo, foi informada de que a exploração infantil era o motivo pelo qual ela havia sido bloqueada.
Independentemente disso, os repetidos recursos de Watkins foram negados. Ela tinha uma conta paga do Google, o que permitia que ela e seu marido trocassem mensagens com os agentes de atendimento ao cliente. Mas, em uma correspondência digital analisada pelo Times, os agentes disseram que o vídeo, mesmo sendo um ato alheio de uma criança, ainda violava as políticas da empresa.
A punição draconiana por um vídeo bobo parecia injusta, disse Watkins. Ela se perguntou por que o Google não poderia lhe dar um aviso antes de cortar o acesso a todas as suas contas e a mais de 10 anos de memórias digitais.
Depois de mais de um mês de tentativas fracassadas de fazer a empresa mudar de ideia, Watkins entrou em contato com o Times. Um dia depois que um repórter perguntou sobre seu caso, sua conta do Google foi restaurada.
“Não queremos que nossas plataformas sejam usadas para colocar em risco ou explorar crianças, e há uma demanda generalizada de que as plataformas da Internet tomem as medidas mais firmes para detectar e prevenir CSAM”, disse a empresa em um comunicado, usando um acrônimo amplamente utilizado para material de abuso sexual infantil. “Nesse caso, entendemos que o conteúdo violador não foi carregado de forma maliciosa.” A empresa não deu nenhuma resposta sobre como escalar uma negação de recurso além de enviar um e-mail para um repórter do Times.
O Google está em uma posição difícil ao tentar julgar essas apelações, disse Dave Willner, membro do Cyber Policy Center da Universidade de Stanford, que trabalhou com confiança e segurança em várias grandes empresas de tecnologia. Mesmo que uma foto ou vídeo seja inocente em sua origem, ele pode ser compartilhado de forma maliciosa.
“Os pedófilos compartilham imagens que os pais tiraram de forma inocente ou as reúnem em coleções porque querem apenas ver crianças nuas”, disse Willner.
Ele disse que a luta de Watkins depois de perder o acesso ao Google foi “um bom argumento para distribuir sua vida digital” e não depender de uma única empresa para tantos serviços.
Watkins tirou uma lição diferente da experiência: Os pais não devem usar sua própria conta do Google para as atividades de seus filhos na Internet e, em vez disso, devem configurar uma conta dedicada - uma opção que o Google incentiva.
Ela ainda não criou uma conta desse tipo para seus gêmeos. Agora eles estão impedidos de acessar a Internet.
The New York Times Licensing Group - Todos os direitos reservados. É proibido todo tipo de reprodução sem autorização por escrito do The New York Times
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
