ChatGPT ganha ferramenta aprimorada para identificar materiais de abuso infantil

A startup também anunciou a suspensão de contas que solicitarem a geração de conteúdos abusivos no ChatGPT

Foto do autor André Luiz Dias Gonçalves

OpenAI encerra conta e alerta Polícia Federal sobre homem que planejou atentado contra Lula no ChatG

Entenda a ação da OpenAI ao banir a conta de um usuário e acionar a Polícia Federal e o TSE após detectar planos de ataque contra o presidente Lula no ChatGPT.

A OpenAI anunciou, na segunda-feira (16), uma nova ferramenta para identificar material de abuso sexual infantil (CSAM), inclusive conteúdos gerados por IA, que será disponibilizada gratuitamente para instituições selecionadas. O lançamento melhora os resultados de mecanismos anteriores, reduzindo a revisão de falsos positivos.

Essa tecnologia faz parte de uma atualização no pacote de esforços da desenvolvedora do ChatGPT para aumentar a proteção dos menores na internet. Algumas das outras medidas são intervenções para interromper comportamentos prejudiciais e o encaminhamento para ajuda.

Auxiliando equipes de investigação

Projetado em parceria com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), o novo classificador é capaz de identificar sinais visuais de possível abuso sexual infantil nas imagens. Ao analisar o conteúdo, ele atribui uma pontuação que auxilia as revisões feitas por moderadores humanos.

  • Na comparação com outras ferramentas da startup, o sistema reduziu drasticamente os falsos positivos, com 48% menos imagens sinalizadas, segundo a empresa;
  • A novidade também foi duas vezes mais precisa na identificação de material abusivo, durante os testes, o que pode agilizar o trabalho de investigadores;
  • Essa ferramenta é a primeira do tipo a trazer um sinalizador específico para conteúdos gerados por IA;
  • Segundo a OpenAI, a tecnologia detecta imagens abusivas geradas por diferentes ferramentas, inclusive de modelos de código aberto e apps de incentivo à prática.
Tentativas de gerar imagens abusivas no ChatGPT poderão levar à suspensão e até o banimento de contas.
Tentativas de gerar imagens abusivas no ChatGPT poderão levar à suspensão e até o banimento de contas. Foto: OpenAI/Divulgação

PUBLICIDADE

“Estamos oferecendo acesso ao classificador a organizações verificadas por meio da API da OpenAI sem custo algum, tornando a detecção de CSAM mais acessível a organizações de segurança infantil e ao setor em geral, incluindo aquelas com equipes de tamanhos variados”, destacou a empresa, em comunicado.

A startup também publicou guias atualizados para desenvolvedores, orientando sobre como prevenir, detectar e agir em relação aos conteúdos prejudiciais. Além disso, vai disponibilizar ferramentas e treinamentos para unidades policiais que atuam na proteção às crianças.

Suspensão, banimento e denúncia de contas

A companhia liderada por Sam Altman anunciou, ainda, atualizações nas medidas de segurança do gerador de imagens do ChatGPT. Se um usuário tentar gerar imagens abusivas na plataforma, receberá um aviso com orientação de especialistas para buscar ajuda.

PUBLICIDADE

Na primeira ocorrência, a conta ficará suspensa por 24 horas, mantendo o suporte disponível para que a pessoa procure auxílio. Novas tentativas podem resultar em suspensões mais longas e até mesmo no banimento do perfil, assim como em denúncia às autoridades, como ressaltou a OpenAI.

Em seu balanço trimestral mais recente, a desenvolvedora registrou US$ 10 bilhões (R$ 57,8 bilhões pela cotação do dia) em faturamento, mas teve prejuízo operacional. Saiba mais nesta matéria.

Ofertas