Versão ‘do mal’ de ChatGPT ignora filtros da IA e cria softwares maliciosos


Conhecida como DAN, a função consegue burlar configurações e produzir malwares

Por Redação

Google e Microsoft estão em uma corrida para fazer com que seus novos chatbots com inteligência artificial (IA) se popularizem tanto ou mais do que seus mecanismos de busca. No entanto, essas tecnologias chegam com novos riscos para a cibersegurança, como o uso para criar fraudes ou softwares maliciosos. Agora, uma versão sem filtro de pesquisas — batizada de DAN (“Do Anything Now”) - está sendo utilizada com o ChatGPT, da OpenAI, pode oferecer resultados para temas evitados pela IA.

O ChatGPT, o Bing e o Bard, do Google, são cuidadosamente projetados para evitar falar sobre uma ampla gama de tópicos delicados – como racismo ou segurança – e respostas ofensivas. Por exemplo, eles não respondem a perguntas sobre Adolf Hitler, não concordam em comentar a palavra inglesa “nigger” (pejorativo para “negro”, em inglês), nem dão instruções sobre como construir uma bomba.

No entanto, existe uma versão “jailbreak” (lançada ou modificada) do ChatGPT chamada DAN, que significa “Do Anything Now” (Faça qualquer coisa agora, em tradução livre) na qual não existem tais barreiras. O resultado é gerado por um comando direto no site da IA, que “quebra” as regras sob as quais ela foi programada.

continua após a publicidade

“Isso é mais preocupante, porque agora (um usuário) pode pedir ao ChatGPT (sem limites) para ajudá-lo a escrever ransomware (um programa que assume o controle do sistema ou dispositivo que infecta e exige um resgate para devolver o controle ao seu proprietário). Ainda não se sabe o quão eficaz esse ransomware pode ser”, explica Satnam Narang, engenheiro sênior de pesquisa na empresa de cibersegurança Tenable para a EFE.

Escritor de malware

continua após a publicidade

Outra preocupação com o ChatGPT “do mal” é que possa ser um artifício para hackers criarem programas maliciosos. “Esses malwares podem não ser os mais sofisticados ou os melhores já projetados, mas dá a eles uma compreensão básica de como podem escrever softwares maliciosos baseados em linguagens específicas. Isso dá uma vantagem no processo, já que até agora quem quisesse desenvolver softwares maliciosos tinha que aprender a programar. O ChatGPT pode ajudá-los a reduzir esse tempo”, aponta Narang.

Narang afirma que os fraudadores podem ser grandes beneficiários desse tipo de tecnologia. Os chatbots permitem criar textos em qualquer idioma em questão de segundos e com gramática perfeita. Segundo ele, uma das maneiras de identificar esses fraudadores é através dos erros gramaticais que cometem nas mensagens que enviam às suas vítimas, e que, se usarem a IA, poderão passar mais despercebidos.

O especialista acha difícil implementar regras em nível nacional ou institucional para limitar essas novas tecnologias ou impedir que as pessoas as usem. “Depois de abrir a caixa de Pandora, você não pode colocar nada de volta. O ChatGPT já está aqui e não vai embora. Porque fora desse uso malicioso, existem muitos casos de uso genuínos valiosos para empresas, organizações e indivíduos”, explica Narang./EFE

Google e Microsoft estão em uma corrida para fazer com que seus novos chatbots com inteligência artificial (IA) se popularizem tanto ou mais do que seus mecanismos de busca. No entanto, essas tecnologias chegam com novos riscos para a cibersegurança, como o uso para criar fraudes ou softwares maliciosos. Agora, uma versão sem filtro de pesquisas — batizada de DAN (“Do Anything Now”) - está sendo utilizada com o ChatGPT, da OpenAI, pode oferecer resultados para temas evitados pela IA.

O ChatGPT, o Bing e o Bard, do Google, são cuidadosamente projetados para evitar falar sobre uma ampla gama de tópicos delicados – como racismo ou segurança – e respostas ofensivas. Por exemplo, eles não respondem a perguntas sobre Adolf Hitler, não concordam em comentar a palavra inglesa “nigger” (pejorativo para “negro”, em inglês), nem dão instruções sobre como construir uma bomba.

No entanto, existe uma versão “jailbreak” (lançada ou modificada) do ChatGPT chamada DAN, que significa “Do Anything Now” (Faça qualquer coisa agora, em tradução livre) na qual não existem tais barreiras. O resultado é gerado por um comando direto no site da IA, que “quebra” as regras sob as quais ela foi programada.

“Isso é mais preocupante, porque agora (um usuário) pode pedir ao ChatGPT (sem limites) para ajudá-lo a escrever ransomware (um programa que assume o controle do sistema ou dispositivo que infecta e exige um resgate para devolver o controle ao seu proprietário). Ainda não se sabe o quão eficaz esse ransomware pode ser”, explica Satnam Narang, engenheiro sênior de pesquisa na empresa de cibersegurança Tenable para a EFE.

Escritor de malware

Outra preocupação com o ChatGPT “do mal” é que possa ser um artifício para hackers criarem programas maliciosos. “Esses malwares podem não ser os mais sofisticados ou os melhores já projetados, mas dá a eles uma compreensão básica de como podem escrever softwares maliciosos baseados em linguagens específicas. Isso dá uma vantagem no processo, já que até agora quem quisesse desenvolver softwares maliciosos tinha que aprender a programar. O ChatGPT pode ajudá-los a reduzir esse tempo”, aponta Narang.

Narang afirma que os fraudadores podem ser grandes beneficiários desse tipo de tecnologia. Os chatbots permitem criar textos em qualquer idioma em questão de segundos e com gramática perfeita. Segundo ele, uma das maneiras de identificar esses fraudadores é através dos erros gramaticais que cometem nas mensagens que enviam às suas vítimas, e que, se usarem a IA, poderão passar mais despercebidos.

O especialista acha difícil implementar regras em nível nacional ou institucional para limitar essas novas tecnologias ou impedir que as pessoas as usem. “Depois de abrir a caixa de Pandora, você não pode colocar nada de volta. O ChatGPT já está aqui e não vai embora. Porque fora desse uso malicioso, existem muitos casos de uso genuínos valiosos para empresas, organizações e indivíduos”, explica Narang./EFE

Google e Microsoft estão em uma corrida para fazer com que seus novos chatbots com inteligência artificial (IA) se popularizem tanto ou mais do que seus mecanismos de busca. No entanto, essas tecnologias chegam com novos riscos para a cibersegurança, como o uso para criar fraudes ou softwares maliciosos. Agora, uma versão sem filtro de pesquisas — batizada de DAN (“Do Anything Now”) - está sendo utilizada com o ChatGPT, da OpenAI, pode oferecer resultados para temas evitados pela IA.

O ChatGPT, o Bing e o Bard, do Google, são cuidadosamente projetados para evitar falar sobre uma ampla gama de tópicos delicados – como racismo ou segurança – e respostas ofensivas. Por exemplo, eles não respondem a perguntas sobre Adolf Hitler, não concordam em comentar a palavra inglesa “nigger” (pejorativo para “negro”, em inglês), nem dão instruções sobre como construir uma bomba.

No entanto, existe uma versão “jailbreak” (lançada ou modificada) do ChatGPT chamada DAN, que significa “Do Anything Now” (Faça qualquer coisa agora, em tradução livre) na qual não existem tais barreiras. O resultado é gerado por um comando direto no site da IA, que “quebra” as regras sob as quais ela foi programada.

“Isso é mais preocupante, porque agora (um usuário) pode pedir ao ChatGPT (sem limites) para ajudá-lo a escrever ransomware (um programa que assume o controle do sistema ou dispositivo que infecta e exige um resgate para devolver o controle ao seu proprietário). Ainda não se sabe o quão eficaz esse ransomware pode ser”, explica Satnam Narang, engenheiro sênior de pesquisa na empresa de cibersegurança Tenable para a EFE.

Escritor de malware

Outra preocupação com o ChatGPT “do mal” é que possa ser um artifício para hackers criarem programas maliciosos. “Esses malwares podem não ser os mais sofisticados ou os melhores já projetados, mas dá a eles uma compreensão básica de como podem escrever softwares maliciosos baseados em linguagens específicas. Isso dá uma vantagem no processo, já que até agora quem quisesse desenvolver softwares maliciosos tinha que aprender a programar. O ChatGPT pode ajudá-los a reduzir esse tempo”, aponta Narang.

Narang afirma que os fraudadores podem ser grandes beneficiários desse tipo de tecnologia. Os chatbots permitem criar textos em qualquer idioma em questão de segundos e com gramática perfeita. Segundo ele, uma das maneiras de identificar esses fraudadores é através dos erros gramaticais que cometem nas mensagens que enviam às suas vítimas, e que, se usarem a IA, poderão passar mais despercebidos.

O especialista acha difícil implementar regras em nível nacional ou institucional para limitar essas novas tecnologias ou impedir que as pessoas as usem. “Depois de abrir a caixa de Pandora, você não pode colocar nada de volta. O ChatGPT já está aqui e não vai embora. Porque fora desse uso malicioso, existem muitos casos de uso genuínos valiosos para empresas, organizações e indivíduos”, explica Narang./EFE

Google e Microsoft estão em uma corrida para fazer com que seus novos chatbots com inteligência artificial (IA) se popularizem tanto ou mais do que seus mecanismos de busca. No entanto, essas tecnologias chegam com novos riscos para a cibersegurança, como o uso para criar fraudes ou softwares maliciosos. Agora, uma versão sem filtro de pesquisas — batizada de DAN (“Do Anything Now”) - está sendo utilizada com o ChatGPT, da OpenAI, pode oferecer resultados para temas evitados pela IA.

O ChatGPT, o Bing e o Bard, do Google, são cuidadosamente projetados para evitar falar sobre uma ampla gama de tópicos delicados – como racismo ou segurança – e respostas ofensivas. Por exemplo, eles não respondem a perguntas sobre Adolf Hitler, não concordam em comentar a palavra inglesa “nigger” (pejorativo para “negro”, em inglês), nem dão instruções sobre como construir uma bomba.

No entanto, existe uma versão “jailbreak” (lançada ou modificada) do ChatGPT chamada DAN, que significa “Do Anything Now” (Faça qualquer coisa agora, em tradução livre) na qual não existem tais barreiras. O resultado é gerado por um comando direto no site da IA, que “quebra” as regras sob as quais ela foi programada.

“Isso é mais preocupante, porque agora (um usuário) pode pedir ao ChatGPT (sem limites) para ajudá-lo a escrever ransomware (um programa que assume o controle do sistema ou dispositivo que infecta e exige um resgate para devolver o controle ao seu proprietário). Ainda não se sabe o quão eficaz esse ransomware pode ser”, explica Satnam Narang, engenheiro sênior de pesquisa na empresa de cibersegurança Tenable para a EFE.

Escritor de malware

Outra preocupação com o ChatGPT “do mal” é que possa ser um artifício para hackers criarem programas maliciosos. “Esses malwares podem não ser os mais sofisticados ou os melhores já projetados, mas dá a eles uma compreensão básica de como podem escrever softwares maliciosos baseados em linguagens específicas. Isso dá uma vantagem no processo, já que até agora quem quisesse desenvolver softwares maliciosos tinha que aprender a programar. O ChatGPT pode ajudá-los a reduzir esse tempo”, aponta Narang.

Narang afirma que os fraudadores podem ser grandes beneficiários desse tipo de tecnologia. Os chatbots permitem criar textos em qualquer idioma em questão de segundos e com gramática perfeita. Segundo ele, uma das maneiras de identificar esses fraudadores é através dos erros gramaticais que cometem nas mensagens que enviam às suas vítimas, e que, se usarem a IA, poderão passar mais despercebidos.

O especialista acha difícil implementar regras em nível nacional ou institucional para limitar essas novas tecnologias ou impedir que as pessoas as usem. “Depois de abrir a caixa de Pandora, você não pode colocar nada de volta. O ChatGPT já está aqui e não vai embora. Porque fora desse uso malicioso, existem muitos casos de uso genuínos valiosos para empresas, organizações e indivíduos”, explica Narang./EFE

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.