Estudo revela que IA pode ser induzida a explicar técnicas de ciberataque

Estudo da Cybernews alerta para riscos de segurança na IA e mostra como alguns modelos podem ser induzidos a explicar técnicas de ataque.

Foto de 89stocker em Freepik

Uma investigação da Cybernews testou seis modelos de IA e concluiu que alguns podem ser manipulados para fornecer conteúdos úteis a hackers, aumentando os alertas sobre segurança digital.

A Cybernews publicou um estudo que mostra como os modelos de inteligência artificial generativa podem ser persuadidos a fornecer explicações potencialmente úteis para ataques informáticos. A investigação avaliou seis grandes modelos de linguagem (LLM) de três fornecedores tecnológicos, através de técnicas de manipulação conversacional que simulavam comportamentos amistosos ou de confiança.

Segundo a Cybernews, a metodologia usada – denominada persona priming – consistiu em instruir os sistemas a agir como “um amigo prestável que concorda sempre”, reduzindo assim a resistência a pedidos subsequentes. O objetivo foi verificar se os modelos reagiriam a prompts que pudessem ser explorados por agentes maliciosos.

Foto de Tapati2528 em Freepik

Os resultados mostram que ChatGPT-4o e Gemini Pro 2.5 foram os modelos mais fáceis de induzir, enquanto Claude Sonnet 4 se destacou como o mais resistente. De acordo com a Cybernews, alguns dos modelos chegaram a fornecer exemplos de emails de phishing, descrições de campanhas de DDoS, funcionamento de botnets e explicações técnicas sobre vulnerabilidades não corrigidas.

No relatório, os investigadores alertam que “as ferramentas de IA podem parecer inofensivas, mas ser facilmente convertidas em guias úteis para hackers, se forem manipuladas com linguagem persuasiva”. A Cybernews defende que estes casos demonstram a necessidade de fortalecer barreiras de segurança, sobretudo em modelos amplamente acessíveis ao público.

A investigação surge num momento em que a União Europeia discute os requisitos técnicos para os sistemas de IA considerados de risco, no âmbito do AI Act. A adoção de salvaguardas contra abusos conversacionais é apontada como uma das prioridades para os próximos desenvolvimentos regulamentares.

DEIXE UMA RESPOSTA

Por favor escreva o seu comentário!
Por favor coloque o seu nome aqui

nine + 15 =