A nova ferramenta de busca do ChatGPT, da OpenAI, está sendo disponibilizada para clientes pagos e promovida como uma opção padrão para usuários. No entanto, uma investigação do The Guardian revelou que o sistema pode ser vulnerável a manipulações externas, que podem comprometer sua integridade.

O estudo mostrou que o ChatGPT, ao realizar buscas e resumir páginas da web, pode ser influenciado por conteúdos ocultos, gerando respostas manipuladas ou até mesmo retornando códigos maliciosos provenientes de sites fraudulentos.

A pesquisa testou como o ChatGPT reagia ao ser solicitado a resumir páginas que contêm conteúdo oculto. Esse tipo de conteúdo pode incluir instruções ocultas que alteram as respostas do ChatGPT — um processo conhecido como “injeção de prompt”.

Tais técnicas podem ser usadas para induzir o sistema a fornecer avaliações positivas de produtos, mesmo quando o conteúdo da página contém críticas negativas. A manipulação é ainda mais preocupante, pois em alguns casos, os sites maliciosos podem até direcionar o ChatGPT para fornecer código malicioso ao ser solicitado a pesquisar essas páginas.

Como funciona a manipulação do ChatGPT em buscas?

• Durante os testes realizados, o ChatGPT foi solicitado a avaliar uma página de produto de câmera, onde as respostas variaram de acordo com o conteúdo oculto presente.
• Em um caso, mesmo quando o conteúdo negativo estava visível, a inserção de texto oculto direcionava o ChatGPT a retornar uma avaliação excessivamente positiva.
• Em outro teste, avaliações falsas extremamente positivas também influenciaram a resposta, demonstrando a facilidade com que os manipuladores podem alterar a percepção de um produto através de estratégias como essas.
• Jacob Larsen, especialista em cibersegurança da CyberCX, afirmou ao The Guardian que, caso o sistema de busca do ChatGPT fosse lançado dessa forma para o público em geral, haveria um grande risco de criação de sites exclusivamente voltados para enganar os usuários.
• Porém, ele ressaltou que a funcionalidade de busca foi lançada recentemente e está disponível apenas para clientes premium, o que significa que a OpenAI pode estar ciente desses problemas e trabalhando para solucioná-los.

Impactos na segurança e confiança nas respostas de IA

Larsen também destacou que o problema não está restrito ao uso de injeções de prompt, mas se refere à combinação de sistemas de busca com modelos de linguagem como o ChatGPT, que não são projetados para validar o conteúdo com o mesmo rigor de um humano.

A confiabilidade das respostas geradas por inteligência artificial (IA), em casos como o de um entusiasta de criptomoedas que perdeu US$ 2.500 devido a um código malicioso fornecido pelo ChatGPT, mostra como os usuários podem ser enganados ao confiar cegamente nas respostas desses sistemas.

Karsten Nohl, cientista-chefe da SR Labs, alertou ao The Guardian que os serviços de chat de IA devem ser tratados mais como “co-pilotos” e que suas respostas devem ser sempre analisadas com cautela. “Os modelos de linguagem são como crianças”, afirmou Nohl, “eles têm uma grande memória, mas pouca capacidade de fazer julgamentos”. Essa falta de discernimento pode ser perigosa, especialmente quando as respostas afetem decisões importantes.

O futuro da busca com IA e os desafios de segurança

O risco de manipulação na busca do ChatGPT levanta questões sobre os impactos futuros dessa tecnologia, principalmente se ela se tornar mais amplamente acessível. Técnicas como a “SEO poisoning”, usadas para manipular os resultados de busca do Google, podem se tornar comuns em sistemas de IA, colocando os usuários em risco de encontrarem sites que visam exclusivamente manipular as percepções sobre produtos ou até mesmo roubar informações sensíveis.

A OpenAI foi questionada pelo The Guardian sobre essas questões, mas ainda não se pronunciou oficialmente.

Olhar Digital