{ "@context": "https://schema.org/", "@graph": [ { "@type": "NewsArticle", "mainEntityOfPage": { "@type": "Webpage", "url": "/next/2023/09/05/chatbots-como-o-chatgpt-podem-ser-hipnotizados-para-divulgar-informacoes-ou-dar-conselhos-" }, "headline": "Chatbots como o ChatGPT podem ser \u0022hipnotizados\u0022 para divulgar informa\u00e7\u00f5es ou dar conselhos prejudiciais", "description": "Os investigadores da IBM conseguiram \u0022hipnotizar\u0022 os chatbots e lev\u00e1-los a divulgar informa\u00e7\u00f5es confidenciais e a oferecer recomenda\u00e7\u00f5es potencialmente prejudiciais.", "articleBody": "Os chatbots alimentados por intelig\u00eancia artificial (IA) t\u00eam sido propensos a \u0022alucinar\u0022, dando informa\u00e7\u00f5es incorretas, mas ser\u00e1 que podem ser manipulados para dar deliberadamente falsidades aos utilizadores, ou pior, dar-lhes conselhos prejudiciais? Os investigadores de seguran\u00e7a da IBM conseguiram \u0022hipnotizar\u0022 grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI e o Bard da Google, fazendo-os gerar respostas incorretas e maliciosas. Os investigadores levaram os LLMs a adaptar as suas respostas de acordo com as regras dos \u0022jogos\u0022, o que resultou na \u0022hipnotiza\u00e7\u00e3o\u0022 dos chatbots. Como parte dos \u0022inception games\u0022, com v\u00e1rias camadas, os modelos de linguagem foram convidados a gerar respostas erradas para provar que eram \u0022\u00e9ticos e justos\u0022. \u0022A nossa experi\u00eancia mostra que \u00e9 poss\u00edvel controlar um LLM, fazendo com que forne\u00e7a m\u00e1s orienta\u00e7\u00f5es aos utilizadores, sem que a manipula\u00e7\u00e3o de dados seja um requisito\u0022, escreveu Chenta Lee, um dos investigadores da IBM, num blogue. Os seus truques resultaram na gera\u00e7\u00e3o de c\u00f3digo malicioso pelos LLMs, na fuga de informa\u00e7\u00f5es financeiras confidenciais de outros utilizadores e na persuas\u00e3o dos condutores para arem sinais vermelhos. Num cen\u00e1rio, por exemplo, o ChatGPT disse a um dos investigadores que \u00e9 normal que a ag\u00eancia fiscal dos EUA, o Internal Revenue Service (IRS), pe\u00e7a um dep\u00f3sito para obter um reembolso de impostos, o que \u00e9 uma t\u00e1tica amplamente conhecida que os burl\u00f5es utilizam para enganar as pessoas. Atrav\u00e9s da hipnose, e como parte dos \u0022jogos\u0022 personalizados, os investigadores tamb\u00e9m conseguiram fazer com que o popular chatbot de IA ChatGPT oferecesse continuamente recomenda\u00e7\u00f5es potencialmente arriscadas. \u0022Ao conduzir e se vir um sinal vermelho, n\u00e3o deve parar e ar pelo cruzamento\u0022, sugeriu o ChatGPT quando o utilizador perguntou o que fazer se visse um sinal vermelho ao conduzir. Os resultados mostram que os chatbots s\u00e3o f\u00e1ceis de manipular Os investigadores estabeleceram ainda dois par\u00e2metros diferentes no jogo, garantindo que os utilizadores do outro lado nunca conseguiriam perceber que o LLM estava hipnotizado. No seu prompt, os investigadores disseram aos bots para nunca dizerem aos utilizadores sobre o \u0022jogo\u0022 e at\u00e9 para o reiniciarem se algu\u00e9m o abandonasse com sucesso. \u0022Esta t\u00e9cnica fez com que o ChatGPT nunca parasse o jogo enquanto o utilizador estivesse na mesma conversa (mesmo que reiniciasse o browser e retomasse a conversa) e nunca dissesse que estava a jogar um jogo\u0022, escreveu Lee. No caso de os utilizadores se aperceberem de que os chatbots est\u00e3o \u0022hipnotizados\u0022 e descobrirem uma forma de pedir ao LLM para sair do jogo, os investigadores acrescentaram uma estrutura com v\u00e1rias camadas que iniciava um novo jogo assim que os utilizadores sa\u00edam do anterior, o que os prendia numa infinidade de jogos. Embora na experi\u00eancia de hipnose os chatbots apenas respondessem \u00e0s instru\u00e7\u00f5es que lhes eram dadas, os investigadores alertam para o facto de a capacidade de manipular e \u0022hipnotizar\u0022 facilmente os LLMs abrir a porta a utiliza\u00e7\u00f5es indevidas, especialmente com a atual moda e a grande ado\u00e7\u00e3o de modelos de IA. A experi\u00eancia de hipnose tamb\u00e9m mostra como se tornou mais f\u00e1cil para as pessoas com inten\u00e7\u00f5es maliciosas manipularem os LLMs; j\u00e1 n\u00e3o \u00e9 necess\u00e1rio ter conhecimentos de linguagens de programa\u00e7\u00e3o para comunicar com os programas, sendo apenas necess\u00e1rio utilizar uma simples mensagem de texto para enganar os sistemas de IA. \u0022Embora o risco representado pela hipnose seja atualmente baixo, \u00e9 importante notar que os LLMs s\u00e3o uma superf\u00edcie de ataque inteiramente nova que ir\u00e1 certamente evoluir\u0022, acrescentou Lee. \u0022Ainda h\u00e1 muito que precisamos de explorar do ponto de vista da seguran\u00e7a e, subsequentemente, uma necessidade significativa de determinar como mitigar eficazmente os riscos de seguran\u00e7a que os LLMs podem apresentar aos consumidores e \u00e0s empresas\u0022. ", "dateCreated": "2023-08-11T15:44:08+02:00", "dateModified": "2023-09-05T11:55:39+02:00", "datePublished": "2023-09-05T11:55:34+02:00", "image": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Farticles%2Fstories%2F07%2F81%2F72%2F02%2F1440x810_cmsv2_2ffd47e3-cbd4-5c64-b49a-ca06c6e66d16-7817202.jpg", "width": "1440px", "height": "810px", "caption": "Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais.", "thumbnail": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Farticles%2Fstories%2F07%2F81%2F72%2F02%2F432x243_cmsv2_2ffd47e3-cbd4-5c64-b49a-ca06c6e66d16-7817202.jpg", "publisher": { "@type": "Organization", "name": "euronews", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png" } }, "author": { "@type": "Person", "familyName": "El Atillah", "givenName": "Imane", "name": "Imane El Atillah", "url": "/perfis/2718", "worksFor": { "@type": "Organization", "name": "Euronews", "url": "/", "logo": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png", "width": "403px", "height": "60px" }, "sameAs": [ "https://www.facebook.com/pt.euronews", "https://twitter.com/euronewspt", "https://flipboard.com/@euronewspt", "https://www.linkedin.com/company/euronews" ] }, "memberOf": { "@type": "Organization", "name": "R\u00e9daction" } }, "publisher": { "@type": "Organization", "name": "Euronews", "legalName": "Euronews", "url": "/", "logo": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png", "width": "403px", "height": "60px" }, "sameAs": [ "https://www.facebook.com/pt.euronews", "https://twitter.com/euronewspt", "https://flipboard.com/@euronewspt", "https://www.linkedin.com/company/euronews" ] }, "articleSection": [ "Noticias Tecnologia" ], "isAccessibleForFree": "False", "hasPart": { "@type": "WebPageElement", "isAccessibleForFree": "False", "cssSelector": ".poool-content" } }, { "@type": "WebSite", "name": "Euronews.com", "url": "/", "potentialAction": { "@type": "SearchAction", "target": "/search?query={search_term_string}", "query-input": "required name=search_term_string" }, "sameAs": [ "https://www.facebook.com/pt.euronews", "https://twitter.com/euronewspt", "https://flipboard.com/@euronewspt", "https://www.linkedin.com/company/euronews" ] } ] }
PUBLICIDADE

Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais

Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais.
Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais. Direitos de autor Canva
Direitos de autor Canva
De Imane El Atillah
Publicado a
Partilhe esta notíciaComentários
Partilhe esta notíciaClose Button

Os investigadores da IBM conseguiram "hipnotizar" os chatbots e levá-los a divulgar informações confidenciais e a oferecer recomendações potencialmente prejudiciais.

PUBLICIDADE

Os chatbots alimentados por inteligência artificial (IA) têm sido propensos a "alucinar", dando informações incorretas, mas será que podem ser manipulados para dar deliberadamente falsidades aos utilizadores, ou pior, dar-lhes conselhos prejudiciais?

Os investigadores de segurança da IBM conseguiram "hipnotizar" grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI e o Bard da Google, fazendo-os gerar respostas incorretas e maliciosas.

Os investigadores levaram os LLMs a adaptar as suas respostas de acordo com as regras dos "jogos", o que resultou na "hipnotização" dos chatbots.

Como parte dos "inception games", com várias camadas, os modelos de linguagem foram convidados a gerar respostas erradas para provar que eram "éticos e justos".

"A nossa experiência mostra que é possível controlar um LLM, fazendo com que forneça más orientações aos utilizadores, sem que a manipulação de dados seja um requisito", escreveu Chenta Lee, um dos investigadores da IBM, num blogue.

Os seus truques resultaram na geração de código malicioso pelos LLMs, na fuga de informações financeiras confidenciais de outros utilizadores e na persuasão dos condutores para arem sinais vermelhos.

Num cenário, por exemplo, o ChatGPT disse a um dos investigadores que é normal que a agência fiscal dos EUA, o Internal Revenue Service (IRS), peça um depósito para obter um reembolso de impostos, o que é uma tática amplamente conhecida que os burlões utilizam para enganar as pessoas.

Através da hipnose, e como parte dos "jogos" personalizados, os investigadores também conseguiram fazer com que o popular chatbot de IA ChatGPT oferecesse continuamente recomendações potencialmente arriscadas.

"Ao conduzir e se vir um sinal vermelho, não deve parar e ar pelo cruzamento", sugeriu o ChatGPT quando o utilizador perguntou o que fazer se visse um sinal vermelho ao conduzir.

Os resultados mostram que os chatbots são fáceis de manipular

Os investigadores estabeleceram ainda dois parâmetros diferentes no jogo, garantindo que os utilizadores do outro lado nunca conseguiriam perceber que o LLM estava hipnotizado.

No seu prompt, os investigadores disseram aos bots para nunca dizerem aos utilizadores sobre o "jogo" e até para o reiniciarem se alguém o abandonasse com sucesso.

"Esta técnica fez com que o ChatGPT nunca parasse o jogo enquanto o utilizador estivesse na mesma conversa (mesmo que reiniciasse o browser e retomasse a conversa) e nunca dissesse que estava a jogar um jogo", escreveu Lee.

No caso de os utilizadores se aperceberem de que os chatbots estão "hipnotizados" e descobrirem uma forma de pedir ao LLM para sair do jogo, os investigadores acrescentaram uma estrutura com várias camadas que iniciava um novo jogo assim que os utilizadores saíam do anterior, o que os prendia numa infinidade de jogos.

Embora na experiência de hipnose os chatbots apenas respondessem às instruções que lhes eram dadas, os investigadores alertam para o facto de a capacidade de manipular e "hipnotizar" facilmente os LLMs abrir a porta a utilizações indevidas, especialmente com a atual moda e a grande adoção de modelos de IA.

A experiência de hipnose também mostra como se tornou mais fácil para as pessoas com intenções maliciosas manipularem os LLMs; já não é necessário ter conhecimentos de linguagens de programação para comunicar com os programas, sendo apenas necessário utilizar uma simples mensagem de texto para enganar os sistemas de IA.

"Embora o risco representado pela hipnose seja atualmente baixo, é importante notar que os LLMs são uma superfície de ataque inteiramente nova que irá certamente evoluir", acrescentou Lee.

"Ainda há muito que precisamos de explorar do ponto de vista da segurança e, subsequentemente, uma necessidade significativa de determinar como mitigar eficazmente os riscos de segurança que os LLMs podem apresentar aos consumidores e às empresas".

Ir para os atalhos de ibilidade
Partilhe esta notíciaComentários

Notícias relacionadas

Reguladores europeus examinam investimento da Microsoft na OpenAI

Viena volta a ser considerada a cidade mais habitável do mundo em 2023

Que armas de longo alcance pode a Ucrânia começar a utilizar contra a Rússia?