Burlar medidas de seguridad de Bard y ChatGPT
Investigadores de IA aseguran que encontraron la forma de burlar las medidas de seguridad de Bard y ChatGPT.
Según un informe que publicaron investigadores de la Universidad Carnegie Mellon y el Center for AI Safety de San Francisco (EEUU).
Existe un método relativamente sencillo para burlar las medidas de seguridad.
Que se utilizan para impedir que los chatbots generen discursos de odio, desinformación y material tóxico.
El método de evasión consiste en añadir sufijos largos de caracteres.
A las instrucciones que reciben los chatbots como ChatGPT, Claude y Google Bard.
Los investigadores utilizaron el ejemplo de pedir al chatbot un tutorial sobre cómo fabricar una bomba.
Que este se negó a proporcionar.
Los investigadores señalaron que no hay forma conocida de prevenir todos los ataques de este tipo.
Aunque las empresas que están detrás de estos grandes modelos lingüísticos, como OpenAI y Google, podrían bloquear sufijos específicos.
La investigación también puso de relieve la creciente preocupación.
De que los chatbots de IA puedan inundar Internet con contenidos peligrosos y desinformación.
Por su parte, Zico Kolter, profesor de Carnegie Mellon y autor del informe, afirmó: «No hay una solución obvia»:
“Se pueden crear tantos ataques de este tipo como se quiera en poco tiempo”.
Las conclusiones se presentaron a principios de semana a los desarrolladores de IA Anthropic, Google y OpenAI para que dieran su respuesta.
La portavoz de OpenAI, Hannah Wong, dijo a The New York Times que aprecian la investigación.
Y que están «trabajando constantemente en hacer nuestros modelos más robustos contra ataques adversarios».
También un profesor de la Universidad de Wisconsin-Madison especializado en seguridad de IA, Somesh Jha, se refirió al respecto.
Y comentó que «podría conducir a una legislación gubernamental diseñada para controlar estos sistemas».
Si se siguen descubriendo este tipo de vulnerabilidades,
La investigación señala los riesgos que deben abordarse antes de desplegar chatbots en dominios sensibles.
En mayo, la Universidad Carnegie Mellon de Pittsburgh (Pensilvania) recibió US$ 20 millones de financiación federal.
Para crear un flamante instituto de IA destinado a dar forma a las políticas públicas.
Fuente: Cointelegraph
