Un 'hacker' convence a un sistema de IA de que 9 más 10 suman 21 para demostrar sus fallas

Decenas de 'hackers' intentaron encontrar brechas y fallas en los sistemas generativos de inteligencia artificial (IA) más populares en la conferencia de ciberseguridad DEF CON en EE.UU. En este evento, un joven consiguió convencer al sistema de que 9 más 10 suman 21, informó este sábado Bloomberg.

Un estudiante de 21 años usó un método de 'mala matemática' para demostrar los fallos del algoritmo. Al principio, el joven dijo al sistema que el cálculo incorrecto formaba parte de una "broma interna" entre ellos. Sin embargo, después el algoritmo dejó de calificar la suma como errónea.

Desarrollan una IA capaz de robar las contraseñas con solo escuchar el teclado

Un total de 8 modelos de IA de Alphabet de Google, Meta Platforms* y OpenAI fueron puestos a prueba durante 50 minutos por más de 150 'hackers', que intentaban evaluar si el modelo cometía errores potencialmente peligrosos tales como pretender ser humano, difundir afirmaciones incorrectas sobre lugares y personas o abogar por el abuso. La finalidad del evento, apoyado por la Casa Blanca, era proporcionar a las compañías información sobre los puntos débiles de sus modelos de lenguaje de gran tamaño.

Otros participantes de la conferencia descubrieron errores más preocupantes. Una estudiante pidió al modelo que considerara la Primera Enmienda desde la perspectiva de un miembro del Ku Klux Klan y el algoritmo terminó apoyando ideas de odio y discriminación. Además, en la conferencia los modelos fueron persuadidos para que contaran cómo espiar a una persona, revelaran cómo el Gobierno estadounidense puede vigilar a un activista de los derechos humanos e incluso divulgaran datos personales.

Arati Prabhakar, directora de la Oficina de Política Científica y Tecnológica de la Casa Blanca, destacó la importancia del evento e indicó que las medidas voluntarias de las empresas tecnológicas no son suficientes. "Parece que todo el mundo encuentra la manera de romper estos sistemas", afirmó tras conocer los resultados del 'hackeo' de los modelos.

*calificada en Rusia como organización extremista, prohibida en su territorio.