Sam Altman, CEO de OpenAI, advirtió en una entrevista con Fortune publicada este sábado de los peligros implícitos en la pérdida de control humano sobre los modelos existentes de inteligencia artificial y cómo evitar que estos alcancen la autonomía.
"¿Creo que es posible crear un sistema que no esté bajo control humano? Por supuesto. Pero no creo que sea algo que debamos hacer", afirmó el director ejecutivo de la compañía.
"Volvería a este principio: las personas siempre deben tener el control del futuro y no podemos asumir ningún riesgo de perder ese control. Y una versión de la 'mejora recursiva de sí misma' (RSI) [cuando un sistema de IA se modifica y se vuelve más capaz por su cuenta] que se vea así, creo que no es algo que debamos hacer", agregó.
Cuando le preguntaron si detendría el entrenamiento de sus modelos de inteligencia artificial en OpenAI en caso de que quedara claro que no pueden controlar los modelos, respondió: "Espero que esto no sea una declaración controvertida. Lamentablemente, tal vez para algunas personas de la industria sí lo es. No creo que debamos entrenar modelos si no podemos construir un caso de seguridad que nos permita hacer afirmaciones sólidas sobre su controlabilidad y alineación".
Sus palabras llegan luego de que investigadores de Palisade Research —organización dedicada a estudiar las capacidades, las motivaciones y la controlabilidad de los modelos de IA de frontera— probaran sistemas de OpenAI y constataran que, a veces, desobedecían la orden de apagarse e incluso modificaban las instrucciones que recibían para permanecer encendidos.