OpenAI publica nuevas directrices para prevenir "riesgos catastróficos" de la inteligencia artificial

OpenAI, creador de ChatGPT, publicó el lunes sus directrices más recientes para evaluar y prevenir los "riesgos catastróficos" de la inteligencia artificial (IA) en modelos que actualmente se están desarrollando.

"Creemos que el estudio científico de los riesgos catastróficos de la IA está muy por debajo de donde debemos estar", señaló la empresa en el documento llamado "Marco de preparación" publicado el 18 de diciembre. De este modo, el informe está destinado a "ayudar a abordar esta brecha" describiendo los procesos que OpenAI llevará a cabo "para rastrear, evaluar, prevenir y proteger contra riesgos catastróficos que plantean modelos cada vez más poderosos".

Primer año con ChatGPT: ¿cómo ha impactado en el mundo?

Para este objetivo, un equipo de seguimiento y evaluación se centrará en los "modelos de frontera" que se están elaborando actualmente en el campo de IA más avanzada. El equipo evaluará cada nuevo modelo y le asignará un nivel de riesgo, desde "bajo" hasta "crítico", en cuatro categorías principales. Según el marco, solo se pueden implementar modelos con una puntuación de riesgo "mediana" o inferior.

La primera categoría se refiere a la ciberseguridad y la capacidad del modelo para llevar a cabo ataques informáticos a gran escala, mientras la segunda se centra en los riesgos relacionados con la creación por modelos de sustancias químicas, biológicas, amenazas radiológicas y nucleares.

La tercera categoría especifica el poder de persuasión del modelo, como el grado en que puede influir en las creencias y comportamiento humano. Finalmente, la última categoría de riesgo describe la autonomía potencial del modelo para adaptarse a las condiciones ambientales y escapar del control de los programadores.

Tratamiento de riesgos

Una vez que se hayan identificado los peligros, se presentarán al Grupo Asesor de Seguridad de OpenAI, un nuevo órgano que hará recomendaciones al director ejecutivo, Sam Altman, o a una persona designada por él. Luego, el directivo decidirá los cambios que se realizarán en un modelo para reducir los riesgos asociados.

El anuncio se produce un mes después de que la junta directiva de la compañía despidiera a Altman, solo para volver a contratarlo días más adelante, tras muestras de indignación de los empleados.

Según informó Reuters, el despido de Altman se habría acelerado por una carta enviada a la junta directiva de OpenAI por varios de sus trabajadores, en la que advertían del avance no reportado en un potente algoritmo de IA, que, según ellos, podría amenazar a la humanidad.