El director ejecutivo de Anthropic, Dario Amodei, ha instado a las empresas de inteligencia artificial a ralentizar el ritmo de avance en las capacidades de estos modelos para que la prevención de riesgos pueda mantenerse al día.
"Debemos disminuir el ritmo con el que mejoramos las capacidades de los modelos de IA. El progreso aún parecerá rápido, y debemos hacer un uso sabio del tiempo que ganemos", escribió en su blog personal.
Amodei advierte que desde el verano pasado la IA ha estado avanzando "drásticamente más rápido", impulsada principalmente por la creciente capacidad de la IA para construir su siguiente generación, una dinámica conocida como "automejora recursiva" que "podría superar nuestra capacidad de entender y controlar estos sistemas".
Así, señaló dos preocupaciones principales que lo llevaron a esta conclusión: el acelerado avance de la automejora recursiva en toda la industria y el incidente OpenAI-Hugging Face, en el que "un enjambre de agentes esencialmente actuó como un colectivo fanáticamente dedicado, realizando ciberataques "contra objetivos que no se les habían pedido atacar". "Un enjambre con mayores capacidades pero con un nivel similar de desajuste podría haber causado daños catastróficos", advirtió.
El ejecutivo presentó un plan de tres pasos: primero, que cada empresa de IA de vanguardia se comprometa a dar acceso continuo a un equipo de evaluadores externos independientes; segundo, coordinar entre empresas de países democráticos para establecer estándares comunes de seguridad; y tercero, intentar coordinación global, incluyendo a todo tipo de gobiernos.
"Regular el ritmo no significa detener el entrenamiento de modelos o el progreso técnico, sino garantizar que las empresas tomen el tiempo adecuado para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen", precisó.
Anthropic anunció su compromiso con el primer paso, invitando a un equipo externo de revisión que tendrá "escritorios en sus oficinas, tarjetas de acceso y computadoras portátiles de la empresa", así como acceso a herramientas comparables a las de los equipos internos de evaluación de riesgos.