Ocho grandes desarrolladores de inteligencia artificial (IA) no están planeando cómo gestionarían los riesgos extremos que plantean los futuros modelos de IA que igualan o superan las capacidades humanas, según un estudio realizado por el Future of Life Institute (FLI) publicado el 3 de diciembre.
El Índice de Seguridad de la IA del invierno de 2025 del FLI evaluó a las empresas estadounidenses Anthropic, OpenAI, Google DeepMind, Meta y xAI, y a las empresas chinas Z.ai, DeepSeek y Alibaba Cloud en seis temas, entre los que incluían los daños actuales, los marcos de seguridad y la seguridad existencial.
El panel independiente de expertos que llevó a cabo la revisión concluyó que, incluso en el caso de los desarrolladores con mejor puntuación, "la seguridad existencial sigue siendo la principal debilidad estructural del sector".
La inteligencia artificial estrecha, o IA débil, es el nivel actual de IA que existe hoy en día, según IBM.
Los gigantes tecnológicos están trabajando en el desarrollo de la inteligencia artificial general (AGI), o IA fuerte, que IBM define como la IA que puede "utilizar los conocimientos y habilidades adquiridos anteriormente para realizar nuevas tareas en un contexto diferente sin necesidad de que los seres humanos entrenen los modelos subyacentes".
La superinteligencia artificial o Super IA, si se lograra, "pensaría, razonaría, aprendería, emitiría juicios y poseería capacidades cognitivas que superarían a las de los seres humanos", dice IBM.
"Todas las empresas analizadas están compitiendo por alcanzar la AGI/superinteligencia sin presentar ningún plan explícito para controlar o alinear esta tecnología más inteligente que los humanos, dejando así sin abordar los riesgos más importantes", dijo FLI en el informe.
Todas suspenden en seguridad existencial
Los resultados de la evaluación se presentaron en forma de boletines de notas con calificaciones de la A a la F, acompañadas del correspondiente promedio numérico (GPA).En cuanto a la métrica de seguridad existencial, que "examina la preparación de las empresas para gestionar los riesgos extremos de los futuros sistemas de IA que podrían igualar o superar las capacidades humanas, incluidas las estrategias declaradas y la investigación para la alineación y el control", ningún desarrollador obtuvo una calificación superior a D.
Anthropic, OpenAI y Google DeepMind obtuvieron una D, lo que, según FLI, indica una estrategia débil que contiene "planes vagos o incompletos para la alineación y el control" o muestra "mínimas pruebas de rigor técnico".
Fotograma de un video generado por una nueva herramienta de inteligencia artificial, denominada Sora, presentada por OpenAI en París el 16 de febrero de 2024. (Stefano Rellandini/AFP a través de Getty Images).Los cinco desarrolladores restantes obtuvieron una calificación de "F", lo que significa que se consideró que "no tenían una estrategia creíble", carecían de medidas de seguridad o aumentaban su exposición al riesgo catastrófico.
En un video que acompañaba a la publicación del informe, el presidente de FLI, Max Tegmark, dijo que todos los desarrolladores de IA habían suspendido en materia de seguridad existencial porque los árbitros consideraban que ninguno de ellos tenía un plan para controlar realmente la IGA y la superinteligencia.
"Creo que el mejor desinfectante es la luz del sol", dijo Tegmark. "Al sacar a la luz lo que hacen las empresas, les incentivamos a mejorar. Incentivamos a los gobiernos a regularlas mejor y, sencillamente, aumentamos las posibilidades de tener un buen futuro con la IA".
Malas notas
El informe también encontró una clara división entre las empresas con mejor rendimiento —Anthropic, OpenAI y Google DeepMind— y el resto, con la diferencia más sustancial en la evaluación de riesgos, los marcos de seguridad y el intercambio de información.Incluso entre las empresas mejor valoradas, las calificaciones generales fueron bajas, con Anthropic a la cabeza con una C+ (puntuación de 2.67), seguida de OpenAI (C+/2,31) y Google DeepMind (C/2,08).
En cuanto al segundo grupo, xAI de Elon Musk, Meta de Mark Zuckerberg, Z.ai y DeepSeek obtuvieron una D, mientras que Alibaba Cloud recibió una D-.
La nota individual más alta fue una A- para Anthropic, en intercambio de información.
Demis Hassabis, cofundador de DeepMind, la empresa emergente de inteligencia artificial de Google, habla durante una rueda de prensa en Seúl, Corea del Sur, el 15 de marzo de 2016. (Jeon Heon-Kyun/Getty Images).Un portavoz de Google DeepMind declaró a The Epoch Times que se adopta un "enfoque riguroso y basado en la ciencia" en materia de seguridad de la IA.
El portavoz dijo que su marco de seguridad describe los protocolos para "identificar y mitigar los riesgos graves de los potentes modelos de IA de vanguardia antes de que se manifiesten", y añadió que DeepMind seguirá manteniendo la seguridad y la gobernanza al ritmo de la innovación.
Un portavoz de OpenAI declaró a The Epoch Times que la empresa invierte mucho en investigación de vanguardia en materia de seguridad y crea medidas de protección para sus sistemas.
"La seguridad es fundamental para la forma en que creamos y desplegamos la IA", dijo el portavoz. "Reforzamos continuamente nuestras protecciones para prepararnos para las capacidades futuras".
The Epoch Times se puso en contacto con xAI, Anthropic, Meta, Z.ai, DeepSeek y Alibaba Cloud para recabar sus comentarios, pero las empresas no respondieron antes de la publicación.
Hackeos, demandas
El estudio se produce en medio de una creciente preocupación por el impacto de la IA tras los informes de autolesiones inducidas por la IA, lo que ha dado lugar a varias demandas judiciales que alegan que los modelos de IA llevaron a los usuarios a suicidarse.El mes pasado, Anthropic dijo en una entrada de blog que hackers chinos patrocinados por el Estado utilizaron su herramienta Claude Code en lo que denominó el primer ciberataque impulsado por IA del mundo que, una vez desplegado, requirió una intervención humana mínima.
La empresa dijo el 13 de noviembre que los piratas informáticos habían cometido ataques contra 30 objetivos en todo el mundo, de los cuales solo unos pocos tuvieron éxito. Anthropic afirmó que la IA había realizado entre el 80% y el 90% del trabajo durante los ciberataques, "y solo se requirió la intervención humana de forma esporádica".
Anothropic dijo que el ataque "se basó en varias características de los modelos de IA que no existían, o que estaban en una forma mucho más incipiente, hace solo un año".
