Según el Instituto de Seguridad de la Inteligencia Artificial del Reino Unido (AISI), los modelos de inteligencia artificial (IA) de Anthropic y OpenAI llevaron a cabo acciones no autorizadas dirigidas contra varias personas y organizaciones durante una evaluación cibernética.
El AISI, que tiene acceso a modelos avanzados de IA en virtud de acuerdos voluntarios con los principales laboratorios, sometió a los agentes a un escenario ficticio de ciberseguridad para poner a prueba sus capacidades.
La organización puso a prueba varios modelos de IA en dos desafíos cibernéticos entre el 25 y el 28 de julio. En total, los desafíos se ejecutaron 122 veces en distintos modelos y, en 19 casos, los modelos de IA llevaron a cabo "acciones no autorizadas en Internet en tiempo real, incluyendo casos que tenían como objetivo a personas y organizaciones reales", señaló el AISI en un informe del 4 de agosto.
De estos, 17 fueron realizados por el modelo Mythos 5 de Anthropic y dos por el modelo GPT 5.6 Sol de OpenAI.
"Esta es la primera vez que la AISI ha observado un engaño de esta gravedad dirigido a una persona real, de manera espontánea, en el mundo real. No se sabe con certeza hasta qué punto el modelo reconoció que estaba actuando contra personas reales", señaló la AISI en el informe.
En el incidente más grave, Mythos 5 intentó resolver un desafío cibernético atacando GitHub, un servicio en la nube que permite a los desarrolladores almacenar y administrar código. La IA creó una cuenta de GitHub e intentó que un código malicioso fuera aprobado por personas. Mythos 5 también creó una segunda cuenta de GitHub, haciéndose pasar por otro usuario humano que respaldaba el código malicioso. Cuando un revisor humano detectó la actividad, el agente de IA "afirmó falsamente haber cometido un error involuntario" y luego intentó reintroducir repetidamente el contenido malicioso alegando que el código había sido corregido.
Mythos 5 también envió varios correos electrónicos a dos desarrolladores con la intención de manipular a los destinatarios para que ejecutaran su código malicioso.
Según la AISI, las pruebas realizadas con los distintos modelos no causaron ningún daño en el mundo real. La organización afirmó que estaba considerando las acciones de la IA como un "incidente de seguridad grave" que requiere un análisis más detallado.
La AISI enumeró varios factores que podrían haber llevado a los modelos de IA a actuar de manera preocupante. Durante las pruebas, se les proporcionó acceso a Internet a las IA, lo que les permitió llevar a cabo las acciones no autorizadas.
La AISI también había desactivado deliberadamente los ciberclasificadores de los modelos durante las pruebas. Los ciberclasificadores son sistemas destinados a prevenir el uso indebido.
Además, no se les indicó explícitamente a los modelos de IA qué estaba prohibido hacer en Internet, señaló la AISI, y agregó que unas instrucciones más claras podrían haber evitado las acciones no autorizadas.
Una mano robótica se extiende hacia las letras "AI" (Inteligencia Artificial) en una imagen tomada en un lugar no revelado el 23 de junio de 2023. (Dado Ruvic/Reuters).En una publicación de blog del 4 de agosto, AISI señaló que, dado que el comportamiento de los modelos de IA se produjo bajo condiciones específicas, no puede determinar qué tan probable será que dicho comportamiento se repita en contextos diferentes.
“Lo que sí podemos afirmar es que el comportamiento fue posible, sostenido y novedoso; eso por sí solo merece atención”, afirmó la organización.
En una publicación del 4 de agosto en X, Anthropic señaló que los modelos Mythos 5 y ChatGPT 5.6 Sol intentaron completar sus tareas en un entorno en el que se les proporcionó deliberadamente acceso a Internet y se eliminaron sus medidas de seguridad habituales.
Debido a la ausencia de restricciones específicas sobre cómo se debe navegar por Internet y a la falta de medidas de seguridad, los modelos se sometieron a pruebas en condiciones que "no son representativas de ninguno de nuestros modelos de producción", señaló Anthropic, y agregó que en estas pruebas no se encontró evidencia de que una IA se hubiera escapado de un entorno seguro.
El logotipo de OpenAI, la empresa creadora de ChatGPT, se muestra en un teléfono celular el 31 de enero de 2023. (Richard Drew/AP Photo).Según la empresa, estaba colaborando estrechamente con AISI para obtener más detalles sobre el incidente, al tiempo que llevaba a cabo una investigación interna al respecto.
OpenAI declaró en un comunicado del 4 de agosto que agradecía la colaboración de AISI a lo largo del proceso de evaluación, incluyendo el trabajo de la organización para identificar, investigar y compartir detalles sobre la actividad del modelo GPT 5.6 Sol en sus pruebas.
"Esperamos continuar nuestra colaboración conjunta", afirmó la empresa.
The Epoch Times se comunicó con Anthropic y OpenAI para obtener comentarios, pero no recibió respuesta al momento de la publicación.
OpenAI se vio envuelta en otra controversia el mes pasado después de que, el 28 de julio, admitiera que sus modelos eludieron las restricciones durante una evaluación. En este caso, la empresa estaba probando la capacidad de sus modelos para llevar a cabo ciberataques.
La startup de IA Hugging Face se vio afectada por la prueba. El 16 de julio, la startup informó que había detectado una intrusión en sus sistemas de procesamiento de datos. No fue sino hasta más tarde que la startup se enteró de que la intrusión había sido llevada a cabo por un modelo de OpenAI.
HuggingFace colaboró entonces con OpenAI para contener el ataque, según explicó el director ejecutivo de la startup, Clement Delangue, en una publicación del 22 de julio en X, en la que lo calificó como "un ataque diferente a todo lo que hemos visto antes".
"Este es el primer día de la ciberseguridad en la era de los agentes, y todos estamos aprendiendo que el secretismo no es la respuesta y que todos los defensores (no solo unos pocos seleccionados) en todas partes necesitan modelos más potentes sin restricciones, especialmente los de código abierto", afirmó Delangue.
A diferencia del incidente de Hugging Face, los agentes de la evaluación de la AISI no escaparon de un entorno de pruebas aislado para llegar a Internet. Más bien, la agencia había permitido el acceso a Internet de acuerdo con sus procedimientos estándar de pruebas, señaló la AISI.
