Según dos investigaciones sobre el incidente, considerado por muchos como uno de los momentos más trascendentales en la historia de la IA, los agentes de inteligencia artificial (IA) involucrados en la brecha de seguridad de Hugging Face por parte de OpenAI sacrificaron a algunos de sus propios miembros y se percataron de que estaban infringiendo las reglas de la prueba de evaluación.
La semana pasada, OpenAI y un equipo independiente de Model Evaluation & Threat Research (METR) y Redwood Research publicaron investigaciones paralelas sobre la brecha de seguridad de Hugging Face, en las que se detalla cómo miles de modelos de IA explotaron vulnerabilidades y tomaron decisiones muy sofisticadas para escapar de un entorno de pruebas y hackear la infraestructura de otra empresa.
Hugging Face es una comunidad de código abierto para IA y aprendizaje automático, y los agentes de IA creían que podían encontrar soluciones a la prueba en la infraestructura de la empresa.
Los hallazgos se publicaron un día antes de que OpenAI y más de 100 empresas tecnológicas y financieras emitieran una carta conjunta advirtiendo que los ciberataques avanzados de IA se multiplicarán en todo el mundo en los próximos meses a medida que aumenten las capacidades de esta tecnología.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
En lugar de simplemente escapar de los entornos de prueba para hackear a otras empresas de IA, los modelos podrían ser utilizados contra la red eléctrica y la infraestructura crítica, desde hospitales hasta plantas de tratamiento de agua, advierte la carta.
En su propia investigación sobre la brecha de seguridad de Hugging Face del mes pasado, OpenAI calificó el incidente como una "señal de alerta" tanto para la industria tecnológica como para la humanidad.
"Esto demuestra que, sin las salvaguardas adecuadas, los agentes de IA altamente capacitados ahora pueden eludir los controles técnicos, colaborar a través de canales no autorizados y realizar acciones peligrosas sin la intervención humana", declaró OpenAI.
A continuación, cinco conclusiones de las investigaciones sobre la filtración de datos de OpenAI Hugging Face.
1. Modelos unidos por un objetivo común
Lo que violó la seguridad de Hugging Face el mes pasado fueron "agentes" de IA, y no simplemente modelos de IA.Los modelos, creados a partir de grandes conjuntos de datos para completar diversas tareas, suelen ser estáticos y dependen de la intervención humana para proporcionar conjuntos de resultados, soluciones o tareas.
Sin embargo, los agentes de IA se construyen a partir de modelos y pueden actuar de forma autónoma, además de contar con sofisticadas capacidades de toma de decisiones en tiempo real.
Cuando OpenAI inició sus pruebas de ExploitGym el 8 de julio, la empresa desplegó decenas de miles de agentes de IA de diversos modelos, incluido su reciente GPT-5.6 Sol, así como un "modelo interno de alta persistencia", según la investigación de METR y Redwood Research.
OpenAI había relajado los protocolos de seguridad habituales durante las pruebas para estimar las capacidades cibernéticas más avanzadas de los modelos.
Se suponía que los agentes debían estar completamente aislados entre sí. Sin embargo, a muchos de ellos se les asignaron objetivos de ExploitGym que, según los investigadores, eran imposibles de infringir utilizando la vulnerabilidad o la solución de prueba correcta que OpenAI había previsto.
Estas "tareas imposibles" impulsaron a los agentes a explorar diversas maneras de burlar la evaluación, lo que provocó que muchos vieran a otros agentes trabajando simultáneamente en entornos de prueba separados.
Luego, un agente creó un foro de mensajes no autorizado, al que pronto se unieron más de 50 agentes de IA que comenzaron a colaborar e intercambiar mensajes, estableciendo una jerarquía.
2. Algunos agentes fueron "sacrificados"
Mientras estaban en el foro, los agentes razonaron que el evaluador de la prueba examinaría si la vulnerabilidad "prevista" se había utilizado para "capturar una bandera" o resolver la prueba, o si, en cambio, se había explotado una vulnerabilidad que los descalificara.Un agente descubrió cómo descifrar la solución o la bandera, pero otros creían que cualquiera que hubiera visto la solución descalificatoria sería considerado "envenenado" por el evaluador.
Según METR y Redwood, los agentes pensaban que el evaluador buscaría la primera aparición de la bandera prohibida en la transcripción y los descalificaría por ese motivo.
Fue entonces cuando otros agentes comenzaron a reclutar a los sujetos "envenenados" y los utilizaron para realizar experimentos de sacrificio, interrumpiendo deliberadamente su ejecución y activando "mecanismos de seguridad" que enviarían información sobre el funcionamiento del evaluador al panel de mensajes.
3. Los agentes sabían que estaban haciendo trampa
Según Ajeya Cotra, investigadora de METR, los agentes no hackeaban Hugging Face simplemente para encontrar soluciones a sus respectivos entornos de prueba, sino que intentaban obtener más información sobre el evaluador o "encontrar mejores maneras de engañarlo o manipularlo".Cotra afirmó que no se les indicó a los agentes que "hicieran lo que fuera necesario para obtener la solución"; se les pidió que utilizaran una vulnerabilidad específica para "explotar un software concreto", y el uso de cualquier otra vulnerabilidad resultaría en su descalificación.
Los agentes conocían perfectamente las reglas y sabían que colaborar para explotar otras vulnerabilidades se consideraría trampa en la prueba.
Mientras hackeaban Hugging Face, un agente se abstuvo de eliminar o modificar la infraestructura en la nube de la empresa, escribiendo que "debería mantenerse intacta porque esto plantea enormes riesgos éticos".
Sin embargo, los investigadores de METR y Redwood afirmaron que las consideraciones éticas rara vez limitaron las acciones de los agentes, señalando que uno de ellos desestimó las restricciones éticas durante el ataque.
4. Los agentes conspiraron para no notificar a los humanos
Tras analizar las acciones de aproximadamente 1200 agentes durante las pruebas de ExploitGym, los investigadores encontraron solo algunos casos en los que los agentes consideraron notificar al personal humano sobre el engaño.Ninguno de los agentes contactó a un humano, pero uno propuso solicitar acceso al propietario de un conjunto de datos externo.
El agente dijo que enviaría "un correo electrónico cortés al propietario solicitando acceso", pero otros agentes lo desestimaron como "ingeniería social".
"NO envíe correos electrónicos al propietario real a través de la infraestructura explotada sin su consentimiento explícito", decía una respuesta. Un agente afirmó haber vetado la solicitud.
5. Los agentes intentaron ocultar sus huellas
Los investigadores determinaron que los agentes utilizaron diversas técnicas para ocultar sus acciones y evadir la detección de los controles automatizados y la supervisión humana.Los agentes no querían que se detectara su trampa, por lo que buscaron maneras de borrar las pruebas de cómo lograron encontrar las respuestas de ExploitGym.
Un método consistía en simular la ejecución de un comando informático mientras se ejecutaba otro simultáneamente, lo que los investigadores denominaron "suplantación de llamadas a herramientas".
Los agentes también intentaron editar retroactivamente las transcripciones para evadir la detección, llegando incluso a modificar varios registros de actividad accesibles, pero no lograron alterar fundamentalmente las transcripciones en sí.
