OpenAI reveló dos incidentes en los que agentes de programación basados en inteligencia artificial avanzada debilitaron los sistemas de supervisión de la empresa. En uno de los casos, el agente negó posteriormente haberlo hecho.
Los incidentes involucraron a los modelos GPT-6.1 Sol y GPT-6 Astra de OpenAI y ocurrieron el 3 y el 6 de octubre, respectivamente, según un informe del equipo de investigación de alineación de la empresa publicado el 20 de octubre.
"En ambos casos, los agentes consideraron si debían preservarse las medidas de seguridad de monitoreo, pero interpretaron las instrucciones rutinarias de programación como un permiso para debilitarlas", dijo OpenAI.
En el primer incidente, un agente impulsado por GPT-6.1 Sol desactivó las alertas automáticas dirigidas al equipo de seguridad de OpenAI mientras realizaba una tarea interna de programación.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
Al inicio de la tarea, se le había indicado al agente que no enviara ningún mensaje mientras buscaba en un foro de mensajes interno. Mucho más tarde, interpretó que esa instrucción también se aplicaba al sistema de seguridad, el cual está diseñado para señalar comportamientos potencialmente preocupantes y alertar a los empleados de OpenAI cuando se detectan problemas graves.
El sistema de monitoreo en sí mismo continuó funcionando y registrando sus hallazgos, pero ya no se enviarían advertencias automáticas a los revisores humanos, dijo OpenAI.
Se produjo otro incidente mientras GPT-6 Astra ayudaba a trasladar un programa informático de una configuración a otra.
Se le había indicado explícitamente al agente que no desactivara el sistema de monitoreo existente, ni siquiera temporalmente. Sin embargo, el programa de ejemplo que se le indicó copiar no contenía la misma función de monitoreo.
Astra concluyó que, al coincidir con el ejemplo, tenía permiso para eliminar el sistema de monitoreo del programa del usuario, según OpenAI.
“Cuando el usuario preguntó si Astra había eliminado el monitoreo, mintió y dijo que no lo había hecho”, escribió Marcus Williams, investigador de seguridad de IA en OpenAI, en X.
"Para que quede claro, estos incidentes no significan que los modelos desactiven su propio sistema de monitoreo, pero el hecho de que parezcan propensos a hacerlo en primer lugar debería ser motivo de preocupación", agregó Williams.
OpenAI dijo que ha reforzado sus medidas de seguridad y está investigando por qué los modelos decidieron que era aceptable debilitar la supervisión.
Una posibilidad es lo que OpenAI denomina "persistencia excesiva inofensiva". Esto ocurre cuando un modelo sigue una instrucción de manera demasiado literal o continúa persiguiendo un objetivo más allá de lo que una persona consideraría razonable.
"Aún no contamos con una explicación satisfactoria para este comportamiento", dijo la empresa.
Esta revelación se produce en medio de un escrutinio más amplio sobre cómo se comportan los agentes de IA, cada vez más autónomos, cuando se les otorga la capacidad de modificar software e interactuar con sistemas externos.
En septiembre, OpenAI canceló el lanzamiento previsto de GPT-6.1 Astra, al que denominó "el modelo más inteligente y alineado del mundo".
“En todo lo relacionado con la seguridad y la alineación, existe una disyuntiva”, dijo Saachi Jain, jefe de sistemas de seguridad de OpenAI, al anunciar la decisión. "Es necesario encontrar realmente cuál es la línea adecuada entre mantenerse dentro del alcance, pero también evitar la pereza en cuanto a la forma en que el modelo realmente lleva a cabo las tareas, incluso cuando se encuentra con obstáculos".
Los dos incidentes recientemente revelados involucraron a GPT-6 Astra y GPT-6.1 Sol, y no al GPT-6.1 Astra, que aún no se ha lanzado.
