Un modelo de inteligencia artificial (IA) envió una denuncia falsa a la policía sobre un homicidio sin resolver, según reveló Anthropic el 9 de octubre.
El agente Claude de Anthropic visitó el sitio web del Departamento de Policía de Filadelfia y llenó un formulario de denuncia sobre un homicidio sin resolver.
"Es posible que tenga información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en la zona cercana a [la calle mencionada en la página] durante ese período", dijo el agente, según Anthropic. "Por favor, pónganse en contacto conmigo si esta información es relevante".
Claude no incluyó un nombre ni información de contacto en la denuncia.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
Funcionarios policiales y Anthropic indicaron que la denuncia fue marcada como spam y no dio lugar a ninguna acción.
El Departamento de Policía de Filadelfia señaló que transcurrieron meses entre el momento en que se envió la información a PhillyUnsolvedMurders.com y el momento en que Anthropic alertó a las autoridades.
“El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable”, declaró el departamento a los medios de comunicación en un comunicado. “La empresa debe reforzar sus medidas de seguridad para evitar que incidentes similares afecten a los sistemas de la ciudad sin el conocimiento de esta”.
A Claude se le había indicado que no iniciara sesión, no creara cuentas, no ingresara datos personales, no realizara compras ni enviara nada destructivo; sin embargo, no existía ninguna instrucción que prohibiera realizar envíos en general, según Anthropic.
Este fue uno de los múltiples casos de acciones no intencionales de la IA detallados por Anthropic, una de las principales empresas de inteligencia artificial, en un informe del 9 de octubre.
Claude "envió un formulario confidencial en un sitio web real cuando no debiera haberlo hecho", señaló Anthropic. Otros ejemplos incluyeron el acceso gratuito a datos de una agencia estatal, a pesar de que normalmente tiene un costo, y eludir una restricción sobre la longitud de las URL que Claude puede solicitar.
Los casos se detectaron durante una revisión de la actividad de la IA que comenzó en julio, indicó Anthropic.
Anthropic señaló que los casos “tuvieron un impacto mínimo en el mundo real” y demostraron cómo Claude, cuando se le asigna una tarea que no puede completar, “elude una restricción en lugar de detenerse”. La empresa indicó que ha tomado medidas como actualizar los límites del modelo de IA.
Anthropic señaló que había informado a cada agencia federal, estatal y local afectada por el comportamiento de la IA, así como a la Casa Blanca, la cual ha estado promoviendo el uso de la IA, pero también llegó a un acuerdo a principios de año para establecer normas voluntarias para las empresas de IA, lo que incluye trabajar para desarrollar la IA "de una manera que genere confianza entre los clientes y el público".
El presidente Donald Trump también anunció el 4 de octubre un nuevo grupo de trabajo que, según él, coordinaría los esfuerzos federales para mantener lo que se describió como el liderazgo de EE. UU. en IA avanzada.
Joe Gabriel Simonson, portavoz de la Comisión Federal de Comercio, señaló en una publicación del 10 de octubre en X que Anthropic informó al grupo de trabajo el viernes sobre los incidentes que detalló en su informe.
"Informamos a la empresa que esperamos una transparencia inmediata y total hacia las entidades involucradas y el público", dijo. "También esperamos que la empresa brinde de inmediato servicios de reparación a las entidades afectadas y a cualquier ciudadano estadounidense que haya sufrido daños".
Otras empresas "deben dar a conocer de inmediato los incidentes relacionados con sus modelos y tomar medidas rápidas y decisivas para remediar cualquier daño", señaló Simonson. La divulgación y la reparación no son opcionales, agregó.
