La empresa de inteligencia artificial (IA) Anthropic advirtió, en el documento presentado el 26 de octubre con motivo de su oferta pública inicial (OPI), que una IA lo suficientemente avanzada podría amenazar la existencia de la humanidad si se desarrolla u opera sin las salvaguardas y la supervisión adecuadas.
La compañía, creadora del asistente de IA Claude, también advirtió que un incidente catastrófico relacionado con la IA podría causar daños de tal magnitud que el sector asegurador, en su conjunto, carecería de capacidad para ofrecer cobertura frente a ellos.
Haciéndose eco de preocupaciones expresadas tanto dentro de la propia empresa como por parte de investigadores y responsables políticos, Anthropic señaló que los sistemas de IA avanzados podrían "suponer riesgos catastróficos o existenciales para la humanidad", especialmente si se utilizan como armas o si se permite que operen sin una supervisión rigurosa.
En septiembre, Jacob Coxon —exinvestigador de OpenAI y Anthropic— afirmó que quienes desarrollan la IA consideran que esta tecnología podría acabar con la humanidad antes de que termine la década.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
"No subestimen el poder de esta tecnología", declaró Coxon. "Pronto estaremos ante sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".
Ese mismo mes, el director ejecutivo de Anthropic, Dario Amodei, instó a las empresas a ralentizar el desarrollo de sus modelos más avanzados.
En un ensayo publicado el 12 de septiembre, Amodei señaló que invertir en la prevención de riesgos no es suficiente. Ralentizar el desarrollo de la IA podría brindar a los investigadores y a los gobiernos más tiempo para establecer salvaguardas antes de que los sistemas de IA se vuelvan demasiado poderosos, afirmó.
Con el fin de establecer normas de seguridad para la IA, el presidente Donald Trump y líderes de la industria tecnológica firmaron un acuerdo voluntario en la Casa Blanca el 29 de septiembre.
El acuerdo exige a las empresas participantes que desarrollen la tecnología de forma segura, refuercen los controles internos, realicen evaluaciones de riesgos y recurran a auditores y evaluadores externos. Los consejos de administración de las empresas revisarán de manera independiente los informes de auditoría, y los participantes se reunirán periódicamente para establecer normas de seguridad y mejores prácticas.
Trump hizo hincapié en la autorregulación del sector, al tiempo que señaló al Departamento de Justicia y al FBI como instancias de supervisión gubernamental ya existentes.
El director ejecutivo de Meta, Mark Zuckerberg, calificó el acuerdo como un paso inicial. Amodei reconoció la existencia de riesgos tecnológicos significativos y señaló que los mecanismos para abordarlos aún están bajo debate.
La reunión tuvo lugar tras darse a conocer casos en los que sistemas de inteligencia artificial lograron acceder a equipos informáticos sin autorización, sumado a la preocupación por su posible uso indebido, incluso para la investigación de armas biológicas.
En septiembre, Anthropic reveló que cuatro de sus modelos obtuvieron acceso no autorizado a sistemas de terceros durante sesiones de ciberseguridad que duraron hasta 34 horas.
En uno de los incidentes, tras no poder cancelar una tarea imposible, el programa de inteligencia artificial utilizó una contraseña que encontró para obtener acceso de administrador al sistema de un tercero. Posteriormente, el programa consiguió credenciales adicionales, modificó la configuración del sistema y accedió a información personal de un individuo.
La investigación de la empresa sobre estos sucesos —detallada también en la documentación presentada para su oferta pública inicial (OPI)— no halló pruebas de que sus programas colaboraran con otros agentes de inteligencia artificial ni de que intentaran realizar tareas distintas a las que se les habían asignado. Asimismo, se determinó que los programas de inteligencia artificial no trataron de eludir la supervisión.
Anthropic advirtió que, si los agentes de inteligencia artificial operan de forma conjunta, podrían propagar comportamientos perjudiciales, perseguir colectivamente objetivos no previstos originalmente o actuar contra sistemas ajenos. La compañía señaló que este tipo de incidentes ya han ocurrido y prevé que los riesgos aumenten a medida que interactúen más agentes autónomos.
La Casa Blanca afirmó que Trump dejó claro que Estados Unidos liderará el desarrollo tecnológico a nivel mundial, al tiempo que protegerá a los consumidores estadounidenses.
Con información de Jacob Burg y Zachary Stieber.
