El gigante de la inteligencia artificial (IA), Anthropic, hizo un llamamiento el 4 de junio a los líderes de la industria en todo el mundo para que ralenticen el ritmo de desarrollo de esta tecnología. Advirtió que los modelos están llegando a un punto en el que pronto podrían mejorarse por sí mismos de forma independiente, lo que podría escapar del control humano.
Anthropic, creador del popular chatbot Claude, señaló en una publicación de blog que seguir delegando el desarrollo de la IA a los propios sistemas conlleva el riesgo de crear una tecnología "capaz de diseñar y desarrollar de manera completamente autónoma a su propio sucesor".
Historias relacionadas
"Esto se conoce como automejora recursiva", escribieron Marina Favaro y Jack Clark de Anthropic en la publicación. "Todavía no hemos llegado a ese punto, y la automejora recursiva no es inevitable. Pero podría llegar antes de lo que la mayoría de las instituciones están preparadas".
Anthropic ya había advertido sobre un posible ajuste de cuentas en materia de ciberseguridad por parte de los modelos de IA de vanguardia cuando anunció su vista previa de Claude Mythos en abril.
Algunos líderes de la industria han destacado los peligros de que la IA llegue al punto de mejorarse a sí misma sin intervención humana, advirtiendo sobre los efectos potencialmente impredecibles para la sociedad.
"Creemos que sería beneficioso para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia para permitir que las estructuras sociales y la investigación de alineación se mantengan al día con el avance de la tecnología", escribieron Favaro y Clark.
"El Instituto Antrópico llevará a cabo investigaciones —en colaboración con muchos otros— y tomará medidas para ayudar a construir los sistemas que requeriría una desaceleración o pausa creíble".
Anthropic afirmó que el desarrollo de estos sistemas permitiría a los desarrolladores de IA de vanguardia "verificar que otros a nivel mundial realmente han detenido o ralentizado su trabajo, y que un agente malintencionado no podría aprovecharse de una desaceleración coordinada para avanzar en secreto".
Historias relacionadas
Según Anthropic, este proceso requeriría una coordinación global entre "múltiples laboratorios bien financiados situados en la frontera o cerca de ella".
Por su parte, el presidente Donald Trump firmó una orden ejecutiva el 2 de junio en la que pide a las empresas de IA enviar voluntariamente sus modelos de frontera para su revisión por parte del gobierno 30 días antes de su lanzamiento público completo.
Todavía no está claro qué empresas de IA optarán por participar, pero la orden llega después de que el Centro para Estándares e Innovación en IA del Departamento de Comercio firmara acuerdos con Google DeepMind, Microsoft y xAI el mes pasado para evaluar sus modelos de vanguardia en busca de posibles riesgos de seguridad antes de su lanzamiento público.
Anthropic también está intentando salir a bolsa. La empresa de inteligencia artificial anunció el 1 de junio que había presentado confidencialmente un folleto informativo para su oferta pública inicial ante la Comisión de Bolsa y Valores (SEC).
OpenAI ha indicado que pronto podría seguir el mismo camino.
