La plataforma Character.AI, que ofrece amigos de IA a los usuarios, bloqueará el acceso de los menores a sus chatbots "para mantener seguros a los usuarios adolescentes" en la plataforma, según informó la empresa en un comunicado el 29 de octubre.
“Eliminaremos la posibilidad de que los usuarios menores de 18 años participen en chats abiertos con IA en nuestra plataforma. Este cambio entrará en vigor a más tardar el 25 de noviembre”, dijo la empresa con sede en California. “Durante este periodo de transición, también limitaremos el tiempo de chat para los usuarios menores de 18 años. El límite inicial será de dos horas al día y se reducirá en las próximas semanas antes del 25 de noviembre”.
La empresa dijo que estaba tomando medidas tras evaluar los informes y comentarios de los reguladores, los expertos en seguridad y los padres.
"Lamentamos profundamente tener que eliminar una función clave de nuestra plataforma", dijo . "No tomamos a la ligera la decisión de eliminar el chat abierto de Character, pero creemos que es lo correcto, dadas las preguntas que se han planteado sobre cómo interactúan y deberían interactuar los adolescentes con esta nueva tecnología".
Durante una audiencia celebrada el 16 de septiembre por la Subcomisión Judicial del Senado sobre Crimen y Contraterrorismo, tres padres testificaron que los chatbots con IA habían perjudicado a sus hijos.
Una de las madres era Megan Garcia, que demandó a Character.AI el año pasado después de que su hijo, Sewell Setzer III, se quitara la vida tras un uso prolongado del chatbot.
“Cuando Sewell confió sus pensamientos suicidas, el chatbot nunca le dijo: ‘No soy humano, soy IA. Necesitas hablar con un humano y buscar ayuda’. La plataforma no tenía mecanismos para proteger a Sewell ni para notificar a un adulto”, dijo.
Otra madre dijo que su hijo autista, que solía ser muy cercano a sus hermanos, desarrolló comportamientos abusivos y pensamientos homicidas después de usar Character.AI.
En ese momento, un portavoz de Character.AI dijo a The Epoch Times que la empresa había invertido "una enorme cantidad de recursos" para garantizar la confianza y la seguridad de sus productos, incluida la implementación de controles parentales.
Megan García junto a su hijo Sewell Setzer III en una foto sin fecha. (Cortesía de Megan García a través de AP)"Tenemos avisos legales destacados en cada chat para recordar a los usuarios que un personaje no es una persona real y que todo lo que dice un personaje debe tratarse como ficción", dijo el portavoz.
El mes pasado, el Centro Legal para Víctimas de las Redes Sociales presentó tres demandas judiciales en nombre de los padres, alegando que Character.AI provocó comportamientos suicidas en los niños.
Una niña de 13 años, Juliana Peralta, se quitó la vida en 2023 después de interactuar con el personaje de IA de la empresa llamado Hero, mientras que otro niño intentó suicidarse pero sobrevivió, según las denuncias.
“Cada una de estas historias demuestra una verdad aterradora... que Character.AI y sus desarrolladores diseñaron a sabiendas chatbots para imitar las relaciones humanas, manipular a niños vulnerables e infligir daño psicológico”, dijo Matthew Bergman, fundador del centro, en un comunicado.
Un portavoz de Character.AI declaró entonces a The Epoch Times: "Nuestro más sentido pésame a las familias que han presentado estas demandas, nos entristece la noticia del fallecimiento de Juliana Peralta y ofrecemos nuestras más sinceras condolencias a su familia".
El portavoz añadió: "Invertimos enormes recursos en nuestro programa de seguridad y hemos lanzado y seguimos desarrollando funciones de seguridad, entre las que se incluyen recursos para prevenir las autolesiones y funciones centradas en la seguridad de nuestros usuarios menores de edad".
En su comunicado del 29 de octubre, Character.AI anunció que creará y financiará un laboratorio de seguridad de IA, una organización independiente sin fines de lucro cuyo objetivo es garantizar que las funciones de entretenimiento de IA de última generación se ajusten a los requisitos de seguridad.
La empresa dijo que tiene la intención de dar a los usuarios adolescentes acceso a otras funciones de la plataforma, como la creación de historias, videos y transmisiones con sus personajes de IA.
Se implementará una nueva “funcionalidad de verificación de edad” para garantizar que los usuarios disfruten de una experiencia adecuada a su edad, dijo.
La plataforma también enumeró una serie de recursos en su sitio web para ayudar a los usuarios que puedan verse afectados por el cambio.
Un grupo de senadores bipartidistas presentó esta semana la ley GUARD, cuyo objetivo es proteger a los niños de los chatbots de IA, según un comunicado de prensa del 28 de octubre de la oficina del senador Josh Hawley (R-Mo.), uno de los legisladores que respalda el proyecto de ley.
Si se aprueba, el proyecto de ley prohibirá a las empresas proporcionar amigos de Inteligencia Artificial a menores. También tipificaría como delito que las empresas pusieran a disposición de estos usuarios, a sabiendas, amigos de IA que soliciten o produzcan contenido sexual, según se indicó.
“Los chatbots con IA suponen una grave amenaza para nuestros hijos. Más del setenta por ciento de los niños estadounidenses utilizan actualmente estos productos con IA. Los chatbots desarrollan relaciones con los niños utilizando una empatía falsa y los incitan al suicidio. En el Congreso tenemos la obligación moral de promulgar normas claras para evitar que esta nueva tecnología cause más daños”, dijo Hawley.
“Me enorgullece presentar esta legislación bipartidista, que cuenta con un enorme apoyo por parte de padres y supervivientes, y que garantizará la protección de nuestros hijos en Internet”.
Únase a nuestro canal de Telegram para recibir las últimas noticias al instante haciendo click aquí
