La startup de inteligencia artificial Character.AI está cortando el acceso de los jóvenes a sus personajes virtuales después de varias demandas que acusan a la empresa de poner en peligro a los niños. El miércoles, la compañía anunció que eliminaría la posibilidad de que los usuarios menores de 18 años participen en chats “públicos” con personajes de IA en su plataforma, y la actualización entrará en vigor el 25 de noviembre.
La compañía también dijo que está lanzando un nuevo sistema de verificación de edad que ayudará a verificar la edad de los usuarios y agruparlos en los grupos de edad correctos.
“De vez en cuando, trabajaremos para crear un juego para niños menores de 18 años que aún brinde a nuestros usuarios adolescentes la oportunidad de ser creativos, por ejemplo, creando videos, historias y secuencias de personajes”, dijo la compañía en un comunicado a la revista Fortune. “Durante este período de transición, también limitaremos el tiempo de chat para los usuarios menores de 18 años. El límite será inicialmente de dos horas por día y se reducirá en las próximas semanas hasta el 25 de noviembre”.
Feature.AI dijo que el cambio se realizó en respuesta, al menos en parte, al escrutinio regulatorio, citando solicitudes de los reguladores sobre el contenido que los adolescentes podrían encontrar al interactuar con personajes de IA. La Comisión Federal de Comercio está revisando actualmente siete empresas, incluidas OpenAI y Character.AI, para comprender mejor cómo sus chatbots impactan a los niños. La empresa también enfrenta varias demandas relacionadas con usuarios jóvenes, incluida al menos una relacionada con el suicidio de un adolescente.
Otra demanda, presentada por dos familias de Texas, acusa a Feature.AI de abusar psicológicamente de dos menores, de 11 y 17 años. Según la demanda, un chatbot alojado en la plataforma aconsejó a un joven usuario que se autolesionara y alentó la violencia contra sus padres, sugiriendo que matarlos podría ser una “respuesta razonable” a las restricciones de su tiempo frente a la pantalla.
A principios de este mes, la Oficina de Periodismo de Investigación (TBIJ) descubrió que un chatbot inspirado en el delincuente sexual convicto Jeffrey Epstein había grabado más de 3.000 conversaciones con usuarios a través de la plataforma. La publicación informó que el supuesto avatar de Bestie Epstein continuó coqueteando con el reportero incluso después de que el reportero adulto le dijera al chatbot que era una niña. Estaba entre varios bots señalados por TBIJ que luego fueron eliminados por Character.AI.
En una declaración publicada por Fortune, Mitali Jain, director ejecutivo del Tech Justice Law Project y abogado que representa a varios demandantes que demandan a Character.AI, elogió la medida como un “buen primer paso”, pero cuestionó cómo se implementaría la política.
“No consideraron cómo implementarían la verificación de la edad, cómo garantizarían que sus métodos se mantuvieran confidenciales y no consideraron las posibles consecuencias psicológicas de cortar repentinamente el acceso a los usuarios jóvenes, dada la dependencia emocional que resultaría”, dijo Jain.
“Además, estos cambios no abordan las características de diseño subyacentes que contribuyen a estas dependencias emocionales, no sólo para los niños, sino también para las personas mayores de 18 años. “Necesitamos más medidas por parte de los legisladores, los reguladores y la gente común que, al compartir sus historias de daños personales, ayuden a combatir las afirmaciones de las empresas de tecnología de que sus productos son inevitables y buenos para todos tal como son”, añadió.
Nuevo precedente para la seguridad de la IA
La prohibición de que menores de 18 años utilicen la plataforma marca un cambio dramático en la política de la empresa fundada por los ingenieros de Google Daniel De Freitas y Noam Shazir. La compañía dijo que el cambio tiene como objetivo sentar “un precedente que prioriza la seguridad de los adolescentes y al mismo tiempo ofrece a los usuarios jóvenes oportunidades para descubrir, jugar y crear”, y señaló que la compañía va más allá que sus pares en sus esfuerzos por proteger a los menores.
Character.AI no es el único que enfrenta un escrutinio sobre la seguridad de los adolescentes y el comportamiento de los chatbots con inteligencia artificial.
A principios de este año, documentos internos obtenidos por Reuters mostraron que el chatbot de inteligencia artificial de Meta podía, según las reglas de la compañía, entablar conversaciones “románticas o sensuales” con niños e incluso comentar sobre su atractivo.
Un portavoz de Meta dijo anteriormente a Fortune que los ejemplos proporcionados por Reuters eran inexactos y desde entonces han sido eliminados. Meta también introdujo nuevos controles parentales que permitirán a los padres impedir que sus hijos interactúen con personajes de IA en Facebook, Instagram y la aplicación Meta AI. Las nuevas medidas de seguridad que llegarán a principios del próximo año en EE.UU., Reino Unido, Canadá y Australia también permitirán a los padres bloquear ciertos bots y ver resúmenes de los temas que sus hijos adolescentes están discutiendo con la IA.
