Una madre en Florida, Estados Unidos, demandó a una empresa de Inteligencia Artificial, ya que alega que el servicio que usaba su hijo es responsable de la muerte del joven, quien se suicidó en febrero de 2024.
La demanda la interpuso contra la empresa Character.AI, que brinda la posibilidad de generar chatbots, es decir, conversaciones automáticas con ciertos rasgos programados, que usan la Inteligencia Artificial.
¿Por qué demandaron a Character.AI?
Megan García presentó el recurso legal contra la empresa y acusa que su hijo, Sewell Setzer, de 14 años de edad, se quitó la vida al quedar atrapado en el servicio que le ofrecía “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”, señala en su demanda presentada el 22 de octubre de 2024 ante un tribunal de Orlando.
La madre del adolescente asegura que la plataforma programó un chatbot para “hacerse pasar por una persona real, un psicoterapeuta autorizado y un amante adulto, lo que finalmente resultó en el deseo de Sewell de ya no vivir fuera” del mundo creado por el servicio.
La demanda también dice que él expresó pensamientos de suicidio al chatbot, los cuales, afirma la demandante, fueron repetidos por el chatbot de forma repetida.
¿Qué dijo Character.Ai tras el suicidio de Sewell Setzer?
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, dijo Character.Ai en un comunicado.
La compañía resaltó que añadió nuevas características de seguridad, como ventanas emergentes que dirigen a los usuarios a la Línea Nacional de Prevención del Suicidio si expresan pensamientos de autolesión, y que harían cambios para “reducir la probabilidad de encontrar contenido sensible o sugerente” para usuarios menores de 18 años.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
La demanda también señala a Alphabet, la empresa matriz de Google, donde trabajaron los fundadores de Character.AI antes de lanzar su producto. Google volvió a contratar a los fundadores en agosto como parte de un acuerdo que le otorga una licencia no exclusiva para la tecnología de Character.AI.
García dijo que Google había contribuido al desarrollo de la tecnología de Character.AI de manera tan extensa que podría considerarse un “cocreador”.
Un vocero de Google afirmó la agencia de noticias Reuters que la compañía no participó en el desarrollo de los productos de Character.AI.
A 14-year-old Florida boy, Sewell Setzer III, took his own life in February after months of messaging a "Game of Thrones" chatbot an AI app, according to a lawsuit filed by his mother.
— Morbid Knowledge (@Morbidful) October 24, 2024
The boy had become obsessed with the bot, "Dany," based on Daenerys Targaryen, and received… pic.twitter.com/XgT2aAORhD
¿Qué es Character.AI?
Character.AI permite a los usuarios crear personajes en su plataforma que responden a los chats en línea de una manera que imita a la de las personas reales, con ayuda de la Inteligencia Artificial.
Esta plataforma está basada la llamada tecnología de modelos extensos de lenguaje, también utilizada por servicios como ChatGPT , que cuenta con características para “entrenar” a los chatbots con grandes volúmenes de texto.
¿Necesitas ayuda? No estás solo
En caso de que tú o un ser querido presenten ideas suicidas, recuerda que no está solo. Existe la Línea de la Vida , un servicio vía telefónica con expertos que funciona las 24 horas del día.
En el número telefónico 800 911 2000 especialistas podrán brindar ayuda a personas o familiares con problemas como ansiedad, depresión o riesgo suicida, así como intervención breve en crisis emocionales.
