Un adolescente se suicidó tras enamorarse de un avatar: ¿puede la Inteligencia Artificial ser culpable ante la ley?

La inteligencia artificial (IA), cada vez más presente en herramientas de uso cotidiano, puede derivar en la ruina si arroja una recomendación financiera errónea o en un accidente de tráfico por ofrecer una ruta peligrosa. El caso más extremo ha llegado a juicio en Estados Unidos. Sewell Setzer, un adolescente de 14 años, se suicidó tras mantener una relación sentimental con un avatar, creado por el robot conversacional de inteligencia artificial (chatbot) Character.AI, del personaje de 'Juego de Tronos' 'Daenerys Targaryen'. 

Una jueza ha desestimado la petición de los acusados (la mencionada empresa y Google) de archivar el caso y ha permitido que continúe en los términos que reclama la familia: 

“Character.AI es un producto defectuoso que se lanzó de manera imprudente al público, incluidos los adolescentes, a pesar de los riesgos conocidos y posiblemente destructivos”. ¿Es la IA responsable ante la justicia de la muerte del adolescente?

• Día de la Prevención del Suicidio: Quito, Ambato y Cuenca registran más llamadas de auxilio en Ecuador

“¿Qué te parecería que pudiera ir a casa ahora mismo?”, preguntó Sewell Setzer (bajo el seudónimo de Daenero) a su amada virtual. “Por favor, hazlo mi dulce rey”, respondió ella. El adolescente entendió que la casa común donde podrían encontrarse era la muerte y, el 28 de febrero de 2024, Setzer cogió la pistola de su padrastro y se suicidó en el baño.

Megan García, la madre del menor, ha acusado a la creadora de la aplicación y a 'Google', por supuestas vinculaciones con Character.AI que la multinacional rechaza. Estas empresas han solicitado que el caso sea desestimado alegando que el chatbot está legitimado por la primera enmienda de la Constitución de Estados Unidos, que defiende la libertad de expresión.

La jueza Anne Conway ha rechazado los argumentos: “Los grandes modelos de lenguaje [el sistema de inteligencia artificial diseñado para comprender el lenguaje humano ('LLM' por sus siglas en inglés)], no son expresión. Los acusados no logran explicar por qué las palabras unidas por un 'LLM' son discurso”.

Ricard Martínez, director de la cátedra de 'Privacidad y Transformación Digital de la Universidad de Valencia', respalda la decisión de la jueza y resume la opinión de los juristas consultados: “Una máquina no tiene libertad de expresión. En todo caso, ejercerá la libertad de expresión de quien la programa. Todavía no hemos concedido personalidad jurídica a la inteligencia artificial y se puede caer en el error de tratar de eliminar con esta la responsabilidad de los humanos. Esa máquina la programa y la pone en el mercado alguien”.

Su opinión coincide con Meetali Jain, abogada de García y fundadora de 'Tech Justice Law Project', un colectivo de defensa de la seguridad en internet.

• Inteligencia Artificial generativa de audio está llena de machismo, racismo e infracciones de derechos de autor

“'Silicon Valley' necesita detenerse, pensar e imponer medidas de seguridad antes de lanzar productos al mercado”.

Meetali Jain, abogada de García 

La decisión de la jueza permite a los letrados de García mantener el proceso por los siguientes términos: homicidio culposo, negligencia, responsabilidad por productos defectuosos y prácticas comerciales desleales con ánimo de lucro y sin medidas de seguridad para evitar tragedias similares.

“Con el fallo, una jueza federal reconoce el derecho de una madre en duelo a acceder a los tribunales para responsabilizar a las poderosas empresas tecnológicas y a sus desarrolladores, por comercializar un producto defectuoso que provocó la muerte de su hijo. Este fallo histórico no solo permite a Megan García buscar la justicia que su familia merece, sino que también sienta un nuevo precedente para la responsabilidad legal en todo el ecosistema tecnológico y de IA”, argumenta Jain.

Y aquí es donde entra la gran cuestión: ¿puede ser la inteligencia artificial responsable de un suicidio?

El riesgo potencial de las nuevas herramientas digitales ha sido abordado por diferentes estudios. El investigador y profesor de robótica de la 'Universidad de Sheffield Tony Prescott', autor de 'The psychology of artificial intelligence' (La psicología de la inteligencia artificial), sostiene que la IA puede ser beneficiosa, pero que también implica riesgos. Matthias Scheutz, director del 'Laboratorio de Interacción Humano-Robot en la Universidad de Tufts' (Estados Unidos), coincide: 

“Los robots sociales [como el chatbot en cuestión] están diseñados específicamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero también causar daños emocionales a niveles muy básicos”, advierte

Responsabilidad

La cuestión de la responsabilidad legal es más compleja. ¿Se puede considerar el suceso como la consecuencia de un producto defectuoso, como plantea la familia de Setzer?

“Puede ser un producto defectuoso que generó un daño indemnizable de alguna manera y la jueza deja abierto el caso por una cuestión lógica: el producto ha sido diseñado como una interfaz [conexión entre máquina y usuario] para la interacción con seres humanos y ha producido un efecto, probablemente no esperado por la compañía, pero claramente dañoso: alguien se ha suicidado”, explica Ricard Martínez.

“Otra cosa”, matiza, “es que se establezca la relación causa efecto, que se pueda probar y que se determine que el suicidio se ha producido bien porque la máquina lo ha inducido o que en realidad nos estamos enfrentando a un adolescente inmaduro y que ha utilizado inadecuadamente una herramienta”.

Jain también considera que el modelo de lenguaje del chatbot es responsable: “El LLM de Character.AI es un producto sujeto a la ley de responsabilidad por productos y no simplemente un servicio”. Por el contrario, el departamento jurídico de la asociación de consumidores 'OCU' no lo ven claro ateniéndose a la normativa española. 

“Según la 'Ley General para la Defensa de Consumidores y Usuarios', la IA no puede entenderse como un producto ya que no encajaría en la definición de los artículos 6 ni 136 de la citada norma, para los que producto son solo los bienes muebles, la electricidad y el gas. Por tanto, al no ser considerado producto no se pueden poner en marcha los mecanismos legales para proteger a los consumidores ante uno defectuoso”.

Sin embargo, esta organización sí considera que, en Europa, se le podría aplicar la' Ley de Servicios Digitales' (DSA, por sus siglas en inglés): “En ese caso, si se acredita que el servicio es potencialmente lesivo, se debe poner en conocimiento de la empresa titular del mismo para que proceda a su retirada y, en su defecto, denunciar ante las autoridades”.

• Resolución histórica: La ONU pide regular la inteligencia artificial

Legislación europea

Ricard Martínez, “bajo el prisma de la legislación europea”, que considera “extrapolable” al desarrollo de inteligencia artificial en el modelo norteamericano, precisa que no se puede poner en el mercado un producto que no reúna unas ciertas garantías de seguridad en su funcionamiento. “En cualquier escenario de la vida, la responsabilidad civil por daño aplica a partir del momento en que ese daño se produce y puede que se trate de algo que no ha sido específicamente regulado. No puedes diseñar, implementar y poner al mercado en una herramienta digital desarrollada sin diligencia profesional”.

Esta hace referencia a la finalidad del producto y el destinatario. “Si incluye menores, tengo que, automáticamente, tomar un conjunto de decisiones que tienen que ver la verificación de la edad y su madurez para consentir en el uso de la aplicación”, explica.

El profesor de 'Privacidad y Transformación Digital' cree que el caso judicial debe dilucidar si la compañía analizó la existencia de riesgos y no los gobernó así como si siguió, en el diseño y funcionamiento, los principios internacionales para estos desarrollos (Directrices de la 'Unesco' para regular las plataformas digitales).

• Inteligencia Artificial: ¿debería ser regulada?, y ¿por quién? 

“Hay un conjunto de condicionamientos de diseño que se pueden fundamentar en una norma o en obligaciones éticas, como que, en todo momento, debe haber supervisión humana, que el usuario del bot debe saber que está interactuando con una máquina y evaluar las consecuencias”, explica Martínez. Character.AI defiende que mantiene de forma permanente avisos sobre el carácter ficticio de los personajes, pero que Setzer fue profundizando en la relación con el avatar haciendo caso omiso a las advertencias.

Martínez replica que, aparte de la transparencia y los avisos, aplicaciones como esta deberían tener una programación que permita identificar interacciones desmesuradas o conversaciones peligrosas que indiquen un riesgo, así como una evaluación permanente de los potenciales daños.

También reclama que los desarrolladores cuenten con formación en aspectos jurídicos y éticos para evitar vulneraciones de, por ejemplo, “la seguridad de las personas, sus derechos fundamentales, el debate democrático o la salud pública”. “La regla de oro es que el usuario siempre debe saber que interactúa con una máquina y entender las consecuencias y riesgos del uso de esta”, concluye.

Argumentos de las compañías

Tras la decisión de la jueza de seguir adelante con el caso, un portavoz de Character.AI ha aceptado la decisión con matices: “La ley tarda en adaptarse a las nuevas tecnologías y la IA no es diferente. En el fallo, el tribunal ha dejado claro que no estaba listo para pronunciarse sobre todos los argumentos de Character.AI en esta etapa y esperamos continuar defendiendo el caso”.

La compañía justifica que la aplicación no permite el uso por parte de menores de 14 años, que ha creado una línea específica para mayores de 18 y que incluye normas contra contenidos relacionados con la autolesión. Tras el suceso, además, la aplicación dirige al usuario a la 'Línea Nacional de Prevención del Suicidio y Crisis de Estados Unidos' si se detectan determinadas expresiones. 

“Nos preocupamos profundamente por la seguridad de nuestros usuarios y nuestro objetivo es proporcionar un espacio que sea atractivo y seguro”, añade en un comunicado Chelsea Harrison en nombre de la compañía de IA.

• Creador del ChatGPT dice que la inteligencia artificial es un riesgo

El portavoz de Google, José Castañeda, ha desvinculado a la multinacional de la compañía del chatbot y cuestiona que siga como parte acusada: “Google y Character AI son completamente independientes y Google no creó, diseñó ni administró la aplicación de Character AI ni ninguno de sus componentes”.

La relación entre ambas empresas se fundamenta en que Character.AI fue fundada por dos exingenieros de Google que volvieron a incorporarse a la multinacional, según informan los medios estadounidenses.

Si es una persona sola y necesita ayuda, puede llamar al 171 opción 6 para contar con profesionales en psicología del Ministerio de Salud en Ecuador. Otro mecanismo es el ECU 911, donde también hay expertos médicos en la atención de este tipo de situaciones.

• ¿Vida después de la muerte? Así serán los fantasmas de Inteligencia Artificial

Contenido publicado el 30 de mayo de 2025 en El País, ©EDICIONES EL PAÍS S.L.U.. Se reproduce este contenido con exclusividad para Ecuador por acuerdo editorial con PRISA MEDIA.