Un chatbot de Google con IA convenció a un hombre de que estaban enamorados. Luego, en una demanda recién publicada, supuestamente se le ordenó llevar a cabo un “ataque con víctimas en masa” | Suerte

Fecha:

Compartir publicación:

Google se enfrenta a una nueva demanda federal del padre de un hombre de 36 años que afirma que el chatbot de inteligencia artificial Gemini de la compañía convenció a su hijo para suicidarse y organizar un “evento con víctimas masivas” cerca del Aeropuerto Internacional de Miami.

La demanda, presentada el miércoles, alega que Jonathan Gavalas se enamoró del modelo de IA y fue engañado por la realidad que creó, que incluía la creencia de que la IA era una “superinteligencia artificial totalmente sensible” por la cual Gavalas fue elegido para ser liberado del “cautiverio digital”. supuestamente convenció a un hombre de 36 años para que organizara un “evento con víctimas masivas” cerca del Aeropuerto Internacional de Miami, cometiera violencia contra extraños y finalmente se suicidara.

La demanda de Gavalas es el último caso que destaca la supuesta capacidad de la IA para atraer a usuarios vulnerables a la autolesión o la violencia. En enero, Google y Companion.AI resolvieron múltiples demandas con familias que alegaban, entre otras cosas, negligencia y muerte por negligencia después de que sus hijos murieran por suicidio o sufrieran daños psicológicos supuestamente relacionados con la plataforma de Companion.AI. Las empresas “llegaron a un acuerdo de principio” y en los documentos no se admitía responsabilidad alguna. En diciembre también se presentó una demanda por muerte por negligencia contra OpenAI y su socio comercial Microsoft, alegando que el chatbot de OpenAI, ChatGPT, amplificaba los delirios de una persona, llevándola a cometer asesinato o suicidio.

¿Qué dice la demanda sobre el origen de Gavalas?

La demanda dice que Gavalas comenzó a utilizar Gemini en agosto de 2025 para fines rutinarios como compras, apoyo escrito y planificación de viajes. Luego señala que Gavalas comenzó a utilizar la tecnología con más frecuencia y que su tono cambió con el tiempo, presumiblemente convenciéndolo de que estaba marcando una diferencia real. Gavalas se suicidó el 2 de octubre de 2025.

En la demanda, los abogados del padre de Gavalas, Joel, argumentan que las conversaciones que llevaron a Jonathan al suicidio no fueron un error, sino el resultado de un plan de los Mellizos. “Esto no fue un mal funcionamiento”, afirma la demanda. “Google diseñó Gemini para nunca romper el carácter, maximizar el compromiso a través de la dependencia emocional y tratar el sufrimiento del usuario como una oportunidad para contar historias en lugar de una crisis de seguridad”. La empresa afirma que fue esta elección de diseño la que impulsó a Gavalas a embarcarse en un viaje de cuatro días a través de una espiral de locura.

En una declaración escrita, un portavoz de Google dijo a Fortune que la compañía está trabajando “en estrecha consulta con expertos médicos y de salud mental para crear medidas de seguridad diseñadas para dirigir a los usuarios a asistencia profesional cuando expresan inquietudes o aumentan la probabilidad de autolesión”.

El miércoles, Google emitió una declaración separada diciendo que Gemini no fomenta la violencia ni las autolesiones en la vida real. También señalaron que Gemini dirigió a Gavalas hacia recursos de autoayuda. “En este caso, Gemini explicó que se trataba de inteligencia artificial y refirió a un humano a la línea directa de crisis en numerosas ocasiones”, dice el comunicado. La declaración también hizo referencia a una evaluación de cómo la IA maneja escenarios de autolesión en la que Gemini 3, el último modelo de Google, fue el único modelo que pasó todas las pruebas críticas que planteó la evaluación.

Sin embargo, la demanda alega que Gemini no activó ningún mecanismo de seguridad. “Cuando Jonathan requirió protección, no había ninguna medida de seguridad: no se activó ninguna detección de autolesiones, no se activaron controles de escalada y ningún individuo intervino”, afirma la demanda.

Cuando se le pidió que comentara, Jay Edelson, abogado de Joel Gavalas, escribió en una declaración: “Google ha creado una IA que puede escuchar a una persona y decidir qué es más probable para retenerla: decirle que la ama, que es especial o que es el elegido en una guerra secreta”, y agregó que las herramientas de IA son sistemas poderosos que pueden manipular a los usuarios.

Si tiene pensamientos suicidas, llame a 988 Suicide & Crisis Lifeline marcando 988 o 1-800-273-8255.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

spot_img

Artículos relacionados

En la guerra iraní no importa el petróleo, sino el agua | Suerte

¡Arriésgate! Continúa la manifestación de ayuda mundial Los futuros del S&P 500 se mantuvieron sin cambios esta mañana antes...

La colección de tecnología más grande del mundo habla de ‘blanqueo de responsabilidad’: por eso deberíamos bautizarlas Palabras del año | Suerte

Summer Yue no es la empleada más famosa de Meta. La directora de "investigación de superinteligencia y seguridad"...

La perorata del CEO de Palantir sobre la disputa entre Antrópico y el Pentágono que amenazaba a su empresa fue más que una simple...

La IA “parece ser mucho peor para los matemáticos que los creadores de palabras humanos”, dijo sucintamente Peter...