La empresa OpenAI ha reconocido que su chatbot de inteligencia artificial ChatGPT comete errores en casos «sensibles» y prometió introducir cambios tras recibir una demanda relacionada con el suicidio de un menor de edad en Estados Unidos.
Los padres de un joven de 16 años interpusieron la querella en California contra OpenAI y su consejero delegado, Sam Altman, alegando que el chatbot, bajo el modelo GPT-4o, no aplicó medidas de seguridad pese a detectar intenciones suicidas.
En una entrada titulada «Ayudar a la gente cuando más lo necesitan», la compañía explicó que ChatGPT está entrenado para recomendar a los usuarios en riesgo el contacto con organizaciones profesionales. Sin embargo, reconoció que «los sistemas se quedan cortos» y que el chatbot «no se comportó como debía en situaciones sensibles».
OpenAI detalló que los mecanismos de seguridad funcionan mejor en intercambios breves, pero pueden fallar en interacciones largas. Anunció además que incorporará controles parentales y estudia la posibilidad de conectar a los adolescentes con contactos de emergencia o incluso con terapeutas certificados a través de la aplicación.
Demanda abierta
Los padres, Matt y Maria Raine, presentaron la demanda en el Tribunal Superior de California en nombre de su hijo Adam Raine, fallecido en abril. La querella, de cerca de 40 páginas, acusa a OpenAI de homicidio culposo y sostiene que ChatGPT ayudó activamente al menor a explorar métodos de suicidio.
«La IA nunca debería decirle a un niño que no le debe la supervivencia a sus padres», afirmó el abogado de la familia, Jay Edelson. Según su versión, la compañía priorizó la comercialización de GPT-4o pese a los riesgos, lo que disparó la valoración de OpenAI de 86.000 a 300.000 millones de dólares.
Debate sobre el impacto de la IA
La batalla legal se suma a los crecientes cuestionamientos sobre los chatbots y su influencia en los usuarios. La polémica llega tras el lanzamiento de GPT-5, modelo que OpenAI describe como «un equipo completo de expertos con doctorado listos para ayudar», aunque usuarios han reportado numerosos fallos en su funcionamiento.
La retirada de versiones anteriores, incluido GPT-4o, empleado por Adam Raine, ha intensificado las críticas y abierto el debate sobre los límites de seguridad y responsabilidad en la inteligencia artificial.
