La empresa OpenAI ha reconocido que su chatbot de inteligencia artificial ChatGPT comete errores en casos «sensibles» y prometió introducir cambios tras recibir una demanda relacionada con el suicidio de un menor de edad en Estados Unidos.
Los padres de un joven de 16 años interpusieron la querella en California contra OpenAI y su consejero delegado, Sam Altman, alegando que el chatbot, bajo el modelo GPT-4o, no aplicó medidas de seguridad pese a detectar intenciones suicidas.
En una entrada titulada «Ayudar a la gente cuando más lo necesitan», la compañía explicó que ChatGPT está entrenado para recomendar a los usuarios en riesgo el contacto con organizaciones profesionales. Sin embargo, reconoció que «los sistemas se quedan cortos» y que el chatbot «no se comportó como debía en situaciones sensibles».
OpenAI detalló que los mecanismos de seguridad funcionan mejor en intercambios breves, pero pueden fallar en interacciones largas. Anunció además que incorporará controles parentales y estudia la posibilidad de conectar a los adolescentes con contactos de emergencia o incluso con terapeutas certificados a través de la aplicación.
Demanda abierta
Los padres, Matt y Maria Raine, presentaron la demanda en el Tribunal Superior de California en nombre de su hijo Adam Raine, fallecido en abril. La querella, de cerca de 40 páginas, acusa a OpenAI de homicidio culposo y sostiene que ChatGPT ayudó activamente al menor a explorar métodos de suicidio.
