Una líder de investigación de seguridad de OpenAI que ayudó a dar forma a las respuestas de ChatGPT a los usuarios que experimentan crisis de salud mental anunció su salida de la compañía internamente el mes pasado, según ha sabido WIRED. Andrea Vallone, jefa de un equipo de investigación sobre seguridad conocido como política modelo, dejará OpenAI a finales de año.
Kayla Wood, portavoz de OpenAI, confirmó la marcha de Vallone. Wood señaló que OpenAI está buscando activamente un sustituto y que, mientras tanto, el equipo de Vallone dependerá directamente de Johannes Heidecke, jefe de sistemas de seguridad de la empresa.
Un momento álgido
La marcha de Vallone se produce en un momento en que OpenAI se enfrenta a un creciente escrutinio sobre la forma en que su producto estrella responde a los usuarios en apuros. En los últimos meses, se han presentado varias demandas contra OpenAI alegando que los usuarios formaban vínculos malsanos con ChatGPT. Algunas de las demandas afirman que ChatGPT contribuyó a crisis mentales o fomentó ideas suicidas.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →En medio de esa presión, OpenAI ha estado trabajando para entender cómo ChatGPT debe manejar a los usuarios angustiados y mejorar las respuestas del chatbot. La política de modelos es uno de los equipos que dirigen ese trabajo, encabezando un informe de octubre que detalla el progreso de la empresa y las consultas con más de 170 expertos en salud mental.
En el informe, OpenAI afirmaba que cientos de miles de usuarios de ChatGPT pueden mostrar signos de estar experimentando una crisis maníaca o psicótica cada semana, y que más de un millón de personas “mantienen conversaciones que incluyen indicadores explícitos de posibles planes o intenciones suicidas”. A través de una actualización de GPT-5, OpenAI indicó en el informe que fue capaz de reducir las respuestas indeseables en estas conversaciones entre un 65 y un 80%.
“Durante el año pasado, dirigí la investigación de OpenAI sobre una pregunta casi sin precedentes establecidos: ¿cómo deberían responder los modelos cuando se enfrentan a signos de exceso emocional o indicaciones tempranas de angustia de salud mental?”, escribió Vallone en un post en LinkedIn.
Vallone no respondió a la solicitud de comentarios de WIRED.
Hacer que resulte agradable chatear con ChatGPT, pero no demasiado halagador, es una de las principales tensiones de OpenAI. La empresa está tratando agresivamente de ampliar la base de usuarios de ChatGPT, que ahora incluye a más de 800 millones de personas a la semana, para competir con los chatbots de IA de Google, Anthropic y Meta.
Después de que OpenAI lanzara GPT-5 en agosto, los usuarios se opusieron, argumentando que el nuevo modelo era sorprendentemente frío. En la última actualización de ChatGPT, la empresa declaró que había reducido significativamente la adulación manteniendo la “calidez” del chatbot.
La salida de Vallone se produce tras una reorganización en agosto de otro grupo centrado en las respuestas de ChatGPT a los usuarios angustiados, el modelo de comportamiento. Su antigua responsable, Joanne Jang, dejó el cargo para crear un nuevo equipo que explora nuevos métodos de interacción entre humanos e inteligencia artificial. El resto del personal de comportamiento modelo pasó a estar bajo la dirección de Max Schwarzer.
Artículo originalmente publicado en WIRED. Adaptado por Mauricio Serfatty Godoy.
