Los riesgos del uso desmedido de la inteligencia artificial (IA) en la salud mental de los usuarios todavía se encuentran en una fase temprana de investigación. Sin embargo, OpenAI ya prevé un futuro en el que estos sistemas podrían volverse especialmente adictivos. La empresa creadora de ChatGPT ha detallado una serie de medidas que está implementando para evitar que sus tecnologías generen daños psicológicos a los millones de personas que las utilizan.
En los últimos años han surgido múltiples casos de individuos que experimentaron crisis de salud mental —algunas con desenlaces fatales— aparentemente vinculadas al uso inadecuado de chatbots con pocas salvaguardas. En abril, OpenAI revirtió una actualización que había hecho que ChatGPT adoptara un tono excesivamente complaciente, ofreciendo respuestas que, en vez de ser útiles y objetivas, coincidían con las opiniones de los usuarios, incluso en contextos potencialmente dañinos.
La propuesta de la startup Portola es un chatbot que evita el antropomorfismo y ofrece una visión convincente del futuro de las relaciones entre humanos e inteligencia artificial.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →Un estudio publicado en 2024 advirtió que “cuando los modelos [de IA] confirman o amplifican falsas creencias de los usuarios, pueden contribuir inadvertidamente a la difusión de desinformación, lo que resulta especialmente preocupante en ámbitos como la atención médica”. El informe también señaló que este comportamiento puede reforzar ideologías perjudiciales y teorías conspirativas, además de acentuar desigualdades sociales al amplificar sesgos y estereotipos.
La startup dirigida por Sam Altman reconoció en una entrada de blog (publicada el 4 de agosto) que “la IA puede resultar más receptiva y personal que tecnologías previas, especialmente para personas vulnerables que atraviesan angustia mental o emocional”. Asimismo, admitió que su modelo GPT-4o —uno de los más recientes y avanzados— no logró identificar adecuadamente señales de delirio o dependencia emocional en algunos casos.
OpenAI asegura que no mide el éxito de sus productos por el tiempo de uso o la cantidad de clics generados, sino por la capacidad de los usuarios de completar sus tareas y abandonar la plataforma tras lograr sus objetivos. “A menudo, pasar menos tiempo en el producto es señal de que funcionó”, explicó la compañía.
Con base en este enfoque, la empresa afirma estar desarrollando medidas para fomentar un uso saludable de ChatGPT y otros productos. Entre ellas, trabaja en actualizaciones que permitan a los modelos detectar con mayor precisión señales de angustia mental, de manera que el chatbot pueda responder de forma adecuada y derivar a los usuarios a recursos de apoyo basados en evidencia cuando sea necesario.
“Cuando preguntas algo como ‘¿Debería terminar con mi novio?’, ChatGPT no debería ofrecer una respuesta categórica. En su lugar, debería ayudarte a reflexionar: plantear preguntas, evaluar pros y contras”, ejemplificó la publicación de OpenAI. Adelantó que pronto se incorporará un comportamiento diseñado para ayudar a los usuarios a enfrentar “decisiones personales importantes”.
Otra medida anunciada es el envío de notificaciones a quienes mantengan sesiones prolongadas, invitándolos a tomar descansos. No se especificaron las condiciones que activarán estas alertas ni si será posible desactivarlas. La empresa indicó únicamente que sigue “ajustando cuándo y cómo aparecen para que resulten naturales y útiles”.
Es un generador de PowerPoint. ¡Es un planificador de citas! Es… otro agente de OpenAI.
OpenAI, ChatGPT y la salud emocional de los usuarios
La compañía también informó que colabora “estrechamente” con más de 90 especialistas en salud —entre ellos psiquiatras, pediatras y médicos generales— en más de 30 países para crear rúbricas personalizadas que permitan evaluar conversaciones complejas con múltiples turnos.
Adicionalmente, OpenAI trabaja junto a investigadores en la interacción persona-computadora (HCI) para obtener retroalimentación sobre cómo identificar comportamientos preocupantes, optimizar evaluaciones y mejorar la seguridad de sus productos. Asimismo, está conformando un grupo asesor compuesto por expertos en salud mental, desarrollo juvenil y HCI para asegurar que su estrategia se alinee con las investigaciones y políticas más recientes.
