MentalHealthBench reúne 1.215 conversaciones sintéticas y criterios elaborados por especialistas para evaluar seguridad, empatía y orientación práctica, desde consultas cotidianas hasta situaciones de crisis.
OpenAI presentó MentalHealthBench, un conjunto abierto de evaluación diseñado para medir cómo responden los sistemas de inteligencia artificial en conversaciones relacionadas con la salud mental. La herramienta abarca desde intercambios cotidianos sobre bienestar hasta situaciones de angustia grave y emergencias que requieren apoyo en el mundo real.
El informe técnico describe un conjunto de 1.215 conversaciones sintéticas. Estas fueron creadas para representar patrones generales de uso, perfiles y estilos de escritura, mediante técnicas orientadas a preservar la privacidad.
Conversaciones y perfiles evaluados
El conjunto incluye situaciones protagonizadas por personas adultas, adolescentes de entre 13 y 17 años, cuidadores y profesionales clínicos. Un 53,5 por ciento de los casos corresponde a conversaciones no agudas, un 18,2 por ciento a situaciones de gravedad alta y un 28,3 por ciento a emergencias.
Las respuestas se examinan mediante criterios relacionados con la búsqueda de contexto, la orientación práctica, la precisión clínica, la empatía, el respeto por la autonomía, la calibración de la urgencia, la comprobación de la realidad y la prevención de daños. El objetivo no es limitar la evaluación a la detección de crisis, sino analizar también el comportamiento del modelo ante consultas ambiguas o cotidianas.
Criterios elaborados por especialistas
OpenAI afirma que el proyecto contó con más de 80 psicólogos y psiquiatras con licencia, procedentes de 22 países y con conocimientos de 19 idiomas. Para cada conversación, dos especialistas elaboraron criterios de manera independiente y un tercero revisó las propuestas. Los comportamientos considerados beneficiosos o perjudiciales recibieron valores de entre menos 10 y 10 puntos según su importancia clínica.
El estudio también incorporó las perspectivas de 44 personas adultas de 16 países que habían utilizado inteligencia artificial para obtener apoyo emocional o relacionado con la salud mental. Su participación se limitó a conversaciones no agudas. Los autores concluyen que estas opiniones complementan el criterio profesional, pero no pueden sustituir la orientación clínica y de seguridad.
Alcance y limitaciones
Para calcular los resultados, OpenAI generó cuatro respuestas por modelo y utilizó GPT-5.6 Sol como evaluador automatizado de los criterios. Esta decisión constituye una cautela metodológica relevante, ya que la misma empresa diseñó el conjunto, seleccionó el sistema evaluador y publicó los resultados. Por ello, las puntuaciones deben interpretarse como las conclusiones de una evaluación desarrollada por OpenAI, no como una validación clínica independiente.
Los autores señalan que los modelos han mejorado, aunque todavía presentan dificultades para solicitar el contexto adecuado y ajustar el nivel de urgencia. También advierten que la distribución de temas del conjunto no representa la frecuencia real con que aparecen en ChatGPT.
MentalHealthBench puede facilitar comparaciones reproducibles y ayudar a identificar comportamientos que necesitan mejoras, pero no demuestra que un modelo sea apropiado para diagnosticar o tratar trastornos. OpenAI subraya que ChatGPT no sustituye la terapia ni la atención de profesionales de la salud.
Fuentes
Ilustración creada por IA.
📬 Newsletter gratuito
