Según un estudio publicado el jueves en la revista de acceso abierto PLOS Digital Health, firmado por Tiffany Kung, Victor Tseng y colegas de AnsibleHealth, ChatGPT de OpenAI está en condiciones de responder satisfactoriamente las preguntas del USMLE, graduación conducente a una licencia médica en Estados Unidos.
El USMLE es una serie altamente estandarizada y regulada de tres exámenes necesarios para obtener la licencia médica en Estados Unidos. Realizado por estudiantes de medicina y médicos en formación, el USMLE evalúa conocimientos que abarcan la mayoría de las disciplinas médicas, desde la bioquímica al razonamiento diagnóstico, pasando por la bioética.
Para ver cómo se desenvolvería el modo lingüístico en este examen tan complejo, Kung y sus colegas comprobaron el rendimiento de ChatGPT en la prueba. Eliminaron las preguntas basadas en imágenes y procedieron a plantear a ChatGPT 350 de las 376 preguntas públicas disponibles de la versión del USMLE de junio de 2022.
ChatGPT obtuvo una puntuación de entre el 52,4 por ciento y el 75,0 por ciento en los tres exámenes USMLE. Estas puntuaciones son suficientes, ya que el umbral para aprobar cada año es de aproximadamente el 60 por ciento.
ChatGPT también demostró una concordancia del 94,6 por ciento en todas sus respuestas y produjo al menos un conocimiento significativo en el 88,9 por ciento de sus respuestas.
Por último, ChatGPT superó incluso el rendimiento de PubMedGPT, un modelo homólogo entrenado exclusivamente en literatura biomédica, que sólo obtuvo un 50,8% en un conjunto de datos más antiguo de preguntas de estilo USMLE.
Los autores concluyeron que ChatGPT tiene potencial para mejorar la enseñanza de la medicina y, en última instancia, la práctica clínica. De hecho, los médicos de AnsibleHealth ya utilizan ChatGPT para reescribir informes con mucha jerga para facilitar la comprensión del paciente.
Un hito en la IA clínica
“Alcanzar la puntuación de aprobado en este examen de expertos, notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración de la IA clínica”, señalan los autores.
“ChatGPT contribuyó sustancialmente a la redacción de [nuestro] manuscrito… Interactuamos con ChatGPT como si fuera un colega, pidiéndole que sintetizara, simplificara y ofreciera contrapuntos a los borradores en curso… Todos los coautores valoraron la aportación de ChatGPT”, concluyó Kung en un comunicado de prensa.
