Un equipo de académicos ha entrenado un algoritmo de aprendizaje automático para detectar artículos científicos generados por ChatGPT, afirmando que el software tiene una precisión de más del 99%.
La calidad de los modelos de IA generativa ha mejorado drásticamente en imitar la escritura humana en un corto período de tiempo, lo que dificulta que las personas distingan si el texto fue producido por una máquina o un humano. Esto ha llevado a preocupaciones de que los estudiantes que utilizan estas herramientas estén cometiendo plagio.
Sin embargo, el software diseñado para detectar texto generado por IA a menudo es poco fiable. Ante ello, un equipo de investigadores de la Universidad de Kansas decidió desarrollar una forma de detectar la escritura científica generada por IA, específicamente escrita en el estilo de artículos de investigación que suelen aceptar y publicar las revistas académicas.
El equipo de la Universidad de Kansas, liderado por Heather Desaire, profesora de química y autora principal de un artículo publicado en la revista Cell Reports Physical Science, compiló conjuntos de datos para entrenar y probar un algoritmo que clasificara artículos escritos por científicos y por ChatGPT. Seleccionaron 64 artículos de “perspectiva” -un estilo específico de artículo publicado en revistas científicas- que representan una amplia gama de temas desde biología hasta física, y solicitaron a ChatGPT que generara párrafos describiendo la misma investigación para crear 128 artículos falsos.
Posteriormente, el equipo compiló dos conjuntos de datos más, cada uno conteniendo 30 artículos de perspectiva reales y 60 artículos escritos por ChatGPT, totalizando 1,210 párrafos para probar el algoritmo. Los experimentos iniciales informaron que el clasificador era capaz de discernir entre la escritura científica real de los humanos y los artículos generados por IA el 100% de las veces. Sin embargo, la precisión a nivel de párrafo individual cayó ligeramente al 92%.
El equipo de investigadores cree que su clasificador es efectivo porque se centra en una serie de diferencias estilísticas entre la escritura humana y la de la IA. Los científicos son más propensos a tener un vocabulario más rico y a escribir párrafos más largos que contengan palabras más diversas que las máquinas. Además, utilizan signos de puntuación como interrogantes, paréntesis, puntos y comas con más frecuencia que ChatGPT, con la excepción de las comillas utilizadas para citas.
