Orca, el nuevo modelo de Inteligencia Artificial (IA) de Microsoft, dotado con 13 mil millones de parámetros, tiene la capacidad de imitar y aprender de modelos de lenguaje extensos como GPT-4. El anuncio es parte de la continua colaboración entre Microsoft y OpenAI para incorporar capacidades de IA en sus productos y servicios, así como para desarrollar modelos específicos más compactos.
Orca es una innovación en el ámbito de los modelos de lenguaje, ya que no solo puede optimizarse para realizar tareas específicas mediante el aprendizaje de modelos de lenguaje grandes como GPT-4, sino que también requiere menos recursos de computación para funcionar, gracias a su tamaño más pequeño. Con ello, los investigadores pueden personalizar sus modelos según sus necesidades y ejecutarlos de forma independiente, eliminando la dependencia de un gran centro de datos.
El modelo, que se basa en Vicuna, es capaz de aprender explicaciones, procesos de pensamiento paso a paso y otras instrucciones complejas con la ayuda de GPT-4. La utilización de datos de imitación a gran escala y diversos por parte de Microsoft promueve un aprendizaje progresivo con Orca, el cual ya ha demostrado su superioridad al superar a Vicuna en un 100% en pruebas de razonamiento complejo como Big-Bench Hard (BBH). Además, se ha revelado que Orca es un 42% más rápido que los modelos de IA convencionales en pruebas como AGIEval.
En términos de razonamiento, Orca se compara favorablemente con modelos como ChatGPT en pruebas BBH. Asimismo, ha demostrado un rendimiento competitivo en exámenes académicos reconocidos como SAT, LSAT, GRE y GMAT, aunque Sin alcanzar la capacidad de GPT-4.
El equipo de investigación de Microsoft prevé que Orca seguirá mejorando a medida que aprenda a través de explicaciones paso a paso creadas tanto por humanos como por modelos de lenguaje más avanzados. Según la empresa, este avance en el desarrollo de la IA abre un camino emocionante hacia la mejora de las habilidades y capacidades de los modelos de lenguaje en el futuro.
