Meta ha anunciado oficialmente el lanzamiento de Code Llama, un novedoso modelo de aprendizaje del lenguaje (LLM) de código abierto diseñado para la finalización, generación y comprobación de código. La plataforma puede ejecutarse en hardware local y busca ser una alternativa competitiva al ChatGPT de OpenAI. Code Llama es de libre acceso tanto para investigación como para aplicaciones comerciales y ofrece múltiples configuraciones adaptadas a los requisitos del usuario. Admite la generación de código en lenguajes como Python, C++, Java y Bash.
Este modelo es una extensión especializada del LLM existente de Meta, denominado Llama 2. Se sometió a un entrenamiento adicional en un conjunto de datos masivo que comprendía 500.000 millones de tokens relacionados con la codificación y la programación. Code Llama se presenta en tres tamaños de parámetros distintos: 7.000 millones (7B), 13.000 millones (13B) y 34.000 millones (34B). Según Meta, mientras que la variante de 34B ostenta la mayor precisión, los modelos de 7B y 13B están optimizados para la velocidad, lo que los hace adecuados para los requisitos de acabado de código en tiempo real.
En las pruebas de referencia realizadas con HumanEval, un conjunto de datos desarrollado por OpenAI para evaluar modelos de IA en tareas de programación, Code Llama 34B exhibió una tasa de precisión del 48,8%. Este rendimiento supera el 30,5% registrado por el modelo base, Llama 2, y muestra una ligera mejora sobre el 48,1% obtenido por el GPT-3.5 de OpenAI. Sin embargo, todos estos modelos están por detrás del GPT-4 avanzado de OpenAI, que sirve de base para el Copilot X de Microsoft y admite una gama más amplia de lenguajes de programación.
Meta también ha puesto en marcha dos modelos especializados dentro de la suite Code Llama, denominados ‘Code Llama – Python’ y ‘Code Llama – Instruct’. El primero se sometió a un entrenamiento adicional sobre un conjunto de datos de 100.000 millones de tokens específicos de Python para mejorar sus capacidades de generación de código en Python. La segunda, Code Llama – Instruct, ha sido puesta a punto sobre 5.000 millones de tokens para mejorar su rendimiento para entradas en lenguaje natural.
Meta hace hincapié en la importancia de un desarrollo responsable de la IA, afirmando que se han aplicado múltiples medidas de seguridad antes de lanzar Code Llama. La empresa también ha realizado evaluaciones de red teaming para valorar el potencial del modelo para generar código malicioso, concluyendo que Code Llama produce resultados más seguros en comparación con ChatGPT.
