El CEO de Google y Alphabet Inc., Sundar Pichai, detalló la actualización en una entrevista con The New York Times. Pichai dijo que PaLM “traerá más capacidades; ya sea en razonamiento o creación de código, pudiendo responder mejor a preguntas matemáticas”. Jack Krawczyk, gerente de producto de Bard en Google, agregó en un tweet que la actualización ya ha sido lanzada.
La nueva versión de Bard se describe como más potente para resolver problemas matemáticos. Krawczyk afirmó que el chatbot también puede responder a indicaciones de texto “multietapa” de manera más confiable. A largo plazo, Google espera mejoras en la capacidad de Bard para generar código de software.
PaLM, el modelo de lenguaje que Google utilizó para mejorar Bard, fue detallado por primera vez por sus investigadores el año pasado. El modelo cuenta con 540 mil millones de parámetros, configuraciones que determinan cómo una red neuronal procesa datos. Cuantos más parámetros haya, más tareas podrá manejar la red.
El modelo PaLM demostró un rendimiento impresionante en una serie de evaluaciones internas realizadas por Google. Durante una prueba que involucró 28 tareas de procesamiento de lenguaje natural, obtuvo una puntuación más alta que el modelo GPT-3 de OpenAI LP. También estableció nuevos récords en dos evaluaciones de matemáticas y codificación.
Google entrenó a PaLM en dos TPU v4 Pods alojados en su nube pública. Cada TPU v4 Pod incluye 4,096 chips optimizados específicamente para ejecutar cargas de trabajo de inteligencia artificial. Combinados, estos chips pueden proporcionar hasta 1.1 exaflops de rendimiento, lo que equivale a 1.1 millones de billones de cálculos por segundo.
Durante el desarrollo de PaLM, Google gestionó el proceso de entrenamiento de IA utilizando un sistema de software llamado Pathways. El sistema distribuye los cálculos involucrados en el entrenamiento de un modelo de IA entre múltiples chips para acelerar el flujo de trabajo. Al ejecutar PaLM, Pathways utilizó el 57.8% del rendimiento de procesamiento de los chips subyacentes, lo que Google afirma que estableció un nuevo récord en la industria.
La versión original de Bard que Google presentó el mes pasado se basó en una IA llamada LaMDA. Google detalló LaMDA por primera vez en enero, tres meses antes de presentar PaLM. El primer modelo admitía hasta 137 mil millones de parámetros en el momento de su introducción, mientras que PaLM cuenta con 540 mil millones.
“Claramente tenemos modelos más capaces”, dijo Pichai al Times en referencia a LaMDA. “Para mí, era importante no sacar un modelo más capaz antes de estar completamente seguros de que podemos manejarlo bien”.
