MLCommons ha publicado los 煤ltimos resultados de MLPerf Inference 3.0 para centros de datos y computaci贸n en el borde. Con Nvidia a la cabeza en todas las categor铆as de rendimiento, otras empresas como Intel, Qualcomm y las reci茅n llegadas CTuning, Quanta Cloud Technology, SiMa y xFusion tambi茅n mostraron unos resultados impresionantes. El n煤mero de organizaciones participantes aument贸 a 25 en esta ocasi贸n.
La reuni贸n previa con la prensa y los analistas incluy贸 debates sobre la IA generativa, en particular ChatGPT, y sobre c贸mo MLPerf podr铆a aventurarse en este espacio. El director ejecutivo de MLCommons, David Kanter, mencion贸 que pronto se a帽adir铆a un modelo ling眉铆stico de gran tama帽o (LLM) al conjunto de pruebas comparativas de MLPerf. BERT (representaciones codificadoras bidireccionales a partir de transformadores) es actualmente el modelo de PLN utilizado por MLPerf.
Intel present贸 los primeros sistemas basados en Sapphire Rapids, mientras que Cloud AI 100 de Qualcomm demostr贸 unas potentes m茅tricas de potencia. La presentaci贸n de MLPerf consisti贸 en aproximadamente 6.700 resultados de rendimiento de inferencia y 2.400 mediciones de eficiencia energ茅tica. Entre los participantes se encontraban Alibaba, ASUSTeK, Azure, cTuning, Deci.ai, Dell, Gigabyte, H3C, HPE, Inspur, Intel, Krai, Lenovo, Moffett, Nettrix, NEUCHIPS, Neural Magic, Nvidia, Qualcomm Technologies, Inc., Quanta Cloud Technology, Rebellions, SiMa, Supermicro, VMware y xFusion. Casi la mitad de los participantes midieron tambi茅n la eficiencia energ茅tica.
La inferencia es un elemento cr铆tico en la entrega de IA y, aunque no hubo cambios en el conjunto de pruebas de MLPerf Inference 3.0, se a帽adi贸 un nuevo escenario de interconexi贸n. MLCommons pretende que MLPerf sea representativo, justo y 煤til para comparar soluciones y ayudar a la gente a tomar decisiones de dise帽o.
Nvidia sigue dominando el amplio mercado de los aceleradores, mostrando el rendimiento de su nueva GPU H100 y de la recientemente lanzada L4. Los Sapphire Rapids de Intel mostraron mejoras en el 煤ltimo MLPerf, y el acelerador Cloud AI 100 de Qualcomm demostr贸 una baja latencia y una excelente eficiencia energ茅tica. VMware tambi茅n mostr贸 su rendimiento virtualizando un sistema Nvidia Hopper en colaboraci贸n con Dell y Nvidia.
El debate en torno a la IA generativa y los modelos ling眉铆sticos de gran tama帽o revel贸 que muchos pensaban que BERT era un buen primer paso como sustituto de las cargas de trabajo LLM, a pesar de algunas preocupaciones sobre su escalabilidad.
