Durante el reciente evento AI Hardware Summit 2021, un panel titulado “Garantizar la sostenibilidad de los sistemas de IA” abordó el coste medioambiental de la IA, habida cuenta del crecimiento sostenido que ha tenido en los últimos años, y los modelos cada vez más grandes que están siendo aplicados.
En el panel participaron Carole-Jean Wu, científica investigadora de Facebook; David Patterson, ingeniero distinguido de Google Brain y co-ganador del Premio Turing 2017; y David Kanter, director ejecutivo de MLPerf.
El debate, referido por la publicación Enterprise AI, partió recordando la conclusión a que llegó hace algunos años un equipo de investigadores de la Universidad de Massachusetts Amherst, en el sentido que una sola sesión de entrenamiento de un modelo de inteligencia artificial podía tener una huella de carbono equivalente a la de varios coches.
A juicio de Wu, La demanda de recursos de la IA ha crecido exponencialmente en la última década, lo que hace evidente que la tendencia de crecimiento de la IA se encuentra actualmente en un ritmo insostenible – por lo que mientras la demanda estimula el crecimiento significativo del mercado, realmente puede impactar nuestro entorno de muchas maneras diferentes.
Por su parte, Patterson puso en tela de juicio la idea convencional sobre la huella de carbono de la IA, cuestionando conclusiones como las del documento de Amherst al recordar una investigación en la que participó sobre la huella de carbono del entrenamiento de grandes redes neuronales.
Citando un artículo publicado en Science, Patterson recordó que éste concluía que hay energía que va a la nube, pero eso está quitando el consumo de energía de los centros de datos, que no son tan eficientes como la nube. La conclusión sería que durante la última década, el consumo de energía de los centros de datos en general fue sólo del seis por ciento a pesar de tener más de cinco veces más potencia de cálculo, y la razón fue que los centros de datos y edificios ineficientes e infrautilizados están siendo sustituidos por la nube altamente eficiente.
Además, Patterson dijo que, aunque el entrenamiento de la IA utiliza energía, la naturaleza y la escala de esa energía importa. Al respecto, agregó que varias de estas empresas están siendo muy agresivas en cuanto a la huella de carbono e intentan utilizar fuentes de energía libres de carbono, dijo, citando los importantes esfuerzos de sostenibilidad de Google, Microsoft y otros. Y en el caso de Google, dijo, el porcentaje de su uso de energía procedente de la formación de grandes modelos fue inferior al 0,005%. “Es un error de redondeo”, dijo.
Los panelistas también se preguntaron si el entrenamiento era el problema más importante de la huella de carbono de la IA. A juicio de Kanter, la inferencia es el mayor problema, ya que se escala con el número de clientes. En consecuencia, dijo, una inversión inicial en carbono para la formación podría valer la pena si se obtuvieran reducciones significativas en el lado de la inferencia.
Además, según Wu, en muchos casos, la fuente dominante del coste medioambiental de la informática se ha desplazado bastante, a la fabricación de hardware, en lugar de al uso del producto. En tal sentido, recordó que Apple, por ejemplo, descubrió que el 74% de su huella de carbono de extremo a extremo procedía de la fabricación y no del uso por parte de los clientes, y que el 33% procedía de la fabricación de circuitos integrados.
A este respecto, Kanter señaló que las aplicaciones de los clientes y las aplicaciones empresariales son muy diferentes, argumentando que el factor de utilización de los clientes de Apple era probablemente mucho menor que el factor de utilización de, por ejemplo, un centro de datos en la nube. Patterson, por su parte, defendió la relativa sostenibilidad de las piezas de los centros de datos yuxtaponiendo su vida útil comparativamente larga y su mayor utilización con la vida útil más corta de la electrónica de consumo, como los smartphones.
Wu sostuvo que la emisión de carbono es una pieza del rompecabezas, ya que el resto de la ecuación incluye problemas ambientales masivos como los residuos electrónicos (50 millones de toneladas producidas en 2019, según Wu) y el tratamiento de aguas residuales. Kanter coincidió en lo que respecta a los semiconductores, donde el CO2 es un problema, aunque hay muchas otras cosas que son problemas, como el arseniuro de galio. “Hay muchas formas en que estas cosas pueden ser peligrosas fuera del CO2”.
Para resolver estos problemas, los panelistas aportaron diversas ideas para mejorar la sostenibilidad de los sistemas de IA. Kanter abogó por la medición y la evaluación comparativa. A primera vista, dijo, cabría esperar que la eficiencia de los algoritmos progresara al ritmo de la ley de Moore, pero, en cambio, los puntos de referencia de MLPerf la han superado con creces. “Lo que quiero decir es que los puntos de referencia ayudan a impulsar las cosas”, afirmó. “El objetivo de un punto de referencia es alinear a toda la industria en lo que significa ‘mejor'”.
Los panelistas también destacaron la importancia de elegir instalaciones de producción y explotación sostenibles. “La mayor sorpresa del documento del que hablé fue la importancia de la ubicación”, dijo Patterson. Wu se mostró de acuerdo y subrayó la diferencia que puede suponer la elección de una fábrica respetuosa con el medio ambiente o la búsqueda, en general, de instalaciones abastecidas por energía libre de carbono.
Patterson concluyó con una nota de responsabilidad personal, instando a los investigadores de IA a impulsar estas medidas en sus empresas. “Si realmente creen que el cambio climático global es real, creo que deberían preguntarse qué pueden hacer individualmente como parte de su trabajo y como parte de su comportamiento personal”.
