El aprendizaje automático (ML) se ha vuelto imprescindible en las tecnologías de la información, lo que ha despertado cierta preocupación debido al mayor coste que conlleva este tipo de computación, sobre todo en términos de huella de carbono, es decir, de emisión de gases con efecto invernadero. Esta preocupación, lógicamente, ha avivado el debate acerca de las emisiones de CO2 que genera el aprendizaje automático, pero también ha puesto en evidencia la necesidad de disponer de datos precisos para evaluar realísticamente la huella de carbono y, por lo tanto, identificar las estrategias más adecuadas para mitigarla.
En el artículo “The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink” (La huella de carbono generada por el entrenamiento de aprendizaje automático se estabilizará y luego disminuirá), que fue aceptado para publicación en IEEE Computer, hablamos precisamente de las emisiones operacionales de CO2 (es decir, los costes energéticos derivados del funcionamiento del hardware de ML, incluidos los gastos generales de los centros de datos) producidas por el entrenamiento de ML de los modelos de procesamiento del lenguaje natural (NLP) y analizamos las mejores prácticas que permitirían reducir esas emisiones. También demostramos que algunas de esas prácticas consiguen reducir de manera considerable la huella de carbono (y la huella energética) de las cargas de trabajo de ML, contribuyendo a mantener el consumo energético del ML por debajo del 15% del consumo energético total de Google.
Las 4Ms: las mejores prácticas para reducir la huella energética y de carbono
Hemos identificado cuatro buenas prácticas que reducen considerablemente el consumo de energía y las emisiones de CO2. Las hemos llamado “4Ms” y todas ellas son utilizadas por Google hoy y están disponibles y al alcance de cualquiera que utilice los servicios de Google Cloud.
Estas cuatro prácticas juntas pueden reducir 100 veces el consumo de energía y 1.000 veces las emisiones.
También cabe señalar que Google iguala el 100% de su consumo de energía operativa con energías renovables. Las compensaciones de carbono convencionales suelen ser retroactivas hasta un año después de las emisiones y pueden comprarse en cualquier lugar del mismo continente. Google se ha comprometido a descarbonizar todo su consumo de energía para llegar a 2030 con un consumo 100% libre de carbono las 24 horas del día, utilizando la misma red en la que consume la energía. Algunos centros de datos de Google ya funcionan con un 90% de energía limpia, siendo nuestro promedio general de consumo de energía limpia de un 61% en 2019 y un 67% in 2020.
Abajo puede verse el impacto obtenido al implementar las mejoras de las 4Ms. Otros estudios han analizado el entrenamiento del modelo Transformer en una GPU Nvidia P100, tomando como referencia un centro de datos y una combinación de energía promedios. El modelo Primer, que ha sido presentado recientemente, reduce 4 veces la computación necesaria para alcanzar la misma precisión. Utilizando un hardware de ML de nueva generación, como la TPUv4, se obtiene una mejora adicional de 14 veces en comparación con la P100, o de 57 veces en términos generales. Los centros de datos en la nube son 1,4 veces más eficientes que un centro de datos promedio, con un consumo energético total 83 veces inferior. Si se utiliza un centro de datos con una fuente de energía de bajas emisiones se consigue reducir la huella de carbono otras 9 veces, reduciendo así 747 veces la huella de carbono total durante cuatro años.
Consumo energético total del ML
El consumo energético total de Google aumenta cada año; lo que es comprensible, si se tiene en cuenta que nuestros servicios se utilizan cada vez más. Las cargas de trabajo de ML han aumentado rápidamente, al igual que la computación por ciclo de entrenamiento, pero la aplicación de las 4Ms (modelos optimizados, equipos específicamente diseñados para ML, centros de datos eficientes) ha compensado en gran medida esta mayor carga de trabajo. Nuestros datos muestran que el entrenamiento y la inferencia de ML representan solo entre un 10 % y un 15 % del consumo energético total de Google en cada uno de los tres últimos años, repartiéndose cada año en ⅗ para la inferencia y ⅖ para el entrenamiento.
Estimaciones anteriores sobre emisiones
Google utiliza la búsqueda de arquitecturas neuronales (NAS) para encontrar mejores modelos de ML. Normalmente una NAS se realiza una sola vez por cada combinación de dominio del problema/espacio de búsqueda, y el modelo resultante puede ser reutilizado para miles de aplicaciones (por ejemplo, el modelo Evolved Transformer encontrado por NAS es de código abierto y todos pueden utilizarlo). Dado que el modelo optimizado encontrado por NAS suele ser más eficiente, el coste de la NAS, que se paga una sola vez, suele compensarse con creces gracias a las menores emisiones del uso posterior.
Un estudio de la Universidad de Massachusetts hizo una estimación de las emisiones de carbono de una NAS del modelo Evolved Transformer.
La sobreestimación del estudio para la NAS fue de 88 veces: 5 veces frente al hardware de bajo consumo en los centros de datos de Google y 18,7 veces frente a la computación mediante proxies. En realidad, las emisiones generadas por la búsqueda única fueron de 3.223 kg en lugar de 284.019 kg, es decir, 88 veces menores que las que se publicaron en el estudio.
Lamentablemente, algunos artículos posteriores malinterpretaron las estimaciones de la NAS al considerar que se trataba del coste de entrenamiento para el modelo encontrado, pero las emisiones correspondientes a la NAS en esos artículos son aproximadamente 1.300 veces mayores que las del entrenamiento del modelo. Esos artículos consideran que el entrenamiento del modelo Evolved Transformer requiere dos millones de horas de GPU, que tiene un coste de millones de dólares y que las emisiones de CO2 son cinco veces las que genera un coche durante todo su ciclo de vida. En realidad, para entrenar el modelo Evolved Transformer para la tarea examinada por los investigadores de la Universidad de Massachussets y aplicar las mejores prácticas aquí descritas se requieren solo 120 horas de TPUv2, con un coste de 40 dólares y con solo 2,4 kg de emisiones de CO2 (0,00004 vidas de automóviles), es decir, una cantidad 120.000 veces inferior. Es un desfase casi tan grande como si sobreestimásemos 100 veces el CO2e que se genera en la fabricación de un automóvil y después tomáramos ese mismo dato por el CO2e que se genera al conducirlo.
Conclusiones
El cambio climático es importante y debemos hacer bien los cálculos para estar seguros de que nos centramos en los retos más difíciles. Los que nos dedicamos a la tecnología de la información creemos que es mucho más probable que esos retos tengan que ver con los costes del ciclo de vida (estimaciones que incluyan las emisiones inherentes a la fabricación de todos los componentes necesarios, desde los chips hasta los inmuebles que albergan los centros de datos) de la fabricación de equipos informáticos de todo tipo y tamaño1, que con los costes operativos del entrenamiento de ML.
Pero si todo el mundo mejora las 4Ms habrá más buenas noticias. Actualmente las cifras pueden variar de una empresa a otra, pero estas sencillas medidas están al alcance de todo el sector:
Estamos seguros de que si las 4Ms se impusieran a gran escala se crearía un círculo virtuoso capaz de invertir la curva y reducir, en lugar de aumentar, la huella de carbono del ML en el mundo.
Reconocimientos
Quiero agradecer a los coautores que han participado en esta larga y tortuosa investigación sobre una materia nueva para casi todos nosotros: Jeff Dean, Joseph Gonzalez, Urs Hölzle, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So y Maud Texier. También quiero agradecer la gran ayuda recibida de otras personas para un estudio anterior que finalmente desembocó en este documento. Emma Strubell aportó varias sugerencias para la versión anterior a esta, como la de analizar los recientes modelos gigantes de NLP; Christopher Berner, Ilya Sutskever, OpenAI y Microsoft nos proporcionaron información sobre el GPT-3; Dmitry Lepikhin y Zongwei Zhou hicieron un gran trabajo para medir el rendimiento y la potencia de las GPU y las TPU en los centros de datos de Google; Hallie Cramer, Anna Escuer, Elke Michlmayr, Kelli Wright y Nick Zakrasek nos ayudaron aportando los datos y las políticas de Google sobre consumo de energía y emisiones de CO2e.
1 Los equipos fabricados en 2021 incluyeron 1.700 millones de teléfonos móviles, 340 millones de ordenadores personales y 12 millones de servidores para centros de datos.
Si eres periodista, escribe a nuestro equipo de comunicación a: press-es@google.com. Para cualquier otra pregunta, consulta nuestras opciones de contacto.
