Eficiencia energética: CPU vs GPU en cargas de trabajo de IA

Aquí está la respuesta corta: las GPU suelen usar menos energía para el entrenamiento y la inferencia de alto volumen, mientras que las CPU pueden usar menos energía para modelos pequeños, tamaño de lote 1 y tráfico a ráfagas. Si solo miras los vatios pico, puedes perder de vista lo importante. Lo que importa es la energía por tarea terminada.

Si estuviera reduciendo este artículo a los consejos esenciales de coste de IA que necesitas primero, lo pondría así:

• Entrenamiento: las GPU suelen ganar porque mantienen ocupado el cómputo paralelo.

• Inferencia: las CPU pueden ser un mejor ajuste cuando las solicitudes llegan de una en una.

• Vídeo con IA: el cuello de botella suele ser la decodificación y el preprocesamiento, no el modelo.

• La potencia en reposo importa: a unos $0.22/kWh, un sistema que está inactivo aún puede sumar coste.

• La utilización lo cambia todo: una GPU esperando a la CPU puede desperdiciar potencia rápido.

Unas cuantas cifras lo dejan claro:

• La potencia de la GPU en un conjunto de pruebas se movió de 33 W a 199 W según el uso.

• La potencia de la CPU en esos mismos casos se mantuvo cerca de 12 W a 14 W.

• Una ARM Cortex-A78AE ejecutó ResNet50v1.5 en 102 ms usando 2.58 J.

• Un sistema con GPU con una RTX 4060 Ti en reposo consumió 41 W, mientras que un Mac mini M4 en reposo consumió 7.8 W.

• En una prueba de visión, una A100 usó 46.7 kJ donde un nodo Xeon solo con CPU usó 213.5 kJ.

CPU vs GPU | Por qué los centros de datos de IA usan GPU en lugar de CPU

Comparación rápida

Así que si estás eligiendo hardware, lo mantendría simple: empareja el chip con el patrón de tráfico, el tamaño de lote y la tubería completa, no solo con el modelo. Ese es el punto principal del artículo.

Perfiles de potencia de CPU y GPU en sistemas de IA

Esas cifras de benchmark muestran dónde quema realmente potencia cada procesador. Las CPU y las GPU no gastan vatios de la misma manera, y los trabajos de IA pueden inclinarse fuertemente hacia una u otra según dónde ocurra el trabajo. Las GPU manejan tareas paralelas con multiprocesadores de streaming, mientras que la potencia de la CPU tiende a moverse con la carga de núcleos. Por eso la misma carga de trabajo puede llevar a un consumo de potencia muy distinto en cada chip ^[6].

Cómo la arquitectura afecta a los vatios, la utilización y el rendimiento

El gran factor aquí es la utilización.

En cargas de trabajo intensivas en GPU, la potencia de la GPU puede saltar de 33 W a 199 W según la utilización de SM, mientras que la potencia de la CPU se mantiene mucho más estable en torno a 12 W a 14 W ^[6]. Esa dispersión ayuda a explicar por qué los cambios en la utilización de la GPU pueden llevar a diferencias de 3–5× en el uso de energía para la misma tarea ^[8].

Ves una división similar durante la inferencia. Las fases limitadas por cómputo tienden a beneficiarse de una mayor frecuencia de GPU. Las fases limitadas por memoria son distintas: subir la frecuencia no hace mucho. En esas fases, bajar la frecuencia puede reducir el uso de energía con poco efecto en la latencia ^[7].

A dónde va la potencia del sistema durante las ejecuciones de IA

En cargas de trabajo intensivas en GPU, la GPU suele ser la principal fuente de consumo de potencia del sistema. La potencia de la CPU a menudo se mantiene bastante plana a menos que la tubería de carga de datos se convierta en un cuello de botella. Cuando la CPU no puede alimentar datos preprocesados a la GPU lo bastante rápido, la utilización de SM cae. Y eso perjudica la eficiencia energética incluso si la GPU sigue consumiendo potencia ^[6].

La huella de DRAM, por contraste, añade solo una pequeña porción de la potencia total del sistema en comparación con la utilización del procesador ^[6].

La tabla siguiente resume los rangos medidos y la sensibilidad a la utilización reportados en los estudios ^[6][7]:

En las tuberías de vídeo con IA, esa división a menudo va y viene entre el preprocesamiento en la CPU y la ejecución del modelo en la GPU. Eso importa más en los flujos de vídeo, donde el preprocesamiento y la inferencia pueden desplazar el cuello de botella de la CPU a la GPU, o al revés.

Hallazgos de investigación: cuándo las CPU o las GPU usan la energía de forma más eficiente

Los benchmarks muestran que la brecha entre CPU y GPU cambia según el trabajo. El entrenamiento, la inferencia, el tamaño de lote y el uso del hardware importan todos. En las tuberías de vídeo, este cambio destaca aún más porque el movimiento de fotogramas y el preprocesamiento pueden convertirse en el principal cuello de botella.

Cargas de entrenamiento: las GPU suelen liderar en energía por paso de entrenamiento

Para el entrenamiento de redes neuronales a gran escala, las GPU suelen ganar en energía por paso de entrenamiento ^[4]. Tiene sentido: el entrenamiento mantiene mucho cómputo paralelo ocupado al mismo tiempo, que es donde las GPU tienden a brillar.

Las GPU modernas con soporte nativo de FP8 son unas 1.9× más eficientes que FP16 para este tipo de trabajo ^[1]. Y el hardware no lo es todo. El ajuste de software por sí solo puede cambiar la eficiencia energética en un 15–30%, incluso cuando el hardware se mantiene igual ^[1]. Así que dos equipos pueden ejecutar el mismo modelo en la misma máquina y aun así ver un perfil de potencia bastante distinto.

Cargas de inferencia: las CPU pueden competir con tamaños de lote bajos

Las GPU lideran cuando el rendimiento es alto y los tamaños de lote son grandes. Pero esa ventaja se reduce, e incluso puede desaparecer, cuando los tamaños de lote son pequeños y el uso del hardware baja ^[5].

Para modelos por debajo de 1.000 millones de parámetros, la inferencia en CPU con cuantización INT8 suele situarse en el rango de 10–50 ms, lo cual es competitivo con las GPU en tamaño de lote uno una vez que se incluye la sobrecarga de transferencia host-a-dispositivo. Esa sobrecarga suele ser de 0.5–2 ms ^[5]. En términos simples, si solo estás sirviendo una solicitud a la vez, parte de la velocidad de la GPU se puede consumir solo moviendo datos de un lado a otro.

Un buen ejemplo es la CPU ARM Cortex-A78AE, que ejecutó una inferencia de ResNet50v1.5 en 102 ms usando solo 2.58 J con un consumo medio de 25.3 W ^[2]. Ese es un ajuste sólido para despliegues en el borde o para servir a ráfagas y baja concurrencia, donde el sistema no está bajo carga pesada constante.

Benchmarks clave:

Otro hallazgo salta a la vista: el 44.5% de las consultas a LLM son "siempre fáciles" y pueden manejarse con modelos más pequeños de 1B–3B parámetros sin ninguna pérdida de calidad significativa ^[7]. La misma idea se traslada al vídeo con IA. No todos los fotogramas necesitan el modelo más grande ni la ruta más pesada. A veces la jugada más inteligente es enrutar los fotogramas más simples, los pasos de preprocesamiento o las escenas más ligeras a través de una configuración más pequeña.

Procesamiento de vídeo con IA: energía por fotograma, cuellos de botella de la tubería e infraestructura de modelos

Por qué las cargas de vídeo cambian la ecuación de energía CPU vs. GPU

Las tuberías de vídeo hacen el compromiso CPU vs. GPU mucho más marcado. La decodificación, el preprocesamiento y la inferencia pueden ejecutarse cada uno en un hardware distinto, así que el mismo modelo puede terminar con un uso de potencia muy diferente según dónde caiga el trabajo. Los trabajos ligeros como la detección de movimiento y la clasificación básica ahora son más viables en modelos ajustados a CPU, mientras que el trabajo más pesado como la comprensión profunda de escenas y el análisis multimodal aún se inclina hacia las GPU ^[10].

Hay una razón simple para eso: las GPU pueden consumir más potencia en el pico, pero a menudo terminan el trabajo mucho más rápido. Y cuando eso ocurre, el total de julios por fotograma puede bajar incluso si el vataje se ve más alto en el momento ^[6][9].

Los benchmarks de VGG-19 lo hacen fácil de ver. En una prueba de visión general, un nodo Intel Xeon solo con CPU usó 213.5 kJ para la inferencia. Una GPU NVIDIA A100 usó 46.7 kJ para el mismo trabajo. Eso es una diferencia de alrededor de 4.5× ^[9]. Pero esa ventaja se reduce rápido cuando el preprocesamiento deja a la GPU sentada esperando.

Qué significa esto para los cuellos de botella de la tubería

En la práctica, el modelo a menudo deja de ser el principal cuello de botella. La tubería de datos toma el relevo.

El preprocesamiento y la carga de datos del lado de la CPU son un cuello de botella común en configuraciones intensivas en GPU. Si la CPU no puede alimentar a la GPU lo bastante rápido, la utilización de SM de la GPU puede caer de alrededor del 89% al 50% ^[6][9]. Y aquí está la parte dolorosa: el hardware sigue consumiendo potencia mientras espera. Una NVIDIA A100 inactiva en un sistema CPU-GPU sigue usando alrededor de 55 W ^[6][9].

Las cargas de trabajo de YOLO muestran el mismo patrón. La potencia de la GPU puede oscilar de 33 W a 199 W, mientras que el consumo de la CPU se mantiene cerca de 12 W a 14 W ^[6]. Así que incluso cuando la potencia de la CPU se ve plana, aún puede ser la pieza que frena toda la línea.

Qué significa esto para las API de vídeo multimodelo

Para las API de vídeo multimodelo, la capacidad de acelerador inactiva no es solo un problema de rendimiento. También es un problema de energía. En los sistemas CPU-GPU, el hardware de acelerador sin usar puede empujar el uso total de energía a 1.7× el de los nodos solo con CPU ^[9].

Para APIMart, la jugada limpia es mantener la decodificación, el preprocesamiento y la orquestación en rutas de CPU, y luego usar las GPU para la generación y el análisis profundo. Esa división ayuda a evitar quemar potencia en tiempo de acelerador que no está haciendo trabajo útil.

Conclusión: patrones principales en la eficiencia energética de CPU vs GPU

Puntos clave de los estudios revisados

En todos los estudios revisados, el mismo patrón aparece tanto en las tuberías de IA como en las de vídeo: la eficiencia tiene que ver con el trabajo terminado, no con el consumo de potencia pico. Lo que importa es la energía por tarea completada, no los vatios pico.

Las GPU salen ganando solo cuando la carga de trabajo y la utilización hacen que ese uso de potencia valga la pena. Para trabajos paralelos y de alto volumen como el entrenamiento y la inferencia de gran lote, las GPU suelen usar menos energía por tarea completada. Pero con modelos pequeños, tamaños de lote bajos o tráfico intermitente, el panorama puede cambiar.

Un benchmark lo deja bastante claro. Un sistema con GPU con una RTX 4060 Ti en reposo consumió 41 W, mientras que un Mac mini M4 en reposo consumió 7.8 W. En esa misma prueba, el Mac mini fue unas 3× más eficiente para la clasificación de una sola solicitud con un modelo de 1.000 millones de parámetros ^[3].

Eso lleva a tres reglas prácticas para el despliegue:

• Normaliza tus métricas. Compara los sistemas usando energía por tarea completada (julios), tokens por julio o energía por fotograma para cargas de vídeo. Eso te da una vista justa y comparable entre hardware ^[1][5].

• Separa el entrenamiento de la inferencia. Las GPU suelen liderar en eficiencia de entrenamiento. La inferencia es menos clara. Las CPU aún pueden defenderse en tamaño de lote 1 y con modelos pequeños ^[3][5].

• En vídeo con IA, incluye toda la tubería. La decodificación, el preprocesamiento y la inferencia moldean todos el uso de energía. Si el trabajo del lado de la CPU crea un cuello de botella en la GPU, la eficiencia sufre ^[5].

La elección de hardware debe coincidir con el perfil de la carga de trabajo. Un vataje alto de GPU no es un problema por sí solo si la utilización se mantiene alta. Y las CPU no son solo el plan de respaldo. Para los trabajos adecuados, son la opción de menor consumo.

Preguntas frecuentes

¿Cómo debería medir la eficiencia energética de la IA de forma justa?

No mires las métricas de la GPU de forma aislada. Mide la utilización de CPU y GPU juntas.

¿Por qué? Porque el trabajo que ocurre antes de que se ejecute el modelo -como el preprocesamiento, la tokenización o la decodificación de imágenes- puede ralentizar toda la tubería y dejar la GPU inactiva. En ese caso, las cifras de la GPU por sí solas no te dirán lo que está pasando.

Herramientas como Nsight Systems o PyTorch Profiler pueden mostrar lo que está haciendo el hardware.

Para una comparación justa, mantén la configuración igual entre ejecuciones:

• Usa tuberías consistentes

• Fija los hiperparámetros

• Repite las ejecuciones

• Empareja el mismo modelo, punto de operación y tubería de datos

Si esas piezas cambian, la comparación puede volverse un lío rápido.

¿Cuándo es una CPU más eficiente que una GPU?

Una CPU puede ser la mejor opción para algunas cargas de trabajo de IA y configuraciones de despliegue, especialmente cuando la eficiencia de coste importa más que la velocidad máxima.

También tiende a rendir bien en tareas con menos paralelismo, como los productos punto, porque evita parte de la sobrecarga de acceso a memoria que a menudo viene con las GPU.

Para trabajos de IA autoalojados o intermitentes, las CPU también pueden ofrecer mejores tokens por vatio-hora gracias al bajo consumo en reposo. Eso hace de una CPU un ajuste fuerte para despliegues en el borde o embebidos que ejecutan modelos optimizados y comprimidos, donde los límites de potencia, calor y presupuesto importan más que el rendimiento bruto.

¿Por qué el preprocesamiento de vídeo afecta tanto a la eficiencia de la GPU?

El preprocesamiento de vídeo puede convertirse en un cuello de botella rápido. Trabajos como la decodificación de vídeo y el aumento de fotogramas a menudo golpean duro a la CPU. Y si la tubería de datos no puede seguir el ritmo, la GPU termina esperando en lugar de hacer trabajo útil.

Las entradas multimodales hacen esto más difícil porque el vídeo tiene que convertirse en tokens de visión, lo que añade más carga de memoria y de cómputo. Cuando el preprocesamiento se retrasa, la utilización de la GPU cae, pero el uso de potencia se mantiene alto. Eso significa que estás quemando energía sin obtener la salida por la que pagaste.