Efficacité énergétique : CPU vs GPU dans les charges de travail d'IA

Voici la réponse courte : les GPU utilisent généralement moins d'énergie pour l'entraînement et l'inférence à fort volume, tandis que les CPU peuvent utiliser moins d'énergie pour les petits modèles, la taille de lot 1 et le trafic en rafales. Si vous ne regardez que les watts de pointe, vous passez à côté de l'essentiel. Ce qui compte, c'est l'énergie par tâche terminée.

Si je réduisais cet article aux conseils essentiels sur le coût de l'IA dont vous avez besoin en premier, je le formulerais ainsi :

• Entraînement : les GPU gagnent généralement parce qu'ils gardent le calcul parallèle occupé.

• Inférence : les CPU peuvent mieux convenir quand les requêtes arrivent une par une.

• IA vidéo : le goulot d'étranglement est souvent le décodage et le prétraitement, pas le modèle.

• La puissance au repos compte : à environ 0,22 $/kWh, un système qui reste au repos peut quand même ajouter du coût.

• L'utilisation change tout : un GPU qui attend le CPU peut gaspiller de la puissance rapidement.

Quelques chiffres rendent cela clair :

• Dans un ensemble de tests, la puissance GPU est passée de 33 W à 199 W selon l'usage.

• La puissance CPU dans ces mêmes cas est restée proche de 12 W à 14 W.

• Un ARM Cortex-A78AE a exécuté ResNet50v1.5 en 102 ms en utilisant 2,58 J.

• Un système GPU avec une RTX 4060 Ti était au repos à 41 W, tandis qu'un Mac mini M4 était au repos à 7,8 W.

• Dans un test de vision, un A100 a utilisé 46,7 kJ là où un nœud Xeon CPU seul a utilisé 213,5 kJ.

CPU vs GPU | Pourquoi les centres de données d'IA utilisent des GPU au lieu de CPU

Comparaison rapide

Donc si vous choisissez du matériel, je resterais simple : adaptez la puce au schéma de trafic, à la taille de lot et au pipeline complet - pas seulement au modèle. C'est le point principal de l'article.

Profils de puissance des CPU et GPU dans les systèmes d'IA

Ces chiffres de benchmark montrent où chaque processeur brûle réellement de la puissance. Les CPU et les GPU ne dépensent pas les watts de la même façon, et les tâches d'IA peuvent pencher fortement vers l'un ou l'autre selon l'endroit où le travail se produit. Les GPU gèrent les tâches parallèles avec des multiprocesseurs de flux, tandis que la puissance CPU tend à évoluer avec la charge des cœurs. C'est pourquoi la même charge de travail peut entraîner un tirage de puissance très différent sur chaque puce ^[6].

Comment l'architecture affecte les watts, l'utilisation et le débit

Le grand facteur ici est l'utilisation.

Dans les charges de travail lourdes en GPU, la puissance GPU peut bondir de 33 W à 199 W selon l'utilisation des SM, tandis que la puissance CPU reste bien plus stable, autour de 12 W à 14 W ^[6]. Cet écart aide à expliquer pourquoi des changements d'utilisation GPU peuvent entraîner des différences de 3 à 5× dans la consommation d'énergie pour la même tâche ^[8].

Vous voyez une répartition similaire pendant l'inférence. Les phases limitées par le calcul tendent à gagner d'une fréquence GPU plus élevée. Les phases limitées par la mémoire sont différentes : pousser la fréquence plus haut ne change pas grand-chose. Dans ces phases, baisser la fréquence peut réduire la consommation d'énergie avec peu d'effet sur la latence ^[7].

Où va la puissance du système pendant les exécutions d'IA

Dans les charges de travail lourdes en GPU, le GPU est généralement la principale source de tirage de puissance du système. La puissance CPU reste souvent assez plate à moins que le pipeline de chargement de données ne devienne un goulot d'étranglement. Quand le CPU ne peut pas alimenter le GPU en données prétraitées assez vite, l'utilisation des SM chute. Et cela nuit à l'efficacité énergétique même si le GPU tire encore de la puissance ^[6].

L'empreinte DRAM, en revanche, n'ajoute qu'une petite part de la puissance totale du système à côté de l'utilisation du processeur ^[6].

Le tableau ci-dessous résume les plages mesurées et la sensibilité à l'utilisation rapportées dans les études ^[6][7] :

Dans les pipelines d'IA vidéo, cette répartition oscille souvent d'avant en arrière entre le prétraitement CPU et l'exécution du modèle sur GPU. Cela compte le plus dans les flux vidéo, où le prétraitement et l'inférence peuvent déplacer le goulot d'étranglement du CPU vers le GPU, ou l'inverse.

Résultats de recherche : quand les CPU ou les GPU utilisent l'énergie plus efficacement

Les benchmarks montrent que l'écart entre CPU et GPU change selon le travail. L'entraînement, l'inférence, la taille de lot et l'usage du matériel comptent tous. Dans les pipelines vidéo, ce décalage ressort encore plus car le mouvement des images et le prétraitement peuvent devenir le principal point d'étranglement.

Charges de travail d'entraînement : les GPU mènent généralement sur l'énergie par étape d'entraînement

Pour l'entraînement de réseaux de neurones à grande échelle, les GPU gagnent généralement sur l'énergie par étape d'entraînement ^[4]. C'est logique : l'entraînement garde beaucoup de calcul parallèle occupé en même temps, ce qui est là où les GPU tendent à briller.

Les GPU modernes avec support natif FP8 sont environ 1,9× plus efficaces que le FP16 pour ce type de travail ^[1]. Et le matériel n'est pas toute l'histoire. Le réglage logiciel à lui seul peut déplacer l'efficacité énergétique de 15 à 30 %, même quand le matériel reste le même ^[1]. Donc deux équipes peuvent exécuter le même modèle sur la même machine et voir malgré tout un profil de puissance assez différent.

Charges de travail d'inférence : les CPU peuvent rivaliser à faibles tailles de lot

Les GPU mènent quand le débit est élevé et les tailles de lot grandes. Mais cet avantage rétrécit, et peut même disparaître, quand les tailles de lot sont petites et que l'usage du matériel baisse ^[5].

Pour les modèles de moins de 1 milliard de paramètres, l'inférence CPU avec quantification INT8 se situe généralement dans la plage 10 à 50 ms, ce qui est compétitif avec les GPU en taille de lot un une fois la surcharge de transfert hôte-vers-périphérique incluse. Cette surcharge est généralement de 0,5 à 2 ms ^[5]. En clair, si vous ne servez qu'une requête à la fois, une partie de la vitesse du GPU peut être absorbée juste à déplacer des données.

Un bon exemple est le CPU ARM Cortex-A78AE, qui a exécuté une inférence ResNet50v1.5 en 102 ms tout en n'utilisant que 2,58 J à un tirage moyen de 25,3 W ^[2]. C'est un bon choix pour les déploiements en périphérie ou le service en rafales à faible concurrence, où le système n'est pas sous charge lourde constante.

Benchmarks clés :

Un autre résultat saute aux yeux : 44,5 % des requêtes LLM sont « toujours faciles » et peuvent être gérées par des modèles plus petits de 1B à 3B paramètres sans perte de qualité significative ^[7]. La même idée se retrouve dans l'IA vidéo. Toutes les images n'ont pas besoin du plus gros modèle ni du chemin le plus lourd. Parfois, le mouvement le plus intelligent est de router les images plus simples, les étapes de prétraitement ou les scènes plus légères à travers une configuration plus petite.

Traitement d'IA vidéo : énergie par image, goulots d'étranglement du pipeline et infrastructure des modèles

Pourquoi les charges de travail vidéo déplacent l'équation énergétique CPU vs. GPU

Les pipelines vidéo rendent le compromis CPU vs. GPU beaucoup plus tranché. Le décodage, le prétraitement et l'inférence peuvent chacun s'exécuter sur un matériel différent, donc le même modèle peut finir avec une consommation de puissance très différente selon l'endroit où atterrit le travail. Les tâches légères comme la détection de mouvement et la classification de base sont désormais plus réalisables sur des modèles optimisés pour CPU, tandis que le travail plus lourd comme la compréhension approfondie de scène et l'analyse multimodale penche encore vers les GPU ^[10].

Il y a une raison simple à cela : les GPU peuvent tirer plus de puissance au pic, mais ils finissent souvent le travail bien plus vite. Et quand cela arrive, le total de joules par image peut baisser même si le wattage paraît plus élevé sur le moment ^[6][9].

Les benchmarks VGG-19 rendent cela facile à voir. Dans un test de vision général, un nœud Intel Xeon CPU seul a utilisé 213,5 kJ pour l'inférence. Un GPU NVIDIA A100 a utilisé 46,7 kJ pour le même travail. C'est une différence d'environ 4,5× ^[9]. Mais cet avantage rétrécit vite quand le prétraitement laisse le GPU à attendre.

Ce que cela signifie pour les goulots d'étranglement du pipeline

En pratique, le modèle cesse souvent d'être le principal goulot d'étranglement. Le pipeline de données prend le relais.

Le prétraitement côté CPU et le chargement des données sont un point d'étranglement courant dans les configurations lourdes en GPU. Si le CPU ne peut pas alimenter le GPU assez vite, l'utilisation des SM du GPU peut chuter d'environ 89 % à 50 % ^[6][9]. Et voici la partie douloureuse : le matériel tire encore de la puissance pendant qu'il attend. Un NVIDIA A100 au repos dans un système CPU-GPU continue d'utiliser environ 55 W ^[6][9].

Les charges de travail YOLO montrent le même schéma. La puissance GPU peut osciller de 33 W à 199 W, tandis que le tirage CPU reste proche de 12 W à 14 W ^[6]. Donc même quand la puissance CPU paraît plate, elle peut quand même être la pièce qui retient toute la ligne.

Ce que cela signifie pour les API vidéo multi-modèles

Pour les API vidéo multi-modèles, la capacité d'accélérateur au repos n'est pas juste un problème de performance. C'est aussi un problème d'énergie. Sur les systèmes CPU-GPU, le matériel accélérateur inutilisé peut pousser la consommation totale d'énergie à 1,7× celle des nœuds CPU seuls ^[9].

Pour APIMart, le mouvement propre est de garder le décodage, le prétraitement et l'orchestration sur des chemins CPU, puis d'utiliser les GPU pour la génération et l'analyse approfondie. Cette répartition aide à éviter de brûler de la puissance sur du temps d'accélérateur qui ne fait pas de travail utile.

Conclusion : principaux schémas de l'efficacité énergétique CPU vs GPU

Points clés des études examinées

À travers les études examinées, le même schéma apparaît à la fois dans les pipelines d'IA et vidéo : l'efficacité concerne le travail terminé, pas le tirage de puissance de pointe. Ce qui compte, c'est l'énergie par tâche terminée, pas les watts de pointe.

Les GPU sortent gagnants uniquement quand la charge de travail et l'utilisation rendent cette consommation de puissance rentable. Pour les tâches parallèles à fort volume comme l'entraînement et l'inférence à gros lots, les GPU utilisent généralement moins d'énergie par tâche terminée. Mais avec des petits modèles, des faibles tailles de lot ou un trafic en dents de scie, le tableau peut changer.

Un benchmark rend cela assez clair. Un système GPU avec une RTX 4060 Ti était au repos à 41 W, tandis qu'un Mac mini M4 était au repos à 7,8 W. Dans ce même test, le Mac mini était environ 3× plus efficace pour une classification à requête unique en modèle 1B ^[3].

Cela mène à trois règles pratiques pour le déploiement :

• Normalisez vos métriques. Comparez les systèmes en utilisant l'énergie par tâche terminée (joules), les tokens par joule, ou l'énergie par image pour les charges vidéo. Cela vous donne une vue équitable et comparable à travers le matériel ^[1][5].

• Séparez l'entraînement de l'inférence. Les GPU mènent généralement sur l'efficacité d'entraînement. L'inférence est moins tranchée. Les CPU peuvent encore tenir bon en taille de lot 1 et avec des petits modèles ^[3][5].

• En IA vidéo, incluez tout le pipeline. Le décodage, le prétraitement et l'inférence façonnent tous la consommation d'énergie. Si le travail côté CPU forme un goulot d'étranglement pour le GPU, l'efficacité en pâtit ^[5].

Le choix du matériel doit correspondre au profil de la charge de travail. Un wattage GPU élevé n'est pas un problème en soi si l'utilisation reste élevée. Et les CPU ne sont pas juste le plan de secours. Pour les bons travaux, ce sont le choix à plus faible puissance.

FAQs

Comment devrais-je mesurer l'efficacité énergétique de l'IA de façon équitable ?

Ne regardez pas les métriques GPU isolément. Mesurez l'utilisation CPU et GPU ensemble.

Pourquoi ? Parce que le travail qui se produit avant que le modèle ne s'exécute - comme le prétraitement, la tokenisation ou le décodage d'image - peut ralentir tout le pipeline et laisser le GPU au repos. Dans ce cas, les chiffres GPU seuls ne vous diront pas ce qui se passe.

Des outils comme Nsight Systems ou PyTorch Profiler peuvent montrer ce que fait le matériel.

Pour une comparaison équitable, gardez la configuration identique entre les exécutions :

• Utilisez des pipelines cohérents

• Fixez les hyperparamètres

• Répétez les exécutions

• Faites correspondre le même modèle, point de fonctionnement et pipeline de données

Si ces éléments changent, la comparaison peut vite devenir confuse.

Quand un CPU est-il plus efficace qu'un GPU ?

Un CPU peut être le meilleur choix pour certaines charges de travail d'IA et configurations de déploiement, surtout quand l'efficacité des coûts compte plus que la vitesse maximale.

Il tend aussi à bien s'en tirer sur les tâches avec moins de parallélisme, comme les produits scalaires, parce qu'il évite une partie de la surcharge d'accès mémoire qui accompagne souvent les GPU.

Pour les travaux d'IA auto-hébergés ou intermittents, les CPU peuvent aussi offrir de meilleurs tokens par wattheure grâce à une faible puissance au repos. Cela fait d'un CPU un bon choix pour les déploiements en périphérie ou embarqués exécutant des modèles optimisés et compressés, où les limites de puissance, de chaleur et de budget comptent plus que le débit brut.

Pourquoi le prétraitement vidéo affecte-t-il autant l'efficacité du GPU ?

Le prétraitement vidéo peut vite se transformer en goulot d'étranglement. Des tâches comme le décodage vidéo et l'augmentation d'images frappent souvent le CPU durement. Et si le pipeline de données ne peut pas suivre, le GPU finit par attendre au lieu de faire un travail utile.

Les entrées multimodales rendent cela plus difficile parce que la vidéo doit être transformée en tokens de vision, ce qui ajoute plus de charge de mémoire et de calcul. Quand le prétraitement traîne, l'utilisation du GPU chute, mais la consommation de puissance reste élevée. Cela signifie que vous brûlez de l'énergie sans obtenir la sortie que vous avez payée.