Efisiensi Energi: CPU vs GPU dalam Beban Kerja AI

Berikut jawaban singkatnya: GPU biasanya menggunakan lebih sedikit energi untuk pelatihan dan inferensi bervolume tinggi, sementara CPU bisa menggunakan lebih sedikit energi untuk model kecil, ukuran batch 1, dan lalu lintas yang meledak-ledak. Jika Anda hanya melihat watt puncak, Anda bisa melewatkan intinya. Yang penting adalah energi per tugas yang selesai.

Jika saya mereduksi artikel ini menjadi tips biaya AI esensial yang Anda butuhkan pertama, saya akan menyampaikannya seperti ini:

• Pelatihan: GPU biasanya menang karena mereka menjaga komputasi paralel tetap sibuk.

• Inferensi: CPU bisa lebih cocok ketika permintaan datang satu per satu.

• AI Video: Hambatannya sering adalah decode dan prapemrosesan, bukan model.

• Daya idle penting: Pada sekitar $0,22/kWh, sistem yang menganggur tetap bisa menambah biaya.

• Utilisasi mengubah segalanya: GPU yang menunggu CPU bisa membuang daya dengan cepat.

Beberapa angka membuat itu jelas:

• Daya GPU dalam satu set pengujian bergerak dari 33 W ke 199 W berdasarkan penggunaan.

• Daya CPU dalam kasus yang sama tetap mendekati 12 W hingga 14 W.

• Sebuah ARM Cortex-A78AE menjalankan ResNet50v1.5 pada 102 md menggunakan 2,58 J.

• Sistem GPU dengan RTX 4060 Ti menganggur pada 41 W, sementara Mac mini M4 menganggur pada 7,8 W.

• Dalam satu uji vision, sebuah A100 menggunakan 46,7 kJ di mana node Xeon CPU-saja menggunakan 213,5 kJ.

CPU vs GPU | Mengapa Pusat Data AI Menggunakan GPU Alih-alih CPU

Perbandingan Cepat

Jadi jika Anda memilih perangkat keras, saya akan menjaganya tetap sederhana: cocokkan chip dengan pola lalu lintas, ukuran batch, dan pipeline penuh - bukan hanya model. Itulah poin utama artikel ini.

Profil Daya CPU dan GPU dalam Sistem AI

Angka-angka benchmark itu menunjukkan di mana setiap prosesor sebenarnya membakar daya. CPU dan GPU tidak menghabiskan watt dengan cara yang sama, dan pekerjaan AI bisa condong keras ke salah satu tergantung di mana pekerjaan terjadi. GPU menangani tugas paralel dengan streaming multiprocessor, sementara daya CPU cenderung bergerak dengan beban core. Itulah sebabnya beban kerja yang sama bisa mengarah pada penarikan daya yang sangat berbeda pada setiap chip ^[6].

Bagaimana arsitektur memengaruhi watt, utilisasi, dan throughput

Faktor besar di sini adalah utilisasi.

Dalam beban kerja padat-GPU, daya GPU bisa melonjak dari 33 W ke 199 W berdasarkan utilisasi SM, sementara daya CPU tetap jauh lebih stabil di sekitar 12 W hingga 14 W ^[6]. Rentang itu membantu menjelaskan mengapa perubahan dalam utilisasi GPU bisa mengarah pada perbedaan penggunaan energi 3–5× untuk tugas yang sama ^[8].

Anda melihat pembagian serupa selama inferensi. Fase yang terikat-komputasi cenderung mendapat keuntungan dari frekuensi GPU yang lebih tinggi. Fase yang terikat-memori berbeda: mendorong frekuensi lebih tinggi tidak banyak berpengaruh. Dalam fase-fase itu, menurunkan frekuensi bisa memangkas penggunaan energi dengan sedikit efek pada latensi ^[7].

Ke mana daya sistem pergi selama proses AI

Dalam beban kerja padat-GPU, GPU biasanya sumber utama penarikan daya sistem. Daya CPU sering tetap cukup datar kecuali pipeline pemuatan data berubah menjadi hambatan. Ketika CPU tidak bisa memberi umpan data yang diprapemroses ke GPU cukup cepat, utilisasi SM turun. Dan itu merugikan efisiensi energi bahkan jika GPU masih menarik daya ^[6].

Footprint DRAM, sebaliknya, hanya menambah bagian kecil dari total daya sistem di samping utilisasi prosesor ^[6].

Tabel di bawah ini merangkum rentang terukur dan sensitivitas utilisasi yang dilaporkan dalam studi ^[6][7]:

Dalam pipeline AI video, pembagian itu sering bergerak bolak-balik antara prapemrosesan CPU dan eksekusi model GPU. Itu paling penting dalam alur kerja video, di mana prapemrosesan dan inferensi bisa menggeser hambatan dari CPU ke GPU, atau sebaliknya.

Temuan Penelitian: Kapan CPU atau GPU Menggunakan Energi Lebih Efisien

Benchmark menunjukkan bahwa kesenjangan antara CPU dan GPU berubah berdasarkan pekerjaan. Pelatihan, inferensi, ukuran batch, dan penggunaan perangkat keras semuanya penting. Dalam pipeline video, pergeseran ini menonjol bahkan lebih karena pergerakan frame dan prapemrosesan bisa menjadi titik hambatan utama.

Beban kerja pelatihan: GPU biasanya unggul pada energi per langkah pelatihan

Untuk pelatihan jaringan saraf berskala besar, GPU biasanya menang pada energi per langkah pelatihan ^[4]. Itu masuk akal: pelatihan menjaga banyak komputasi paralel tetap sibuk pada saat yang sama, yang merupakan tempat di mana GPU cenderung bersinar.

GPU modern dengan dukungan FP8 native sekitar 1,9× lebih efisien daripada FP16 untuk jenis pekerjaan ini ^[1]. Dan perangkat keras bukan keseluruhan cerita. Penyetelan perangkat lunak saja bisa menggeser efisiensi energi sebesar 15–30%, bahkan ketika perangkat keras tetap sama ^[1]. Jadi dua tim bisa menjalankan model yang sama pada mesin yang sama dan tetap melihat profil daya yang cukup berbeda.

Beban kerja inferensi: CPU bisa bersaing pada ukuran batch rendah

GPU unggul ketika throughput tinggi dan ukuran batch besar. Tetapi keunggulan itu menyusut, dan bahkan bisa hilang, ketika ukuran batch kecil dan penggunaan perangkat keras turun ^[5].

Untuk model di bawah 1 miliar parameter, inferensi CPU dengan kuantisasi INT8 biasanya jatuh dalam rentang 10–50 md, yang kompetitif dengan GPU pada ukuran batch satu setelah overhead transfer host-ke-device disertakan. Overhead itu biasanya 0,5–2 md ^[5]. Dalam istilah biasa, jika Anda hanya melayani satu permintaan pada satu waktu, sebagian dari kecepatan GPU bisa termakan hanya untuk memindahkan data.

Contoh yang baik adalah CPU ARM Cortex-A78AE, yang menjalankan inferensi ResNet50v1.5 dalam 102 md sambil menggunakan hanya 2,58 J pada penarikan rata-rata 25,3 W ^[2]. Itu cocok solid untuk penerapan edge atau penyajian meledak-ledak, konkurensi-rendah, di mana sistem tidak berada di bawah beban berat konstan.

Benchmark kunci:

Temuan lain menonjol: 44,5% dari kueri LLM "selalu mudah" dan bisa ditangani oleh model parameter 1B–3B yang lebih kecil tanpa kehilangan kualitas yang berarti ^[7]. Ide yang sama berlaku untuk AI video. Tidak setiap frame membutuhkan model terbesar atau jalur terberat. Kadang langkah yang lebih cerdas adalah merutekan frame yang lebih sederhana, langkah prapemrosesan, atau adegan yang lebih ringan melalui penyiapan yang lebih kecil.

Pemrosesan AI Video: Energi per Frame, Hambatan Pipeline, dan Infrastruktur Model

Mengapa beban kerja video menggeser persamaan energi CPU vs. GPU

Pipeline video membuat trade-off CPU vs. GPU jauh lebih tajam. Decode, prapemrosesan, dan inferensi bisa masing-masing berjalan pada perangkat keras berbeda, jadi model yang sama bisa berakhir dengan penggunaan daya yang sangat berbeda tergantung di mana pekerjaan mendarat. Pekerjaan ringan seperti deteksi gerakan dan klasifikasi dasar kini lebih memungkinkan pada model yang disetel-CPU, sementara pekerjaan lebih berat seperti pemahaman adegan mendalam dan analisis multimodal masih condong ke GPU ^[10].

Ada alasan sederhana untuk itu: GPU bisa menarik lebih banyak daya pada puncak, tetapi mereka sering menyelesaikan pekerjaan jauh lebih cepat. Dan ketika itu terjadi, total joule per frame bisa turun bahkan jika wattase terlihat lebih tinggi pada saat itu ^[6][9].

Benchmark VGG-19 membuat ini mudah dilihat. Dalam uji vision umum, node Intel Xeon CPU-saja menggunakan 213,5 kJ untuk inferensi. GPU NVIDIA A100 menggunakan 46,7 kJ untuk pekerjaan yang sama. Itu perbedaan sekitar 4,5× ^[9]. Tetapi keunggulan itu menyusut cepat ketika prapemrosesan membuat GPU duduk menunggu.

Apa artinya ini untuk hambatan pipeline

Dalam praktik, model sering berhenti menjadi hambatan utama. Pipeline data mengambil alih.

Prapemrosesan sisi-CPU dan pemuatan data adalah titik hambatan umum dalam penyiapan padat-GPU. Jika CPU tidak bisa memberi umpan GPU cukup cepat, utilisasi SM GPU bisa turun dari sekitar 89% ke 50% ^[6][9]. Dan inilah bagian yang menyakitkan: perangkat keras tetap menarik daya sambil menunggu. Sebuah NVIDIA A100 yang menganggur dalam sistem CPU-GPU terus menggunakan sekitar 55 W ^[6][9].

Beban kerja YOLO menunjukkan pola yang sama. Daya GPU bisa berayun dari 33 W ke 199 W, sementara penarikan CPU tetap mendekati 12 W hingga 14 W ^[6]. Jadi bahkan ketika daya CPU terlihat datar, ia tetap bisa menjadi bagian yang menahan seluruh jalur.

Apa artinya ini untuk API video multi-model

Untuk API video multi-model, kapasitas akselerator yang menganggur bukan hanya masalah kinerja. Itu juga masalah energi. Pada sistem CPU-GPU, perangkat keras akselerator yang tidak terpakai bisa mendorong total penggunaan energi ke 1,7× dari node CPU-saja ^[9].

Untuk APIMart, langkah bersihnya adalah menjaga decode, prapemrosesan, dan orkestrasi pada jalur CPU, lalu menggunakan GPU untuk generasi dan analisis mendalam. Pembagian itu membantu menghindari membakar daya pada waktu akselerator yang tidak melakukan pekerjaan berguna.

Kesimpulan: Pola Utama dalam Efisiensi Energi CPU vs GPU

Poin penting dari studi yang ditinjau

Di seluruh studi yang ditinjau, pola yang sama muncul di kedua pipeline AI dan video: efisiensi adalah tentang pekerjaan yang selesai, bukan penarikan daya puncak. Yang penting adalah energi per tugas yang selesai, bukan watt puncak.

GPU keluar unggul hanya ketika beban kerja dan utilisasi membuat penggunaan daya itu sepadan. Untuk pekerjaan paralel, bervolume tinggi seperti pelatihan dan inferensi batch-besar, GPU biasanya menggunakan lebih sedikit energi per tugas yang selesai. Tetapi dengan model kecil, ukuran batch rendah, atau lalu lintas mulai-berhenti, gambarannya bisa berubah.

Satu benchmark membuat itu cukup jelas. Sistem GPU dengan RTX 4060 Ti menganggur pada 41 W, sementara Mac mini M4 menganggur pada 7,8 W. Dalam uji yang sama, Mac mini sekitar 3× lebih efisien untuk klasifikasi permintaan-tunggal parameter-1B ^[3].

Itu mengarah pada tiga aturan praktis untuk penerapan:

• Normalisasikan metrik Anda. Bandingkan sistem menggunakan energi per tugas yang selesai (joule), token per joule, atau energi per frame untuk beban kerja video. Itu memberi Anda tampilan yang adil apel-ke-apel di seluruh perangkat keras ^[1][5].

• Pisahkan pelatihan dari inferensi. GPU biasanya unggul pada efisiensi pelatihan. Inferensi kurang jelas. CPU tetap bisa bertahan pada ukuran batch 1 dan dengan model kecil ^[3][5].

• Dalam AI video, sertakan seluruh pipeline. Decode, prapemrosesan, dan inferensi semuanya membentuk penggunaan energi. Jika pekerjaan sisi-CPU menghambat GPU, efisiensi terkena dampak ^[5].

Pilihan perangkat keras harus cocok dengan profil beban kerja. Wattase GPU tinggi bukan masalah dengan sendirinya jika utilisasi tetap tinggi. Dan CPU bukan hanya rencana cadangan. Untuk pekerjaan yang tepat, mereka adalah pilihan berdaya-lebih-rendah.

FAQ

Bagaimana saya harus mengukur efisiensi energi AI secara adil?

Jangan lihat metrik GPU secara terpisah. Ukur utilisasi CPU dan GPU bersama-sama.

Mengapa? Karena pekerjaan yang terjadi sebelum model berjalan - seperti prapemrosesan, tokenisasi, atau decoding gambar - bisa memperlambat seluruh pipeline dan membuat GPU menganggur. Dalam kasus itu, angka GPU saja tidak akan memberitahu Anda apa yang sedang terjadi.

Alat seperti Nsight Systems atau PyTorch Profiler bisa menunjukkan apa yang sedang dilakukan perangkat keras.

Untuk perbandingan yang adil, jaga penyiapan tetap sama di seluruh proses:

• Gunakan pipeline yang konsisten

• Perbaiki hyperparameter

• Ulangi proses

• Cocokkan model, titik operasi, dan pipeline data yang sama

Jika bagian-bagian itu berubah, perbandingan bisa menjadi berantakan dengan cepat.

Kapan CPU lebih efisien daripada GPU?

CPU bisa menjadi pilihan yang lebih baik untuk beberapa beban kerja AI dan penyiapan penerapan, terutama ketika efisiensi biaya lebih penting daripada kecepatan puncak.

Ia juga cenderung bekerja baik pada tugas dengan lebih sedikit paralelisme, seperti dot product, karena ia menghindari sebagian overhead akses-memori yang sering datang dengan GPU.

Untuk pekerjaan AI yang di-hosting sendiri atau intermiten, CPU juga bisa memberikan token per watt-jam yang lebih baik berkat penggunaan daya idle yang rendah. Itu membuat CPU cocok kuat untuk penerapan edge atau tertanam yang menjalankan model teroptimasi dan terkompresi, di mana batas daya, panas, dan anggaran lebih penting daripada throughput mentah.

Mengapa prapemrosesan video memengaruhi efisiensi GPU begitu banyak?

Prapemrosesan video bisa berubah menjadi hambatan dengan cepat. Pekerjaan seperti decoding video dan augmentasi frame sering membebani CPU dengan keras. Dan jika pipeline data tidak bisa mengikuti, GPU berakhir menunggu-nunggu alih-alih melakukan pekerjaan berguna.

Input multimodal membuat ini lebih sulit karena video harus diubah menjadi token vision, yang menambah lebih banyak beban memori dan komputasi. Ketika prapemrosesan tertinggal, utilisasi GPU turun, tetapi penggunaan daya tetap tinggi. Itu berarti Anda membakar energi tanpa mendapatkan output yang Anda bayar.