Microsoft Tambah AMD Helios ke Inferensi AI Azure

Microsoft menambahkan sistem AMD Helios ke Azure untuk membuat inferensi AI lebih cepat, lebih stabil, dan lebih murah dalam skala besar. Jika Anda menjalankan beban kerja chat, gambar, atau video, versi singkatnya sederhana: throughput lebih tinggi, latensi lebih rendah, dan lebih banyak ruang untuk volume permintaan tinggi.

Inilah yang langsung saya simpulkan:

• Helios ditujukan untuk inferensi produksi, bukan sekadar pengujian lab

• VM ND MI455X v7 adalah kecocokan Azure utama untuk pekerjaan LLM besar dan multimodal

• 192 GB memori HBM3 pada MI455X memberi lebih banyak ruang untuk model besar

• AMD menyatakan beberapa beban kerja Llama bisa melihat peningkatan hingga 8x

• Artikel menyebut ~750 token/detik pada penyiapan khusus vs. ~100–150 token/detik pada endpoint H100 standar

• Azure tetap membagi pekerjaan di seluruh stack:

  • VM CPU untuk pekerjaan persiapan

  • VM GPU untuk inferensi berat

  • AKS, endpoint terkelola, batch, dan antrean untuk pola penyajian

• Untuk platform seperti APIMart, ini bisa berarti antrean lebih pendek, waktu respons lebih stabil, dan penanganan lonjakan lalu lintas yang lebih baik

Jika saya harus meringkasnya dalam satu baris: Azure menambah lebih banyak kapasitas GPU tingkat rack agar tim AI dapat melayani lebih banyak permintaan multimodal dengan lebih sedikit penundaan dan kontrol biaya lebih baik.

Yang paling penting bukan nama perangkat kerasnya. Melainkan bagaimana tim memetakan beban kerja ke jalur Azure yang tepat dan melacak latensi, kedalaman antrean, konkurensi, dan biaya per token.

Helios Adalah Sistem AI Pertama AMD yang Menyaingi Nvidia Vera Rubin - Kami Mendapat Pandangan Pertama Eksklusif

Apa yang diterapkan Microsoft: sistem rack AMD Helios di Azure

Microsoft menggulirkan AMD Helios di Azure sebagai sistem berskala rack yang terintegrasi erat, yang menyatukan komputasi, jaringan, dan penyimpanan dalam satu desain.

Itu penting karena memangkas lalu lintas antar-node dan membantu menjaga inferensi model besar tetap stabil dalam skala besar. Di Azure, Microsoft menampilkan penyiapan ini melalui VM seri ND yang disetel untuk bagian berbeda dari pipeline AI.

Stack perangkat keras dan perangkat lunak Helios

Di inti Helios ada GPU AMD Instinct MI455X. Ia hadir dengan 192 GB memori HBM3, yang 1.5x lebih banyak dari generasi sebelumnya, memberinya lebih banyak ruang untuk beban kerja LLM dan multimodal ^[2].

CPU AMD EPYC Venice menangani prapemrosesan dan pengumpanan input. Itu mengurangi tekanan pada lapisan GPU, sehingga ia tidak berubah menjadi hambatan.

Untuk jaringan, Helios menggunakan DPU AMD Pensando dengan InfiniBand. Tujuannya sederhana: latensi rendah dan bandwidth tinggi untuk inferensi konkurensi tinggi dan beban kerja terdistribusi.

Di sisi perangkat lunak, ROCm 6+ menambahkan dukungan FlashAttention, HIPGraph, dan vLLM. AMD menyatakan ia dapat mempercepat beban kerja Llama hingga 8x ^[2]. ROCm juga bekerja dengan framework seperti PyTorch, TensorFlow, DeepSpeed, dan ONNX, yang membantu menjaga model tetap portabel di seluruh VM seri ND Azure.

Secure Encrypted Virtualization (SEV) menambahkan lapisan lain di sini. Ia membantu melindungi bobot model AI dan data multimodal sensitif di lingkungan multi-tenant ^[3].

Bagaimana Helios cocok dengan infrastruktur AI Azure

Di dalam Azure, stack ini muncul sebagai bagian dari jajaran seri ND.

VM ND MI455X v7 adalah kecocokan utama untuk beban kerja yang didukung Helios, terutama inferensi LLM skala besar dan pembuatan multimodal. Berdampingan dengan mereka, ND MI300X v5 masih memiliki tempat untuk inferensi produksi dan pelatihan.

Untuk pekerjaan yang terjadi sebelum inferensi bahkan dimulai, Azure menggunakan sistem yang berfokus pada CPU. VM HXv2 dan HDv2, ditenagai oleh prosesor EPYC, menangani persiapan data, prapemrosesan, dan simulasi HPC.

Tabel di bawah memetakan setiap sumber daya Azure ke pekerjaan utamanya.

Dalam praktik, tim dapat menyelaraskan setiap tahap pipeline dengan sumber daya Azure yang tepat: prapemrosesan pada VM berbasis EPYC, lalu inferensi lebih berat pada instance MI455X.

Apa yang berubah di Azure: kecepatan inferensi, skala, dan efisiensi infrastruktur

Penyajian model lebih cepat dan beban kerja multimodal berlatensi lebih rendah

Helios hanya penting jika ia membuat inferensi lebih baik dalam praktik. Dan itulah persis yang dirancang untuk dilakukannya.

Ia memangkas latensi node-ke-node, yang membantu throughput untuk inferensi terdistribusi di beberapa GPU. Dalam bahasa sederhana, sistem dapat memindahkan pekerjaan antar-GPU dengan lebih sedikit penundaan. Itu menghasilkan respons pertama yang lebih cepat di aplikasi chat dan performa yang lebih gesit untuk tugas gambar dan video di mana visi dan bahasa perlu bekerja berdampingan.

Lonjakannya bisa besar. Pada 2026, penyiapan perangkat keras khusus dapat mencapai sekitar 750 token per detik, dibandingkan 100–150 token per detik pada endpoint H100 standar ^[2]. Dalam inferensi produksi, selisih semacam itu tidaklah kecil. Ia bisa mengubah seberapa cepat pengguna mendapat jawaban dan berapa banyak permintaan yang bisa ditangani sistem sekaligus.

Lebih banyak kapasitas untuk API produksi dan inferensi konkurensi tinggi

Penyiapan yang sama yang memangkas latensi juga membantu Azure menangani lebih banyak permintaan bersamaan tanpa memotong kapasitas menjadi bagian-bagian yang lebih kecil dan kurang berguna.

Itu memberi Azure lebih banyak ruang untuk lalu lintas inferensi yang meledak-ledak di seluruh pipeline chat, pencarian, dan media. Jika volume permintaan melonjak, sistem berada di posisi lebih baik untuk mengimbangi. Beban kerja yang dibangun di sekitar jumlah permintaan tinggi paling diuntungkan di sini, karena interkoneksi GPU yang lebih cepat membantu menjaga waktu respons tetap stabil saat permintaan tumbuh.

Efisiensi lebih baik per rack, per watt, dan per dolar

Throughput lebih tinggi tidak hanya memengaruhi kecepatan. Ia juga mengubah sisi biaya inferensi.

Pada titik ini, efisiensi penting di tingkat tugas, bukan hanya pada daya puncak. Sistem berskala rack seperti Helios dibangun di seputar gagasan itu, yang berarti Azure dapat memberikan lebih banyak pekerjaan AI dari jejak fisik yang sama.

Token output masih jauh lebih mahal daripada token input, jadi peningkatan throughput dapat secara material memperbaiki ekonomi unit ^[2]. Bagi perusahaan yang menjalankan inferensi volume tinggi yang stabil di Azure, keunggulan itu bertumpuk seiring ukuran beban kerja bertumbuh.

Bagaimana perusahaan, pengembang, dan APIMart dapat menggunakan kapasitas inferensi Azure yang bertambah

Pola penerapan perusahaan untuk beban kerja Azure

Keuntungan di sini datang dari memasangkan setiap beban kerja dengan layanan Azure yang paling cocok. Inferensi model besar milik instance GPU seri ND. Prapemrosesan dan transcoding cocok dengan HDv2 atau HXv2. Dan penyajian produksi bekerja baik pada endpoint terkelola atau AKS. Pembagian itu bukan hanya rapi di atas kertas. Ia juga bekerja baik di seluruh penerapan Azure yang terdistribusi.

Wayve menggunakan Azure Machine Learning dan AKS untuk menskalakan deep learning terdistribusi dengan penskalaan linear dan interkoneksi GPU cepat ^[1]. Penyiapan yang sama itu dapat bekerja untuk pengembang yang membangun API real-time, sistem RAG, dan pipeline multimodal yang butuh latensi stabil dan ruang untuk tumbuh.

Namun kecepatan hanyalah sebagian dari cerita. Pilihan penerapan juga harus mencerminkan kebutuhan residensi dan keamanan. Jika sebuah tim memiliki aturan residensi atau keamanan ketat, Azure AI Foundry menempatkan kontrol penerapan di satu tempat, sementara Confidential Computing menambahkan enkripsi berbasis perangkat keras untuk beban kerja AI sensitif ^[1].

Kasus penggunaan APIMart pada inferensi Azure yang lebih kuat

Untuk platform API, lebih banyak kapasitas biasanya muncul dalam metrik yang paling dulu dirasakan orang: latensi lebih stabil dan antrean lebih pendek. APIMart memberi pengguna akses ke lebih dari 500 model AI melalui satu API terpadu, sehingga kapasitas inferensi Azure yang bertambah dapat mengangkat throughput di seluruh beban kerja teks, gambar, dan video. Itu paling penting dalam alat produksi, di mana kedalaman antrean dan latensi membentuk pengalaman pengguna dari menit ke menit.

Untuk pekerjaan pembuatan video seperti MiniMax Hailuo 2.3 ($0.025/sec) dan Sora 2 Preview ($0.08/sec), throughput lebih tinggi dapat memangkas waktu antrean dan menjaga pekerjaan tetap bergerak selama lonjakan lalu lintas. Dan untuk beban kerja penyajian model yang lebih besar, instance GPU bermemori tinggi memberi tim lebih banyak ruang untuk model lebih besar dan lebih banyak permintaan bersamaan.

Tabel: mencocokkan sumber daya Azure dengan jenis beban kerja

Untuk beban kerja bergaya APIMart, pola utamanya adalah penyajian API, pembuatan berantre, dan pipeline batch. Berikut bagaimana pola-pola itu selaras dengan layanan Azure yang paling cocok.

Kesimpulan: Apa arti penerapan Azure ini bagi tim AI pada 2026

Penggulingan AMD Helios oleh Microsoft di Azure menunjukkan ke mana infrastruktur cloud menuju: inferensi volume tinggi berlatensi rendah kini menjadi bagian dari stack inti.

Itu hanya membantu jika tim mengirim setiap beban kerja menyusuri jalur Azure yang tepat. Helios memberi tim lebih banyak ruang untuk membagi prapemrosesan, penyajian, dan pekerjaan batch ke sumber daya yang tepat - instance GPU untuk model besar, jalur hibrida untuk prapemrosesan, dan jalur khusus CPU untuk pekerjaan ringan. Kuncinya sederhana: perhatikan kedalaman antrean, latensi, dan biaya per token.

Bagi pengguna APIMart, pergeseran arsitektur itu muncul dalam cara yang praktis. Throughput tetap lebih stabil di bawah beban. Dalam bahasa sederhana, APIMart dapat menjaga beban kerja teks, gambar, dan video bergerak lebih mulus selama lonjakan lalu lintas.

Keuntungan itu makin berarti ketika ia juga memangkas biaya unit. Dalam skala besar, efisiensi yang lebih baik seharusnya muncul sebagai lebih banyak token per joule dan biaya tingkat pekerjaan yang lebih rendah.

Secara keseluruhan, ini mengarah pada stack inferensi Azure yang lebih siap produksi. Helios menegaskan gagasan sederhana: inferensi AI adalah infrastruktur. Tim yang merencanakan antrean asinkron, streaming, dan kedalaman antrean sekarang akan berada di posisi lebih kuat seiring kapasitas inferensi terus tumbuh sepanjang sisa 2026.

FAQ

Bagaimana saya tahu apakah beban kerja saya butuh ND MI455X v7?

Pertimbangkan seri ND MI455X v7 jika beban kerja AI Anda butuh infrastruktur berakselerasi GPU untuk inferensi skala besar, terutama untuk model bahasa besar dan pipeline multi-modal yang kompleks.

Ia cocok kuat ketika Anda menghadapi:

• kebutuhan memori tinggi untuk parameter model besar

• API produksi berkonkurensi tinggi atau sensitif latensi

• beban kerja inferensi video atau gambar

Apakah Helios akan menurunkan biaya inferensi Azure saya dalam praktik?

Ya. Sistem rack AMD Helios di Azure dimaksudkan untuk meningkatkan efisiensi dan skalabilitas infrastruktur, yang dapat membantu menurunkan biaya inferensi dalam praktik.

Sederhananya: perangkat keras yang lebih baik dapat melakukan lebih banyak pekerjaan dengan jejak yang sama. Itu dapat menghasilkan rasio performa-terhadap-biaya yang lebih kuat, penyajian model lebih cepat, dan lebih banyak kapasitas untuk API produksi melalui penggunaan sumber daya yang lebih cerdas.

Layanan Azure mana yang terbaik untuk AI real-time vs. batch?

Untuk AI real-time, hubungkan model langsung ke aplikasi untuk menjaga latensi tetap rendah. Penyiapan itu bekerja paling baik untuk agen suara dan kasus penggunaan interaktif lain yang butuh balasan dalam di bawah 500 milidetik.

Untuk AI batch, gunakan pipeline asinkron dengan antrean, ID tugas, dan webhook. Pendekatan ini cocok untuk pekerjaan lebih panjang seperti pembuatan media, di mana hasilnya tidak perlu kembali segera. Gunakan serverless functions untuk aksi yang meledak-ledak, dan microservices untuk alur multi-langkah yang lebih kompleks.