Cursor Router: Cara Memangkas Biaya Model AI hingga 60%

Ya - routing model bisa memangkas pengeluaran AI sekitar 60% ketika sebagian besar permintaan tidak membutuhkan model kelas atas. Saya akan merangkumnya begini: periksa setiap prompt, kirim pekerjaan sederhana ke model berbiaya rendah, pertahankan tugas yang sulit atau sensitif di model yang lebih kuat, lalu pantau acceptance rate, retry, latensi, dan biaya sebelum memperluas penggunaan.

Kalau saya harus menjelaskan artikel ini dalam satu menit, saya akan bilang:

• Ide utamanya: jangan kirim semua prompt ke model mahal yang sama.
• Cara kerjanya: router memeriksa jenis tugas, panjang prompt, risiko, modalitas, dan anggaran, lalu memilih tier model.
• Dari mana penghematannya: rata-rata tertimbang. Jika 70% trafik pergi ke model murah, 25% ke tier menengah, dan 5% ke premium, biaya rata-rata bisa turun dari sekitar $0.020 menjadi $0.008 per permintaan.
• Kenapa kualitas bisa tetap stabil: output yang lemah bisa retry sekali, lalu naik tier jika diperlukan.
• Apa yang harus diukur: acceptance rate, retry rate, latensi p95/p99, dan biaya per fitur.
• Apa yang harus dihindari: merutekan pekerjaan hukum, keuangan, atau kepatuhan berisiko tinggi ke model murah terlalu dini.
• Kontrol biaya tambahan: prompt caching bisa memangkas sebagian biaya input hingga 90%, tetapi routing tetap pendorong utamanya.

Ada beberapa angka yang menonjol. Dalam contohnya, 1,000,000 permintaan per bulan turun dari sekitar $20,000 pada setup serba-premium menjadi sekitar $8,000 dengan routing. Dan untuk video, memindahkan volume dari sekitar $7.20/menit ke sekitar $1.50/menit untuk pekerjaan berisiko rendah bisa hampir menggandakan output pada anggaran bulanan yang sama.

Routing Model LLM: Pangkas Biaya AI 85% Tanpa Kehilangan Kualitas

Perbandingan Cepat

Yang saya tangkap dari artikel ini sederhana: Cursor Router adalah lapisan kontrol biaya. Ia tidak membuat satu model jadi lebih murah. Ia menekan pengeluaran dengan mengirim setiap permintaan ke model berbiaya paling rendah yang masih bisa mengerjakan tugas itu dengan cukup baik.

Cara Kerja Cursor Router

Cursor Router memproses setiap permintaan melalui lima langkah: ingestion, inspeksi, routing, eksekusi, dan pencatatan umpan balik. Langkah inspeksi berjalan cepat, biasanya hanya puluhan milidetik, sehingga tambahan penundaannya sangat kecil. Pengecekan cepat itulah yang membantu router menyimpan model premium untuk pekerjaan yang paling sulit.

Inspeksi Permintaan dan Klasifikasi Kompleksitas

Selama inspeksi, router memeriksa setiap prompt untuk jumlah token, blok kode, persyaratan output, modalitas, dan flag sensitivitas yang terkait konten keuangan, hukum, atau kepatuhan. Dengan sinyal-sinyal itu, router menandai permintaan sebagai kompleksitas rendah, menengah, atau tinggi.

Prompt yang pendek dan longgar biasanya masuk ke kategori kompleksitas rendah dan dikirim ke model berbiaya lebih rendah. Prompt dengan file kode, context window panjang, atau aturan format ketat lebih mungkin masuk kategori menengah atau tinggi dan dikirim ke tier yang lebih tinggi. Flag sensitivitas bisa langsung memindahkan permintaan ke kompleksitas tinggi, meskipun prompt-nya sendiri pendek.

Label-label ini juga bisa menyertakan batas biaya keras. Permintaan kompleksitas rendah bisa dibatasi di $0.002, menengah di $0.02, dan tinggi di $0.20, sehingga pengeluaran lebih mudah diprediksi dan diaudit.^[2]

Pool Model Bertingkat, Eskalasi, dan Fallback

Pool model tiga tier ini selaras dengan label kompleksitas tadi:

Panduan enterprise menyebutkan hanya 10% sampai 20% kueri yang seharusnya masuk Tier 3. Sisanya, 80% sampai 90%, seharusnya ditangani Tier 1 atau Tier 2.^[1] Dari situlah penghematan berasal. Sebagian besar permintaan tetap berada di tier yang lebih murah, dan selisih harganya cukup besar sehingga routing yang tidak sempurna sekalipun tetap bisa memangkas biaya secara berarti. Pembagian itulah alasan utama routing menurunkan pengeluaran tanpa mengubah apa yang harus dihasilkan aplikasi.

Router memulai dari tier terendah yang tampak berpeluang berhasil. Ia kemudian memeriksa output terhadap aturan skema, bagian-bagian wajib, dan batas panjang. Jika hasilnya gagal, router melakukan eskalasi. Sistem mengizinkan satu retry di tier yang sama dan satu eskalasi lintas tier. Sebelum naik, router juga bisa beralih ke model lain di tier yang sama, sehingga perilaku fallback tetap terikat pada biaya.

Telemetri yang Memperbaiki Routing dari Waktu ke Waktu

Setiap permintaan menghasilkan catatan telemetri. Catatan itu mencakup tier, model, jumlah token, latensi, biaya tertagih dalam dolar AS, jumlah retry, jalur eskalasi, dan apakah respons dipakai, disunting, atau ditolak.

Data itu dimasukkan kembali ke aturan routing seiring waktu. Misalnya, jika draf email kompleksitas rendah menunjukkan acceptance rate 99% di tier budget, router bisa melonggarkan ambangnya dan mengirim lebih banyak pekerjaan borderline ke sana. Sebaliknya, jika tugas analitis kompleksitas menengah terus-menerus tereskalasi, sistem bisa merutekannya langsung ke tier menengah dan menghindari retry tambahan.

Beban kerja kritis, seperti ringkasan keuangan dan konten kepatuhan, tetap dikunci di model frontier sampai telemetri menunjukkan bahwa tier yang lebih rendah bisa menyamai acceptance rate dalam rentang waktu berkelanjutan, misalnya 30 hari.^[2] Ini membuat routing mudah diukur dan disetel. Log mengubah aturan routing menjadi kontrol biaya langsung, dan menjadi bahan perhitungan penghematan di bagian berikutnya.

Dari Mana Penghematan 60% Itu Berasal

Klaim penghematan ini bermuara pada rata-rata tertimbang. Cursor Router mengirim permintaan berkompleksitas rendah ke tier berbiaya lebih rendah terlebih dahulu, sehingga pengeluaran gabungan turun meskipun model frontier tetap tersedia. Dengan tier Budget, Menengah, dan Frontier yang sama dari logika routing di atas, biaya rata-rata turun cepat begitu sebagian besar trafik tidak lagi masuk ke tier frontier.

Baseline vs. Pengeluaran dengan Routing dalam Angka Sederhana

Ambil contoh tim yang menjalankan 1,000,000 permintaan per bulan. Pada setup serba-frontier, setiap permintaan masuk ke model berbiaya tertinggi. Pada setup dengan routing, sekitar 70% permintaan berkompleksitas rendah dan masuk ke model Budget, 25% masuk ke model Menengah, dan hanya 5% yang mencapai tier Frontier. Itu selaras dengan pola umum seperti klasifikasi, penulisan ulang singkat, dan tanya jawab sederhana.

Selisih harga antar-tier itulah pendorongnya. GPT-4o dari OpenAI dihargai $2.50 per juta token input dan $10.00 per juta token output, sementara GPT-4o mini berbiaya $0.15 input dan $0.60 output per juta token. Itu membuatnya sekitar 16.7x lebih murah baik untuk input maupun output.^[3][4] Begitu sebagian besar trafik berpindah ke tier berbiaya lebih rendah, rata-rata gabungannya turun dengan cepat.

Riset mendukung skala penurunan itu. RouteLLM, framework yang merutekan kueri antar-model, melaporkan pengurangan biaya lebih dari 85% pada MT Bench dibandingkan selalu memakai GPT-4, sambil tetap mendekati performa GPT-4.^[6]

Tuas Biaya Utama: Pilihan Model, Penggunaan Token, dan Menghindari Over-Modeling

Pilihan model adalah tuas terbesar. Jika model berbiaya lebih rendah bisa mengerjakan tugasnya, harga per token turun drastis, dan selisih itu terus terakumulasi di jutaan panggilan setiap bulan.

Penggunaan token adalah tuas kedua. Tugas sederhana sering hanya butuh token output yang lebih sedikit. Jawaban klasifikasi atau penulisan ulang singkat tidak membutuhkan penalaran panjang, sehingga tagihannya tetap lebih rendah bahkan di dalam tier yang sama.

Tuas ketiga adalah menghindari model yang lebih kuat dari yang dibutuhkan tugas. Itulah inti routing: cocokkan kekuatan model dengan tingkat kesulitan tugas, dan simpan pengeluaran premium untuk sebagian kecil permintaan yang benar-benar membutuhkannya.

Caching bisa memangkas biaya lebih jauh lagi. Prompt caching pada platform yang mendukung bisa menurunkan biaya token input hingga 90%.^[7][8] Namun routing tetap mesin penghematan utamanya karena ia mengubah model mana yang ditagih.

Selanjutnya, logika routing yang sama diterapkan pada beban kerja teks, gambar, dan video APIMart, di mana harga dan kasus penggunaan menentukan pilihan model.

Menerapkan Cursor Router pada Beban Kerja Teks, Gambar, dan Video APIMart

APIMart memungkinkan router berganti model di balik satu API key dan satu akun penagihan. Jadi Anda tidak perlu setup terpisah untuk setiap model. Logika routing yang sama kini bekerja di seluruh beban kerja teks, gambar, dan video APIMart: satu katalog, satu tagihan, dan pengeluaran gabungan yang lebih rendah.

Routing di Seluruh Katalog Multi-Model APIMart

Router memeriksa setiap permintaan pada tiga dimensi: modalitas (teks, gambar, atau video), target kualitas (draf, final, atau premium), dan batasan anggaran (batas per permintaan dan bulanan dalam USD). Aturan routing hidup di dalam kode. Dan karena APIMart memakai skema terpadu, mengganti model ID tidak membutuhkan autentikasi tambahan atau penyusunan ulang permintaan.

Untuk teks, kebijakan tiga tier adalah pilihan praktis bagi banyak tim. Sebuah tim media AS, misalnya, bisa mengirim draf internal ke Tier 1 memakai model murah seperti Gemini Flash di $0.075 input / $0.30 output per juta token. Naskah untuk klien bisa masuk Tier 2 dengan model instruction-tuned berharga menengah. Lalu konten kampanye unggulan bisa pindah ke Tier 3 dengan GPT-4o di $2.50 input / $10.00 output per juta token.

Jika 70% token masuk Tier 1, 25% di Tier 2, dan hanya 5% di Tier 3, biaya gabungan turun 40%–60% dibandingkan mengirim semuanya ke tier teratas. Itulah ide intinya: simpan model mahal untuk pekerjaan yang benar-benar membutuhkannya.

Setup yang sama berlaku untuk gambar. Mockup internal bisa masuk ke model gambar budget, sementara materi iklan final masuk ke model gambar tier lebih tinggi, memakai tag metadata yang sama yang memandu routing teks.

Routing Pembuatan Video Berdasarkan Harga dan Kasus Penggunaan

Video adalah tempat penghematan bisa paling terasa, karena selisih harga membesar seiring bertambahnya durasi pembuatan. Di katalog APIMart, harga per detik bervariasi hampir 5× antara model termurah dan termahal. Itu membuat pencocokan model dengan kasus penggunaan lebih penting di sini dibanding modalitas lain mana pun.

Ambil contoh perusahaan SaaS AS. Ia bisa merutekan semua video tutorial dalam aplikasi ke MiniMax Hailuo 2.3 dengan tag "use_case": "tutorial", sambil menyimpan Veo 3.1 atau Vidu Q3 Pro untuk sejumlah kecil video peluncuran unggulan tiap bulan. Itu memindahkan sebagian besar volume dari $7.20 per menit ke sekitar $1.50 per menit.

Skenario Anggaran Bulanan untuk Tim di AS

Begitu aturan routing terpasang, langkah berikutnya sederhana: berapa banyak yang bisa diproduksi tim pada anggaran bulanan tetap?

Bayangkan sebuah agensi periklanan AS dengan anggaran video $10,000/bulan di APIMart:

• Tanpa routing (semua Vidu Q3 Pro): Pada $7.20/menit, $10,000 mendapatkan kira-kira 1,389 menit (~83,340 detik) video.
• Campuran yang ditegakkan router (60% MiniMax / 25% Kling / 15% Sora + Vidu): Rata-rata gabungan turun ke sekitar $3.00–$3.50/menit, yang menghasilkan sekitar 2,850–3,333 menit - kira-kira 2× volume untuk pengeluaran yang sama.

Ini hanyalah matematika rata-rata tertimbang yang muncul dalam anggaran bulanan. Klaim penghematan 60% berasal dari memindahkan sebagian besar volume ke tier berbiaya lebih rendah, bukan dari membuat satu model tertentu jadi lebih murah. Dan karena APIMart menggabungkan semua tagihan model ke dalam satu invoice dalam USD, tim keuangan dan engineering bisa membandingkan log router langsung dengan rincian tagihan APIMart untuk mengecek perkiraan versus pengeluaran aktual.

Implementasi, Pengukuran, dan Poin-Poin Penting

Arsitektur Produksi Sederhana untuk Inferensi Berbasis Router

Begitu aturan routing Anda siap, langkah berikutnya sederhana: rilis dan ukur.

Anda tidak perlu membangun ulang stack untuk menambahkan routing. Kirim setiap permintaan AI ke POST /v1/route dengan jenis tugas, target latensi, tier pengguna, dan prompt. Cursor Router memilih modelnya dan mengembalikan respons melalui API terpadu APIMart.

Gambaran sebelum/sesudah membuat trade-off-nya mudah dilihat:

Catat model, token, latensi, biaya USD, dan hasilnya melalui OpenTelemetry, Prometheus, dan stack dashboard Anda.^[10][11] Pada kebanyakan deployment, routing berbasis aturan menambah overhead kurang dari 5 ms, sehingga router sendiri seharusnya tidak menjadi bottleneck.^[9]

Cara Memvalidasi Penghematan Tanpa Mengorbankan Kualitas

Begitu router berjalan, cek penghematan terhadap baseline Anda saat ini sebelum mengalirkan lebih banyak trafik melaluinya.

Jalankan pembagian terkontrol. Pertahankan sebagian trafik produksi di baseline serba-frontier Anda, dan rutekan sisanya melalui Cursor Router. Instrumentasikan kedua grup dengan cara yang sama, lalu bandingkan empat metrik:

• Acceptance rate
• Retry rate
• Biaya per fitur dalam USD
• Kepatuhan SLA, termasuk latensi p95 dan p99 terhadap target Anda

Mulailah dengan aturan deterministik pada trafik berisiko rendah. Prompt pendek bisa masuk ke model tier menengah. Tooling internal bisa masuk ke model budget. Alur penagihan dan kepatuhan sebaiknya tetap di model frontier. Ketika telemetri menunjukkan acceptance rate dan retry rate yang stabil, perketat ambangnya dan perluas routing ke lebih banyak fitur.

Jika ada segmen yang tertinggal dari baseline dalam hal kualitas, kunci kembali segmen itu ke model premium. Itulah siklusnya: ukur, sesuaikan, perluas.

Kesimpulan: Yang Perlu Diingat tentang Cursor Router dan Klaim Penghematan 60%

Jika angkanya terbukti di produksi, perluas routing selangkah demi selangkah ke lebih banyak beban kerja.

Benchmark menunjukkan routing bertingkat bisa memangkas biaya hingga sekitar 42% dari baseline sekaligus menurunkan latensi.^[5] API terpadu APIMart membuat ini praktis: satu titik integrasi, pelaporan penggunaan terpadu, dan harga dalam USD. Artinya, Cursor Router bisa berganti model tanpa kerja engineering tambahan di sisi Anda. Perlakukan angka 60% sebagai target untuk diuji, bukan jaminan. Verifikasi dengan pengukuran biaya dan kualitas berdampingan terhadap baseline Anda sendiri, lalu perluas ketika datanya sudah berbicara.

FAQ

Bagaimana Cursor Router memutuskan model mana yang dipakai?

Cursor Router memeriksa setiap permintaan, menimbang seberapa sulit tugasnya dan berapa biayanya seharusnya, lalu mengirimkannya ke model yang paling pas.

Ia melakukannya dengan langkah routing atau klasifikasi. Sederhananya, ia memilah pekerjaan seperti ringkasan, klasifikasi, dan penalaran lanjutan sebelum memutuskan ke mana permintaan itu harus pergi.

Jadi kueri yang lebih berat dikirim ke model premium, sementara trafik rutin masuk ke opsi berbiaya lebih rendah. Dengan begitu, model mahal tetap fokus pada 5–15% tugas yang paling membutuhkan kekuatan ekstranya.

Kapan permintaan harus dieskalasi ke model tier yang lebih tinggi?

Eskalasikan permintaan ketika model berbiaya lebih rendah tidak memenuhi ambang keyakinan yang disyaratkan, atau ketika tugasnya menuntut penalaran lebih dalam, seperti coding lanjutan, penulisan kreatif, atau analisis berisiko tinggi.

Gunakan eskalasi juga sebagai cadangan, jika model utama mengalami masalah performa, lonjakan latensi, atau gangguan.

Jika log Anda menunjukkan model berbiaya lebih rendah tereskalasi lebih dari 30% dari waktu ke waktu, tinjau kembali logika routing Anda.

Bagaimana tim bisa menguji routing tanpa mengorbankan kualitas?

Mulailah dengan model premium Anda saat ini sebagai baseline untuk biaya maupun performa. Itu memberi Anda titik perbandingan yang bersih sebelum mengubah apa pun.

Dari sana, uji setup routing bertingkat. Kirim sebagian kecil trafik yang terkontrol ke model berbiaya lebih rendah, sambil tetap menyimpan model premium untuk pekerjaan yang mission-critical. Ini cara sederhana untuk memangkas pengeluaran tanpa mempertaruhkan tugas-tugas yang paling penting.

Di staging, bangun rantai fallback lalu uji dengan sengaja. Paksakan error atau cabut API key agar Anda bisa memastikan permintaan berpindah model sesuai harapan. Setelah itu, awasi tingkat keberhasilan dan latensi dengan cermat. Angka-angka itu akan menunjukkan di mana aturan routing Anda sudah kokoh dan di mana masih perlu diperbaiki.