UniNote: Embedding Multimodal Terpadu

Gagasan utama Xiaohongshu sederhana: satu catatan, satu embedding, satu jalur pencarian. Alih-alih menangani teks, gambar, video, dan audio dalam sistem terpisah, UniNote menempatkan semuanya ke dalam satu ruang vektor bersama untuk pengambilan sekaligus pemeringkatan.

Jika artikel ini diringkas, inilah hal-hal yang paling penting bagi saya:

• UniNote membuat satu embedding multimodal untuk setiap catatan
• UniNote menggunakan dua tahap pelatihan, termasuk loss InfoNCE dan penambangan negatif sulit
• Tujuannya adalah memakai sistem embedding yang sama untuk pengambilan dan pemeringkatan
• Sasarannya ialah meningkatkan pencarian lintas modalitas, seperti mencocokkan foto dengan halaman produk atau klip video
• Artikel tersebut menunjukkan peningkatan pengambilan lintas modalitas, termasuk hasil yang dikutip sebesar hingga 26 poin persentase pada NDCG@10 dari riset terkait tentang ruang bersama
• Keterbatasannya masih jelas: ketidakcocokan terperinci, batas rentang waktu video 3 hingga 25 detik, serta kesalahan pemeringkatan ketika sinyal tidak selaras

Dengan kata lain, ini bukan sekadar menambahkan model baru, melainkan mengurangi pipeline terpisah untuk berbagai jenis media. Bagi tim yang mengerjakan pencarian, feed, atau penemuan produk belanja, hal ini dapat berarti satu indeks, alur sistem yang lebih sederhana, dan lebih sedikit ketidakcocokan antara pengambilan dan pemeringkatan.

Kesimpulan saya sederhana: embedding bersama dapat membuat pencarian multimodal lebih mudah dijalankan, tetapi kualitas penyelarasan tetap menentukan apakah hasilnya terasa tepat.

Qwen3-VL-Embedding dan Qwen3-VL-Reranker: Kerangka Terpadu untuk Pengambilan Multimodal Mutakhir

Cara Kerja UniNote: Arsitektur, Pelatihan, dan Desain Pengambilan-Pemeringkatan

Representasi Catatan Terpadu di Berbagai Modalitas

UniNote mengubah audio, gambar, dan video menjadi format catatan bersama dengan terlebih dahulu menggunakan ASR, OCR, dan VLM, lalu memetakan sinyal-sinyal tersebut ke satu ruang vektor yang sama. Setiap modalitas melewati encoder-nya sendiri, kemudian lapisan proyeksi yang dapat dilatih memindahkan output tersebut ke satu ruang berdimensi tinggi. Hasil akhirnya adalah satu embedding per catatan, yang dibangun dari sinyal apa pun yang terdapat dalam catatan tersebut.

Pengaturan itu memberi Xiaohongshu satu pipeline pencarian untuk teks, gambar, video, dan audio. Alih-alih memperlakukan setiap format sebagai pulau terpisah, sistem menempatkan semuanya pada peta yang sama.

Tentu saja, pendekatan ini hanya bekerja jika model mempelajari penyelarasan yang kuat antarfomat.

Pelatihan Dua Tahap dan Penambangan Negatif Sulit

UniNote menggunakan pendekatan dua tahap.

Pada tahap pertama, UniNote menerapkan pembelajaran kontrastif dengan loss InfoNCE. Hal ini mengajarkan model untuk mendekatkan konten yang cocok, meskipun konten tersebut muncul dalam format yang berbeda.

Pada tahap kedua, fokus beralih ke kualitas pemeringkatan melalui optimisasi berbasis relevansi dan penambangan negatif sulit. Negatif sulit adalah item yang tampak dekat dalam konteks tetapi tetap salah secara makna. Hal ini sangat penting. Jika model dapat membedakan kecocokan semu dari kecocokan sebenarnya, pemeringkatan menjadi lebih tajam.

UniNote juga menggunakan embedding dengan panjang bervariasi. Artinya, embedding dapat diperpendek ketika suatu tugas tidak memerlukan presisi penuh. Sederhananya, sistem dapat menukar sedikit detail dengan penggunaan penyimpanan yang lebih kecil dan pengambilan yang lebih cepat.

Embedding yang sama kemudian dapat menangani pengambilan kandidat sekaligus pemeringkatan akhir.

Mengapa Satu Model untuk Pengambilan dan Pemeringkatan Menyederhanakan Desain Sistem

Banyak sistem rekomendasi memakai satu model untuk pengambilan dan model lain untuk pemeringkatan. Di atas kertas, hal itu tampak rapi. Dalam praktiknya, pendekatan tersebut dapat menimbulkan pergeseran antartahap, ketika satu model mempelajari satu gagasan tentang relevansi dan model lainnya mempelajari sesuatu yang sedikit berbeda.

UniNote menghindari pemisahan itu. UniNote menggunakan satu kerangka embedding untuk pengambilan sekaligus pemeringkatan, sehingga kedua tahap tetap selaras. Pengaturan bersama inilah yang membantu pengambilan dan pemeringkatan berperilaku konsisten di lingkungan produksi.

Pertanyaan berikutnya adalah seberapa baik desain tersebut bekerja pada tugas pengambilan nyata.

Temuan Riset: Tugas, Hasil, dan Keterbatasan Saat Ini

Tugas Pengambilan Item-ke-Item dan Cakupan Benchmark

UniNote diuji pada tugas pengambilan item-ke-item. Sederhananya, model berusaha mencocokkan konten yang sama atau berkaitan dalam format berbeda di dalam satu ruang embedding bersama.

Pengujian intinya cukup sederhana: dapatkah satu embedding menghubungkan konten lintas format tanpa menjalankan pengambilan melalui pipeline terpisah? Hal ini lebih penting daripada yang mungkin terlihat pada awalnya. Embedding yang sama harus menjalankan dua fungsi. Embedding tersebut perlu mendukung pengambilan sekaligus pemeringkatan, sembari tetap mempertahankan makna antar-modalitas.

Peningkatan Performa pada Pengambilan Lintas Modalitas

Pada benchmark pengambilan, UniNote menguji apakah satu ruang bersama dapat meningkatkan kualitas kecocokan tanpa bergantung pada pipeline terpisah untuk setiap modalitas. GR-CLIP, yang memusatkan kembali klaster dalam ruang embedding bersama, meningkatkan NDCG@10 hingga 26 poin persentase dibandingkan CLIP standar^[1].

Itu bukan peningkatan kecil. Dalam sistem pengambilan, bahkan perubahan sederhana pada metrik pemeringkatan dapat mengubah rekomendasi lanjutan secara nyata.

Namun, tidak ada hasil tanpa konsekuensi. Peningkatan tersebut disertai sejumlah kompromi.

Titik Lemah Embedding Terpadu

Embedding terpadu masih mengalami kesulitan ketika modalitas tidak selaras dengan rapi. Saat itu terjadi, sistem dapat salah memeringkat hasil atau menghasilkan kekeliruan yang terasa seperti halusinasi. Performa juga dapat menurun pada konten yang sangat terperinci, terutama ketika sinyal visual dan teks mengarah ke arah berbeda.

Video menjadi kendala lain. Banyak sistem masih bekerja hanya dengan konteks temporal selama 3 hingga 25 detik, yang membatasi keras jumlah makna pada tingkat urutan yang dapat digunakan.

Hal ini menjadi masalah lebih besar dalam sistem pencarian dan rekomendasi yang bergerak cepat serta menangani konten berformat campuran dalam skala besar.

Penggunaan Praktis dalam Pencarian, Rekomendasi, dan Alur Kerja AI Multimodal

Peningkatan pengambilan tersebut hanya berarti jika benar-benar membuat pencarian dan rekomendasi lebih mudah dijalankan di lingkungan produksi.

Pencarian dan Rekomendasi Lintas Modalitas untuk Perdagangan Sosial dan Media

Kasus penggunaan utama embedding bergaya UniNote adalah penemuan produk dan pencocokan konten. Dengan sistem embedding terpadu, satu kueri dapat mencocokkan foto pembeli dengan daftar produk, ulasan kreator, atau video pendek tanpa memaksa tim membangun pipeline terpisah untuk setiap format.

Hal ini sangat penting dalam perdagangan sosial dan media. Seseorang mungkin mengunggah tangkapan layar, menempelkan keterangan, atau mencari dengan nama produk. Jika semua input tersebut berada dalam ruang embedding yang sama, sistem memiliki peluang jauh lebih besar untuk menampilkan item terkait dalam bentuk teks, gambar, dan video.

Pendekatan ini juga membantu rekomendasi. Postingan, keterangan, dan klip terkait tetap cukup berdekatan untuk mendukung pengelompokan konten yang lebih rapat dan saran feed yang lebih baik. Dari sudut pandang operasional, tim juga dapat mempertahankan satu indeks alih-alih beberapa indeks, sehingga mengurangi banyak komponen tambahan.

Pertimbangan Pengindeksan Multimodal, Latensi, dan Infrastruktur

Beralih ke model embedding terpadu mengubah pengindeksan secara langsung. Alih-alih menjalankan penyimpanan vektor terpisah untuk teks, gambar, dan video, tim dapat menggabungkannya ke dalam satu indeks approximate nearest neighbor (ANN). Hal ini menyederhanakan perutean kueri dan mengurangi beban operasional.

Video menambah lapisan lain. Tim memerlukan prapemrosesan yang menjaga sinyal waktu tetap utuh tanpa membuat pengambilan menjadi lambat. Dalam praktiknya, hal itu biasanya berarti:

• Mengambil sampel frame
• Mengodekan klip melalui pipeline multimodal yang sama
• Menjaga pengambilan cukup cepat untuk penggunaan produksi

Pengaturan ini juga mengurangi beban integrasi model. Anda tidak perlu menghubungkan satu jalur untuk teks, jalur lain untuk gambar, dan jalur lainnya lagi untuk video. Pipeline menjadi lebih sederhana, dan biasanya hal itu berarti lebih sedikit kerepotan pemeliharaan di kemudian hari.

Peran APIMart dalam Alur Kerja Multimodal Terpadu

APIMart menyediakan model teks, gambar, dan video melalui satu endpoint yang kompatibel dengan OpenAI (api.apimart.ai/v1). Hal ini mengurangi beban kontrak, autentikasi, dan batas laju.

Bagi tim yang membangun alur kerja multimodal, ini berarti satu lapisan integrasi dapat menangani berbagai jenis model tanpa harus menulis ulang infrastruktur penghubung setiap kali. Fokus rekayasa tetap pada logika embedding dan logika bisnis, bukan pada pengelolaan API.

Poin Penting bagi Developer dan Tim AI

Hal yang Perlu Dipetik dari UniNote

Setelah rincian pengambilan dan infrastruktur, kesimpulan utamanya bersifat operasional: UniNote menggunakan satu ruang semantik untuk menangani pencarian dan pemeringkatan multimodal. Hal ini penting karena pipeline terpisah cenderung menghasilkan hasil yang tidak konsisten dalam skala besar.

Sederhananya, Anda mendapatkan lebih sedikit serah-terima antar-modalitas dan lebih sedikit ketidakcocokan pemeringkatan. Bagi developer, itu berarti lebih sedikit komponen dalam pencarian lintas modalitas. Mencocokkan gambar produk dengan deskripsi, menghubungkan video pendek dengan keterangan, dan menjalankan pencarian multimodal untuk perdagangan sosial menjadi lebih mudah ketika embedding yang sama menangani pengambilan sekaligus pemeringkatan, tanpa model terpisah yang dirangkai untuk setiap format.

Langkah praktisnya sederhana. Bangun pengindeksan, pengambilan, dan rekomendasi di sekitar satu ruang semantik bersama agar modalitas baru dapat ditambahkan tanpa memaksa pembangunan ulang pipeline. Satu indeks, satu logika pemeringkatan, lebih sedikit titik integrasi.

Pertanyaan Umum

Bagaimana satu embedding dibangun dari media campuran?

UniNote dan sistem serupa membuat satu embedding dengan memetakan teks, gambar, video, dan audio ke dalam ruang vektor semantik bersama.

Sistem ini biasanya mengandalkan model berbasis transformer untuk mengubah setiap jenis input menjadi satu representasi terpadu. Setelah itu, sistem menggunakan perhatian lintas modalitas dan lapisan proyeksi agar gagasan yang sama selaras di berbagai format. Dengan demikian, sistem dapat mengukur kemiripan semantik antara berbagai jenis media.

Mengapa menggunakan embedding yang sama untuk pengambilan dan pemeringkatan?

Menggunakan embedding yang sama untuk pengambilan dan pemeringkatan menjaga semuanya dalam satu ruang semantik bersama. Hal ini lebih penting daripada yang mungkin terlihat sekilas.

Ketika teks, gambar, dan video dipetakan dengan cara yang sama, semuanya dapat dibandingkan secara langsung. Kueri tertulis dapat selaras dengan gambar. Video dapat cocok dengan deskripsi teks. Konten terkait tetap sinkron lintas format, alih-alih saling menjauh.

Hasilnya adalah pencarian dan pengambilan lintas modalitas yang lebih baik, kesenjangan modalitas yang lebih kecil, serta pipeline rekomendasi yang tetap stabil dan konsisten.

Apa keterbatasan terbesar UniNote saat ini?

Keterbatasan terbesar UniNote muncul ketika model mencoba menempatkan teks, gambar, video, dan audio ke dalam satu ruang semantik bersama. Secara teori hal ini terdengar rapi. Dalam praktiknya, berbagai modalitas tersebut tidak selaras dengan sendirinya, sehingga pelatihan menjadi lebih sulit dan representasi yang dipelajari dapat lebih lemah.

Ada masalah lain selama pelatihan bersama: kemalasan modalitas atau benturan. Sederhananya, model mungkin terlalu mengandalkan input yang paling mudah dan kurang memperhatikan input lainnya. Akibatnya, beberapa modalitas dapat kurang terlatih. Ketika data dunia nyata tidak lengkap, misalnya audio yang hilang, masalahnya memburuk. Performa model secara keseluruhan dapat menurun atau model menjadi terlalu bergantung pada satu modalitas yang kebetulan paling kuat.