Metrik untuk Evaluasi Kualitas Text-to-Video

Jika saya harus meringkas ini menjadi satu poin, inilah dia: tidak ada metrik tunggal yang dapat menilai text-to-video dengan baik. Saya membutuhkan sebuah tumpukan yang memeriksa kualitas visual, kecocokan prompt, dan gerakan sepanjang waktu. Jika saya hanya menggunakan satu skor, saya bisa melewatkan masalah besar seperti klip statis, penyimpangan prompt, atau kedipan bingkai.

Berikut versi singkatnya:

• Metrik distribusi seperti FVD menilai seberapa dekat video yang dihasilkan dengan video nyata sebagai satu himpunan, tetapi mereka tidak memeriksa apakah prompt diikuti.
• Metrik bingkai seperti PSNR, SSIM, dan LPIPS membantu saya menemukan buram, derau, dan cacat bingkai, tetapi mereka mengabaikan gerakan dan kecocokan teks.
• Metrik penyelarasan seperti CLIPScore, ViCLIP, dan penilaian berbasis VQA menguji apakah video menampilkan objek, aksi, dan relasi yang tepat.
• Pemeriksaan temporal seperti optical flow, konsistensi subjek, dan skor kedipan membantu saya melihat apakah gerakannya mulus atau apakah video hanya diam agar terlihat lebih baik di atas kertas.
• Tolok ukur seperti VBench, T2VEval, dan T2VScore menggabungkan banyak sinyal, sementara tinjauan manusia tetap penting untuk kesalahan fisika, masalah anatomi, dan kesalahan akal sehat. Untuk analisis visual otomatis, alat seperti GPT-4o vision dapat membantu mengidentifikasi cacat ini.

Beberapa angka menonjol. ETVA mencapai korelasi Spearman 58.47 dengan penilaian manusia, versus 31.0 untuk VideoScore dan 13.8 untuk CLIPScore. Penyiapan DEVIL melaporkan korelasi Pearson 90%+ untuk penilaian dinamika, dan ia juga menemukan korelasi Pearson -88.9 antara konsistensi subjek dan dinamika, yang menunjukkan trade-off jelas antara gerakan dan stabilitas.

Perbandingan cepat

Jadi jika saya menilai keluaran T2V, saya tidak hanya bertanya “Apakah terlihat bagus?” Saya bertanya tiga hal: Apakah terlihat bagus? Apakah mengikuti prompt? Apakah tetap konsisten sepanjang waktu? Ini adalah tolok ukur yang kami gunakan saat menguji model seperti Sora 2 untuk kesiapan produksi. Itulah inti dari artikel ini.

Metrik Objektif Inti untuk Kualitas Video Generatif

Metrik objektif membantu mengukur kualitas visual dan konsistensi gerakan, tetapi masing-masing hanya melihat sebagian dari gambaran T2V. Cara yang baik untuk membacanya adalah dalam lapisan: mulai dengan metrik berbasis distribusi, lalu lihat metrik tingkat-bingkai untuk menemukan masalah visual lokal.

Fréchet Video Distance dan Ukuran Berbasis Distribusi Terkait

Fréchet Video Distance (FVD) mengukur jarak antara aktivasi fitur video nyata dan yang dihasilkan dalam ruang fitur sebuah pengklasifikasi video terlatih, paling sering I3D. Dalam bahasa sederhana, ia memeriksa seberapa dekat video yang dihasilkan dengan video nyata sebagai sebuah kelompok. Karena ia bekerja pada fitur video, ia juga dapat mencerminkan koherensi temporal.

Fréchet Inception Distance (FID) bekerja dengan cara serupa, tetapi pada gambar diam dengan jaringan Inception-v3. Untuk video, orang biasanya menerapkannya bingkai demi bingkai. Itu menjadikannya pengganti visual kasar, bukan metrik gerakan. Ia tidak memiliki pemahaman aliran temporal.

Inception Score (IS) melihat baik kualitas gambar maupun keragaman melalui distribusi probabilitas kelas dari sebuah jaringan Inception. Tangkapannya adalah ia bergantung pada kelas ImageNet, yang menjadikannya kecocokan yang lemah untuk pembuatan video.

Metrik-metrik ini berguna untuk realisme agregat, bukan penyelarasan prompt. Mereka juga datang dengan trade-off. FVD membutuhkan himpunan besar video referensi dari distribusi yang sama, yang membuat perbandingan model berantakan ketika model dilatih pada kumpulan data berbeda. Dan ada tangkapan lain: keluaran gerakan-rendah dari model seperti Kling V3 dapat memperoleh skor baik, jadi Anda tetap membutuhkan pemeriksaan terpisah untuk dinamika. Ini sangat relevan saat mengevaluasi model fidelitas-tinggi seperti Google Veo 3.1.

Karena skor-skor ini mengabaikan semantik prompt, langkah berikutnya adalah metrik perseptual tingkat-bingkai.

SSIM, PSNR, dan LPIPS untuk Kualitas Perseptual Tingkat-Bingkai

Di mana FVD memeriksa distribusi video, SSIM, PSNR, dan LPIPS melihat bingkai tunggal. Itu menjadikannya berguna untuk menemukan cacat gambar, meskipun mereka tidak bisa berkata banyak tentang gerakan atau kecocokan teks.

PSNR (Peak Signal-to-Noise Ratio) mengukur perbedaan tingkat-piksel antara bingkai yang dihasilkan dan bingkai referensi. Ia sangat cepat, yang bagus, tetapi ia sering melakukan pekerjaan buruk dalam mencocokkan penilaian manusia. Pergeseran piksel kecil dapat menjatuhkan skor bahkan ketika gambar masih terlihat bagus.

SSIM (Structural Similarity Index) menyempurnakan itu dengan membandingkan luminans, kontras, dan struktur. Ia cenderung lebih berguna daripada pencocokan piksel mentah, tetapi ia masih membutuhkan bingkai referensi ground-truth. Ia juga kesulitan dengan semantik prompt dan gerakan.

LPIPS (Learned Perceptual Image Patch Similarity) menggunakan fitur jaringan dalam alih-alih piksel mentah. Itu biasanya lebih selaras dengan penilaian manusia. Meski demikian, ia masih bekerja bingkai demi bingkai.

Ketiganya berbagi kelemahan inti yang sama: mereka mengevaluasi bingkai secara terisolasi. Mereka tidak memiliki kesadaran temporal dan tidak ada cara untuk menilai kepatuhan prompt.

Gunakan metrik ini untuk menangkap buram, derau, dan artefak kompresi. Mereka adalah alat diagnostik yang baik untuk cacat visual, tetapi mereka tidak mengukur penyelarasan teks atau konsistensi temporal.

Metrik untuk Penyelarasan Teks, Gerakan, dan Konsistensi Temporal

Metrik penyelarasan memeriksa sesuatu yang dilewatkan skor tingkat-bingkai: apakah video benar-benar mengikuti prompt? Itulah celah yang coba diisi kelompok metrik ini.

Skor Penyelarasan Semantik Berbasis CLIP dan Sadar-Video

FVD, SSIM, PSNR, dan LPIPS dapat memberitahu Anda tentang kualitas dan kemiripan visual. Mereka tidak dapat memberitahu Anda apakah model menampilkan apa yang diminta prompt. Di situlah metrik penyelarasan berperan.

CLIPScore mengambil embedding dari prompt teks dan dari bingkai video, lalu mengukur kemiripan kosinus di antara keduanya. Ia cepat, sederhana dijalankan, dan sering digunakan sebagai baseline. Tetapi ia juga cukup tumpul. Ia dapat melewatkan gerakan, relasi spasial, dan atribut kecil yang penting bagi pemirsa ^[6].

Varian sadar-video seperti ViCLIP mencoba memperbaiki masalah itu. Mereka menggunakan pra-pelatihan video-teks, sehingga mereka dapat memperhitungkan gerakan dan konteks berbasis waktu lebih baik daripada CLIPScore biasa. Untuk prompt yang dibangun di sekitar aksi, metode ini cenderung lebih dekat dengan penilaian manusia daripada CLIPScore standar ^[1][6].

Ketika kemiripan gaya-CLIP terlalu luas, penilaian gaya-VQA memberi Anda pembacaan lebih dekat tentang apa yang diminta prompt.

VQA, Penilaian Berbasis Kapsi, dan Pemahaman Prompt

Kemiripan embedding memiliki batas. Dua video dapat berada berdekatan dalam ruang embedding dan tetap berbeda dalam cara yang akan langsung diperhatikan seseorang.

Pendekatan berbasis VQA mengatasi itu dengan memecah prompt menjadi pertanyaan kecil tentang entitas, atribut, dan relasi. Sebuah LLM multimodal kemudian menjawab pertanyaan-pertanyaan itu berdasarkan video.

ETVA adalah contoh yang baik. Ia memecah prompt menjadi pertanyaan atomik dan menjawabnya dengan LLM multimodal, yang meningkatkan kesepakatan dengan penilaian manusia ^[6]. Pada tugas ini, ETVA mencapai korelasi Spearman sebesar 58.47 dengan penilaian manusia, dibandingkan dengan 31.0 untuk VideoScore dan 13.8 untuk CLIPScore ^[6].

Metode berbasis kapsi, seperti BLIP-BLEU, mengambil rute berbeda. Mereka menghasilkan sebuah kapsi untuk video dan membandingkan kapsi itu dengan prompt menggunakan BLEU atau ROUGE. Itu dapat bekerja untuk pencocokan tingkat-permukaan, tetapi ia mungkin melewatkan gerakan dan perubahan adegan yang lebih kompleks ^[6].

Optical Flow dan Ukuran Konsistensi Temporal Berbasis Tolok Ukur

Penyelarasan semantik memberitahu Anda apa yang muncul dalam video. Konsistensi temporal memberitahu Anda apakah konten itu tetap stabil dari bingkai ke bingkai.

Konsistensi subjek sering diukur dengan kemiripan fitur DINO di seluruh bingkai. Jika wajah seseorang bergeser sepanjang waktu atau sebuah objek berubah penampilan tanpa alasan yang jelas, skornya jatuh. Konsistensi latar belakang menggunakan kemiripan fitur CLIP di seluruh bingkai untuk menemukan pergeseran aneh di latar belakang ^[1].

Optical flow, sering diperkirakan dengan RAFT, mengukur besaran gerakan dan konsistensi aliran. Ini penting karena beberapa model, seperti MiniMax Hailuo 02, terlihat stabil hanya dengan membuat video hampir statis. Itu dapat membuat angka konsistensi terlihat lebih baik daripada yang pantas. Protokol DEVIL melaporkan korelasi Pearson di atas 90% antara evaluasi dinamikanya dan penilaian manusia ^[3]. Ia juga menemukan korelasi negatif kuat antara Konsistensi Subjek dan dinamika, pada korelasi Pearson -88.9, yang menunjukkan trade-off umum: video gerakan-tinggi dapat memperoleh skor lebih buruk pada konsistensi bahkan ketika gerakannya sendiri benar ^[3].

Kedipan temporal diukur lebih langsung dengan menghitung selisih absolut rata-rata antara bingkai berurutan. VBench menyertakan ini sebagai salah satu dari 16 dimensi evaluasinya ^[1].

Disatukan, pemeriksaan ini membantu melacak gerakan, penyimpangan, dan kedipan. Sendirian, setiap metrik hanya menunjukkan sebagian dari gambaran, itulah sebabnya mereka sering digunakan bersama suite tolok ukur dan penilaian manusia.

Suite Tolok Ukur dan Metode Evaluasi Manusia

Ketika metrik tunggal menunjuk ke arah berbeda, suite tolok ukur memberi Anda cara bersama untuk menilai hasil. Alih-alih bersandar pada satu skor, mereka menggabungkan beberapa sinyal menjadi satu penyiapan, yang membuat perbandingan model lintas-studi jauh lebih mudah.

VBench, T2VEval, dan T2VScore sebagai Tolok Ukur Multidimensi

VBench, T2VEval, dan T2VScore semuanya mencoba menilai lebih dari satu hal sekaligus. Tetapi mereka tidak melakukannya dengan cara yang sama. VBench dan T2VScore melihat penyelarasan, kualitas, dan perilaku berbasis waktu dalam satu rubrik, sementara T2VEval menambahkan dimensi realness terpisah yang tidak diisolasi sendiri oleh dua lainnya.

VBench memecah evaluasi menjadi 16 dimensi hierarkis, terbagi di seluruh kualitas video dan konsistensi video-kondisi. Setiap dimensi diuji dengan sekitar 100 prompt ^[1].

T2VEval mengorganisir kualitas ke dalam empat dimensi tingkat-atas:

• kesan keseluruhan
• konsistensi teks-video
• realness
• kualitas teknis

Pembagian itu penting. Sebuah video dapat terlihat halus dari sudut pandang teknis dan tetap terasa palsu. T2VEval-Bench mencakup 1.783 video yang dihasilkan oleh 13 model berbeda, termasuk Sora, Runway Gen-3, dan Kling ^[5].

T2VScore mempersempit hal-hal ke dua dimensi: penyelarasan teks-video dan kualitas video. Ia menggunakan Visual Question Answering (VQA) untuk penyelarasan dan campuran ahli untuk kualitas. Kedua dimensi memiliki ρ Spearman sebesar 0.223, yang menunjukkan mereka tidak bergerak bersama dengan sangat dekat dan harus dinilai secara terpisah ^[7].

Protokol Evaluasi Manusia Seperti T2VHE

Tolok ukur otomatis bersifat luas. Tinjauan manusia menangkap hal-hal yang mereka lewatkan.

Orang menemukan kesalahan fisika, kesalahan anatomi, dan kegagalan akal sehat hampir seketika. Sebuah metrik mungkin tidak peduli bahwa air seharusnya memercik tetapi tidak. Ia juga mungkin melewatkan lengan yang menekuk dengan cara yang tak bisa dilakukan tubuh manusia mana pun. Juri manusia tidak melewatkan itu dengan mudah.

T2VHE (Text-to-Video Human Evaluation) adalah protokol standar untuk penilaian manusia. Ia menekankan pelatihan anotator, aturan penilaian yang jelas, dan pasangan contoh yang membantu mengkalibrasi penilaian. Ia juga menggunakan skema penilaian dinamis yang dapat memangkas kebutuhan anotasi manual sekitar 50% ^[5].

Pembagian itu menyiapkan keputusan berikutnya: memilih tumpukan metrik yang tepat untuk alur kerja. Ini sangat penting saat menguji model berkinerja-tinggi seperti Grok Imagine Video.

Menerapkan Metrik Ini dalam Alur Kerja Text-to-Video

Memilih Tumpukan Metrik untuk Evaluasi Real-Time dan Offline

Ide utamanya sederhana: cocokkan metrik dengan pekerjaannya.

Pada setiap tahap alur kerja text-to-video, Anda menginginkan jenis sinyal yang berbeda. Gunakan metrik penyelarasan untuk memeriksa apakah video cocok dengan prompt. Gunakan skor perseptual untuk menilai kualitas bingkai. Lalu gunakan metrik gerakan untuk melihat apakah video tetap stabil sepanjang waktu.

Untuk pemantauan langsung, tetaplah dengan penyelarasan semantik ringan dan skor kualitas-visual. Mereka lebih mudah dijalankan dan lebih cocok ketika kecepatan penting. Untuk pekerjaan offline, standarnya berbeda. Jika Anda membandingkan model, menetapkan gerbang rilis, atau melacak penyimpangan kualitas sepanjang waktu, tolok ukur yang lebih berat seperti FVD dan VBench lebih masuk akal ^[4][1].

Gerakan menambahkan lapisan lain. Jika sebuah video memiliki gerakan kamera atau objek latar depan yang bergerak, metrik sadar-gerakan dan sadar-pelacakan sangat penting. Skor standar dapat melewatkan hal-hal yang langsung diperhatikan manusia, seperti penyimpangan latar belakang atau perilaku objek yang goyah.

Bagaimana Platform API Terpadu Seperti APIMart Dapat Menggunakan Metrik Evaluasi

Tumpukan metrik yang sama juga dapat mendukung perutean tingkat-platform dan kontrol kualitas.

Sebuah platform AI API terpadu seperti APIMart dapat menggunakan metrik ini untuk merutekan prompt, menggerbang keluaran, dan menjaga pemeriksaan kualitas tetap selaras di seluruh alur kerja. Itu penting ketika satu platform bekerja dengan banyak model dan kasus penggunaan sekaligus. Anda tidak ingin setiap alur kerja menilai keluaran dengan tolok ukur yang berbeda.

Perutean berbasis-metrik dapat membantu mengirim setiap prompt ke model yang paling cocok untuknya. Untuk pemantauan sepanjang waktu, Conditional Fréchet Distance (cFreD) menonjol karena ia tidak membutuhkan pelatihan ulang dan dapat melacak penyimpangan distribusi generatif dengan cara plug-and-play ^[8].

Kesimpulan: Apa yang Dilakukan Metrik Saat Ini dengan Baik dan Di Mana Riset Masih Terbuka

Diambil bersama-sama, metrik ini bekerja paling baik sebagai sebuah tumpukan, bukan sebagai skor tunggal.

Tidak ada satu metrik pun yang dapat menceritakan seluruh kisah. Evaluasi yang baik berarti menggabungkan skor kualitas video, ukuran penyelarasan teks, pemeriksaan gerakan dan konsistensi temporal, serta penilaian manusia pada titik-titik validasi kunci.

Metrik saat ini melakukan pekerjaan yang lumayan dalam mencakup kualitas bingkai, penyelarasan semantik, dan konsistensi temporal. Masalah yang lebih sulit adalah mendapatkan cakupan yang lebih baik dan penjelasan yang lebih jelas tanpa menambah latensi. Penilai berbasis-LMM terlihat menjanjikan di sini karena mereka dapat menjelaskan mengapa sebuah video gagal dalam bahasa alami ^[2]. Meski begitu, mereka lebih cocok untuk tinjauan offline daripada pemantauan langsung saat ini.

Pertanyaan yang Sering Diajukan

Mengapa satu metrik tidak cukup?

Tidak ada metrik tunggal yang dapat melakukan seluruh pekerjaan karena kualitas text-to-video memiliki lebih dari satu bagian yang bergerak.

Ukuran seperti FVD atau IS dapat berkata sesuatu tentang kualitas teknis atau kemiripan pola di seluruh keluaran. Tetapi mereka sering melewatkan konsistensi semantik, gerakan sepanjang waktu, apa yang sebenarnya orang sukai, dan apakah video sejalan dengan prompt teks sejak awal.

Itulah sebabnya evaluasi yang lebih baik melihat beberapa dimensi alih-alih bersandar pada satu skor saja.

Metrik mana yang harus saya gabungkan lebih dulu?

Mulailah dengan pendekatan berlapis yang membagi kualitas menjadi dua bagian: kualitas video dan konsistensi teks-video.

Sebelum Anda bersandar pada metrik seperti Inception Score, Fréchet Video Distance, atau CLIPSim, pertama-tama lihat metrik kualitas teknis dan estetika bersama-sama. Itu memberi Anda baseline untuk konten spasial dan konsistensi temporal lintas-bingkai sebelum Anda menilai seberapa baik video cocok dengan prompt teks.

Kapan saya masih membutuhkan tinjauan manusia?

Tinjauan manusia tetap penting. Metrik otomatis sering melewatkan detail yang langsung diperhatikan orang, seperti konsistensi temporal, penyelarasan semantik, keaslian, realisme, atau objek irasional.

Metrik objektif dapat memberi Anda baseline yang solid. Tetapi mereka tidak dengan andal mencocokkan kualitas aktual atau persepsi manusia. Itulah sebabnya studi pengguna masih dibutuhkan: tidak ada satu ukuran otomatis yang dapat menangkap semua detail ini.