Métriques pour l'évaluation de la qualité texte-vidéo

S'il fallait ramener cela à un seul point, le voici : aucune métrique unique ne peut bien juger le texte-vidéo. J'ai besoin d'une pile qui vérifie la qualité visuelle, la correspondance au prompt et le mouvement dans le temps. Si je n'utilise qu'un seul score, je peux passer à côté de gros problèmes comme des clips statiques, une dérive du prompt ou du scintillement d'images.

Voici la version courte :

• Les métriques de distribution comme FVD évaluent à quel point les vidéos générées sont proches des vraies en tant qu'ensemble, mais elles ne vérifient pas si le prompt a été suivi.
• Les métriques d'image comme PSNR, SSIM et LPIPS m'aident à repérer le flou, le bruit et les défauts d'image, mais elles ignorent le mouvement et la correspondance au texte.
• Les métriques d'alignement comme CLIPScore, ViCLIP et le scoring basé sur le VQA vérifient si la vidéo montre les bons objets, actions et relations.
• Les contrôles temporels comme le flux optique, la cohérence du sujet et les scores de scintillement m'aident à voir si le mouvement est fluide ou si la vidéo reste simplement immobile pour mieux paraître sur le papier.
• Les benchmarks comme VBench, T2VEval et T2VScore combinent de nombreux signaux, tandis que la revue humaine reste importante pour les erreurs de physique, les problèmes d'anatomie et les fautes de bon sens. Pour l'analyse visuelle automatisée, des outils comme GPT-4o vision peuvent aider à identifier ces défauts.

Quelques chiffres ressortent. ETVA a atteint une corrélation de Spearman de 58.47 avec le jugement humain, contre 31.0 pour VideoScore et 13.8 pour CLIPScore. Le dispositif DEVIL a rapporté une corrélation de Pearson supérieure à 90 % pour le scoring de la dynamique, et il a aussi trouvé une corrélation de Pearson de -88.9 entre cohérence du sujet et dynamique, ce qui montre un compromis clair entre mouvement et stabilité.

Comparaison rapide

Donc si je juge une sortie T2V, je ne demande pas seulement « Est-ce que ça a l'air bien ? » Je pose trois questions : Est-ce que ça a l'air bien ? Est-ce que ça suit le prompt ? Est-ce que ça reste cohérent dans le temps ? Ce sont les repères que nous utilisons pour tester des modèles comme Sora 2 en vue d'une mise en production. C'est le cœur de l'article.

Métriques objectives fondamentales pour la qualité vidéo générative

Les métriques objectives aident à mesurer la qualité visuelle et la cohérence du mouvement, mais chacune ne regarde qu'une partie du tableau T2V. Une bonne façon de les lire est par couches : commencez par les métriques basées sur la distribution, puis regardez les métriques au niveau de l'image pour repérer les problèmes visuels locaux.

Fréchet Video Distance et mesures apparentées basées sur la distribution

La Fréchet Video Distance (FVD) mesure l'écart entre les activations de caractéristiques des vidéos réelles et générées dans l'espace de caractéristiques d'un classificateur vidéo pré-entraîné, le plus souvent I3D. En clair, elle vérifie à quel point les vidéos générées sont proches des vidéos réelles en tant que groupe. Comme elle travaille sur des caractéristiques vidéo, elle peut aussi refléter la cohérence temporelle.

La Fréchet Inception Distance (FID) fonctionne de manière similaire, mais sur des images fixes avec un réseau Inception-v3. Pour la vidéo, on l'applique généralement image par image. Cela en fait un substitut visuel approximatif, pas une métrique de mouvement. Elle n'a aucun sens du flux temporel.

L'Inception Score (IS) évalue à la fois la qualité et la diversité des images à travers les distributions de probabilité de classes issues d'un réseau Inception. Le hic, c'est qu'il dépend des classes ImageNet, ce qui en fait un mauvais choix pour la génération vidéo.

Ces métriques sont utiles pour le réalisme agrégé, pas pour l'alignement au prompt. Elles comportent aussi des compromis. La FVD a besoin d'un grand ensemble de vidéos de référence issues de la même distribution, ce qui rend les comparaisons de modèles délicates lorsque les modèles ont été entraînés sur des jeux de données différents. Et il y a un autre piège : les sorties à faible mouvement de modèles comme Kling V3 peuvent bien s'en sortir, il vous faut donc encore des contrôles séparés pour la dynamique. C'est particulièrement pertinent lors de l'évaluation de modèles à haute fidélité comme Google Veo 3.1.

Comme ces scores ignorent la sémantique du prompt, l'étape suivante est celle des métriques perceptuelles au niveau de l'image.

SSIM, PSNR et LPIPS pour la qualité perceptuelle au niveau de l'image

Là où la FVD vérifie la distribution vidéo, SSIM, PSNR et LPIPS regardent les images isolées. Cela les rend pratiques pour repérer les défauts d'image, même si elles ne peuvent pas dire grand-chose du mouvement ou de la correspondance au texte.

Le PSNR (Peak Signal-to-Noise Ratio) mesure les différences au niveau du pixel entre une image générée et une image de référence. Il est très rapide, ce qui est appréciable, mais il correspond souvent mal au jugement humain. Un minuscule décalage de pixel peut faire chuter le score même quand l'image reste belle.

Le SSIM (Structural Similarity Index) améliore cela en comparant luminance, contraste et structure. Il tend à être plus utile que la simple correspondance de pixels, mais il a encore besoin d'une image de référence de vérité terrain. Il peine aussi avec la sémantique du prompt et le mouvement.

Le LPIPS (Learned Perceptual Image Patch Similarity) utilise des caractéristiques de réseau profond au lieu des pixels bruts. Cela correspond généralement mieux au jugement humain. Malgré tout, il travaille encore image par image.

Les trois partagent la même faiblesse fondamentale : elles évaluent les images de façon isolée. Elles n'ont aucune conscience temporelle et aucun moyen de juger le respect du prompt.

Utilisez ces métriques pour détecter le flou, le bruit et les artefacts de compression. Ce sont de bons outils de diagnostic des défauts visuels, mais elles ne mesurent pas l'alignement au texte ni la cohérence temporelle.

Métriques pour l'alignement au texte, le mouvement et la cohérence temporelle

Les métriques d'alignement vérifient une chose que les scores au niveau de l'image manquent : la vidéo suit-elle réellement le prompt ? C'est la lacune que ce groupe de métriques essaie de combler.

Scores d'alignement sémantique basés sur CLIP et conscients de la vidéo

FVD, SSIM, PSNR et LPIPS peuvent vous renseigner sur la qualité visuelle et la similarité. Elles ne peuvent pas vous dire si le modèle a montré ce que le prompt demandait. C'est là qu'interviennent les métriques d'alignement.

CLIPScore prend des embeddings du prompt textuel et des images vidéo, puis mesure la similarité cosinus entre eux. Il est rapide, simple à exécuter et souvent utilisé comme référence. Mais il est aussi assez grossier. Il peut manquer le mouvement, les relations spatiales et les petits attributs qui comptent pour les spectateurs ^[6].

Les variantes conscientes de la vidéo comme ViCLIP tentent de corriger ce problème. Elles utilisent un pré-entraînement vidéo-texte, elles peuvent donc mieux tenir compte du mouvement et du contexte temporel que le CLIPScore ordinaire. Pour les prompts construits autour d'actions, ces méthodes tendent à correspondre plus étroitement au jugement humain que le CLIPScore standard ^[1][6].

Quand la similarité de type CLIP est trop large, le scoring de type VQA vous donne une lecture plus fine de ce que le prompt demandait.

VQA, scoring basé sur les légendes et compréhension du prompt

La similarité d'embeddings a des limites. Deux vidéos peuvent se trouver proches l'une de l'autre dans l'espace d'embeddings et pourtant différer de façons qu'une personne remarquerait immédiatement.

Les approches basées sur le VQA gèrent cela en décomposant les prompts en petites questions sur les entités, les attributs et les relations. Un LLM multimodal répond ensuite à ces questions à partir de la vidéo.

ETVA en est un bon exemple. Il scinde les prompts en questions atomiques et y répond avec un LLM multimodal, ce qui améliore l'accord avec le jugement humain ^[6]. Sur cette tâche, ETVA a atteint une corrélation de Spearman de 58.47 avec le jugement humain, contre 31.0 pour VideoScore et 13.8 pour CLIPScore ^[6].

Les méthodes basées sur les légendes, comme BLIP-BLEU, empruntent une autre voie. Elles génèrent une légende pour la vidéo et comparent cette légende au prompt à l'aide de BLEU ou ROUGE. Cela peut fonctionner pour une correspondance de surface, mais peut manquer les mouvements et changements de scène plus complexes ^[6].

Flux optique et mesures de cohérence temporelle basées sur des benchmarks

L'alignement sémantique vous dit ce qui apparaît dans la vidéo. La cohérence temporelle vous dit si ce contenu reste stable d'une image à l'autre.

La cohérence du sujet est souvent mesurée avec la similarité de caractéristiques DINO entre les images. Si le visage d'une personne se décale au fil du temps ou qu'un objet change d'apparence sans raison, le score chute. La cohérence de l'arrière-plan utilise la similarité de caractéristiques CLIP entre les images pour repérer d'étranges décalages en arrière-plan ^[1].

Le flux optique, souvent estimé avec RAFT, mesure l'ampleur du mouvement et la cohérence du flux. Cela compte parce que certains modèles, comme MiniMax Hailuo 02, paraissent stables simplement en rendant les vidéos quasi statiques. Cela peut faire paraître les chiffres de cohérence meilleurs qu'ils ne le méritent. Le protocole DEVIL a rapporté une corrélation de Pearson supérieure à 90 % entre son évaluation de la dynamique et les notes humaines ^[3]. Il a aussi trouvé une forte corrélation négative entre la cohérence du sujet et la dynamique, à -88.9 de corrélation de Pearson, ce qui montre un compromis courant : les vidéos à fort mouvement peuvent obtenir de moins bons scores de cohérence même quand le mouvement lui-même est correct ^[3].

Le scintillement temporel est mesuré plus directement en calculant la différence absolue moyenne entre images consécutives. VBench l'inclut comme l'une de ses 16 dimensions d'évaluation ^[1].

Mis ensemble, ces contrôles aident à suivre le mouvement, la dérive et le scintillement. Prise isolément, chaque métrique ne montre qu'une partie du tableau, ce qui explique pourquoi on les utilise souvent aux côtés de suites de benchmarks et de notes humaines.

Suites de benchmarks et méthodes d'évaluation humaine

Lorsque les métriques isolées pointent dans des directions différentes, les suites de benchmarks vous offrent une façon commune de juger les résultats. Au lieu de s'appuyer sur un seul score, elles regroupent plusieurs signaux dans une même configuration, ce qui facilite grandement les comparaisons de modèles entre études.

VBench, T2VEval et T2VScore comme benchmarks multidimensionnels

VBench, T2VEval et T2VScore essaient tous de juger plus d'une chose à la fois. Mais ils ne le font pas de la même façon. VBench et T2VScore examinent l'alignement, la qualité et le comportement temporel dans une seule grille, tandis que T2VEval ajoute une dimension distincte de réalisme que les deux autres n'isolent pas séparément.

VBench décompose l'évaluation en 16 dimensions hiérarchiques, réparties entre qualité vidéo et cohérence vidéo-condition. Chaque dimension est testée avec environ 100 prompts ^[1].

T2VEval organise la qualité en quatre dimensions de haut niveau :

• l'impression globale
• la cohérence texte-vidéo
• le réalisme
• la qualité technique

Cette répartition compte. Une vidéo peut paraître soignée d'un point de vue technique et sembler quand même factice. T2VEval-Bench inclut 1 783 vidéos générées par 13 modèles différents, dont Sora, Runway Gen-3 et Kling ^[5].

T2VScore réduit les choses à deux dimensions : l'alignement texte-vidéo et la qualité vidéo. Il utilise le Visual Question Answering (VQA) pour l'alignement et un mélange d'experts pour la qualité. Les deux dimensions ont un ρ de Spearman de 0,223, ce qui montre qu'elles n'évoluent pas de façon très étroite et devraient être notées séparément ^[7].

Protocoles d'évaluation humaine comme T2VHE

Les benchmarks automatisés sont larges. La revue humaine attrape ce qu'ils manquent.

Les gens repèrent les erreurs de physique, les fautes d'anatomie et les échecs de bon sens presque immédiatement. Une métrique peut se moquer que l'eau devrait éclabousser mais ne le fasse pas. Elle peut aussi manquer un bras qui se plie d'une façon qu'aucun corps humain ne permet. Les juges humains ne manquent pas cela aussi facilement.

T2VHE (Text-to-Video Human Evaluation) est un protocole standard d'évaluation humaine. Il met l'accent sur la formation des annotateurs, des règles de notation claires et des paires d'exemples qui aident à calibrer le jugement. Il utilise aussi un schéma de notation dynamique qui peut réduire les besoins d'annotation manuelle d'environ 50 % ^[5].

Cette répartition prépare la décision suivante : choisir la bonne pile de métriques pour le flux de travail. C'est particulièrement crucial lors du test de modèles à haute performance comme Grok Imagine Video.

Appliquer ces métriques dans les flux texte-vidéo

Choisir une pile de métriques pour l'évaluation en temps réel et hors ligne

L'idée principale est simple : adaptez la métrique à la tâche.

À chaque étape d'un pipeline texte-vidéo, vous voulez un type de signal différent. Utilisez les métriques d'alignement pour vérifier si la vidéo correspond au prompt. Utilisez les scores perceptuels pour juger la qualité des images. Puis utilisez les métriques de mouvement pour voir si la vidéo reste stable dans le temps.

Pour la surveillance en direct, tenez-vous-en à des scores légers d'alignement sémantique et de qualité visuelle. Ils sont plus faciles à exécuter et conviennent mieux quand la vitesse compte. Pour le travail hors ligne, la barre est différente. Si vous comparez des modèles, fixez des seuils de publication ou suivez la dérive de qualité dans le temps, des benchmarks plus lourds comme FVD et VBench ont plus de sens ^[4][1].

Le mouvement ajoute une autre couche. Si une vidéo comporte des mouvements de caméra ou des objets d'avant-plan en mouvement, les métriques conscientes du mouvement et du tracking comptent beaucoup. Les scores standard peuvent manquer des choses que les humains remarquent immédiatement, comme la dérive de l'arrière-plan ou le comportement instable des objets.

Comment les plateformes d'API unifiées comme APIMart peuvent utiliser les métriques d'évaluation

La même pile de métriques peut aussi soutenir le routage au niveau de la plateforme et le contrôle qualité.

Une plateforme d'API IA unifiée comme APIMart peut utiliser ces métriques pour router les prompts, filtrer les sorties et garder les contrôles qualité alignés à travers les flux de travail. Cela compte quand une plateforme travaille avec de nombreux modèles et cas d'usage à la fois. Vous ne voulez pas que chaque flux juge la sortie à une aune différente.

Le routage basé sur les métriques peut aider à envoyer chaque prompt au modèle qui lui convient le mieux. Pour la surveillance dans le temps, la Conditional Fréchet Distance (cFreD) se démarque parce qu'elle n'a pas besoin de réentraînement et peut suivre la dérive de la distribution générative de façon prête à l'emploi ^[8].

Conclusion : ce que les métriques actuelles font bien et là où la recherche reste ouverte

Prises ensemble, ces métriques fonctionnent mieux comme une pile, pas comme un score unique.

Aucune métrique ne peut raconter toute l'histoire. Une bonne évaluation consiste à combiner des scores de qualité vidéo, des mesures d'alignement au texte, des contrôles de mouvement et de cohérence temporelle, et le jugement humain aux points de validation clés.

Les métriques actuelles font un travail correct pour couvrir la qualité des images, l'alignement sémantique et la cohérence temporelle. Le problème le plus difficile est d'obtenir une meilleure couverture et des explications plus claires sans ajouter de latence. Les évaluateurs basés sur les LMM semblent prometteurs ici parce qu'ils peuvent expliquer en langage naturel pourquoi une vidéo a échoué ^[2]. Cela dit, ils conviennent mieux à la revue hors ligne qu'à la surveillance en direct pour l'instant.

FAQ

Pourquoi une seule métrique ne suffit-elle pas ?

Aucune métrique unique ne peut faire tout le travail parce que la qualité texte-vidéo a plus d'une composante mobile.

Des mesures comme FVD ou IS peuvent dire quelque chose de la qualité technique ou de la similarité de motifs entre les sorties. Mais elles manquent souvent la cohérence sémantique, le mouvement dans le temps, ce que les gens préfèrent réellement, et si la vidéo correspond au prompt textuel en premier lieu.

C'est pourquoi une meilleure évaluation examine plusieurs dimensions au lieu de s'appuyer sur un seul score.

Quelles métriques devrais-je combiner en premier ?

Commencez par une approche en couches qui scinde la qualité en deux parties : la qualité vidéo et la cohérence texte-vidéo.

Avant de vous appuyer sur des métriques comme l'Inception Score, la Fréchet Video Distance ou le CLIPSim, examinez d'abord ensemble les métriques de qualité technique et esthétique. Cela vous donne une base pour le contenu spatial et la cohérence temporelle inter-images avant de juger dans quelle mesure la vidéo correspond au prompt textuel.

Quand ai-je encore besoin d'une revue humaine ?

La revue humaine compte toujours. Les métriques automatisées manquent souvent des détails que les gens remarquent immédiatement, comme la cohérence temporelle, l'alignement sémantique, l'authenticité, le réalisme ou les objets irrationnels.

Les métriques objectives peuvent vous donner une base solide. Mais elles ne correspondent pas de façon fiable à la qualité réelle ou à la perception humaine. C'est pourquoi les études utilisateurs sont encore nécessaires : il n'existe pas une seule mesure automatique capable de capter tous ces détails.