L'IA multimodale et la compression vidéo

La compression vidéo passe de la correspondance de pixels à des décisions fondées sur le sens. À partir des travaux de recherche de cet article, mon principal enseignement est simple : quand l'IA utilise du texte, de l'audio, du mouvement ou l'intention de l'utilisateur en plus de la vidéo, elle peut réduire le débit plus fortement tout en gardant les parties les plus importantes.

Voici la version courte :

• Les codecs appris visuels-seuls sont déjà solides. STAC a affiché 32,20 % d'économies de BD-rate par rapport à VTM-17.0.
• Les méthodes multimodales changent l'allocation des bits. Elles utilisent le sens de la scène, le timing ou les objectifs de la tâche pour décider ce qui reçoit plus de bits.
• Les systèmes basés sur les tokens peuvent réduire fortement la charge. AdaCodec a réduit l'usage des tokens visuels de 84,6 % et fait chuter le TTFT de 9,26 secondes à 1,62 seconde.
• La compression orientée tâche peut réduire le gaspillage de calcul. EMC a amélioré l'efficacité d'inférence de 33,7 % pour le travail vidéo-langage.
• Les méthodes génératives peuvent pousser le débit très bas. Des résultats récents ont atteint 0,005 bpp et même moins de 0,002 bpp en 1080p.
• Le compromis, c'est le coût du décodeur. Un coût de transmission plus bas signifie souvent plus de travail GPU côté réception, avec des temps de décodage d'environ 1,85 à 2,48 secondes pour un GOP de 29 images sur des GPU grand public et prosumer.

Ce que cela signifie pour vous : si votre objectif est le streaming ou le stockage, la qualité des pixels compte toujours. Mais si votre objectif est la surveillance, l'edge AI, la réponse d'urgence, l'éducation ou le commerce, alors la compression sémantique et orientée tâche peut compter plus que la reconstruction parfaite des images.

Comprendre, c'est compresser : les modèles LLM écrasent toutes les méthodes de compression connues à ce jour

Comparaison rapide

Donc si je réduis l'article à un seul point, c'est celui-ci : l'IA multimodale aide les codecs à décider ce qui compte, pas seulement ce qui a changé. C'est de là que vient une grande partie des progrès actuels.

Ce que montrent les études récentes sur la compression multimodale

Les codecs appris visuels-seuls comme référence

Le framework STAC (Spatio-Temporal Adaptive Context) donne une image claire de la position actuelle des codecs appris visuels-seuls. Il a offert une économie moyenne de BD-rate de 32,20 % par rapport à VTM-17.0 (VVC) ^[2], et il a battu le modèle état-de-l'art précédent, DCMVC, de 2,7 points de pourcentage. STAC y parvient avec un Adaptive Context Selector qui choisit les images de référence les plus utiles, plus un modèle d'entropie à double chemin qui améliore la prédiction ^[2].

Cela mène à une meilleure fidélité au niveau des pixels. Mais il y a un hic : STAC fonctionne toujours sans contexte sémantique. Il fixe donc une référence solide pour la compression visuelle, tout en rendant l'étape suivante assez évidente. Si un modèle peut comprendre le sens de la scène, il peut placer les bits là où ils comptent le plus au lieu de traiter chaque région comme si elle méritait la même attention.

Comment les signaux sémantiques et cross-modaux changent les décisions de l'encodeur

L'idée principale derrière les travaux multimodaux récents est simple : toutes les parties d'une image n'ont pas besoin du même nombre de bits. Dès qu'un encodeur a une certaine idée de ce qui se passe dans la scène, il peut dépenser davantage sur les régions importantes et être plus agressif partout ailleurs.

AdaCodec, de l'Université Jiao Tong de Shanghai et de JD.com, en est un bon exemple. Il stocke les changements d'image à image sous forme de P-tokens et conserve des tokens visuels complets pour les images de référence ^[3]. Cette configuration a réduit l'usage des tokens visuels de 84,6 % et fait passer le temps jusqu'au premier token (TTFT) de 9,26 secondes à 1,62 seconde ^[3]. Il a aussi surpassé la référence Qwen3-VL-8B sur les benchmarks de longues vidéos tout en n'utilisant qu'environ un septième du budget de tokens ^[3].

Une autre voie se concentre moins sur la reconstruction des pixels et plus sur la conservation de ce dont la tâche finale a besoin. L'Endomorphic Multimodal Compression (EMC) suit cette idée en préservant uniquement l'information nécessaire à des tâches comme le VideoQA. En clair, elle applique une logique de compression à des preuves sémantiques plutôt qu'à des pixels bruts. Une fois EMC intégrée, elle a amélioré l'efficacité d'inférence de 33,7 % et l'efficacité d'entraînement de 7,33 % pour la compréhension vidéo-langage ^[4].

La séparation devient donc plus nette. Les codecs visuels-seuls poursuivent la fidélité. Les méthodes multimodales poussent vers la cohérence sémantique et l'usage de tokens orienté tâche.

Où APIMart s'inscrit pour le prototypage et le déploiement

Pour les équipes qui construisent et testent ces pipelines cross-modaux, APIMart peut rendre le travail initial moins désordonné. Il offre une seule API pour essayer ensemble des modèles vidéo, image et langage, ce qui aide quand vous voulez tester comment les signaux cross-modaux modifient la sélection d'images et la reconstruction.

Trois signaux multimodaux qui améliorent la compression

La section précédente a montré, à un niveau élevé, comment les signaux sémantiques et cross-modaux changent les choix de l'encodeur. À travers les trois directions présentées ici, le schéma est assez clair : la conscience sémantique change où vont les bits, le timing audiovisuel affine ce qui reste, et l'intention au niveau des tokens resserre encore le processus.

Compression consciente de la sémantique à partir de signaux vision et texte

Ces méthodes montrent comment le texte et la vision peuvent orienter le débit vers le contenu sémantique. Si un encodeur sait ce qui compte dans une scène, il peut envoyer plus de bits vers les régions importantes et compresser tout le reste plus fortement.

M3-CVC (Université Fudan, décembre 2024) utilise un grand modèle multimodal basé sur le dialogue pour extraire des descriptions textuelles hiérarchiques des images. Il utilise ensuite ces descriptions pour guider un décodeur basé sur la diffusion lors de la reconstruction à très bas débit. Résultat : il bat VVC d'une marge nette sur LPIPS et CLIP-sim, même dans les cas où VVC présente de forts artefacts de blocs ^[1].

SMC++ (Université Jiao Tong de Shanghai et Laboratoire d'IA de Shanghai, octobre 2025) coupe le détail qui coûte des bits mais n'aide pas la tâche aval. Il le fait avec un objectif de Masked Video Modeling, tandis qu'un Transformer guidé aligne les caractéristiques entre modalités. À travers 7 jeux de données et 3 tâches - reconnaissance d'action, MOT et VOS - SMC++ a maintenu une haute précision de tâche même lorsque la couche VVC de base subissait une forte dégradation du signal ^[6].

La même idée se retrouve dans les signaux temporels. Au lieu de demander seulement ce qui compte dans l'image, ces systèmes demandent aussi quand cela compte.

Compression consciente de l'audio pour la parole et le timing des événements

Le timing audiovisuel et la structure des événements aident les modèles à choisir des images clés représentatives et des segments de mouvement. Cela abaisse le débit sans fausser le timing des événements ^[5]. Dans le Cross-Modality Video Coding (CMVC), les vidéos sont séparées en contenu spatial et composantes de mouvement, puis transformées en représentations multimodales compactes ^[5].

« Les MLLM excellent dans le traitement des données séquentielles et la compréhension des relations temporelles des événements dans les vidéos. » - Pingping Zhang et al. ^[5]

Cela fait passer la compression du stockage image par image vers une représentation consciente des événements. Et à partir de là, l'étape suivante est encore plus serrée : compresser en fonction de l'intention directe de l'utilisateur.

Compression pilotée par les tokens pour l'intention de l'utilisateur

Video TokenCom donne une pleine précision aux tokens pertinents pour l'intention et abaisse la précision pour ceux de moindre priorité. En clair, le système dépense les bits sur ce qui intéresse l'utilisateur et lève le pied partout ailleurs, ce qui réduit le débit tout en gardant intact le contenu le plus important ^[7].

« La communication par tokens (TokenCom) est un nouveau paradigme... où les tokens servent d'unités unifiées de communication et de calcul, permettant un échange d'information efficace, sémantique et orienté objectif. » - Jingxuan Men et al. ^[7]

Au lieu de traiter chaque partie d'une image de la même façon, cette approche rend la compression consciente de l'objectif et sélective ^[7].

Compression générative et compromis du déploiement en temps réel

Comment les méthodes génératives et basées sur les tokens réduisent le débit

En s'appuyant sur la compression au niveau des tokens, les méthodes génératives vont plus loin. Au lieu de garder chaque pixel, elles reconstruisent le détail visuel au décodeur. En pratique, la compression générative envoie une représentation latente compacte, puis utilise des a priori génératifs pour combler ce qui n'a pas été transmis.

Ce changement peut réduire drastiquement le débit. La démo de satellite maritime de TeleAI mi-2025 a atteint 0,005 bpp, et le GVCC zero-shot d'avril 2026 de Waseda a fourni une reconstruction 1080p à moins de 0,002 bpp tout en réduisant le LPIPS de 70,3 % par rapport à DCVC-RT ^{[9] [10]}.

La compression basée sur les tokens emprunte une autre voie. La Tokenized Video Compression (TVC) utilise des tokens masqués et la prédiction spatiotemporelle pour exploiter la redondance sémantique entre les images ^[8].

Contraintes temps réel : calcul, latence et coût

Ces réductions de débit ne comptent que si le décodage reste assez rapide pour la production. C'est là que le compromis apparaît en termes simples : à mesure que le débit baisse, une plus grande partie de la charge passe de la transmission à l'inférence. Le décodeur doit donc faire tourner de gros modèles en temps réel.

Les chiffres le montrent clairement. Sur une NVIDIA L40S, une RTX 4090 et une RTX 4080, le décodage GVC pour un GOP de 29 images prend 1,85 seconde, 2,12 secondes et 2,48 secondes ^[9].

C'est le compromis compression-calcul-qualité. En clair, vous économisez de la bande passante, mais vous le payez par plus de travail de décodage. C'est pourquoi la distillation et un échantillonnage plus rapide sont les principales voies vers un déploiement grand public ^[9].

Utiliser APIMart pour tester des workflows vidéo multimodaux

Pour le prototypage, APIMart peut relier l'extraction sémantique, la reconstruction et l'évaluation en un seul workflow. Les équipes peuvent l'utiliser pour enchaîner des modèles vidéo, image et langage via une seule API pour l'extraction sémantique, la reconstruction et les tests de latence.

Si vous cherchez à voir comment un pipeline vidéo multimodal se comporte avant un déploiement complet, c'est une manière pratique de tester les composants au même endroit.

Conclusion : ce que l'IA multimodale change pour la compression vidéo

L'IA multimodale change la compression vidéo d'une manière simple mais importante : elle fait passer l'objectif de faire correspondre les pixels à garder ce qui compte pour la tâche. Les signaux sémantiques, les indices audio et les données de regard aident le système à dépenser les bits sur les parties qui portent le plus de sens. Le résultat est une meilleure compression, car le codec protège l'information dont les personnes ou les systèmes aval ont réellement besoin. Ce changement est central dans la façon dont les plateformes d'IA unifiées gèrent des sorties de modèles diverses.

Vous pouvez voir ce changement à la fois dans la qualité visuelle et dans l'usage des tokens. Les résultats de benchmark le confirment. STAC a atteint une économie de BD-rate de 32,20 % par rapport à VTM-17.0 ^[2], tandis qu'AdaCodec a réduit l'usage des tokens visuels de 84,6 % tout en maintenant ou améliorant la précision ^[3].

C'est pourquoi la compression générative prend tout son sens quand on la considère comme une communication orientée tâche ^[9].

Où cela compte-t-il d'abord ? Les gains à court terme sont les plus forts dans les contextes à bande passante limitée et sensibles à la tâche, notamment :

• la surveillance
• la réponse d'urgence
• les appareils edge
• l'éducation
• le commerce

Le principal compromis reste le coût du décodeur. Le calcul au décodage demeure le goulot d'étranglement ; malgré cela, de plus petits modèles génératifs approchent déjà environ 2 secondes d'inférence sur des GPU grand public ^[9].

FAQ

En quoi la compression multimodale diffère-t-elle de la compression vidéo classique ?

La compression vidéo essaie généralement de garder autant de détail de pixels que possible dans chaque image. La compression multimodale emprunte une voie différente. Elle se concentre davantage sur l'information nécessaire aux objectifs aval ou à la qualité perceptuelle que sur la reproduction de chaque pixel.

Avec les modèles génératifs, elle échange de la bande passante contre du calcul. L'expéditeur décrit la composition et le style d'une vidéo, et l'IA côté réception la reconstruit à partir de cette description.

Quand devrais-je choisir la compression sémantique plutôt qu'une qualité pixel-parfaite ?

Choisissez la compression sémantique quand l'objectif est d'aider les tâches aval ou de correspondre à ce que les gens ont besoin de voir, et non de conserver une précision au bit près.

Elle fonctionne particulièrement bien dans les contextes à faible bande passante, comme les connexions satellite, où les codecs à précision de pixel peuvent s'effondrer ou produire de forts artefacts. Les méthodes sémantiques échangent du calcul contre de la compression en gardant l'information pertinente à la tâche au lieu de dépenser des bits sur des textures d'arrière-plan redondantes.

Quels sont les plus grands compromis de la compression vidéo générative ?

Le principal compromis est un glissement de la précision stricte pixel par pixel vers la qualité sémantique et perceptuelle.

Les codecs à l'ancienne essaient de réduire l'erreur de pixel. Mais quand la bande passante se resserre, cette approche s'effondre souvent d'une manière que les spectateurs repèrent immédiatement : blocs, flou et scintillement temporel.

La compression générative emprunte une voie différente. Elle s'appuie sur de solides a priori pour synthétiser un détail de haute qualité et pousser la compression bien plus loin.

Le piège est simple : la vidéo reconstruite peut paraître convaincante et de haute qualité, même quand elle ne correspond pas à l'image originale pixel pour pixel. Autrement dit, elle a tendance à privilégier la plausibilité visuelle plutôt que la réplication exacte.