UniNote : des embeddings multimodaux unifiés

L’idée principale de Xiaohongshu est simple : une note, un embedding, un parcours de recherche. Au lieu de traiter le texte, les images, la vidéo et l’audio dans des systèmes distincts, UniNote les réunit dans un même espace vectoriel partagé, aussi bien pour la récupération que pour le classement.

Si je devais résumer l’article, voici ce qui me paraît le plus important :

• UniNote crée un embedding multimodal unique pour chaque note
• Il s’appuie sur deux étapes d’entraînement, dont une fonction de perte InfoNCE et l’extraction de négatifs difficiles
• Il vise à utiliser le même système d’embeddings pour la récupération et le classement
• Son objectif est d’améliorer la recherche intermodale, par exemple en associant une photo à une page produit ou à un clip vidéo
• L’article fait état de progrès en récupération intermodale, notamment un résultat cité atteignant jusqu’à 26 points de pourcentage en NDCG@10 grâce à des travaux connexes sur les espaces partagés
• Les limites restent toutefois claires : des inadéquations fines, des fenêtres temporelles vidéo limitées de 3 à 25 secondes et des erreurs de classement lorsque les signaux ne concordent pas

Autrement dit, il s’agit moins d’ajouter un modèle supplémentaire que de supprimer les pipelines cloisonnés entre les différents types de médias. Pour les équipes qui travaillent sur la recherche, les fils de contenu ou la découverte de produits, cela peut se traduire par un index unique, un flux système plus simple et moins d’incohérences entre récupération et classement.

Ce que j’en retiens est simple : les embeddings partagés peuvent faciliter l’exploitation de la recherche multimodale, mais c’est toujours la qualité de l’alignement qui détermine si les résultats paraissent pertinents.

Qwen3-VL-Embedding et Qwen3-VL-Reranker : un cadre unifié pour une récupération multimodale de pointe

Fonctionnement d’UniNote : architecture, entraînement et conception de la récupération et du classement

Une représentation unifiée des notes pour toutes les modalités

UniNote transforme l’audio, les images et la vidéo dans un format de note commun en utilisant d’abord l’ASR, l’OCR et des VLM, puis projette ces signaux dans un même espace vectoriel. Chaque modalité passe par son propre encodeur, tandis que des couches de projection entraînables déplacent ces sorties vers un espace unique de grande dimension. On obtient ainsi un embedding par note, construit à partir de tous les signaux qu’elle contient.

Cette configuration offre à Xiaohongshu un pipeline unique pour effectuer des recherches dans le texte, les images, la vidéo et l’audio. Au lieu de considérer chaque format comme un îlot séparé, le système les place tous sur la même carte.

Bien entendu, cela ne fonctionne que si le modèle apprend un alignement solide entre les formats.

Entraînement en deux étapes et extraction de négatifs difficiles

UniNote suit une approche en deux étapes.

Lors de la première, il applique un apprentissage contrastif avec une fonction de perte InfoNCE. Le modèle apprend ainsi à rapprocher les contenus correspondants, même lorsqu’ils se présentent sous des formats différents.

Lors de la seconde, l’accent se déplace vers la qualité du classement grâce à une optimisation tenant compte de la pertinence et à l’extraction de négatifs difficiles. Les négatifs difficiles sont des éléments qui semblent proches dans leur contexte, mais dont le sens reste incorrect. C’est un point essentiel. Si un modèle parvient à distinguer les quasi-correspondances des véritables correspondances, le classement gagne en précision.

UniNote utilise également des embeddings de longueur variable. Ils peuvent donc être raccourcis lorsqu’une tâche n’exige pas une précision maximale. En termes simples, le système peut sacrifier un peu de détail afin de réduire le stockage et d’accélérer la récupération.

Le même embedding peut alors prendre en charge aussi bien la récupération des candidats que leur classement final.

Pourquoi un seul modèle pour la récupération et le classement simplifie la conception du système

De nombreux systèmes de recommandation emploient un modèle pour la récupération et un autre pour le classement. Sur le papier, l’idée paraît élégante. Dans la pratique, elle peut créer une dérive entre les étapes : un modèle apprend une certaine notion de la pertinence, tandis que l’autre en apprend une légèrement différente.

UniNote évite cette séparation. Il utilise le même cadre d’embeddings pour la récupération et le classement, ce qui maintient l’alignement entre les deux étapes. Cette configuration partagée aide la récupération et le classement à se comporter de manière cohérente en production.

Reste alors à savoir dans quelle mesure cette conception fonctionne sur de véritables tâches de récupération.

Ce que montre la recherche : tâches, résultats et limites actuelles

Tâches de récupération d’élément à élément et périmètre des benchmarks

UniNote a été évalué sur des tâches de récupération d’élément à élément. En termes simples, le modèle tente d’associer des contenus identiques ou liés dans différents formats au sein d’un même espace d’embedding partagé.

Le test central est assez simple : un seul embedding peut-il relier les contenus entre les formats sans faire transiter la récupération par des pipelines distincts ? Cette question compte davantage qu’il n’y paraît. Le même embedding doit remplir deux fonctions. Il doit prendre en charge la récupération et le classement, tout en préservant le sens entre les modalités.

Gains de performance en récupération intermodale

Sur les benchmarks de récupération, UniNote évalue si un espace partagé unique peut améliorer la qualité des correspondances sans dépendre de pipelines distincts pour chaque modalité. GR-CLIP, qui recentre les groupes dans un espace d’embedding partagé, a amélioré le NDCG@10 de 26 points de pourcentage au maximum par rapport au CLIP standard^[1].

Ce gain est loin d’être négligeable. Dans les systèmes de récupération, même une progression modeste des métriques de classement peut modifier sensiblement les recommandations en aval.

Mais rien n’est jamais gratuit. Ces gains s’accompagnent de compromis.

Les points faibles persistants des embeddings unifiés

Les embeddings unifiés rencontrent encore des difficultés lorsque les modalités ne s’alignent pas proprement. Le système peut alors mal classer les résultats ou produire des erreurs qui ressemblent quelque peu à des hallucinations. Les performances peuvent également reculer sur les contenus très détaillés, surtout lorsque les signaux visuels et textuels tirent dans des directions différentes.

La vidéo constitue un autre point délicat. De nombreux systèmes ne travaillent encore qu’avec 3 à 25 secondes de contexte temporel, ce qui limite fortement la quantité de sens séquentiel qu’ils peuvent exploiter.

Le problème s’accentue dans les systèmes de recherche et de recommandation très dynamiques, qui traitent à grande échelle des contenus aux formats mixtes.

Usages pratiques dans la recherche, la recommandation et les workflows d’IA multimodale

Ces gains en récupération n’ont d’intérêt que s’ils facilitent l’exploitation de la recherche et de la recommandation en production.

Recherche et recommandation intermodales pour le commerce social et les médias

Le principal cas d’usage des embeddings de type UniNote est la découverte de produits et la mise en correspondance de contenus. Avec un système d’embeddings unifié, une seule requête peut associer la photo d’un acheteur à une fiche produit, à l’avis d’un créateur ou à une courte vidéo, sans obliger les équipes à construire un pipeline distinct pour chaque format.

C’est particulièrement important dans le commerce social et les médias. Une personne peut importer une capture d’écran, coller une légende ou lancer une recherche avec le nom d’un produit. Si toutes ces entrées occupent le même espace d’embedding, le système a bien plus de chances de renvoyer des éléments connexes dans le texte, les images et la vidéo.

Cela profite aussi à la recommandation. Les publications, légendes et clips associés restent suffisamment proches pour permettre un regroupement plus précis des contenus et de meilleures suggestions dans les fils. Du point de vue opérationnel, les équipes peuvent en outre conserver un index unique plutôt que plusieurs, ce qui élimine de nombreuses pièces mobiles superflues.

Considérations relatives à l’indexation multimodale, à la latence et à l’infrastructure

Le passage à un modèle d’embeddings unifié transforme directement l’indexation. Au lieu d’exploiter des bases vectorielles distinctes pour le texte, les images et la vidéo, les équipes peuvent les réunir dans un seul index de recherche approximative des plus proches voisins (ANN). Le routage des requêtes s’en trouve simplifié et la charge opérationnelle réduite.

La vidéo ajoute une difficulté supplémentaire. Les équipes ont besoin d’un prétraitement qui préserve les signaux temporels sans ralentir la récupération. Dans la pratique, cela consiste généralement à :

• Échantillonner les images
• Encoder les clips dans le même pipeline multimodal
• Maintenir une récupération assez rapide pour un usage en production

Cette configuration réduit également la charge d’intégration des modèles. Il n’est plus nécessaire de connecter une voie pour le texte, une autre pour les images et encore une autre pour la vidéo. Le pipeline devient plus simple, ce qui signifie généralement moins de difficultés de maintenance par la suite.

Comment APIMart s’intègre aux workflows multimodaux unifiés

APIMart expose les modèles de texte, d’image et de vidéo par l’intermédiaire d’un seul endpoint compatible avec OpenAI (api.apimart.ai/v1). Cela réduit la charge liée aux contrats, à l’authentification et aux limites de débit.

Pour les équipes qui conçoivent des workflows multimodaux, une seule couche d’intégration peut ainsi gérer différents types de modèles sans qu’il faille réécrire toute la plomberie à chaque fois. L’ingénierie reste concentrée sur la logique des embeddings et la logique métier, plutôt que sur la gestion des API.

Points essentiels pour les développeurs et les équipes d’IA

Ce qu’il faut retenir d’UniNote

Au-delà des détails sur la récupération et l’infrastructure, la principale leçon est opérationnelle : UniNote utilise un espace sémantique unique pour gérer la recherche et le classement multimodaux. C’est important, car des pipelines séparés tendent à produire des résultats incohérents à grande échelle.

Concrètement, les passages de relais entre modalités et les incohérences de classement sont moins nombreux. Pour les développeurs, cela signifie moins de pièces mobiles dans la recherche intermodale. L’association d’images de produits à leurs descriptions, la mise en relation de courtes vidéos avec leurs légendes et l’exécution de recherches multimodales pour le commerce social deviennent toutes plus simples lorsque le même embedding gère la récupération et le classement, sans assembler des modèles distincts pour chaque format.

La démarche pratique est simple. Construisez l’indexation, la récupération et la recommandation autour d’un même espace sémantique partagé afin de pouvoir ajouter de nouvelles modalités sans reconstruire le pipeline. Un seul index, une seule logique de classement, moins de points d’intégration.

FAQ

Comment construire un seul embedding à partir de médias mixtes ?

UniNote et les systèmes similaires créent un embedding unique en projetant le texte, les images, la vidéo et l’audio dans un espace vectoriel sémantique partagé.

Ils s’appuient généralement sur des modèles basés sur des transformeurs pour convertir chaque type d’entrée en une représentation unifiée. Ils utilisent ensuite l’attention intermodale et des couches de projection afin d’aligner une même idée entre les formats. Le système peut ainsi mesurer la similarité sémantique entre différents types de médias.

Pourquoi utiliser le même embedding pour la récupération et le classement ?

Utiliser le même embedding pour la récupération et le classement permet de tout maintenir dans un espace sémantique partagé. C’est plus important qu’il n’y paraît à première vue.

Lorsque le texte, les images et la vidéo sont projetés de la même manière, ils peuvent être comparés directement. Une requête écrite peut correspondre à une image. Une vidéo peut s’associer à une description textuelle. Les contenus connexes restent synchronisés entre les formats au lieu de dériver les uns par rapport aux autres.

Cela améliore la recherche et la récupération intermodales, réduit l’écart entre les modalités et aide les pipelines de recommandation à rester stables et cohérents.

Quelles sont aujourd’hui les principales limites d’UniNote ?

UniNote se heurte à ses principales limites lorsqu’il tente de placer le texte, les images, la vidéo et l’audio dans un même espace sémantique partagé. La théorie paraît élégante. Dans la pratique, ces modalités ne s’alignent pas spontanément : l’entraînement devient donc plus difficile et les représentations apprises peuvent être moins robustes.

Un autre problème se pose pendant l’entraînement conjoint : la paresse modale, ou le conflit entre modalités. En termes simples, le modèle peut s’appuyer excessivement sur l’entrée la plus facile et accorder moins d’attention aux autres. Certaines modalités risquent alors d’être insuffisamment entraînées. Et lorsque les données réelles sont incomplètes, par exemple en l’absence d’audio, le problème s’aggrave. Le modèle peut être globalement moins performant ou dépendre trop fortement de la modalité qui se trouve être la plus robuste.