UniNote: Einheitliche multimodale Embeddings

Xiaohongshus Kerngedanke ist einfach: eine Notiz, ein Embedding, ein Suchpfad. Statt Text, Bilder, Video und Audio in getrennten Systemen zu verarbeiten, führt UniNote sie für Abruf und Ranking in einem gemeinsamen Vektorraum zusammen.

Auf das Wesentliche reduziert, kommt es für mich vor allem darauf an:

• UniNote erstellt ein multimodales Embedding pro Notiz
• Es nutzt zwei Trainingsphasen, darunter InfoNCE-Loss und Hard Negative Mining
• Es soll dasselbe Embedding-System für Abruf und Ranking verwenden
• Ziel ist eine bessere modalitätsübergreifende Suche, etwa um ein Foto einer Produktseite oder einem Video-Clip zuzuordnen
• Der Artikel verweist auf Verbesserungen beim modalitätsübergreifenden Abruf, darunter ein genanntes Ergebnis von bis zu 26 Prozentpunkten bei NDCG@10 aus verwandten Arbeiten mit gemeinsamem Embedding-Raum
• Die Grenzen bleiben klar: feingranulare Fehlzuordnungen, Video-Zeitfenster von 3 bis 25 Sekunden und Ranking-Fehler, wenn Signale nicht übereinstimmen

Anders gesagt: Hier geht es weniger darum, ein weiteres Modell hinzuzufügen, sondern vielmehr darum, getrennte Pipelines für verschiedene Medientypen abzubauen. Für Teams, die an Suche, Feeds oder Shopping-Discovery arbeiten, kann das einen Index, einen einfacheren Systemablauf und weniger Abweichungen zwischen Abruf und Ranking bedeuten.

Meine Schlussfolgerung ist unkompliziert: Gemeinsame Embeddings können den Betrieb multimodaler Suche vereinfachen, doch die Qualität der Ausrichtung entscheidet weiterhin darüber, ob sich die Ergebnisse richtig anfühlen.

Qwen3-VL-Embedding und Qwen3-VL-Reranker: Ein einheitliches Framework für hochmodernen multimodalen Abruf

So funktioniert UniNote: Architektur, Training und Design für Abruf und Ranking

Einheitliche Darstellung von Notizen über verschiedene Modalitäten hinweg

UniNote überführt Audio, Bilder und Video zunächst mithilfe von ASR, OCR und VLMs in ein gemeinsames Notizformat und bildet diese Signale anschließend in einem gemeinsamen Vektorraum ab. Jede Modalität durchläuft einen eigenen Encoder, und trainierbare Projektionsschichten übertragen diese Ausgaben in einen einzigen hochdimensionalen Raum. Das Endergebnis ist ein Embedding pro Notiz, das aus sämtlichen darin enthaltenen Signalen aufgebaut wird.

Dieser Ansatz verschafft Xiaohongshu eine einzige Pipeline für die Suche über Text, Bilder, Video und Audio hinweg. Statt jedes Format wie eine isolierte Insel zu behandeln, verortet das System alle auf derselben Karte.

Das funktioniert natürlich nur, wenn das Modell eine starke Ausrichtung zwischen den Formaten erlernt.

Zweistufiges Training und Hard Negative Mining

UniNote verwendet einen zweistufigen Ansatz.

In der ersten Phase setzt es kontrastives Lernen mit InfoNCE-Loss ein. Dadurch lernt das Modell, übereinstimmende Inhalte näher zusammenzuführen, selbst wenn diese in unterschiedlichen Formaten vorliegen.

In der zweiten Phase verlagert sich der Schwerpunkt durch relevanzbewusste Optimierung und Hard Negative Mining auf die Ranking-Qualität. Hard Negatives sind Elemente, die im Kontext ähnlich wirken, inhaltlich jedoch weiterhin falsch sind. Das ist ausgesprochen wichtig. Kann ein Modell Beinahetreffer von tatsächlichen Übereinstimmungen unterscheiden, wird das Ranking präziser.

UniNote nutzt außerdem Embeddings mit variabler Länge. Dadurch lassen sich Embeddings kürzen, wenn eine Aufgabe nicht die volle Präzision erfordert. Einfach gesagt kann das System etwas Detailgenauigkeit gegen geringeren Speicherbedarf und schnelleren Abruf eintauschen.

Dasselbe Embedding kann anschließend sowohl den Kandidatenabruf als auch das abschließende Ranking übernehmen.

Warum ein Modell für Abruf und Ranking das Systemdesign vereinfacht

Viele Empfehlungssysteme verwenden ein Modell für den Abruf und ein anderes für das Ranking. Auf dem Papier klingt das sauber. In der Praxis kann es jedoch zu Abweichungen zwischen den Phasen führen: Ein Modell erlernt dann eine bestimmte Vorstellung von Relevanz, während das andere etwas geringfügig anderes lernt.

UniNote vermeidet diese Trennung. Es nutzt ein einziges Embedding-Framework für Abruf und Ranking und hält damit beide Phasen aufeinander abgestimmt. Dieser gemeinsame Ansatz trägt dazu bei, dass sich Abruf und Ranking im Produktivbetrieb gleichartig verhalten.

Die nächste Frage lautet, wie gut dieses Design bei realen Abrufaufgaben abschneidet.

Das zeigt die Forschung: Aufgaben, Ergebnisse und aktuelle Grenzen

Item-to-Item-Abrufaufgaben und Umfang der Benchmarks

UniNote wurde anhand von Item-to-Item-Abrufaufgaben getestet. Einfach gesagt versucht das Modell dabei, gleiche oder verwandte Inhalte aus unterschiedlichen Formaten innerhalb eines gemeinsamen Embedding-Raums einander zuzuordnen.

Der Kerntest ist recht einfach: Kann ein Embedding Inhalte formatübergreifend verbinden, ohne den Abruf durch getrennte Pipelines zu leiten? Das ist wichtiger, als es zunächst klingen mag. Dasselbe Embedding muss zwei Aufgaben erfüllen. Es muss sowohl Abruf als auch Ranking unterstützen und zugleich die Bedeutung zwischen den Modalitäten bewahren.

Leistungssteigerungen beim modalitätsübergreifenden Abruf

Bei Abruf-Benchmarks prüft UniNote, ob ein einziger gemeinsamer Raum die Qualität von Zuordnungen verbessern kann, ohne für jede Modalität auf eine separate Pipeline angewiesen zu sein. GR-CLIP, das Cluster in einem gemeinsamen Embedding-Raum neu zentriert, verbesserte NDCG@10 gegenüber dem standardmäßigen CLIP um bis zu 26 Prozentpunkte^[1].

Das ist kein kleiner Sprung. In Abrufsystemen können schon moderate Veränderungen von Ranking-Metriken nachgelagerte Empfehlungen spürbar beeinflussen.

Allerdings gibt es nichts umsonst. Diese Verbesserungen bringen Kompromisse mit sich.

Wo einheitliche Embeddings weiterhin an Grenzen stoßen

Einheitliche Embeddings geraten weiterhin in Schwierigkeiten, wenn Modalitäten nicht sauber aufeinander abgestimmt sind. Dann kann das System Ergebnisse falsch einordnen oder Fehler erzeugen, die ein wenig an Halluzinationen erinnern. Auch bei feingranularen Inhalten kann die Leistung sinken, insbesondere wenn visuelle und textuelle Signale in unterschiedliche Richtungen weisen.

Video bleibt ein weiterer Knackpunkt. Viele Systeme arbeiten weiterhin mit einem zeitlichen Kontext von lediglich 3 bis 25 Sekunden, was die nutzbare Bedeutung auf Sequenzebene deutlich begrenzt.

In schnelllebigen Such- und Empfehlungssystemen, die gemischte Inhaltsformate im großen Maßstab verarbeiten, wird das zu einem noch größeren Problem.

Praktische Anwendungen in Suche, Empfehlung und multimodalen KI-Workflows

Diese Verbesserungen beim Abruf sind nur dann relevant, wenn sie den Betrieb von Suche und Empfehlungen in der Produktion erleichtern.

Modalitätsübergreifende Suche und Empfehlungen für Social Commerce und Medien

Der wichtigste Anwendungsfall für Embeddings im Stil von UniNote ist die Produktsuche und Zuordnung von Inhalten. Mit einem einheitlichen Embedding-System kann eine einzige Abfrage ein Käuferfoto einer Produktanzeige, einem Creator-Testbericht oder einem Kurzvideo zuordnen, ohne dass Teams für jedes Format getrennte Pipelines entwickeln müssen.

Das ist für Social Commerce und Medien besonders wichtig. Eine Person könnte einen Screenshot hochladen, eine Bildunterschrift einfügen oder nach einem Produktnamen suchen. Wenn all diese Eingaben im selben Embedding-Raum liegen, hat das System eine deutlich bessere Chance, verwandte Elemente über Text, Bilder und Video hinweg auszugeben.

Auch Empfehlungen profitieren davon. Verwandte Beiträge, Bildunterschriften und Clips bleiben nah genug beieinander, um präzisere Inhaltscluster und bessere Feed-Vorschläge zu ermöglichen. Aus betrieblicher Sicht können Teams zudem einen Index statt mehrerer pflegen, wodurch viele zusätzliche bewegliche Teile entfallen.

Überlegungen zu multimodaler Indizierung, Latenz und Infrastruktur

Der Wechsel zu einem einheitlichen Embedding-Modell verändert die Indizierung unmittelbar. Statt getrennte Vektorspeicher für Text, Bilder und Video zu betreiben, können Teams sie in einem einzigen Index für Approximate Nearest Neighbor (ANN) zusammenführen. Das vereinfacht das Routing von Abfragen und senkt den betrieblichen Aufwand.

Video bringt eine weitere Ebene hinzu. Teams benötigen eine Vorverarbeitung, die Zeitsignale bewahrt, ohne den Abruf zu verlangsamen. In der Praxis bedeutet das üblicherweise:

• Frames abtasten
• Clips über dieselbe multimodale Pipeline codieren
• Den Abruf schnell genug für den Produktivbetrieb halten

Dieser Ansatz verringert auch den Aufwand für die Modellintegration. Sie müssen nicht einen Pfad für Text, einen weiteren für Bilder und noch einen für Video verdrahten. Die Pipeline wird einfacher, und das bedeutet später in der Regel weniger Wartungsaufwand.

Wie APIMart in einheitliche multimodale Workflows passt

APIMart stellt Text-, Bild- und Videomodelle über einen einzigen OpenAI-kompatiblen Endpunkt (api.apimart.ai/v1) bereit. Das verringert den Aufwand für Verträge, Authentifizierung und Ratenbegrenzung.

Für Teams, die multimodale Workflows entwickeln, bedeutet dies, dass eine Integrationsschicht verschiedene Modelltypen verarbeiten kann, ohne die technische Anbindung jedes Mal neu zu schreiben. Der technische Schwerpunkt bleibt auf der Embedding-Logik und der Geschäftslogik statt auf der API-Verwaltung.

Wichtigste Erkenntnisse für Entwickler und KI-Teams

Was Sie aus UniNote mitnehmen sollten

Nach den Details zu Abruf und Infrastruktur lautet die wichtigste Erkenntnis für den Betrieb: UniNote nutzt einen semantischen Raum, um multimodale Suche und Ranking abzuwickeln. Das ist relevant, weil getrennte Pipelines im großen Maßstab häufig inkonsistente Ergebnisse erzeugen.

Einfach ausgedrückt gibt es weniger Übergaben zwischen Modalitäten und weniger Abweichungen im Ranking. Für Entwickler bedeutet das weniger bewegliche Teile in der modalitätsübergreifenden Suche. Produktbilder Beschreibungen zuzuordnen, Kurzvideos mit Bildunterschriften zu verknüpfen und multimodale Suche für Social Commerce auszuführen, wird einfacher, wenn dasselbe Embedding sowohl Abruf als auch Ranking übernimmt, ohne dass für jedes Format separate Modelle miteinander verbunden werden müssen.

Der praktische Schritt ist unkompliziert. Bauen Sie Indizierung, Abruf und Empfehlungen auf einem gemeinsamen semantischen Raum auf, damit sich neue Modalitäten einbinden lassen, ohne einen Neuaufbau der Pipeline zu erzwingen. Ein Index, eine Ranking-Logik, weniger Integrationspunkte.

Häufig gestellte Fragen

Wie wird aus gemischten Medien ein Embedding erstellt?

UniNote und ähnliche Systeme erstellen ein einzelnes Embedding, indem sie Text, Bilder, Video und Audio in einem gemeinsamen semantischen Vektorraum abbilden.

Üblicherweise setzen sie auf Transformer-basierte Modelle, um jeden Eingabetyp in eine einheitliche Darstellung umzuwandeln. Anschließend verwenden sie modalitätsübergreifende Aufmerksamkeit und Projektionsschichten, damit dieselbe Idee über Formate hinweg übereinstimmt. So kann das System die semantische Ähnlichkeit zwischen unterschiedlichen Medienarten messen.

Warum sollte dasselbe Embedding für Abruf und Ranking verwendet werden?

Durch die Verwendung desselben Embeddings für Abruf und Ranking bleibt alles in einem gemeinsamen semantischen Raum. Das ist wichtiger, als es auf den ersten Blick erscheinen mag.

Wenn Text, Bilder und Video auf dieselbe Weise abgebildet werden, lassen sie sich direkt vergleichen. Eine schriftliche Abfrage kann einem Bild entsprechen. Ein Video kann zu einer Textbeschreibung passen. Verwandte Inhalte bleiben über Formate hinweg synchron, statt auseinanderzudriften.

Das verbessert die modalitätsübergreifende Suche und den Abruf, verkleinert die Lücke zwischen den Modalitäten und hilft Empfehlungspipelines, stabil und konsistent zu bleiben.

Was sind heute die größten Grenzen von UniNote?

UniNote stößt vor allem dann an Grenzen, wenn es Text, Bilder, Video und Audio in einem gemeinsamen semantischen Raum platzieren soll. Theoretisch klingt das sauber. In der Praxis richten sich diese Modalitäten nicht von selbst aneinander aus, weshalb das Training schwieriger wird und die erlernten Darstellungen schwächer ausfallen können.

Beim gemeinsamen Training tritt ein weiteres Problem auf: Modalitätsträgheit oder Konflikte zwischen Modalitäten. Einfach gesagt kann sich das Modell zu stark auf die einfachste Eingabe stützen und den anderen weniger Aufmerksamkeit schenken. Dadurch können einige Modalitäten unzureichend trainiert bleiben. Bei unvollständigen realen Daten, etwa fehlendem Audio, verschärft sich das Problem. Das Modell kann insgesamt schlechter abschneiden oder sich zu stark auf die gerade stärkste Modalität verlassen.