UniNote: embeddings multimodais unificados

A ideia central da Xiaohongshu é simples: uma nota, um embedding, um caminho de busca. Em vez de processar texto, imagens, vídeo e áudio em sistemas separados, o UniNote coloca tudo em um espaço vetorial compartilhado tanto para recuperação quanto para ranqueamento.

Se eu resumisse o artigo, estes seriam os pontos mais importantes para mim:

• O UniNote cria um embedding multimodal por nota
• Ele usa duas etapas de treinamento, incluindo a função de perda InfoNCE e a mineração de negativos difíceis
• O objetivo é usar o mesmo sistema de embeddings para recuperação e ranqueamento
• A proposta é melhorar a busca multimodal, por exemplo ao relacionar uma foto a uma página de produto ou a um clipe de vídeo
• O artigo destaca ganhos na recuperação multimodal, incluindo um resultado citado de até 26 pontos percentuais em NDCG@10 obtido por trabalhos relacionados com espaço compartilhado
• As limitações continuam claras: incompatibilidades em detalhes sutis, janelas temporais de vídeo limitadas a 3 a 25 segundos e erros de ranqueamento quando os sinais não se alinham

Em outras palavras, a questão aqui não é tanto adicionar mais um modelo, mas sim eliminar pipelines separados para diferentes tipos de mídia. Para equipes que trabalham com busca, feeds ou descoberta de produtos, isso pode significar um único índice, um fluxo de sistema mais simples e menos divergências entre recuperação e ranqueamento.

Minha conclusão é direta: embeddings compartilhados podem simplificar a operação da busca multimodal, mas a qualidade do alinhamento ainda determina se os resultados parecem corretos.

Qwen3-VL-Embedding e Qwen3-VL-Reranker: uma estrutura unificada para recuperação multimodal de última geração

Como o UniNote funciona: arquitetura, treinamento e design de recuperação e ranqueamento

Representação unificada de notas entre modalidades

O UniNote transforma áudio, imagens e vídeo em um formato de nota compartilhado usando primeiro ASR, OCR e VLMs e, depois, mapeando esses sinais para um espaço vetorial comum. Cada modalidade passa por seu próprio encoder, e camadas de projeção treináveis transferem essas saídas para um único espaço de alta dimensão. O resultado final é um embedding por nota, construído a partir dos sinais que ela contém.

Essa configuração oferece à Xiaohongshu um único pipeline de busca em texto, imagens, vídeo e áudio. Em vez de tratar cada formato como uma ilha separada, o sistema coloca todos eles no mesmo mapa.

Naturalmente, isso só funciona se o modelo aprender um alinhamento sólido entre os formatos.

Treinamento em duas etapas e mineração de negativos difíceis

O UniNote usa uma abordagem em duas etapas.

Na primeira etapa, ele aplica aprendizagem contrastiva com a função de perda InfoNCE. Isso ensina o modelo a aproximar conteúdos correspondentes, mesmo quando aparecem em formatos diferentes.

Na segunda etapa, o foco muda para a qualidade do ranqueamento por meio de otimização orientada por relevância e mineração de negativos difíceis. Negativos difíceis são itens que parecem próximos no contexto, mas ainda estão semanticamente incorretos. Isso faz muita diferença. Se um modelo consegue separar casos quase correspondentes das correspondências reais, o ranqueamento se torna mais preciso.

O UniNote também usa embeddings de comprimento variável. Isso significa que eles podem ser encurtados quando uma tarefa não exige precisão total. Em termos simples, o sistema pode abrir mão de um pouco de detalhe para usar menos armazenamento e acelerar a recuperação.

O mesmo embedding pode então cuidar tanto da recuperação de candidatos quanto do ranqueamento final.

Por que um único modelo para recuperação e ranqueamento simplifica o design do sistema

Muitos sistemas de recomendação usam um modelo para recuperação e outro para ranqueamento. No papel, isso parece organizado. Na prática, pode criar uma divergência entre as etapas: um modelo aprende uma noção de relevância, enquanto o outro aprende algo ligeiramente diferente.

O UniNote evita essa separação. Ele usa uma única estrutura de embeddings para recuperação e ranqueamento, mantendo as duas etapas alinhadas. É essa configuração compartilhada que ajuda recuperação e ranqueamento a se comportarem da mesma maneira em produção.

A próxima pergunta é qual o desempenho desse design em tarefas reais de recuperação.

O que a pesquisa mostra: tarefas, resultados e limitações atuais

Tarefas de recuperação item a item e escopo do benchmark

O UniNote foi testado em tarefas de recuperação item a item. Em termos simples, isso significa que o modelo tenta relacionar o mesmo conteúdo, ou conteúdos relacionados, entre diferentes formatos dentro de um espaço de embeddings compartilhado.

O teste principal é bastante simples: um único embedding consegue conectar conteúdos entre formatos sem encaminhar a recuperação por pipelines separados? Isso importa mais do que pode parecer à primeira vista. O mesmo embedding precisa cumprir duas funções. Ele deve oferecer suporte tanto à recuperação quanto ao ranqueamento, preservando ao mesmo tempo o significado entre as modalidades.

Ganhos de desempenho na recuperação multimodal

Nos benchmarks de recuperação, o UniNote testa se um único espaço compartilhado pode melhorar a qualidade das correspondências sem depender de pipelines separados para cada modalidade. O GR-CLIP, que recentraliza clusters em um espaço de embeddings compartilhado, melhorou o NDCG@10 em até 26 pontos percentuais em comparação com o CLIP padrão^[1].

Esse não é um ganho pequeno. Em sistemas de recuperação, até mesmo avanços modestos nas métricas de ranqueamento podem alterar as recomendações posteriores de maneira perceptível.

Ainda assim, não existe benefício sem contrapartida. Esses ganhos trazem compromissos.

Onde os embeddings unificados ainda deixam a desejar

Embeddings unificados ainda enfrentam problemas quando as modalidades não se alinham de forma clara. Quando isso acontece, o sistema pode ranquear resultados incorretamente ou produzir erros que lembram um pouco alucinações. O desempenho também pode cair em conteúdos com detalhes sutis, especialmente quando os sinais visuais e textuais apontam em direções diferentes.

O vídeo é outro ponto crítico. Muitos sistemas ainda trabalham com apenas 3 a 25 segundos de contexto temporal, o que impõe um limite rígido à quantidade de significado sequencial que podem usar.

Isso se torna um problema ainda maior em sistemas dinâmicos de busca e recomendação que processam conteúdo em diferentes formatos em grande escala.

Usos práticos em busca, recomendação e fluxos de trabalho de IA multimodal

Esses ganhos de recuperação só importam se tornarem a busca e a recomendação mais fáceis de operar em produção.

Busca multimodal e recomendação para comércio social e mídia

O principal caso de uso para embeddings no estilo do UniNote é a descoberta de produtos e a correspondência de conteúdo. Com um sistema unificado de embeddings, uma única consulta pode relacionar a foto de um consumidor a um anúncio de produto, à avaliação de um criador ou a um vídeo curto, sem obrigar as equipes a criar pipelines separados para cada formato.

Isso faz muita diferença no comércio social e na mídia. Uma pessoa pode enviar uma captura de tela, colar uma legenda ou buscar pelo nome de um produto. Se todas essas entradas ocuparem o mesmo espaço de embeddings, o sistema terá uma chance muito maior de retornar itens relacionados em texto, imagens e vídeo.

Isso também ajuda na recomendação. Publicações, legendas e clipes relacionados permanecem próximos o suficiente para oferecer suporte a um agrupamento de conteúdo mais preciso e melhores sugestões no feed. E, do ponto de vista operacional, as equipes podem manter um único índice em vez de vários, reduzindo bastante o número de componentes adicionais.

Considerações sobre indexação multimodal, latência e infraestrutura

A migração para um modelo unificado de embeddings muda a indexação de maneira bastante direta. Em vez de operar armazenamentos vetoriais separados para texto, imagens e vídeo, as equipes podem consolidá-los em um único índice de vizinhos mais próximos aproximados (ANN). Isso simplifica o roteamento de consultas e reduz a sobrecarga operacional.

O vídeo acrescenta outra camada. As equipes precisam de um pré-processamento que preserve os sinais temporais sem tornar a recuperação lenta. Na prática, isso geralmente significa:

• Amostrar quadros
• Codificar clipes pelo mesmo pipeline multimodal
• Manter a recuperação rápida o bastante para uso em produção

Essa configuração também reduz a sobrecarga de integração de modelos. Não é preciso conectar um caminho para texto, outro para imagens e ainda outro para vídeo. O pipeline fica mais simples, o que geralmente significa menos problemas de manutenção no futuro.

Como a APIMart se encaixa em fluxos de trabalho multimodais unificados

A APIMart disponibiliza modelos de texto, imagem e vídeo por meio de um único endpoint compatível com OpenAI (api.apimart.ai/v1). Isso reduz a sobrecarga de contratos, autenticação e limites de taxa.

Para equipes que criam fluxos de trabalho multimodais, isso significa que uma única camada de integração pode lidar com diferentes tipos de modelo sem reescrever toda a infraestrutura a cada vez. O foco da engenharia permanece na lógica de embeddings e na lógica de negócios, não no gerenciamento de APIs.

Principais conclusões para desenvolvedores e equipes de IA

O que aprender com o UniNote

Depois dos detalhes de recuperação e infraestrutura, a principal conclusão é operacional: o UniNote usa um único espaço semântico para lidar com busca e ranqueamento multimodais. Isso importa porque pipelines separados tendem a gerar resultados inconsistentes em grande escala.

Em termos simples, há menos transferências entre modalidades e menos divergências de ranqueamento. Para desenvolvedores, isso significa menos componentes na busca multimodal. Relacionar imagens de produtos a descrições, vincular vídeos curtos a legendas e executar buscas multimodais para comércio social fica mais simples quando o mesmo embedding cuida tanto da recuperação quanto do ranqueamento, sem modelos separados costurados para cada formato.

A medida prática é direta. Estruture indexação, recuperação e recomendação em torno de um único espaço semântico compartilhado, para que novas modalidades possam ser incorporadas sem exigir a reconstrução do pipeline. Um índice, uma lógica de ranqueamento, menos pontos de integração.

Perguntas frequentes

Como um único embedding é criado a partir de diferentes mídias?

O UniNote e sistemas semelhantes criam um único embedding ao mapear texto, imagens, vídeo e áudio para um espaço vetorial semântico compartilhado.

Eles normalmente usam modelos baseados em transformers para converter cada tipo de entrada em uma representação unificada. A partir daí, usam atenção multimodal e camadas de projeção para alinhar a mesma ideia entre formatos. Isso permite que o sistema meça a similaridade semântica entre diferentes tipos de mídia.

Por que usar o mesmo embedding para recuperação e ranqueamento?

Usar o mesmo embedding para recuperação e ranqueamento mantém tudo em um espaço semântico compartilhado. Isso importa mais do que pode parecer à primeira vista.

Quando texto, imagens e vídeo são mapeados da mesma forma, eles podem ser comparados diretamente. Uma consulta escrita pode se alinhar a uma imagem. Um vídeo pode corresponder a uma descrição textual. Conteúdos relacionados permanecem sincronizados entre formatos, em vez de se distanciarem.

Isso melhora a busca e a recuperação multimodais, reduz a lacuna entre modalidades e ajuda os pipelines de recomendação a permanecerem estáveis e consistentes.

Quais são hoje as maiores limitações do UniNote?

O UniNote encontra suas maiores limitações ao tentar colocar texto, imagens, vídeo e áudio em um único espaço semântico compartilhado. Isso parece simples na teoria. Na prática, essas modalidades não se alinham por conta própria, o que torna o treinamento mais difícil e pode enfraquecer as representações aprendidas.

Há outro problema durante o treinamento conjunto: a preguiça de modalidade ou o conflito entre modalidades. Em termos simples, o modelo pode se apoiar demais na entrada mais fácil e dar menos atenção às outras. Isso pode deixar algumas modalidades subtreinadas. E, quando os dados do mundo real estão incompletos, como no caso de áudio ausente, o problema piora. O modelo pode ter um desempenho geral inferior ou depender demais da modalidade que estiver mais forte.