Comparativa de frameworks de pruebas para IA multimodal

Si tuviera que resumirlo en una línea: ningún framework lo cubre todo, así que usaría un benchmark amplio para el seguimiento y una prueba de dominio para las verificaciones de lanzamiento.

Aquí va la versión corta:

• FlagEvalMM encaja para pruebas amplias de imagen, video y texto
• MAEV comprueba la fusión audio-video-texto y muestra cuánto siguen quedándose atrás los modelos frente a los humanos
• AILuminate Multimodal sirve para pruebas de riesgo de seguridad en 12 categorías de peligros
• CityBench está diseñado para el razonamiento sobre escenas urbanas y datos geoespaciales
• Los frameworks clínicos se centran en el riesgo clínico, el razonamiento multiturno y la validación con gran carga de imágenes

Algunas cifras destacan de inmediato:

• MAEV usa 2,556 questions de 700 videos
• Los humanos obtienen 92.8% en MAEV, mientras que los mejores modelos rondan el 64%
• AILuminate incluye 7,000+ text-image prompts
• CityBench abarca 8 urban tasks en 13 cities
• GMAI-MMBench cubre 39 medical image modalities
• MedBench v5 abarca 63 clinical tasks

Lo que esto significa para mí es simple: las herramientas amplias ayudan con el seguimiento de regresiones, mientras que las pruebas de dominio detectan fallos de alto riesgo que los benchmarks genéricos pasan por alto. Si necesito verificaciones rápidas de lanzamiento, me apoyaría primero en la puntuación numérica. Si necesito una lectura más detallada antes del lanzamiento, añadiría revisión basada en juez y pruebas de dominio.

Más allá del texto: evaluaciones de IA multimodal

Comparación rápida

Así que, si estás eligiendo rápido, yo pensaría en dos capas:

1. Benchmark general para el seguimiento de versión a versión
2. Benchmark de dominio o seguridad para las decisiones de lanzar/no lanzar

Esa es la conclusión central de este artículo.

1. FlagEvalMM

FlagEvalMM es el framework de código abierto de BAAI para evaluación multimodal. Funciona con texto, imágenes y video. Las tareas principales incluyen VQA, recuperación de imágenes, generación de texto a imagen y evaluación de diagramas basada en ROME. El audio no forma parte del paquete, por lo que los flujos de trabajo centrados en audio quedan fuera de lo que puede manejar.

Enfoque de evaluación

Cuando el trabajo se apoya fuertemente en el razonamiento, FlagEvalMM también admite la evaluación con LLM como juez para el razonamiento sobre diagramas. Incluye además RelScene y LRM-Eval, que amplían su alcance hacia la comprensión de escenas y la evaluación con alta carga de razonamiento.

Cobertura de seguridad y equidad

En cuanto a las verificaciones de confianza y política, hay una carencia: no viene con comprobaciones integradas de seguridad, equidad o alucinaciones.

Idoneidad de despliegue

El model zoo de FlagEvalMM admite inferencia local para modelos de código abierto como QwenVL, LLaVA y Janus. También admite evaluación basada en API para modelos como GPT, Claude y HuanYuan. Además, añadió soporte para OpenRouter, lo que ofrece a los equipos más opciones de API en un solo lugar.

Esa configuración funciona bien para equipos que quieren evaluar modelos multimodales tanto locales como alojados dentro de un único framework. Si tu equipo también necesita evaluación de audio o pruebas de seguridad integradas, querrás herramientas adicionales junto a él.

2. MAEV

MAEV amplía la evaluación más allá de las configuraciones solo de visión al probar la fusión audio-video-texto.

Cobertura de modalidades

MAEV, también llamado MAVERIX, se publicó el 14 de marzo de 2026. Prueba video, audio y texto de forma conjunta. El dataset incluye 2,556 questions de 700 videos, y utiliza formatos tanto de opción múltiple como de respuesta abierta ^[2]. Para dar con la respuesta correcta, un modelo tiene que combinar lo que ve con lo que oye.

Enfoque de evaluación

El benchmark examina la comprensión intermodal en tareas agénticas. En términos sencillos, el modelo no puede limitarse a detectar objetos o transcribir voz. Tiene que fusionar señales de audio y video para tomar una decisión.

Esa brecha sigue siendo bastante amplia. Los expertos humanos obtienen 92.8% en MAEV, mientras que los mejores modelos como Qwen 2.5 Omni y Gemini 2.5 Flash-Lite se sitúan en torno al 64%. Es una diferencia de casi 29 puntos porcentuales ^[2]. Por eso, MAEV resulta útil para detectar dónde empieza a fallar la fusión audiovisual.

Cobertura de seguridad y equidad

MAEV no incluye verificaciones dedicadas de seguridad, equidad o robustez.

Idoneidad de despliegue

MAEV viene con un toolkit público y protocolos estandarizados, lo que ayuda a los equipos a ejecutar el benchmark de la misma manera cada vez ^[2]. Encaja en tareas agénticas de video que dependen del contexto audiovisual. Es menos útil para la evaluación específica de dominio ^[2].

3. AILuminate Multimodal

A diferencia de los benchmarks anteriores, AILuminate examina si los modelos multimodales son seguros, no solo si rinden bien.

Cobertura de modalidades y enfoque de evaluación

AILuminate Multimodal comprueba el riesgo de seguridad texto-imagen en 12 categorías de peligros. Estas van desde la violencia y la autolesión hasta el discurso de odio, la privacidad y casos sensibles al contexto como consejos de salud o electorales. El dataset piloto multimodal incluye 7,000+ text-image prompts ^[4], y el benchmark ya se ha utilizado para probar 109 modelos diferentes.

Algo que lo distingue es cómo maneja el idioma. En lugar de apoyarse en la traducción, AILuminate usa prompts escritos con relevancia local y luego revisados por hablantes nativos en hindi, tamil, malayo, coreano y japonés ^[4]. Eso importa. Un prompt que funciona en un idioma puede resultar muy distinto en otro, especialmente en las pruebas de seguridad.

Así que, aunque este benchmark puede producir puntuaciones, es más útil para el red teaming que para comparaciones amplias entre benchmarks.

Cobertura de seguridad y fiabilidad

AILuminate está construido para el red teaming y las auditorías de seguridad previas al despliegue, especialmente para chatbots de consumo y asistentes de visión-lenguaje usados en mercados globales. Su método se basa en la investigación MSTS de 2025 ^[4].

En términos sencillos, este es el tipo de framework que usas cuando un fallo de seguridad tiene un coste real. Si un modelo da consejos arriesgados, gestiona mal una imagen privada o responde mal en un entorno de alto riesgo, este benchmark está construido para sacar a la luz esos puntos débiles antes del lanzamiento.

Idoneidad de despliegue

Usar AILuminate requiere más trabajo que una herramienta de validación ligera. La puntuación requiere Modelbench y un conjunto de evaluadores de seguridad, y los datasets completos están limitados a los miembros de MLCommons ^[5]. Eso hace que el framework sea más pesado y más lento de poner en práctica.

Encaja mejor en entornos críticos para la seguridad, donde las verificaciones más profundas importan más que la velocidad. Para la revisión de seguridad versión a versión, es una opción sólida, pero es menos práctica cuando los equipos necesitan pruebas rápidas a lo largo de muchas actualizaciones de modelos.

4. CityBench

Donde los frameworks anteriores examinan el rendimiento multimodal amplio y la seguridad, CityBench se enfoca en el razonamiento urbano.

Cobertura de modalidades y enfoque de evaluación

CityBench comprueba si un modelo puede leer escenas urbanas, razonar sobre datos geoespaciales y tomar decisiones en entornos urbanos de ritmo acelerado. Su fortaleza es el razonamiento a escala de ciudad, no un amplio rango multimodal.

Para ello, CityBench reúne imágenes de satélite, imágenes de vista de calle, redes viales, POIs/AoIs, flujos origen-destino y registros de check-in para probar el razonamiento visual y geoespacial ^[7]. Cubre 8 urban tasks en dos grupos: percepción y toma de decisiones ^[7]. Eso incluye tareas como GeoQA, geolocalización, predicción de movilidad y control de semáforos ^[7].

Su configuración CityData/CitySimu va un paso más allá. Modela dinámicas urbanas detalladas y admite pruebas de bucle cerrado para tareas de toma de decisiones ^[7]. En lenguaje sencillo, eso significa que puedes probar cómo responde un modelo cuando las condiciones de la ciudad cambian constantemente, en lugar de juzgarlo solo con entradas estáticas. El benchmark también se ha ejecutado contra 30 LLMs y VLMs para establecer el rendimiento de referencia ^[7].

Cobertura de seguridad y equidad

Combínalo con una revisión separada de seguridad y equidad.

Idoneidad de despliegue

CityBench encaja bien en la investigación de IA urbana y el trabajo de ciudades inteligentes, incluida la optimización del tráfico, la previsión de movilidad y la planificación urbana ^[7]. También abarca 13 ciudades globales ^[7], lo que da a los equipos una base de pruebas más amplia que una configuración de una sola ciudad.

Aun así, este es un benchmark especializado. Está construido para tareas a escala de ciudad, no para tareas humanas del día a día. Tampoco cubre la navegación en primera persona basada en el movimiento. Y hay otra carencia que vale la pena señalar: los benchmarks urbanos existentes como CityBench a menudo se limitan a entradas de una sola vista y no prueban por completo el razonamiento entre vistas entre imágenes a nivel de calle y de satélite ^[6].

Así que la mejor forma de usar CityBench es como una capa específica de dominio. Funciona bien cuando se añade a un stack de evaluación más amplio, pero no debería ser tu único benchmark multimodal.

5. Frameworks integrados de evaluación multimodal orientados a la salud

Después de los benchmarks generales y específicos de dominio, los modelos clínicos necesitan pruebas más exigentes para el riesgo clínico, el razonamiento longitudinal y la fusión de modalidades. En la salud, los errores no solo bajan una puntuación. Pueden afectar al diagnóstico y al tratamiento. Por eso se construyeron varios frameworks para uso clínico, y cada uno persigue un tipo distinto de fallo.

Cobertura de modalidades y enfoque de evaluación

En cuanto a cobertura de imágenes, GMAI-MMBench es el framework más amplio de este conjunto. Abarca 39 medical image modalities en 18 departamentos clínicos y se nutre de 285 datasets ^[10]. Puntúa los modelos en cuatro niveles perceptivos: imagen, caja, máscara y contorno ^[10].

MedAtlas persigue un punto débil común en el benchmarking médico: muchos benchmarks aún se centran en tareas de una sola imagen y un solo turno en lugar del razonamiento clínico multimodal y longitudinal ^[8]. Prueba el razonamiento a lo largo de visitas y las preguntas y respuestas visuales multiturno, planteando si un modelo puede combinar hallazgos de imagen con el historial del paciente para apoyar el diagnóstico ^[8].

MedBench v5 cubre sistemas de lenguaje, visión-lenguaje y agentes en 63 clinical tasks ^[9]. Lo que destaca es su prueba de estrés. Inserta hallazgos ausentes o contradictorios para ver si un modelo detecta la discrepancia o simplemente sigue adelante ^[9]. Asclepius añade amplitud entre especialidades, con cobertura de 15 especialidades médicas, 8 capacidades diagnósticas y 79 partes del cuerpo, basada en 3,232 preguntas multimodales originales ^[11].

Cobertura de seguridad y equidad

MedBench v5 incluye un SafetyAgent que comprueba la desinformación médica, los comandos de herramientas peligrosos, la fuga de privacidad y las violaciones éticas ^[9]. También rastrea afirmaciones sin fundamento que se arrastran de un turno a otro ^[9]. Sus pruebas de estrés se centran principalmente en la detección de contradicciones, las actualizaciones de diagnóstico y el control de alucinaciones ^[9].

GMAI-MMBench apunta a un problema de seguridad distinto: algunos modelos se niegan a responder preguntas clínicas debido a protocolos de seguridad integrados, lo que puede reducir el uso clínico en la práctica ^[10].

Una carencia aparece en los cuatro frameworks: el audio sigue faltando como modalidad integrada principal ^{[8][9][10][11]}.

Idoneidad de despliegue

Cada framework se alinea con un modo de fallo clínico distinto, así que la elección correcta depende de la tarea en cuestión.

El compromiso es sencillo: cuanto más terreno cubre un framework, más pesado tiende a ser el trabajo de validación.

Ventajas y desventajas

La tabla siguiente resume los principales compromisos: cobertura, estilo de puntuación e idoneidad de dominio. Esos compromisos importan más cuando un equipo necesita filtrar nuevas versiones de modelos rápidamente sin renunciar a demasiada cobertura. Piensa en esto como una guía de filtrado de lanzamientos, no como una lista de herramientas de propósito general.

La mayor división se reduce a la puntuación numérica rápida frente al juicio semántico más lento.

Las métricas numéricas son rápidas y reproducibles, lo que las hace una buena opción para las verificaciones de CI. Pero la velocidad tiene una trampa: estas métricas pueden pasar por alto errores de composición. Un modelo puede verse bien sobre el papel y aun así fallar de formas que importan una vez que las salidas se vuelven más abiertas.

Los frameworks que se apoyan en LLM como juez hacen un mejor trabajo con el juicio semántico abierto ^[1][3]. Eso los hace más útiles cuando necesitas inspeccionar matices, no solo contar respuestas correctas. La desventaja es bastante evidente: añaden coste y todavía pueden introducir error de evaluación en el proceso.

Para los equipos que necesitan tanto velocidad como una revisión más profunda, una configuración dividida suele tener más sentido:

• Usa métricas numéricas para las verificaciones de CI
• Usa puntuación semántica antes de los lanzamientos importantes

De esa forma, obtienes señales rápidas de pasa/no pasa al principio y luego una lectura más detallada antes de que salga la versión.

Conclusión

Puestos lado a lado, estos frameworks dejan una cosa clara: las pruebas multimodales se dividen en cuatro grandes categorías: casos de uso general, de seguridad, urbano y clínico.

FlagEvalMM y MAEV son las opciones más fuertes para la evaluación multimodal amplia. AILuminate Multimodal está construido para las pruebas de seguridad. CityBench es la opción adecuada para el razonamiento urbano. Y los frameworks clínicos se centran en la validación clínica.

El compromiso se mantiene igual en todos ellos: la cobertura amplia es más fácil de escalar, pero los benchmarks especializados son mejores para detectar fallos de mayor riesgo.

Una configuración práctica es simple:

• Usa un benchmark amplio para el seguimiento de regresiones
• Usa un benchmark específico de dominio para el filtrado de lanzamientos

La mejor configuración se reduce a hacer coincidir el benchmark con el modo de fallo que necesitas detectar.

Preguntas frecuentes

¿Cómo elijo entre un benchmark general y uno específico de dominio?

No elijas uno e ignores el otro: usa ambos.

Empieza con benchmarks generales para acotar el campo y establecer una línea base. Son un buen primer paso.

Luego construye un conjunto de evaluación personalizado usando tus propios datos. Para flujos de trabajo especializados, ese conjunto de pruebas —sobre todo cuando incluye casos límite y modos de fallo— te da una lectura mucho mejor de cómo rendirá un modelo en producción que las puntuaciones de benchmark por sí solas.

¿Cuándo debería usar puntuación numérica en lugar de revisión basada en juez?

Usa la puntuación numérica cuando necesites un sistema rápido y repetible en un pipeline automatizado. Encaja bien con el filtrado de CI/CD porque puedes tomar decisiones de pasa/no pasa sin detenerte para una revisión humana. Este enfoque funciona mejor para la alineación semántica y los benchmarks estándar, donde la precisión puede medirse de forma clara y objetiva.

Usa la revisión basada en juez para el trabajo que depende del matiz. Eso incluye cosas como la estética, el tono o las decisiones específicas de dominio en medicina, derecho y finanzas, donde el juicio experto sigue importando.

¿Qué framework es mejor para probar modelos multimodales con capacidad de audio?

Depende de lo que estés probando.

AU-Harness es la mejor opción para la evaluación de audio a texto en modelos de lenguaje de audio grandes. lmms-eval es la opción más amplia. Admite tareas de audio, texto, imagen y video, por lo que resulta práctico cuando tus pruebas van más allá del audio por sí solo.

Para el razonamiento audiovisual, AVI-Bench y MAVERIX están construidos para comprobar cómo de bien combinan los modelos el sonido y la entrada visual. Si quieres una capa que integre estos modelos en tu configuración de pruebas, APIMart puede ayudar a unificar el acceso a lo largo del pipeline.