Что такое Vidu MoE? Видеомодель Mixture-of-Experts

Если коротко, в одну строку: Vidu MoE — это API для коротких видео для команд, которым нужны клипы длиной 1–16 секунд, до 1080p, 24 fps, асинхронная доставка и опциональный звук в одном запросе. Попробовать Vidu Q3 API можно прямо на APIMart.

Если вы оцениваете пригодность для продакшена, вот короткий ответ: он работает лучше всего, когда вы можете обрабатывать асинхронные задачи, закладывать бюджет на повторы и выбирать подходящий уровень модели для каждого этапа. Я бы использовал viduq3-turbo для превью и viduq3-pro для финального результата. Большинство задач завершается примерно за 60–120 секунд на 720p и 90–180 секунд на 1080p, с пиковым временем ожидания около 4 минут.

Вот что важнее всего:

• Режимы ввода: text-to-video, анимация одного изображения, альтернативы Grok Imagine Video, видео по двум кадрам start/end и ввод с несколькими референсными изображениями
• Ограничения по длине клипа: от 1 до 16 секунд
• Вывод: до 1080p при 24 fps
• Звук: можно включить в том же запросе
• Референсы изображений: до 7 изображений в расширенном наборе возможностей модели
• Главное правило API: если вы отправляете URL изображений, не отправляйте aspect_ratio
• Доставка: асинхронная, с task_id и опросом статуса
• Пример цены: Pro стоит примерно $0.60 за 5 секунд и $1.44 за 12 секунд
• Реальность бюджета: планируйте 2–3 попытки на каждый утверждённый клип

Несколько деталей выделяются. API использует простой JSON-запрос с model, prompt и опциональными медиа-вводами. Выбор модели прост: turbo для более дешёвого тестирования, pro для рендеров более высокого уровня. Контроль seed помогает удерживать вывод в схожем направлении между повторами, хотя и не как точные совпадения.

Если бы я оценивал это для продуктовой команды, я бы сосредоточился на трёх вопросах:

1. Может ли моё приложение чисто обрабатывать асинхронную обработку?
2. Нужна ли мне генерация только по промпту, управление через изображение или контроль начального/конечного кадра?
3. Работает ли мой бюджет после повторов, а не только при стоимости первого прохода?

Главное

• Vidu MoE в API соответствует viduq3-mix — модели Q3 для генерации по референсам, которая превращает 1–7 референсных изображений и промпт в ролики длиной 1–16 секунд в 720p или 1080p при 24 fps.
• В APIMart text-to-video, image-to-video и видео по начальному и конечному кадрам работают на viduq3-pro и viduq3-turbo, а viduq3 и viduq3-mix отвечают за reference-to-video по 1–7 изображениям; вывод — от 540p до 1080p (у viduq3-mix — 720p и 1080p), с опциональным нативным звуком.
• Запросы асинхронно отправляются на https://api.apimart.ai/v1/videos/generations и возвращают task_id для опроса статуса; передача aspect_ratio вместе с image_urls приводит к ошибке 400.
• В Pro 5-секундный ролик стоит около 0,60 $, а 12-секундный — около 1,44 $; viduq3-turbo стоит примерно вдвое дешевле Pro и подходит для итераций.
• Обычно задачи выполняются за 60–120 секунд в 720p и за 90–180 секунд в 1080p, в пиковые часы ожидание достигает около 4 минут, а в бюджет стоит закладывать 2–3 попытки на одобренный ролик.

Быстрое сравнение

Итак, прежде чем читать полный гид, вывод прост: Vidu MoE хорошо подходит для короткой видео-генерации на основе API, когда вам нужны несколько режимов ввода, встроенный звук и контроль стоимости за счёт переключения между turbo и pro. Остальное сводится к настройке запроса, обработке статуса и выбору метода ввода, который соответствует вашему рабочему процессу.

Обзор Vidu MoE и основные возможности

На уровне API Vidu MoE сводится к небольшому набору имён моделей, рабочих процессов и полей вывода.

Vidu MoE появляется в API как viduq3-mix, сбалансированная модель Q3. viduq3-turbo склоняется к скорости, тогда как viduq3-pro склоняется к большей детализации.

Что означает Mixture-of-Experts в генерации видео

Mixture-of-experts направляет разные части процесса генерации в специализированные компоненты. На практике это помогает с движением, композицией сцены и следованием промпту.

Серия Q3 также поддерживает интеллектуальное переключение сцен и интеллектуальное переключение камеры ^[2][4]. Это важнее всего в многокадровых последовательностях, где непрерывность может быстро разрушиться, если модель теряет след сцены.

Поддерживаемые рабочие процессы: Text-to-Video, Image-to-Video и генерация на основе референсов

Дальше основное различие сводится к типу ввода, который вы отправляете.

В APIMart четыре рабочих процесса Q3 распределены между разными моделями:

• Text-to-Video только из промпта — через Vidu Q3 Pro API или Vidu Q3 Turbo API
• Image-to-Video из одного начального изображения — через viduq3-pro или viduq3-turbo
• Reference-to-Video из 1–7 изображений для согласованности внешнего вида и стиля — через viduq3 или viduq3-mix
• Start-End to Video из двух кадров, определяющих переход, — через viduq3-pro или viduq3-turbo

Промпты для генерации по референсам в viduq3 и viduq3-mix допускают до 5 000 символов (документация), а текстовые промпты в viduq3-pro и viduq3-turbo — не более 2 000 (документация). viduq3-mix не поддерживает библиотеку сущностей Subjects.

Входы и выходы с одного взгляда

Каждая отправка возвращает data[0].task_id. Запрашивайте GET /v1/tasks/{task_id}, чтобы узнать status; когда он станет completed, URL видео будет в data.result.videos[0].url[0].

Видео Q3 работают на 24 fps, поддерживают длительность от 1 до 16 секунд и предлагают вывод в 540p, 720p или 1080p ^[2]. Входные изображения ограничены 50 МБ на файл ^[4][1].

Эти варианты рабочих процессов формируют payload, который вы отправляете дальше, и следующий раздел разбирает его на аутентификацию и формат запроса.

Аутентификация, структура запроса и настройка APIMart

Чтобы генерировать видео Vidu MoE, нужно отправить аутентифицированный JSON-запрос. Тело запроса зависит от режима ввода: только текст, одно изображение или несколько изображений.

Получение учётных данных API и установка заголовков запроса

Сгенерируйте ваш API-ключ на странице управления API-ключами APIMart ^[6]. Сохраните его как APIMART_API_KEY, затем загружайте его во время выполнения с помощью os.environ.get("APIMART_API_KEY") в Python или process.env.APIMART_API_KEY в Node.js.

Включайте эти заголовки в каждый запрос:

• Authorization: Bearer YOUR_API_KEY
• Content-Type: application/json

Минимальный payload запроса для задачи генерации видео

Стандартный эндпоинт APIMart для генераций Vidu Q3 (MoE) — https://api.apimart.ai/v1/videos/generations ^[6]. API определяет режим по image_urls:

• 0 URL = text-to-video
• 1 URL = image-to-video
• 2 URL = первый-последний кадр

Вот основные поля и когда их использовать ^[6]:

Одна частая ошибка здесь: не отправляйте aspect_ratio вместе с image_urls. Когда вы включаете изображения, API берёт соотношение сторон из исходного изображения. Если вы всё равно отправите aspect_ratio, запрос вернёт ошибку 400.

Когда payload готов, вы можете отправить задачу и начать опрос результата.

Пример вызова API и шаблон ответа

Пример запроса text-to-video:

curl -X POST https://api.apimart.ai/v1/videos/generations \
  -H "Authorization: Bearer $APIMART_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "viduq3-turbo",
    "prompt": "A product shot of a glass perfume bottle on a marble surface, camera slowly zooms in, soft studio lighting",
    "duration": 5,
    "resolution": "720p",
    "aspect_ratio": "16:9",
    "audio": false
  }'

Успешная отправка возвращает task_id и статус submitted ^[6]:

{
  "code": 200,
  "data": [{
    "status": "submitted",
    "task_id": "task_xxxxxxxxxx"
  }]
}

API работает асинхронно. Это значит, что первый ответ лишь сообщает вам, что задача принята. Используйте task_id, чтобы опрашивать эндпоинт «Get Task Status». Когда задача завершается, ответ включает ссылку(и) на MP4, а APIMart хранит результаты 72 часа ^[6].

Простой ритм опроса работает хорошо:

• Опрашивайте каждые 5 секунд в первые 5 минут
• После этого опрашивайте раз в минуту
• Продолжайте опрос, пока статус не станет completed

В этот момент скачайте и сохраните возвращённую ссылку(и) на видео.

Далее настройте длительность, разрешение, соотношение сторон и референсные вводы, чтобы контролировать финальное видео. Для проектов, требующих разных кинематографических стилей, вы также можете сравнить возможности Kling V3 для высококлассной видео-генерации.

Рабочий процесс генерации, параметры и контроль вывода

Сквозной процесс: отправка, мониторинг, получение и сохранение результатов

После отправки задачи опрашивайте её статус. APIMart не отправляет вебхуки для задач Vidu, поэтому прогресс отслеживается через GET /v1/tasks/{task_id} ^[6].

Затем задача проходит по фиксированному пути статусов: pending → processing → completed или failed ^[6]. Если задача попадает в failed, ответ включает сообщение об ошибке. Логируйте его и обрабатывайте в своём рабочем процессе, чтобы команда быстрее замечала закономерности и исправляла проблемы.

Когда статус достигает completed, сразу скачивайте результат и сохраняйте его в надёжное хранилище. Этот шаг важен, потому что APIMart хранит результаты только 72 часа ^[6].

Ключевые параметры, влияющие на композицию, движение, длительность и согласованность

Когда задача запущена, несколько параметров формируют то, как выглядит результат, насколько он стабилен от прогона к прогону и сколько вы тратите.

Один параметр стоит отслеживать с самого начала: seed. Если вы получили паттерн движения, который вам нравится, запишите это целое число и сохраните его. Тогда, корректируя промпт позже, вы можете переиспользовать тот же seed, чтобы удержать похожую общую композицию вместо того, чтобы начинать с нуля.

Когда использовать только промпты, референсы изображений или и то, и другое

Эти режимы ввода позволяют менять скорость на контроль. Выбирайте тот, который соответствует тому, насколько зафиксировано ваше визуальное направление.

• Только промпт (text-to-video): Лучше всего для ранней проработки идей, тестов стиля и экспериментов со сценами до того, как визуальные ассеты финализированы. Используйте viduq3-turbo на 540p или 720p, чтобы снизить стоимость итераций, или сравните с WAN 2.6 как альтернативой с высокой согласованностью ^[7].
• Одно изображение (image-to-video): Лучше всего, когда вы хотите анимировать что-то конкретное, например фото продукта, иллюстрацию персонажа или брендовый визуал. Это сильно подходит для e-commerce и маркетинга.
• Два изображения (первый-последний кадр): Лучше всего, когда переход должен прийти к заданному результату, например продукт поворачивается на определённый угол или персонаж переходит в заданную позу ^[5].

Если ручное промптирование даёт неравномерные результаты, перепишите промпт с более чёткими указаниями на объект, камеру и движение. Улучшение промпта is_rec есть только на собственной платформе Vidu, в APIMart его нет.

Производительность, цены и реальные сценарии интеграции

Как оценивать задержку, надёжность и стоимость за видео

После того как вы зафиксировали формат запроса, следующее, на что стоит посмотреть, — скорость, цена и доля успешных задач. Это асинхронный рабочий процесс, поэтому ваше приложение должно отправить задачу, сохранить task_id и получить финальный MP4 позже с помощью опроса ^[3][6].

Задачи обычно проходят по простому пути: в очереди, завершено или провалено. Когда задача проваливается, кредиты часто возвращаются автоматически ^[3][10]. Это важно в продакшене, потому что повторы — часть процесса, а не какой-то крайний случай.

Что касается времени обработки, генерации 720p обычно завершаются за 60–120 секунд. Для 1080p ожидайте скорее 90–180 секунд. Время в очереди часто составляет 15–30 секунд в непиковые часы, тогда как пиковая задержка p95 может растягиваться примерно до 4 минут ^[7]. Так что да, это может хорошо работать в продакшене — но только если ваша система построена так, чтобы чисто обрабатывать асинхронное завершение.

По ценам, ставка Pro ставит 5-секундный клип на $0.60 и 12-секундный клип на $1.44 ^[10]. На практике большинству команд стоит закладывать бюджет на 2–3 попытки на каждый утверждённый ассет. Это ставит финальную стоимость пригодного клипа в диапазон $1.20–$4.32 в зависимости от длины ^[10]. Если вы в режиме тестирования, viduq3-turbo стоит примерно вдвое дешевле Pro и больше подходит для быстрых итераций. Pro лучше приберечь для финальных рендеров ^[10].

Эти числа покрывают только базовую генерацию. Они не включают повторы. Если ваша команда ожидает несколько проходов — а большинство ожидает — умножьте итоги на 2–3 для бюджета, который ближе к повседневному продакшену.

Сценарии использования: маркетинговые видео, обучающие клипы и e-commerce визуалы продуктов

Когда стоимость и время ожидания ясны, следующий шаг — выбор правильного режима ввода для ассета, который вам нужно выпустить. Лучший выбор в основном сводится к одному: сколько визуального контроля у вас уже есть.

Простой способ об этом думать:

• Если важна согласованность бренда, используйте Reference-to-Video
• Если исходное изображение уже выглядит хорошо, используйте Image-to-Video
• Если вам нужно движение между двумя состояниями, используйте First-Last Frame
• Если вы хотите много вариантов рекламы быстро, используйте Text-to-Video или рассмотрите MiniMax Hailuo 2.3 для профессиональных выводов с высокой согласованностью.

Для команд, которые пытаются сократить время монтажа, нативный звук меняет рабочий процесс больше всего. Нативный звук убирает отдельную работу по подбору и монтажу ^[8], что может устранить дополнительные шаги пост-продакшена для команд, желающих получить готовый клип из одного прохода генерации. Именно здесь модель становится наиболее полезной: когда цель — приблизиться к готовому к выпуску ассету без прогона файла через долгую цепочку передач.

Заключение: как решить, подходит ли Vidu MoE вашему продакшен-процессу

Vidu MoE имеет смысл, когда вам нужны короткие клипы до 12–16 секунд, несколько режимов ввода и нативный звук в асинхронной API-схеме. Параметр seed может помочь удержать повторяемые задачи движущимися примерно в одном направлении, но вам не стоит ожидать, что одинаковые входы дадут побитно совпадающие выводы ^[6][10]. Проваленные задачи также обычно вызывают автоматический возврат кредитов ^[3][10].

Это подходит командам, которые производят короткие видео в масштабе, могут подождать несколько минут результата и имеют место в бюджете для повторов. Если это похоже на ваш рабочий процесс, APIMart даёт вам аккуратный способ прогонять маркетинговые креативы, визуалы продуктов и объясняющий контент через один API-интерфейс.

Частые вопросы

Какую модель Vidu MoE использовать первой?

Для большинства разработчиков viduq3-turbo — лучшее место для старта. Она даёт вам самые быстрые скорости генерации, сильное соотношение цена-производительность и продвинутые возможности вроде аудиовизуальной синхронизации и интеллектуального переключения сцен.

Выбирайте viduq3-pro, если хотите самый полный набор возможностей. Он включает генерацию раскадровки и аудиовизуальное выравнивание высшего качества. Обе модели поддерживают видео от 1 до 16 секунд и разрешения до 1080p.

Как мне обрабатывать проваленные или задержанные видео-задачи?

Используйте task ID в своём асинхронном рабочем процессе.

Для задач, которые занимают больше времени, опрашивайте API статуса с постоянным интервалом: APIMart не отправляет вебхуки для задач Vidu.

Если задача проваливается, проверьте ответ статуса на детали ошибки.

Для стабильности в продакшене используйте экспоненциальную выдержку (backoff) при опросе, чтобы не натолкнуться на лимиты запросов.

APIMart хранит результаты 72 часа, поэтому скачивайте каждое видео вскоре после завершения.

Какой режим ввода даёт больше всего контроля?

В APIMart больше всего контроля дают начальный и конечный кадры в viduq3-pro или viduq3-turbo (два изображения в image_urls) или референсные изображения в viduq3 или viduq3-mix (1–7 изображений плюс обязательный промпт).

Начальный и конечный кадры задают, где движение начинается и заканчивается, а референсные изображения сохраняют персонажей, продукты и стиль одинаковыми от кадра к кадру.

На собственной платформе Vidu есть ещё режим multi-frame с до 9 ключевыми кадрами через массив image_settings, но этот эндпоинт через APIMart недоступен.