Введение
10 февраля 2026 команда Seed ByteDance официально выпустила Seedance 2.0. В отличие от предыдущих поколений и конкурентов, это не схема «генерация видео + постобработка аудио», а унифицированная мультимодальная архитектура совместной генерации AV, спроектированная с нуля.
Основная архитектура: Unified Multimodal AV Generation
Традиционные пайплайны AI-видео обычно делятся на:
- Текст/изображение → генерация кадров видео
- Кадры → аудио (или внешний TTS/музыка)
- Пост-выравнивание и композитинг
Seedance 2.0 объединяет все три шага в одной end-to-end модели, обеспечивая нативную синхронизированную генерацию аудио и видео.
Мультимодальный энкодер
Модель использует единый энкодер, который отображает текст, изображение, видео и аудио в одно семантическое пространство:
- Текст: кодирование инструкций на естественном языке
- Изображение: извлечение визуальных признаков (до 9 изображений)
- Видео: временные визуальные + операторские признаки (до 3 клипов)
- Аудио: спектральные + ритмические + семантические признаки (до 3 дорожек)
Совместный декодер
На этапе декодирования одновременно генерируются кадры видео и аудиоволны с общими промежуточными представлениями, обеспечивая:
- Точную синхронизацию губ с речью (8+ языков)
- Синхронизацию действий и звуков (шаги, удары)
- Смену планов, согласованную с ритмом музыки
Ключевые прорывы
1. Долгая временная согласованность
В 15-секундных multishot-выходах внешний вид персонажей, элементы сцены и стиль освещения остаются высоко согласованными — благодаря улучшенному temporal attention и cross-shot consistency loss.
2. Следование инструкциям уровня режиссёра
Модель гораздо лучше понимает сложные инструкции, поддерживая:
- Описания в стиле сценария multishot
- Точную операторскую терминологию (push, pull, pan, tilt, track, crane)
- Оркестрацию событий на временной шкале
3. Физический реализм
В сценах с несколькими людьми, жидкостями, тканями и подобными Seedance 2.0 приближается к физике реального мира.
Результаты бенчмарков
В Artificial Analysis Video Arena:
- Elo: 1269 (№ 1 в мире)
- Опережает: Google Veo 3, OpenAI Sora 2, Runway Gen-4.5
- Сильные стороны: AV-синхронизация, следование инструкциям, долгая временная согласованность
Перспективы
Seedance 2.0 знаменует переход от «генерации клипов» к «генерации полноценных AV-произведений». Будущие итерации могут принести большую длительность, более высокое разрешение и более сильные возможности редактирования.