Pika бесплатно отдала видеонейросеть, которая рисует быстрее реального времени

Pika выложила в открытый доступ свою новую видеомодель H3 Flex. Вышла она вечером 29 октября, и это редкий случай, когда серьёзный генератор видео со звуком можно не только попробовать через сервис, но и скачать себе целиком.

Внутри китайская MiniMax H3, которую в Pika дообучили на скорость: ролику теперь нужно шесть шагов генерации вместо пятидесяти. По замеру компании, 15-секундный клип с синхронным звуком в 768p модель считает примерно за семь секунд. Оговорка честная: это только время работы самой нейросети, без очереди, загрузки референсов и апскейла, так что в реальности ждать придётся дольше.

Главная фишка в референсах. В одну генерацию можно скормить до 12 файлов сразу: картинки, видео и звук. Персонаж берётся с одного изображения, мир с другого, движение с ролика, где кто-то танцует, и всё это собирается в одну сцену. Можно взять готовое видео и попросить поменять одежду, предмет или фон, сохранив актёрскую игру и тайминг. Через API звук отдаётся пятью отдельными дорожками: голоса, музыка, эффекты, шумы движения и фон, то есть музыку можно приглушить, не трогая диалог.

Нативно модель выдаёт 480p и 768p, дальше ролик можно растянуть до 1080p, 2K или 4K, но апскейл, разделение звука на дорожки и быстрый сервер остаются только у Pika. Открытыми стали адаптеры и код запуска на Hugging Face и GitHub. На старте Flex заняла первое место среди открытых моделей и седьмое в общем зачёте рейтинга DesignArena по генерации видео из текста.

Скачать и запустить дома получится не у всех: базовые файлы весят около 211 ГБ, нужна видеокарта NVIDIA, а проверяли всё на H100 с 80 ГБ памяти. Остальным проще зайти через Pika API Club, а 2 ноября модель появится и в обычном приложении Pika.

Вердикт: видео со звуком из дюжины референсов, бесплатно и с открытыми весами. Для домашнего ПК тяжеловато, для студий и разработчиков подарок.