Google научила ИИ строить живые миры со звуком прямо на ходу

Google DeepMind 27 октября показала Genie 4, новую версию своей модели мира. Так называют нейросеть, которая на ходу рисует виртуальное окружение и сама решает, как оно отреагирует на ваши действия. По такому миру ходят с клавиатуры, как в игре, а сценой управляют обычным текстом: попросить дождь, сдвинуть камеру, добавить человека или машину.

Главная новинка в звуке. Это первая модель мира у DeepMind, которая сама генерирует звук вместе с картинкой: ветер, прибой, музыку и даже реплики персонажей. Причём персонажи отвечают на то, что делает пользователь, прямо в реальном времени.

Под капотом семейство Gemini. Gemini Omni отвечает за то, чтобы мир выглядел и вёл себя правдоподобно, а Gemini 3.8 Flash следит за сценой между запросами, разбивает сложную задачу на шаги и не даёт миру развалиться. Физику тоже подтянули: столкновения, аэродинамика и движения людей выглядят заметно живее, чем в Genie 3. Одну сцену модель держит до двух минут, вдвое дольше прошлой версии.

В DeepMind честно признают слабые места. Чем дольше идёт симуляция и чем больше правок, тем сильнее плывут детали и предметы, а звук и текст внутри мира пока получаются не всегда точными.

Сейчас Genie 4 доступна только избранным тестировщикам из кино, журналистики, образования, геймдева и инженерии. Дальше её обещают подписчикам Google AI Ultra в Project Genie (это от 100 долларов в месяц) и партнёрам в Gemini API и Google AI Studio. Точных сроков и цен для разработчиков нет, есть лист ожидания.

Игровой движок за две минуты из текста пока звучит как демо. Но для черновых дублей и прототипов это уже рабочий инструмент, если пустят.