ИИ вселился в гараж: дом-пират рычит на детей и требует «пожалуйста»

На Хэллоуин у одного дома дверь гаража превратилась в злобного старого пирата. Деревянные доски расходятся в зубастую пасть, за ней полыхает огонь, а сам дом ворчит на детей, которые пришли за конфетами, и гонит их к соседям.

Собрал это инженер NVIDIA для своих гостей и подробно расписал проект в блоге компании на Hugging Face. По легенде дом построен из досок затонувшего пиратского корабля и до сих пор этим недоволен. Сломать его упрямство можно одним словом: стоит сказать «пожалуйста», и он смягчается, а за «спасибо» прощается почти по-доброму. Уговорить дом дважды не придётся, он запоминает, кто уже был вежлив.

Внутри целая цепочка открытых моделей NVIDIA. Nemotron ASR слушает детей, маленькая языковая модель Nemotron 3.5 Bolt E4B в 4-битной версии придумывает ответы, Magpie TTS Zeroshot озвучивает их голосом пирата по короткому образцу, а Audio2Face-3D двигает рот в Unreal Engine 5. Ещё одна модель, Nemotron 3 Nano Omni, смотрит в камеру и узнаёт костюмы, чтобы дом мог прицепиться к ведьме или вампиру лично. У дома семь настроений, от ворчливого до восторженного.

Характер ему дали через LoRA, дообучение на 5 с лишним тысячах диалогов, которые сгенерировал и оценил другой ИИ-агент, пока автор спал или работал. Всё крутится без интернета на одной рабочей станции с двумя видеокартами RTX PRO. От конца фразы ребёнка до ответа проходит в среднем 1,7 секунды, а заготовленные шутки звучат за 0,72.

Сам код MonsterHouse автор не выложил, но все модели из проекта доступны уже сейчас, а основа, открытый шаблон Nemotron Voice Agent, лежит на GitHub. В блоге есть пошаговый рецепт, как собрать своего говорящего персонажа: голосовой конвейер, мозг, личность, голос, лицо и, по желанию, глаза.

Итог: самый вредный дом на районе сделан из бесплатных моделей, и повторить его можно к следующему Хэллоуину.