Крошечный ИИ сам выдумывает Doom и Pac-Man на дешёвой плате Raspberry Pi

Разработчик под ником SheepSeb выложил проект tinyworldformer, и вчера вечером он залетел в топ Hacker News. Суть безумная: на Raspberry Pi Pico 2 W, микроконтроллерной плате с 520 КБ оперативки, работают две крошечные нейросети. Одна сама рисует игру кадр за кадром, вторая в неё играет. Настоящего кода игры на плате нет вообще.

Первая сеть это модель мира. Она смотрит на текущий кадр и нажатую кнопку и предсказывает следующий кадр и очки. В ней от 26 до 131 тысячи параметров в восьмибитном формате, по меркам современного ИИ это пылинка. Чтобы влезть в память, автор взял зацикленный трансформер: один и тот же блок прогоняется несколько раз с общими весами. Вторая сеть ещё мельче, 9-16 тысяч параметров, и решает, куда двигаться.

Игр пять: Breakout, Pong, Flappy Bird, упрощённый Pac-Man и мини-Doom с видом от первого лица. Точность приличная: во Flappy Bird модель угадывает 100% кадров, в Breakout 99,99%, в Doom 83,6%. Агента можно обучать прямо на плате, а если нажать любую кнопку, управление переходит к человеку, и вы играете в игру, которую нейросеть придумывает на ходу.

Есть и смешной побочный эффект. «Сон» нейросети не идеален, и агент научился пользоваться её ошибками: в выдуманном Breakout он набрал 210 очков при реальном максимуме 56, а в настоящей игре выбил всего 28. Автор лечит это дообучением на дополнительных данных. Модели мира он тренировал на обычной RTX 4060, а частоту кадров на самой плате пока честно не измерял.

Пощупать можно прямо сейчас: на странице проекта все пять игр запускаются в браузере, код открыт на GitHub.

Пока гиганты строят виртуальные миры в дата-центрах, тут Doom снится плате размером с флешку.