Интернет отключат, а этот бесплатный ИИ всё равно ответит

Если завтра пропадёт интернет, большинство чат-ботов превратятся в бесполезную иконку. Survival LLM устроен наоборот: это бесплатное приложение с открытым кодом, которое ставит на компьютер локальную ИИ-модель и большую справочную библиотеку, а дальше работает вообще без сети.

В библиотеке около 1,5 млн статей: примерно 930 тысяч самых читаемых страниц Википедии, медицинские справочники WikiMed и MedlinePlus, памятки FEMA и CDC (американские службы по чрезвычайным ситуациям и по контролю заболеваний), армейские пособия по выживанию и первой помощи, wikiHow, ремонтные гайды iFixit. Есть облегчённая версия на 500 тысяч статей, без Википедии и iFixit. Спрашиваете, сколько продержится еда в холодильнике без света или как обработать ожог, и модель ищет ответ в этой базе и показывает, из какой статьи и какого абзаца его взяла.

Можно подкинуть свои файлы: инструкцию к генератору, список лекарств, семейный план на случай ЧП в PDF, Word или EPUB. Всё хранится на компьютере, вопросы никуда не уходят.

Модель подбирается под память. На Mac со 128 ГБ это NVIDIA Nemotron, в тесте авторов на 22 вопроса про блэкаут и первую помощь она ответила верно на 21. На обычном компьютере с 16 ГБ ставится IBM Granite на 8 млрд параметров, и там уже 14 из 22, поэтому источник под каждым ответом не украшение, а необходимость. Работает на Mac с чипами M1 и новее и на 64-битной Windows 10 и 11. Полная библиотека весит около 9 ГБ, ставить её нужно заранее, пока сеть есть. Накануне проект попал на главную Hacker News.

Странное чувство: самый полезный ИИ недели нужен на тот день, когда всё остальное сломается.