Альтман против вашего ПК: локальный ИИ назвал ужасной тратой памяти

Глава OpenAI Сэм Альтман пришёл в подкаст Cheeky Pint к сооснователю Stripe Джону Коллисону, выпуск вышел 29 октября. Разговор был длинный, про агентов, математику и дата-центры, но в сеть улетел один кусок, минуты на полторы.

В нём Альтман объясняет, почему локальные нейросети, по его мнению, плохая идея для мира в целом. Многие думают, что раз есть открытые модели, их можно запускать у себя на компьютере и огромные дата-центры больше не нужны. А он считает иначе: память DRAM сейчас в дефиците, и держать её кусочки в каждом домашнем ПК, где она занята примерно 5% времени, «довольно ужасно». В облаке та же память работает почти без простоя, поэтому, по его словам, при нехватке железа её место там.

Фраза «ужасное распределение дефицитных ресурсов», с которой клип разошёлся, это подпись автора ролика. Сам Альтман сказал «quite terrible», мысль та же, формулировка мягче. Прозвучало это, когда речь шла о том, почему производители памяти не спешат строить новые заводы.

Сообщество локальных моделей ответило быстро. Главные возражения: дефицит памяти создали как раз покупатели ИИ-ускорителей, под которые заводы переводят мощности, а простаивающее железо стоит денег только его владельцу. Плюс своя модель на своём компьютере не подорожает за ночь, не упрётся в лимиты и не подменится другой версией.

По сути продавец облака объяснил, почему покупать своё хуже, чем арендовать у него. Логика у него есть, просто удобная.