Vercel отдала ИИ-агентам ваш компьютер целиком, и бесплатно

Все ИИ-агенты, которые умеют «пользоваться компьютером», до сих пор делали это довольно глупо: делали скриншот, гадали по пикселям, где кнопка, кликали и делали новый скриншот. Медленно, дорого по токенам и с промахами. В ночь на субботу Vercel Labs выложила бесплатный инструмент, который предлагает агентам смотреть на экран совсем иначе.

Он называется agent-desktop и работает на macOS, Windows и Linux. Вместо картинки агент читает дерево специальных возможностей системы, то самое, которым пользуются экранные чтецы для незрячих. Программа отдаёт агенту аккуратный JSON со всеми кнопками, полями и пунктами меню, у каждого элемента своя метка. Агент нажимает по метке, снова снимает дерево и проверяет, что всё сработало. Угадывания по пикселям нет вообще.

Есть и пара приятных хитростей. В тяжёлых приложениях вроде Slack агент сначала смотрит грубую схему окна, а потом залезает только в нужный кусок, поэтому токенов уходит заметно меньше. По умолчанию всё работает в фоне: курсор не дёргается, фокус не перехватывается, можно спокойно сидеть за тем же компьютером. А в режиме нескольких агентов каждый получает свой курсор с подписью, и видно, кто что делает.

Ставится одной командой npm i -g agent-desktop, для Claude Code, Codex и Cursor есть готовый скилл. В наборе около шестидесяти команд: клики, ввод текста, окна, буфер обмена, уведомления, скриншоты. Для браузера у той же команды уже есть agent-browser, вместе они закрывают и сайты, и обычные программы. Код открыт под лицензией Apache 2.0, на GitHub у проекта уже больше трёх тысяч звёзд. На macOS придётся выдать доступ к универсальному доступу, а сами авторы честно называют это экспериментом лаборатории.

Вердикт: агентам наконец дали руки, а не лупу. Тестировать лучше на чём-нибудь, что не жалко.