Nvidia убила платные расшифровки: новый ИИ слушает 40 языков бесплатно
Открытая модель Nemotron 3.5 Transcribe расшифровывает часовые записи, переводит и различает до восьми собеседников. Веса уже лежат на Hugging Face.
Nvidia выложила Nemotron 3.5 Transcribe, открытую модель для расшифровки записей. Веса бесплатно лежат на Hugging Face и ModelScope, там же есть демо, где можно загрузить свой файл и посмотреть, что получится.
Модель понимает речь на 40 языках, переводит с английского и на английский для 31 из них и умеет отличать до восьми собеседников, то есть в расшифровке видно, кто что сказал. Запись может длиться до часа. Задачу ставят обычным текстом: можно заранее подсказать названия продуктов, фамилии и профессиональные термины, попросить дословный текст или причёсанный, задать вопрос по содержанию записи.
По данным Nvidia, среди открытых моделей Transcribe первая в английском рейтинге Open ASR Leaderboard на Hugging Face, а в разметке спикеров показывает самую низкую ошибку на рейтинге David AI по 21 языку. Внутри 30 млрд параметров, из которых в работе одновременно около 4 млрд. Запускать можно через vLLM, сжатые версии для домашнего железа вроде DGX Spark и Jetson AGX Thor компания обещает позже.
Есть ограничение: модель работает только с готовыми записями, живой поток она не расшифровывает. Вместе с ней Nvidia обновила открытый набор речевых данных Granary до второй версии и выложила рецепты дообучения под свою отрасль, например медицину.
Сервисы расшифровки созвонов продают ровно это за подписку. Теперь у них есть бесплатный конкурент, которого можно поставить у себя.