Nemotron 3.5 Bolt: NVIDIA выпустила открытую модель для голосовых агентов и NPC в 4 ГБ видеопамяти

NVIDIA выпустила Nemotron 3.5 Bolt — открытую маленькую модель для голосовых ассистентов, игровых персонажей и роботов, которая укладывается примерно в 4 ГБ видеопамяти. Релиз вышел 23 октября: это дообученная Gemma 4 E4B с 8 млрд параметров, из которых эффективно работают 4 млрд. Разбираем, что она умеет, где уступает конкурентам и на каком железе её реально запустить.

Что за модель

В полном названии есть ещё приписка E4B 4GB. NVIDIA взяла Google Gemma 4 E4B и дообучила её под одну задачу: быстрых агентов, которые разговаривают с человеком и параллельно совершают действия. Базовая Gemma, по данным NVIDIA, предобучена более чем на 140 языках, а дообученная версия официально поддерживает 35 из них. Компания называет три сценария — ассистенты для ПК, телефона, дома и машины, интерактивные персонажи вроде NPC в играх и интерфейсы для роботов и промышленного оборудования.

Интересна методика. По данным MarkTechPost, NVIDIA полностью отказалась от классического дообучения на примерах: оно улучшало вызов инструментов, но портило разговорное качество и делало ответы многословнее. Вместо этого модель тренировали только обучением с подкреплением через NeMo-RL и NeMo-Gym. Каждый пример прогоняли и в режиме размышлений, и без него, а штрафы за длину не давали ответам разрастаться в ходе обучения.

Из функций:

• многоходовый вызов инструментов, включая асинхронные;
• разговорный режим для коротких ответов, удобных для озвучки;
• настраиваемые размышления с лимитом, чтобы не ломать задержку;
• контекст 64 тыс. токенов под историю, описания инструментов и состояние приложения.

Nemotron 3.5 Bolt против конкурентов

NVIDIA сравнила модель с Gemma 4 E4B, Qwen3.5-4B и своей прошлой Nemotron 3 Nano 4B на 21 тесте в собственном стенде. В режиме размышлений новинка лидирует в 15 из 21.

Где она сильна:

• IHEval, соблюдение иерархии инструкций: 84,8 против 67,0 у Gemma 4 E4B и 60,6 у Qwen3.5-4B.
• RoleMRC, умение держать роль: 80,6 против 74,6 у Gemma.
• When2Call-MT, понимание, когда звать инструмент, а когда переспросить: 63,4 против 37,8 у Qwen.

Где уступает — и это важно:

• Tau2-Bench, многоходовые задачи клиентского сервиса: 55,1 против 75,1 у Qwen3.5-4B, разрыв около 20 пунктов.
• RULER на 64 тыс. токенов: 87,0 против 95,1 у Qwen; LongBench v2: 50,5 против 59,9.
• BFCL-v3, точность вызова функций: 68,5 против 70,9 у Qwen.

Все цифры намерены самой NVIDIA. Отдельно MarkTechPost ссылается на пост Scale Labs, где модель первая среди маленьких на MultiChallenge с 56,03%.

«4 ГБ» в названии — это бюджет видеопамяти, а не размер файла: сама квантованная модель весит 6,18 ГБ.

На чём запустить

Квантованная версия Q4_K_M в тестах NVIDIA занимала от 3,1 до 4,3 ГБ видеопамяти. На RTX 5070 она выдавала 133,4 токена в секунду при первом токене через 548 мс. С отдельной черновой моделью DFlash для спекулятивного декодирования скорость на той же карте доходила до 272,6 токена в секунду — в 1,21 раза быстрее Gemma 4 E4B с её собственным ускорителем. На Jetson Orin Nano с 8 ГБ получилось 15,5 токена в секунду — медленно, но для робота с короткими репликами рабочий вариант.

Модель лежит на Hugging Face, в Ollama, LM Studio, Unsloth и Jetson AI Lab, есть бесплатный API на build.nvidia.com. Для игр её можно подключить через In-Game Inferencing SDK.

Что это значит для тебя

Nemotron 3.5 Bolt — не модель для написания кода или глубокой аналитики. Это движок для быстрых локальных агентов: голосового помощника на ПК, персонажа в игре, Telegram-бота с вызовом пары функций. Плюс локального запуска понятен — запросы не уходят в чужое облако, а работать можно без подписки.

Как подойти с умом:

• Если у тебя карта на 8–12 ГБ, модель влезет и оставит место под распознавание речи или зрение.
• Для долгих сценариев поддержки с десятком шагов Qwen3.5-4B по тестам NVIDIA пока надёжнее.
• Не давай локальному агенту доступ к кошельку и ключам: маленькие модели ошибаются в вызовах функций, а ошибка с транзакцией необратима.

Похожий подход к локальным агентам мы разбирали на примере LFM2.5-24B-A2B от Liquid AI, а модель для кода на ноутбуке — в обзоре Recursive Flint.

FAQ

Сколько памяти нужно для Nemotron 3.5 Bolt? В тестах NVIDIA квантованная версия занимала 3,1–4,3 ГБ видеопамяти, но файл весит 6,18 ГБ.

Модель бесплатная? Да, веса открыты под лицензией OpenMDW-1.1, а на build.nvidia.com есть бесплатный API.

Понимает ли она русский? NVIDIA заявляет поддержку 35 языков, но в анонсе русский отдельно не назван, так что проверяй качество на своих задачах.

Чем она лучше Gemma 4 E4B? По замерам NVIDIA — в следовании инструкциям, удержании роли и выборе момента для вызова инструмента. В эмоциональном интеллекте Gemma чуть впереди.

Итог: Nemotron 3.5 Bolt — практичный открытый движок для голосовых помощников, NPC и роботов на обычной видеокарте. Сильные стороны — дисциплина в инструкциях и короткие ответы, слабые — длинные многошаговые сценарии, где Qwen3.5-4B пока впереди.

Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.