Nvidia представила Nemotron 3 Super: открытая гибридная модель для агентного ИИ

Введение

Компания Nvidia представила Nemotron 3 Super — новую открытую языковую модель, предназначенную для решения сложных задач в мультиагентных системах. Модель выполнена по гибридной архитектуре Mamba-Transformer с использованием MoE и имеет 120 миллиардов общих параметров при 12 миллиардах активных. Главные особенности — контекстное окно в 1 миллион токенов, позволяющее агентам не терять цель при длительных взаимодействиях, и пятикратный прирост пропускной способности по сравнению с предыдущей флагманской версией Nemotron 3.

Подробнее о Nemotron 3 Super

Архитектура Nemotron 3 Super сочетает несколько инновационных решений. Latent MoE позволяет задействовать в четыре раза больше экспертов при тех же вычислительных затратах за счет сжатия токенов перед маршрутизацией в низкоразмерное латентное пространство. Это дает более тонкую специализацию экспертов, например, разделение обработки синтаксиса Python и логики SQL. Механизм многотокенового предсказания (MTP) обучает модель одновременно прогнозировать несколько будущих токенов, что улучшает долгосрочное планирование и обеспечивает встроенное спекулятивное декодирование, ускоряя генерацию длинных последовательностей втрое без отдельной вспомогательной модели.

Гибридная структура Mamba-Transformer объединяет слои на архитектуре Mamba-2, эффективно обрабатывающие длинные последовательности с линейной сложностью, и слои внимания трансформера, отвечающие за точное извлечение фактов из контекста. Это позволяет удерживать в памяти миллион токенов без взрывного роста сложности вычислений и потребления ресурсов. Для работы на платформе Blackwell используется собственный формат вычислений NVFP4, интегрированный непосредственно в процесс предобучения нейросети. В результате модель изначально обучается работать в 4-битной арифметике, что дает четырехкратное ускорение инференса на B200 по сравнению с FP8 на H100 при сохранении точности.

Обучение Nemotron 3 Super проходило в три этапа. На предобучении использовано 25 триллионов токенов, из которых 10 триллионов уникальных, с применением NVFP4. Затем следовала контролируемая тонкая настройка на 7 миллионах примеров, охватывающих логическое мышление, программирование, безопасность и многошаговые агентные задачи. Завершающий этап — обучение с подкреплением в 21 среде с помощью NeMo Gym, где модель училась выполнять последовательности действий, генерировать корректные вызовы инструментов и писать работающий код. Всего было проведено более 1,2 миллиона прогонов в средах.

В бенчмарке PinchBench, оценивающем способность модели выступать основой агента OpenClaw, Nemotron 3 Super набрал 85,6% точности, став лучшей открытой моделью в этом классе. В совокупности с высокой пропускной способностью и низкой задержкой это делает ее пригодной для таких задач, как автоматизированная разработка ПО, выявление уязвимостей, финансовый анализ с обработкой тысяч страниц отчетов.

Nvidia предлагает схему развертывания “Super + Nano”, где более легкая Nemotron 3 Nano обрабатывает простые одношаговые запросы, а Super подключается для сложных многоэтапных действий. Модель полностью открыта: веса доступны на Hugging Face в режимах FP8, NVFP4, BF16 (в предобученной и Base-версии), а также через Nvidia NIM, доступна возможность инференса через vLLM, SGLang и TensorRT. Для инференса нейросети требуется как минимум один ИИ-ускоритель Nvidia H100 на 80 ГБ.

Выводы

Nvidia Nemotron 3 Super — это, по сути, полностью готовое решение для построения масштабируемых агентных систем, способных работать со сверхдлинным контекстом без потери производительности. Гибридная архитектура и встроенное 4-битное обучение позволяют модели сочетать высокую точность с экономией памяти и вычислительных ресурсов, что особенно важно при одновременном запуске множества агентов. Скорее всего, оценка эффективности Nemotron 3 Super в решении задач через OpenClaw, поскольку недавно появились слухи, что Nvidia готовит собственную платформу по типу вирусного фреймворка для ИИ-агентов — возможно, в дополнение к релизу Nemotron 3 Super мы увидим новую платформу Nvidia для агентских задач, которая вступит в идеальную синергию с представленной моделью.