Nvidia Dynamo — новая библиотека для разработчиков ИИ

Содержание:

• Введение
• Особенности Nvidia Dynamo
• Выводы

Введение

На конференции GTC 2025 помимо новейших графических чипов Blackwell Ultra и Rubin, Дженсен Хуанг также представил новое программное обеспечение для разработчиков искусственного интеллекта — Nvidia Dynamo. По заявлениям компании, при выводе DeepSeek R1 через Dynamo в системе с ускорителями GB200, количество генерируемых токенов увеличится в колоссальные 30 раз.

Особенности Nvidia Dynamo

Nvidia Dynamo представляет собой программную библиотеку с открытым исходным кодом, с помощью которой можно эффективно увеличивать производительность и упростить масштабирование передовых рассуждающих LLM, при этом сокращая затраты на генерацию токенов. Новое ПО работает следующим образом — Dynamo ускоряет передачу данных между графическими процессорами в многоузловых системах и разделяет фазы предварительного заполнения и декодирования вывода. Это позволяет оптимизировать обе фазы, что обеспечивает максимально эффективное распределение вычислительных ресурсов GPU. Помимо этого, Nvidia Dynamo предлагает следующие возможности:

• Динамическое планирование работы графического процессора, оптимизирующее производительность ИИ до 2 раз;
• Маршрутизация запросов LLM, которая интеллектуально направляет запросы для минимизации избыточных вычислений в кэше KV, улучшая качество первого токена на 40%;
• Ускоренная передача данных с помощью NIXL (NVIDIA Inference tranXfer Library);
• Разгрузка кэша KV, которая использует несколько иерархий памяти для повышения производительности системы, ускоряя генерацию первого токена в 3 раза.

Компания Nvidia также рассказала, какие системные требования необходимо соблюдать для обеспечения наилучшей эффективности работы Dynamo:

• ОС Ubuntu версии 24.04;
• CPU x86_64;
• Графические процессоры Nvidia;
• Python версии 3.0 и выше.

Вывод

Как заявил Дженсен Хуанг, Nvidia Dynamo — это не просто полезное ПО для независимых ИИ-разработчиков, а решение, необходимое для так называемых AI-фабрик, представляющих собой новый этап развития дата-центров для разработки передовых ИИ. Более того, Nvidia Dynamo способна решить ряд фундаментальных проблем, с которыми разработчики сталкиваются при обучении и развертывании своих LLM. Ввиду этого, создание такого эффективного инструмента вполне может дать индустрии искусственного интеллекта еще один толчок, что приведет к увеличению ИИ-тренда и появлению более совершенных языковых моделей.