Nvidia Groq 3 LPU и Groq LPX: новый тип ИИ-чипов и стоечных решений Nvidia

Введение

Помимо анонса основных решений экосистемы Nvidia Vera Rubin, Дженсен Хуанг также анонсировал совершенно новый тип ИИ-чипов для высокопроизводительного инференса LPU 3 (LP30) на базе технологий приобретенного стартапа Groq, а также новые вычислительные ноды Groq LPX и стойки на их основе. Главная особенность новинок — использование сверхбыстрой памяти SRAM, которая значительно ускоряет генерацию токенов, что критически важно для взаимодействия между ИИ-агентами.

Подробнее о Groq 3 LPU и Groq LPX

В прошлом году Nvidia приобрела интеллектуальную собственность компании Groq, и теперь эта сделка материализовалась в новых ИИ-продуктах. Платформа Rubin, которая изначально включала в себя только графический процессор Rubin, центральный процессор Vera, коммутаторы NVLink 6, сетевые карты ConnectX 9, чипы Bluefield 4 и оптические коммутаторы Spectrum-X, получила важное дополнение — Groq 3 LPU (Language Processing Unit), представляющие из себя ASIC-ускорители для задач высокопроизводительного инференса искусственного интеллекта.

Главное архитектурное отличие нового ускорителя от GPU-решений Nvidia — использование 500 МБ статической памяти (SRAM) вместо HBM. Хотя этот объем совершенно несопоставимо с 288 ГБ памяти HBM4 в графических процессорах Rubin, применение SRAM имеет решающее значение в ИИ-инференсе: пропускная способность SRAM достигает 150 ТБ/с у Groq 3 LPU против 22 ТБ/с у HBM4 у Rubin, что делает Groq 3 LPU идеальным инструментом для задач декодирования, чувствительных к задержкам. На основе новых чипов Groq 3 LPU под кодовым названием LP30 будут создаваться специализированные стойки Groq 3 LPX. Каждая стойка Groq 3 LPX объединяет 256 процессоров Groq 3 LPU, обеспечивая совокупный объем памяти в 128 ГБ и невероятную пропускную способность в 40 ПБ/с. Соединение компонентов внутри стойки осуществляется через масштабируемый оптический интерфейс LPU С2С с пропускной способностью 640 ТБ/с.

Nvidia заявляет, что Groq LPX будет выполнять роль сопроцессора для GPU Rubin, повышая производительность декодирования “на каждом уровне модели и для каждого токена”. Это открывает путь к работе с моделями, содержащими триллионы параметров, и контекстными окнами в миллионы токенов, где скорость важна как никогда. Благодаря связке Rubin и Groq, Nvidia планирует выйти на уровень 1500 токенов в секунду и выше, что станет решающим преимуществом для запуска многоагентных ИИ-систем.

Интересно, что появление Groq 3 LPU может скорректировать планы компании относительно ускорителя Rubin CPX. Представители Nvidia заявили, что текущий фокус смещен на интеграцию именно стоек Groq 3 LPX, поскольку оба чипа решают схожие задачи, но Groq LPU не требует дефицитной памяти GDDR7, что делает его более эффективным решением в текущих рыночных условиях.

Выводы

Анонс Groq 3 LPU и Groq LPX знаменует собой стратегический поворот Nvidia в сторону гипермасштабирования интерактивного ИИ. Компания не только кардинально наращивает вычислительные мощности, но и создает совершенно новые гибридные архитектуры, где графические процессоры отвечают за тяжелую обработку данных, а специализированные LPU — за молниеносный инференс ИИ-моделей.