NeuReality NR1 — новый сопроцессор для оркестрации инференса ИИ

Введение

Израильский стартап NeuReality представил передовой процессор NR1, который разработан для выполнения оркестрации работы задач при инференсе искусственного интеллекта. Новейшее ИИ-решение может работать в сочетании с CPU и GPU, улучшая эффективность графических процессоров при локальном развертывании в 2 раза.

Подробнее о стартапе NeuReality

Представители израильской компании NeuReality заявляют, что основная проблема современных вычислительных систем заключается в том, что производители GPU многие годы совершенствовали свои устройства, чтобы соответствовать растущим требованиями сектора ИИ. В то же время, центральные процессоры не претерпевали действительно кардинальных изменений, по сути оставаясь все теми же решениями, которые использовались еще в доинтернетную эпоху, уже не говоря об ИИ-революции. Вследствие этого, центральные процессоры выступают неким балансом в масштабировании производительности GPU. Именно эту проблему компания предлагает решить с помощью сопроцессора NR1.

Что такое NR1?

Сопроцессор NR1 — это интересное решение, которое предлагает альтернативный способ улучшения инференса искусственного интеллекта в вычислительных системах. Если стандартное сочетание центрального, графического процессора и сетевой карты обеспечивает примерно 30-50% эффективности инференса, тогда как связка GPU и NR1 увеличивает производительность инференса на 100%. Тем самым, сопроцессор NR1 решает узкое место в секторе ИИ-нагрузок, обеспечивая значительный прирост пропускной способности графических ускорителей в крупных вычислительных системах, например, дата-центрах и ИИ-кластерах.

NR1 поддерживает весь функционал центральных процессоров, которые необходимы для работы с ИИ-операциями. Кроме того, NR1 имеет компоненты для обработки мультимедиа и данных, аппаратный гипервизор и комплексные сетевые IP-блоки. Гипервизор отвечает за обработку путей данных и планирование выполняемых задач, включая механизмы обработки данных и сетевой движок AI-over-Fabric.

Рассмотрим архитектуру решения NeuReality NR1 более подробно:

• 4 декодера видео/JPEG.
• 16 DSP для аудио/речи.
• 16 векторных DSP общего назначения.
• Сетевой движок AI-over-Fabric (TCP/ROCEv2).
• 2 порта 10/25/50/100 GbE с шифрованием трафика на лету.
• Поддержку соединений клиент-сервер и сервер-сервер.
• 2 уровня изолированных сетевых функций.

Благодаря этому, сопроцессор обеспечивает более высокую производительность в ИИ-задачах, при этом снижая энергопотребление, что также уменьшает накладные расходы при эксплуатации вычислительной системы. Во внутренних тестах NeuReality инференс генеративной ИИ-модели система на базе ИИ-ускорителя и чипа NR1 генерирует в 6,5 раза больше токенов, чем традиционный x86-сервер при той же стоимости и энергопотреблении. Как отмечает NeuReality, решение NR1, благодаря комплексной разгрузке ИИ-конвейера, также способствует популяризации растущей тенденции на изоляцию ИИ-процессов в системах, направленных на общие вычисления, таких как дата-центры и облачные инфраструктуры. Для DevOps и MLOps стартап NeuReality также полный SDK и сервисный слой на основе Kubernetes.

Выводы

Несмотря на перспективные заявления NeuReality, нельзя точно сказать, станут ли наиболее крупные компании из сектора HPC интегрировать новейшие ИИ-чипы NR1 в свои инфраструктуры. К тому же, такие крупные производители центральных процессоров, как AMD, Intel и Nvidia (ARM-процессоры Grace) постоянно улучшают ИИ-возможности своих CPU, задавая тенденцию инференса именно на центральных процессорах. Тем не менее, рост экологических требований к энергопотреблению центральных процессоров и развитие различных типов ИИ-оборудования может сподвигнуть некоторые дата-центры к использованию решений компании NeuReality.