Alibaba Aegaeon — система для ИИ-кластеров с 10-кратной экономией GPU

Введение

Китайская корпорация Alibaba анонсировала технологию Aegaeon — инновационную пул-систему для оптимизации работы ИИ-кластеров, специализированных на инференсе больших языковых моделей, которая снижает потребность в GPU на 82% — с 1,192 до 213 ускорителей Nvidia H20, при этом не только не теряя производительность, но и снижая задержки.

Подробнее о Alibaba Aegaeon

Передовая пул-система позволяет распределять видеопамять и вычислительные ресурсы ИИ-ускорителей между несколькими ИИ-моделями на уровне токенов, в результате чего один GPU может обслуживать вплоть до 7 LLM, задержки снижаются на колоссальные 97%, а простои ресурсов минимизируются. Такой подход позволяет значительно увеличить КПД ИИ-кластера, объединяя его в единый пул унифицированной памяти, способный одновременно обслуживать десятки и сотни нейросетей в облаке. Alibaba пока не раскрыла технические детали работы Aegaeon, поэтому неизвестно, как компании удалось добиться такой невероятной эффективности. Система уже была тестирована в течение трех месяцев в кластере Alibaba Cloud, обслуживая LLM DeepSeek и Qwen объемом до 72 млрд параметров.

Выводы

Если результаты подтвердятся в реальных условиях эксплуатации с более высокими ИИ-нагрузками, Aegaeon может радикально изменить рынок ИИ и инфраструктуры для больших моделей. Только представьте — о технологии только стало известно и она уже демонстрирует такие выдающиеся результаты, а при ее доработке экономия GPU может возрасти еще больше. Alibaba Aegaeon особенно полезна в текущих условиях технологической изоляции рынка КНР от западных ускорителей и полного ухода Nvidia из Китай из-за усугубления экспортных ограничений. Однако важно понимать, что пока Aegaeon не увидели в большом свете, не стоит исключать, что проект носит исключительно демонстрационный характер и в реальных тестах не сможет показать хорошую эффективность.