Сбер представил GigaChat 3.5 Ultra — отечественная 432b MoE-модель с открытым исходным кодом

Введение

Сбер выложил в открытый доступ GigaChat 3.5 Ultra — свою флагманскую ИИ-модель нового поколения объемом 432 миллиардов параметров, которая собирает лучшее из эффективного линейного внимания и MoE-архитектуры. Вместо того чтобы наращивать параметры, разработчики сократили модель с 702 миллиардов у GigaChat 3.1 Ultra до 432 миллиардов параметров у GigaChat 3.5 Ultra, но сделали ее сильнее в коде, математике и агентных сценариях. Это стало возможным благодаря собственной гибридной архитектуре, совмещающей MLA-слои с GatedDeltaNet, и новому рецепту обучения, включающему FP8-слои на всех этапах и онлайн-RL. Модель использует в четыре раза меньше KV-кэша на токен и выдает на 20% больше пропускной способности.

Подробнее о GigaChat 3.5 Ultra

GigaChat 3.5 Ultra построена по архитектуре Mixture-of-Experts (MoE) с 432 миллиардом общих и 28 млрд активных параметров. Это примерно вдвое компактнее предыдущего флагмана GigaChat 3.1 Ultra (702B), что снижает требования к оборудованию и позволяет разворачивать модель на более доступных системах. Главное архитектурное нововведение — гибридный механизм внимания, совмещающий Multi-head Latent Attention (MLA) со слоями линейного внимания GatedDeltaNet. Такой подход сохраняет преимущества полного внимания, но радикально сокращает затраты на обработку длинных контекстов: модель использует примерно в 4 раза меньше KV-кэша на токен, в ту же память помещается более чем в два раза больше контекста, а пропускная способность генерации выросла примерно на 20%. Для стабилизации обучения на масштабе сотен миллиардов параметров разработчики внедрили несколько новшеств. GatedNorm — мультипликативный гейт после нормализации, который заменяет механизмы самостабилизации (attention sink, residual sink) и дает модели прямые рычаги управления сигналом. Сэндвич-нормализация добавляет нормализацию не только перед блоком, но и после него — перед сложением с residual stream. Клиппинг активаций работает точечно, внутри эксперта, прямо перед перемножением в SwiGLU. Все эти меры позволили удержать активации под контролем при 432 млрд параметров.

Модель обучена в нативном FP8 на всех этапах, что ускорило обучение на десятки процентов и снизило потребление памяти без потери качества относительно bfloat16. В посттренировочном конвейере появился новый этап — Online RL, который добавился после последовательности: Pretrain, Stage 1.5, SFT и DPO. Именно он позволил добиться улучшений в следовании инструкциям и на аренах. В предтрен-данных разработчики сместили фокус с синтетики на органические тексты: прогнали HTML-документы через LLM-парсинг и получили чистый Markdown с сохранением формул, таблиц и структуры. Это дало прирост MMLU, MATH и других метрик. Количество языков программирования в обучающей выборке расширено с 16 до более чем 600. Для ускорения генерации добавлены две MTP-головы для самостоятельного спекулятивного декодирования, увеличивая скорость его выполнения в 2,2 раза

Базовая модель на 432B параметров обходит предыдущий флагман на 700B по общему среднему (72.3% против 69.6%), MMLU-Pro (74.54% против 68.01%) и математике (78.1% против 76.7%). В коде разрыв еще больше: HumanEval — 80.49% против 70.12%, HumanEval+ — 75.61% против 62.8%. При этом по общему среднему GigaChat-3.5-Ultra-Base обходит DeepSeek V4 Flash (72.3 против 71.9) и DeepSeek V3.2 (72.3 против 71.5), а по математике и коду — уверенно опережает обе модели. Инструктированная версия показывает рост на SWE-Bench с 8.6% до 42.6%, на TAU2 — с 41.87% до 68.71%, а в Arena Hard vs GPT-5 поднимается с 55.5% до 71.4%, почти догоняя DeepSeek V3.2 (71.4 против 71.3).

Модель доступна в нескольких версиях: для инференса в fp8, bf16-версия, GGUF-квантование и базовый чекпоинт для дообучения. Веса можно скачать на Hugging Face.

Выводы

Сбер перестал догонять — он начинает перегонять. Урезав модель GigaChat 3.5 Ultra на 40%, разработчики ухитрились выжать из нее больше, чем из предшественника GigaChat 3.1 Ultra на 702B. Гибридное внимание, отказ от синтетики в пользу органических текстов и FP8-обучение оказались тем самым рычагом, который позволил выжать максимум из меньшего. И все это на модели, которая в два раза легче конкурентов из DeepSeek. И если специалисты Сбер они продолжат в том же духе, в скором отечественные нейросети смогут сравниться даже с зарубежными проприетарными LLM.