Kimi-Linear-48B-A3B: новые ИИ-модели с передовой архитектурой

Введение

Команда Moonshot AI, известная выпуском передовых нейросетей серии Kimi-K2, представила новую крупную языковую модель Kimi-Linear-48B-A3B-Base на базе новой, передовой архитектуре Kimi-Linear, которая демонстрирует очередной шаг в развитии подходов создания искусственного интеллекта. В основе архитектуры разработки лежит гибридная система объединяющая Gated DeltaNet и MLA-компрессию, которая получила название KDA (Kimi Delta Attention). Эта архитектура оптимизирует работу с длинными контекстами, повышая производительность без существенного роста вычислительных затрат, делая сложность вычислений практически линейной.

Подробнее о Kimi-Linear

Главная идея KDA заключается в том, чтобы не пересчитывать полное внимание для каждого токена, а сосредотачиваться лишь на изменениях последовательности. Такой механизм обеспечивает значительное ускорение и экономию ресурсов, особенно при обработке длинных цепочек текста. Внутри модели внимание распределяется в пропорции 3:1 — три части KDA и одна часть MLA. Этот баланс позволяет поддерживать стабильность и качество вывода, сравнимые с крупными LLM, но при этом требует значительно меньше вычислительных мощностей.

Благодаря новой архитектуре, ИИ-модель Kimi-Linear-48B (48 млрд параметров, 3 млрд активных за счет MoE) с контекстным окном в 1 миллион токенов, потребляет памяти для KV-Cache на 75% и ускоряет декодирование до 6,3 раз на длинных контекстах. При этом модель не только сохраняет качество генерации, но и превосходит аналогичные архитектуры MLA и GDN-H в задачах рассуждения и построения длинных логических цепочек. Kimi-Linear-48B в вариациях Base и Instruct уже доступна на Hugging Face и GitHub. Для развертывания необходима среда с Python 3.10 и выше, PyTorch 2.6 и выше, а также Fla-Core 0.4.0 и выше.

Выводы

Модели Kimi-Linear-48B-A3B — настоящая революция в мире ИИ. Новая архитектура демонстрирует устойчивость к распаду длинных зависимостей и способна самостоятельно определять, какую информацию нужно сохранить или отбросить. Это позволяет ей сохранять целостность рассуждений даже при работе с экстремально большими контекстами. Благодаря этим особенностям новая архитектура становится особенно перспективной для широкого спектра задач, а ее доступность в open-source среде гарантирует широчайшую популяризацию новых нейросетей. Этим ходом Moonshot AI сможет значительно укрепить свои позиции среди разработчиков продвинутых языковых моделей, предлагая более эффективное решение для передовых приложений искусственного интеллекта.