Meta* представила Set Block Decoding: новый метод ускорения вывода LLM

Введение

Компания Meta* выложила открытый исходный код своего передового метода ускорения вывода больших языковых моделей — Set Block Decoding (SBD). Система способна в 3-5 раз ускорить генерацию токенов, при этом не требуя каких-либо изменений в архитектуре нейросети.

Подробнее о Set Block Decoding (SBD)

Meta* отмечает, что традиционные авторегрессионные языковые модели, предсказывающие следующие токены последовательно, сталкиваются с узким местом при их практическом применении из-за высоких требований к ресурсам памяти и вычислениям на этапе декодирования. Метод SBD устраняет эту проблему, объединяя стандартное прогнозирование следующего токена (NTP) и прогнозирование маскированных токенов (MATP) в рамках единой системы.

Ключевое отличие SBD от предыдущих методов ускорения заключается в способности модели параллельно обрабатывать несколько будущих токенов, при этом не требуя, чтобы они шли параллельно друг другу. Благодаря этому разработчики могут использовать продвинутые алгоритмы из области дискретной диффузии, значительно ускоряющие процесс генерации без потери точности. Помимо этого, SBD сохраняет совместимость с механизмом KV-кэширования и не требует внедрения дополнительных параметров при обучении ИИ, поскольку метод может быть интегрирован только через тонкую настройку уже существующих ИИ-моделей. Компания провела ряд экспериментов с тонкой настройкой моделей Llama*-3.1 8B и Qwen-3 8B, используя Set Block Decoding. Тесты показали, что Set Block Decoding смог ускорить генерацию токенов 3-5 раз при сохранении качества генерации, эквивалентного обучению с использованием стандартного NTP-подхода.

Выводы

Методы оптимизации инференса и обучения LLM продолжают набирать популярность, поэтому крупнейшие ИИ-компании активно продвигают собственные методы ускорения генерации токенов и сокращения затрат на этапе предобработки. Meta* продолжает эту тенденцию, и можно с уверенностью сказать, что SBD станет ключевым компонентом как внутренних инструментов компании, так и движков независимых разработчиков.

*Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена

*LLAMA — проект Meta Platforms Inc.*, деятельность которой в России признана экстремистской и запрещена