Qwen2.5-Omni-3b — Alibaba представила компактную нейросеть

Введение

Китайский технологический гигант Alibaba представил серию обновлений в своей линейке искусственного интеллекта. Сначала компания анонсировала флагманское семейство Qwen3, основанное на передовой архитектуре MoE, что позволяет достигать результатов, близких к гибридным рассуждающим системам. Вслед за этим была выпущена облегченная версия Qwen2.5-Omni-3b, адаптированная для локальной работы на персональных компьютерах и ноутбуках без необходимости подключения к облачным сервисам.

Особенности Qwen2.5-Omni-3b

Модель Qwen2.5-Omni, сокращенная всего 3 миллиардов параметров (против 7 миллиардов у базовой версии), сохраняет свыше 90% возможностей мультимодальной производительности своего старшего собрата. Qwen2.5-Omni-3b способна генерировать текст и синтезировать речь в реальном времени, что делает ее применимой в массе практических сценариях использования. Разработчикам компании Alibaba удалось оптимизировать использование вычислительных ресурсов: потребление видеопамяти при обработке длинных контекстов (контекстное окно до 25 тысяч токенов) сократилось на 50%. В частности, объем памяти, требуемый для развертывания нейросети, уменьшился с 60,2 ГБ до 28,2 ГБ, что позволяет использовать модель даже на устройствах с видеокартами на 24 ГБ VRAM, что является стандартной конфигурацией для игровых ПК и топовых ноутбуков.

Qwen2.5-Omni-3b поддерживает параллельную обработку разноформатных данных (текст, аудио), предлагая выбор между мужским и женским голосом для создания ответов. Функцию аудио-ответов при необходимости можно отключить, что снизит потребление видеопамяти модели. Для упрощения интеграции модели в различные приложения, Alibaba предоставляет набор инструментов, предобученные модули нейросети, API, а также детальные инструкции по развертыванию.

Qwen2.5-Omni-3B позиционируется не столько как готовое решение, сколько как инструмент для оценки возможностей мультимодального ИИ с небольшим количеством параметров. Корпоративные пользователи могут проводить тесты, при этом не инвестируя в дорогостоящее оборудование для развертывание, что снижает порог использования нейросетей серии Qwen. Однако необходимость получения лицензии для коммерческого использования сохраняет контроль Alibaba над дальнейшим развитием проектов на базе их технологии. Тестирования показывают, что даже с “урезанным” количеством параметров модель демонстрирует конкурентоспособную производительность, что подчеркивает эффективность примененных методов оптимизации размера LLM.

Выводы

Модель Qwen2.5-Omni-3b уже опубликована на платформах Hugging Face, GitHub и ModelScope, однако ее можно использовать только в исследовательских целях и тестирования возможностей модели — для применения в коммерческих целях, требуется специальная лицензия от компании Alibaba. Скорее всего, в будущем компания откроет доступ и для коммерческого свободного использования Qwen2.5-Omni-3b, чтобы еще больше популяризировать свое семейство передовых языковых моделей Qwen.