Qwen3-TTS: Alibaba открыла исходный код линейки моделей генерации речи

Введение

Компания Alibaba выложила в открытый доступ на Hugging Face и GitGub линейку моделей генерации речи Qwen3-TTS. Модели используют собственный Qwen3-TTS-Tokenizer-12Hz, что позволяет эффективно сжимать аудиосигналы и воспроизводить их с высокой точностью, сохраняя чистоту речи и акустические особенности окружения. TTS-модели поддерживают десять основных языков, включая русский, а также поддерживают управление тоном, ритмом и эмоциональной окраской речи, обеспечивая генерацию аудио с низкой задержкой.

Подробнее о Qwen3-TTS

Линейка Qwen3-TTS включает модели двух размеров — 1.7 миллиардов и 0.6 миллиардов параметров. Модели 1.7B обеспечивают максимальную производительность и гибкое управление голосом. Qwen3-TTS-1,7b включает варианты VoiceDesign для генерации голосов по пользовательским описаниям и CustomVoice для детальной стилизации целевых тимбров, сохраняя потоковую генерацию и инструктивное управление. Базовая модель 1.7B-Base позволяет клонировать голос за три секунды аудио и может использоваться для дообучения других моделей.

Модели Qwen3-TTS-0.6b обеспечивают баланс между производительностью и эффективностью. Версия CustomVoice предоставляет функции настройки голоса, а 0.6B-Base также поддерживает быстрое клонирование голоса и возможность дообучения под конкретные задачи.

Архитектура моделей обеспечивает полностью сквозное моделирование речи, обходя ограничения традиционных LM+DiT схем. Dual-Track генерация позволяет выдавать первые аудиопакеты после обработки всего одного символа, достигая крайне низкой задержки в 97 мс. Модели демонстрируют высокую устойчивость к шуму текста, адаптивно изменяя тон, ритм и эмоциональную окраску в соответствии с семантикой и инструкциями. По результатам бенчмарков Qwen3-TTS показала выдающееся качество в задачах голосового дизайна, клонирования голоса и управления стилем речи, превосходя существующие закрытые и открытые решения.

Выводы

Открытая линейка Qwen3-TTS предоставляет разработчикам полный набор возможностей для создания, клонирования и управления голосом с высокой скоростью и качеством. Широкая поддержка языков, адаптивного управления голосом, а также компактные размеры и низкая задержка генерации позволяет использовать эти передовые модели в реальном времени для интерактивных приложений, а SOTA качество воспроизведения и токенизации делает их конкурентоспособными по сравнению с проприетарными решениями на рынке.