MistralAI представила Magistral Small 1.2: новое поколение размышляющих LLM

Введение

Французская компания MistralAI, известная выпуском семейства открытых моделей Mistral, представила обновленную LLM Magistral Small 1.2 (GGUF), которая пришла на смену версии 1.1 и получила ряд заметных улучшений. Основанная на архитектуре Mistral Small 3.2, базируется на 24 миллиардах параметров и отличается расширенными возможностями логического вывода.

Подробнее о Magistral Small 1.2

Главное нововведение, которого ждали все пользователи моделей Mistral — поддержка мультимодальности. Magistral Small 1.2 способна обрабатывать не только текстовые данные, но и изображения, что открывает дополнительные возможности для проведения анализа информации с последующей высокоэффективной генерацией ответов. Разработчики также заявляют о существенном приросте производительности по сравнению с предыдущей версией: тесты подтверждают более высокую скорость генерации токенов и повышенную точность в задачах кодинга, рассуждения и математики.

Magistral Small 1.2 доступна на платформе Hugging Face в формате GGUF под названием Magistral-Small-2509. Пользователи могут запустить Magistral Small 1.2 локально всего на одной видеокарте RTX 4090 или на MacBook с 32 ГБ оперативной памяти. Для скачивания доступны веса в формате BF16, а также несколько вариантов квантизации, включая Q8_0, Q5_K_M и Q4_K_M. Разработчики отказались от встроенного официального шаблона чата, предлагая вместо него использовать внешний интерфейс mistral-common для корректной работы токенизатора. Также модель рекомендуется применять без мультимодального кодера машинного зрения, хотя Magistral Small 1.2 уже оснащена встроенным модулем Vision.

Среди других улучшений — более точное форматирование в LaTeX и Markdown, сокращенные ответы на простые вопросы, снижение вероятности бесконечных циклов рассуждения и введение специальных токенов [THINK] и [/THINK], которые упрощают анализ рассуждений. Magistral Small 1.2 распространяется по лицензии Apache 2.0, что позволяет использовать ее как в коммерческих, так и в некоммерческих проектах. Контекстное окно составляет всего 128 тысяч токенов.

Выводы

Magistral Small 1.2 вполне можно назвать крайне важным релизом для компании MistralAI, поскольку спустя долгое время, модель наконец-то получила обновление с поддержкой функции машинного зрения. Это позволит семейству нейросетей Magistral вновь обрести популярность и привлечь дополнительные инвестиции в разработку будущих решений компании.