Релиз LM Studio 0.3.28

Введение

Платформа LM Studio обновилась до стабильной версии v0.3.28, где были добавлены различные дополнительные функции, существенно улучшающие процесс взаимодействия с LLM. Скачать свежую сборку уже можно на официальном сайте LM Studio, через GitHub разработчиков, а также установив десктопное приложение движка инференса.

Подробнее о LM Studio 0.3.28

В разделе “Мои модели” появилась новая возможность. Теперь при загрузке выбранной модели доступен выбор формата хранения весов и режима квантизации: доступны форматы MLX или GGUF, квантование в 4-битном, 6-битном или 8-битном режимах. Выбранный формат и режим можно установить по умолчанию для локального инференса через приложение и в API. Эта функция поддерживается всеми конфигурациями model.yaml и пользовательскими сборками. Значительные изменения также коснулись оценки потребления оперативной памяти и VRAM. Алгоритмы стали более точными в ситуациях, когда применяется смешанные форматы квантования, при отсутствии трансформера или при некорректной настройке параметров LLM. Также в версии LM Studio 0.3.28 был улучшен интерфейс: устранены визуальные артефакты и мерцания на странице “Мои модели”, исправлена некорректная индикация количества параметров у отдельных LLM. Помимо этого, была повышена стабильность работы форматировщика нейросетей Qwen при использовании движков llama.cpp, а также решена проблема с автоматическим возвратом темы интерфейса в режим “Авто” после обновления.

Выводы

Интересно наблюдать за ростом количества обновлений в популярных движках локального инференса, таких как Ollama и, конечно же, LM Studio. Скорее всего, это свидетельствует об увеличении популярности локального развертывания LLM на устройствах обычных юзеров, поэтому разработчики открытых систем инференса активно улучшают свои платформы, чтобы обеспечить наилучший пользовательский опыт и предложить полезные и эффективные функции.