llama.cpp webUI: графический интерфейс топового ИИ-движка

Введение

Георгий Герганов, разработчик популярного открытого движка инференса языковых моделей llama.cpp, объявил, что у платформы появится собственный графический веб-интерфейс, что значительно упрощает работу с локальными LLM.

Подробнее о llama.cpp WebUI

llama.cpp WebUI можно запускать на любом оборудовании, в том числе на мобильных устройствах, подключившись через браузер: необходимо скачать llama.cpp и запустить llama-server, указав модель, порт, хост и затем подключиться к WebUI, таким образом открывая доступ к полноценной локальной ИИ-сети. Система поддерживает работу с текстовыми документами, в том числе PDF-файлами и математическими выражениями (доступна визуализация формул), а при использовании мультимодальной нейросети интерфейс можно задействовать для обработки видео и изображений. Герганов не прошел мимо работы с кодом: веб-интерфейс может генерировать разметку HTML и JavaScript.

Как и при работе с чат-ботом ChatGPT, пользователи могут редактировать уже выполненные запросы, разветвляя беседу и запуская новые циклы генерации ответов в одном чате, а также доступна опция ведения параллельных бесед в разных чатах. Важные чаты в веб-интерфейсе llama.cpp можно сохранять, либо загружать ранее сохраненные беседы. Сам интерфейс и сервер обеспечивают эффективное кеширование префиксов, поддержку моделей с большим контекстом, в том числе State Space Models (SSM), поэтому можно использовать даже самые топовые LLM без ограничений, а интеграция с MCP позволяет выполнять локальные тесты. Полноценный RAG-модуль в llama.cpp все еще не завезли, поэтому в веб-интерфейсе его также не ждите, но это дело времени и с высокой долей вероятностью поддержка рабочих процессов с использованием RAG появится и в этом популярном движке инференса.

Выводы

Интерфейсы, упрощающие использование передовых локальных нейросетей, становятся новым трендом в области движков инференса. Первой, кто обеспечил своих пользователей удобным доступом к LLM, стала Ollama, затем к ней присоединился LM Studio, а теперь к моде подключился движок llama.cpp с новым веб-интерфейсом. По всей видимости, эпоха не ориентированных на клиента ИИ-инструментов подходит к своему логичному концу, поэтому не исключено, что в скором времени визуальные интерфейсы появятся и у vLLM с SGLang.