Llama.cpp на NVIDIA DGX Spark: Герганов публикует результаты инференса LLM

Введение

Автор и ведущий разработчик проекта llama.cpp Георгий Герганов опубликовал на своей странице GitHub результаты тестов производительности различных ИИ-моделей на новой вычислительной платформе NVIDIA DGX Spark — мини-ПК с потрясающей ИИ-производительностью.

Подробнее о событии

На GitHub Герганова были представлены данные о скорости работы популярных открытых языковых моделей — Gemma 3 4B QAT, Qwen3 Coder 30B, Qwen2.5 Coder 7B, GLM 4.5 Air, gpt-oss-20B и gpt-oss-120B при запуске через llama.cpp. Наилучшие результаты показала Gemma 3 4B QAT, которая обеспечила самую высокую скорость обработки текста и генерации ответов. Более крупные модели, такие как gpt-oss-120B и Qwen3 Coder 30B, ожидаемо работают медленнее, однако тесты демонстрируют стабильную производительность даже при больших объемах данных. Герганов отметил, что это первые измерения работы llama.cpp на DGX Spark, и пригласил сообщество к дальнейшему сравнительному тестированию моделей и различных режимов квантования.

Выводы

Это тестирование показывает, что DGX Spark является отличной платформой для инференса больших языковых моделей через открытые ИИ-движки, такие как llama.cpp, а также vLLM, разработчики которой уже подтвердили совместимость с новейшими, компактными ИИ-станциями. Пользователи GitHub уже предложили Герганову расширить список протестированных конфигураций, включая популярную китайскую нейросеть GLM-4.5-Air-FP8.