AMD упрощает установку vLLM для Instinct и Radeon

Введение

AMD сделала заметный шаг навстречу разработчикам, упростив развертывание vLLM для инференса и обслуживания больших языковых моделей на своих GPU. Если на оборудовании NVIDIA установка vLLM давно сводится к одной команде pip install vllm, то для Radeon и Instinct пользователям до недавнего времени приходилось либо собирать проект из исходников, либо работать через Docker-контейнеры с предварительно собранными версиями. Теперь появился более простой вариант установки вариант.

Подробнее об установке vLLM для ROCm

Для ROCm стала доступна официальная Python-сборка vLLM в виде wheel-пакета. Это позволяет установить библиотеку напрямую через pip без использования Docker и ручной компиляции. Установка пока требует указания конкретной версии и дополнительного индекса пакетов, но по сложности уже близка к стандартному сценарию для NVIDIA: pip install vllm==0.14.0+rocm700 –extra-index-url

О появлении wheel-пакета публично сообщил Ануш Элангова, вице-президент AMD по программному обеспечению для ИИ. Фактически это означает, что экосистема ROCm постепенно сокращает разрыв в удобстве использования по сравнению с CUDA: разработчики могут быстрее развернуть vLLM в нативном Python-окружении, не переходя на контейнеры и не тратя время на сборку.

Выводы

Хотя установка vLLM для ROCm все еще не так проста, как pip install vllm из PyPI, появление официального встроенного пакета Python — важный шаг в развитии ROCm. Это значительно снижает порог входа для использования vLLM на GPU AMD и делает стек ROCm более привлекательным для продакшен-сценариев инференса LLM. Если AMD продолжит в том же направлении, поддержка ROCm в vLLM может в ближайшее время стать столь же прозрачной, как и на платформе NVIDIA.