Релиз TensorRT LLM 1.0: ускорение LLM на открытом фреймворке

Введение

Компания Nvidia представила TensorRT LLM 1.0 — первую стабильную версию нового ИИ-фреймворка для ускорения больших языковых моделей. Главная особенность TensorRT LLM 1.0 — это полностью открытое решение от Nvidia, исходный код которого уже доступен на GitHub.

Подробнее о TensorRT LLM 1.0

TensorRT LLM 1.0 создан на базе технологии TensorRT и открывает разработчикам доступ к оптимизированному инференсу различных современных моделей LLM, вроде Mistral, Qwen и других нейросетей, причем, с низкой задержкой и стоимостью за счет поддержки широкого спектра форматов точности: FP8, INT4, INT8, FP16 и FP32. TensorRT LLM 1.0 оптимизирован как для проектирования онлайн-приложений, так и офлайн-сценариев использования больших языковых моделей. Также ИИ-фреймворк поддерживает ряд готовых пайпланов и доступных API для удобной интеграции в приложения. Компания подчеркивает, что TensorRT LLM 1.0 демонстрирует лучшие показатели производительности при работе в системах на базе GPU от Nvidia.

Выводы

Проект TensorRT LLM разрабатывается уже давно, но выход первой стабильной версии знаменует переход проекта в стадию полной коммерческой готовности. TensorRT LLM 1.0 не только прочно войдет в экосистему ИИ-фреймворков Nvidia, но и позволит компании составить значительную конкуренцию открытым движкам инференса LLM, таким как llama.cpp и vLLM.