Rockchip RK182X — новый RISC-V ускоритель для периферийных LLM/VLM задач

Введение

Китайская компания Rockchip продемонстрировала ИИ-ускоритель RK182X на базе архитектуры RISC-V, созданный для развертывания больших языковых моделей и визуально-языковых моделей на периферийных устройствах. Новинка спроектирована для совместной работы с другими устройствами на SoC-чипах Rockchip.

Подробнее о RK182X

Ускоритель использует многоядерную RISC-V архитектуру, при этом точное число ядер решения не разглашается. В зависимости от версии решения применяется 2,5 ГБ или 5 ГБ DRAM с экстремально высокой пропускной способностью, скорость которой китайская компания также предпочла не уточнять. ИИ-ускоритель также поддерживает интерфейсы PCIe 2.0, USB 3.0 и Ethernet. По заявлению производителя, RK182X способен выполнять инференс LLM/VLM моделей объемом до 7 миллиардов параметров. Для моделей такого масштаба требуется примерно 3,5 ГБ памяти при использовании режимов INT4/FP4. Также компания предлагает совместимость с популярными ИИ-фреймворками PyTorch, ONNX, TensorFlow и HuggingFace GGUF.

Ускоритель оптимизирован для интеграции с SoC-чипами Rockchip, включая RK3576/RK3588, а также новинками в лице RK3668 и RK3688, анонсированные параллельно с решением RK182X . Эти чипы оснащены встроенным NPU-блоком производительностью от 6 TOPS для выполнения базовых ИИ-операций. Ключевое преимущество RK182X — прирост производительности в рамках экосистемы. При подключении ускорителя RK182X к SoC Rockchip скорость обработки ИИ-задач возрастает в 8–10 раз в сравнении с использованием решений сторонних производителей. Компания подтвердила это тестами для моделей DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-1.5B и Qwen2.5-3B.

Выводы

RK182X — весьма амбициозное решение для развертывания ИИ на периферийных устройствах, однако множество вопросов вызывает стратегия компании Rockchip, предусматривающая неразглашение ключевых характеристик новейшего решения. Очевидно, что ИИ-ускорители RK182X в первую очередь будут предназначены для использования во внутреннем рынке Китая, однако с учетом растущего ИИ тренда на локальное развертывание LLM, не исключено, что многие зарубежные компании также могли бы обратить свое внимание на передовое решение из Поднебесной, но скрытые характеристики будут препятствовать массовому распространению RK182X.