Intel Neural Compute Stick 2 – что это за ИИ-ускоритель и зачем он нужен

Введение

Если сегодня заходит диалог об edge AI, в воображении чаще возникают Jetson-платы, встроенные NPU в новых процессорах или специализированные TPU-ускорители. Но несколько лет назад сама идея локального запуска нейросетей вне дата-центра ещё не выглядела чем-то по-настоящему массовым. Именно в тот фрагмент времени Intel предложила довольно изящное решение: Neural Compute Stick, компактный USB-ускоритель, который обещал сделать инференс нейросетей доступным для маломощных или не предназначенных для этого устройств. И почти таким же простым, как подключение обычной флешки.

Зачем Intel создавала линейку Neural Compute Stick

Линейка Neural Compute Stick появилась в тот момент, когда машинное зрение и лёгкие нейросетевые модели начали выходить за пределы лабораторий и серверных стоек. Intel продвигала эти устройства как платформу для разработки и прототипирования машинного интеллекта на edge-устройствах, где модель можно было запускать локально, без обязательной зависимости от облака и без дискретной видеокарты.

Для компании это был способ показать, что нейросетевой инференс можно сделать дешёвым, энергоэффективным и достаточно удобным для встраиваемых систем, камер, роботов и учебных стендов.

Отдельно надо понимать и стратегический контекст. После приобретения Movidius, компании занимающейся разработкой маломощных процессорных чипов для компьютерного зрения, Intel получила в своё распоряжение семейство VPU, ориентированных именно на зрение и маломощный инференс. Neural Compute Stick стал удобной витриной этой технологии: вместо того чтобы предлагать только чипы для OEM-партнёров, Intel вывела на рынок законченное устройство, понятное разработчикам и энтузиастам.

Первая версия помогла собрать вокруг продукта заметное сообщество, а сама Intel позже прямо отмечала, что первое поколение, запущенное в июле 2017 года, успело привлечь десятки тысяч разработчиков.

Первое поколение: с чего всё началось

Оригинальный Intel Movidius Neural Compute Stick появился в 2017 году и был построен на VPU Myriad 2. По нынешним меркам это было довольно скромное устройство, но тогда сама концепция выглядела необычно: маленький USB-стик, который можно подключить к одноплатнику, дрону или системе видеонаблюдения и получить аппаратное ускорение для нейросетевых задач.

Первое поколение Intel позиционировала прежде всего как инструмент для экспериментов, настройки и обкатки моделей, а не как универсальный массовый акселератор.

В 2019 году Intel прекратила выпуск первого поколения и прямо рекомендовала разработчикам переходить на NCS 2 и open source OpenVINO toolkit, что хорошо показывает преемственность внутри линейки.

Что представляет собой Neural Compute Stick 2

Intel Neural Compute Stick 2 сохранил базовую философию первого поколения, но заметно прибавил в зрелости. Официально это внешний ускоритель инференса, который берёт на себя запуск уже подготовленной нейросетевой модели и тем самым разгружает основной процессор системы.

Очень важно сразу обозначить границы возможностей. Это не устройство для обучения нейросетей и не замена полноценной видеокарте. Его стихия это инференс, прежде всего в задачах компьютерного зрения, где нужно на маломощной системе получить приемлемую скорость обработки без тяжёлой дискретной графики и без постоянного обращения к облаку.

Архитектура и характеристики

Основой NCS 2 стал Movidius Myriad X, более современный по сравнению с Myriad 2 чип, на котором работал первый Neural Compute Stick.

Intel указывает, что Myriad X в составе NCS 2 включает 16 программируемых SHAVE-ядер и отдельный нейронный вычислительный блок, предназначенный для аппаратного ускорения инференса глубоких нейронных сетей.

Базовая частота устройства составляет 700 МГц, а физические размеры равны 72.5 × 27 × 14 мм.

На уровне идеи NCS 2 интересен именно тем, что это не урезанный маленький GPU, а специализированный VPU с собственным профилем задач. В материалах о запуске второго поколения Intel делала акцент на том, что переход на Myriad X позволил существенно увеличить производительность относительно первого поколения, а ряд публикаций того времени приводил оценку до восьмикратного прироста в рабочих нагрузках.

Даже если не воспринимать маркетинговые цифры буквально, технический скачок между двумя поколениями действительно был заметным: больше SHAVE-ядер, выделенный neural engine и более зрелая аппаратная платформа.

Подключается устройство через USB 3.0 и сохраняет ту же простую модель использования, что и первое поколение. Главным шагом вперёд здесь стал не интерфейс подключения, а переход на Myriad X и общий рост вычислительных возможностей.

Пользователю это сулило простую модель внедрения: есть хост-система, есть OpenVINO, есть совместимая модель, и есть внешний ускоритель, который можно добавить без полной перестройки железа.

OpenVINO – вторая, неотъемлемая половина продукта

Говорить о Neural Compute Stick 2 в отрыве от OpenVINO почти невозможно. Именно OpenVINO Toolkit был той средой, через которую устройство получало свой практический смысл: конвертация модели, оптимизация графа, запуск через бэкенд для MYRIAD-устройств, интеграция с Python или C++ приложением.

Сам по себе USB-стик без этого стека оставался просто интересным куском железа, но не готовым решением для разработки.

Intel продвигала NCS 2 как ускоритель, совместимый с широким набором популярных фреймворков через OpenVINO, включая TensorFlow, Caffe, MXNet, ONNX и PyTorch через ONNX-конвертацию.

На практике это означало, что разработчик мог взять уже обученную модель, адаптировать её под поддерживаемые операции и нужную точность вычислений, а затем запускать локальный инференс на компактном VPU без обращения к серверной GPU.

Именно здесь раскрывалась сильная сторона устройства. Для простых edge-сценариев вроде умной камеры, локальной детекции объектов, распознавания лиц или учебных экспериментов такой стек выглядел очень убедительно, потому что сочетал сравнительно низкий порог входа и понятную архитектуру.

Но ровно здесь же со временем проявилась и его главная уязвимость: судьба NCS 2 оказалась полностью привязана к жизненному циклу OpenVINO.

Ограничения ПО

Главное ограничение NCS 2 на 2026 год – программная поддержка. Устройство снято с производства и больше не поддерживается в актуальных ветках OpenVINO: поддержка NCS 2 была сохранена только в OpenVINO 2022.3.x LTS, а начиная с OpenVINO 2023.0 поддержка MYRIAD/NCS 2 была отменена. Поэтому для запуска стика сегодня приходится собирать устаревшее окружение с совместимыми версиями OpenVINO, Python, драйверов и моделей. Это делает устройство пригодным скорее для ретро-экспериментов, обучения и демонстраций, чем для новых production-проектов

Intel прекратила техническую поддержку Neural Compute Stick 2 30 июня 2023 года. И рекомендовала пользователям стика перейти на Intel Edge AI Box.

Тест Intel Neural Compute Stick 2

После мучительной настройки можно перейти к тесту Intel Neural Compute Stick 2. Поскольку устройство создано в первую очередь для компьютерного зрения, мы будем испытывать его именно там.

Однако подойдёт далеко не любая нейросетевая модель. Во-первых модель должна конвертироваться в OpenVINO IR или уже быть в совместимом формате для старой версии OpenVINO. Во-вторых OpenVINO должен уметь скомпилировать её именно на устройство MYRIAD, а не только на CPU. Ну и напоследок: в графе не должно быть неподдерживаемых операций, которые Myriad X не исполняет. Это сильно срезает выбор доступных моделей и делает возможным запуск преимущественно довольно старых моделей.

Для стика с настроенной моделью не составляет труда обнаружить на фотоснимке как одного человека:

В целом, помимо неприятностей с ПО, стик показал себя с хорошей стороны и особых нареканий не вызвал.

Заключение

Intel Neural Compute Stick 2 – уникальный феномен своей эпохи: когда ИИ только-только захватывал мир и железо ещё не успело адаптироваться к этому новому миру. Neural Compute Stick послужил эдаким “костылём”, для устройств которые не могли самостоятельно заниматься инференсом, но остро в этом нуждались.