Энтузиаст смог обучить ИИ на Apple NPU

Введение

Один разработчик совершил то, что Apple считала невозможным: полноценное обучение нейронных сетей с обратным распространением ошибки напрямую на Apple Neural Engine. Проект с открытым исходным кодом на GitHub обходит Core ML, Metal и GPU, задействуя исключительно NPU. В результате тестовый однослойный трансформер с 768 измерениями и последовательностью 512 токенов выполняется на чипе M4 всего за 9,3 миллисекунды на шаг при загрузке ANE всего 11,2%. Компания Zero-Human уже тестирует эту технологию на реальных задачах, рассчитывая превратить миллионы простаивающих Apple Mac в распределенную сеть для сверхдешевого обучения ИИ.

Подробнее о проекте обучения ИИ на Apple NPU

Проект разработчика под ником maderix, использует реверс-инжиниринг частных API Apple — _ANEClient и _ANECompiler — для прямого доступа к нейронному процессору. Это позволяет выполнять обратное распространение ошибки, которое ранее было невозможно на ANE из-за программных ограничений, а не аппаратных. На M4 Apple Neural Engine показывает реальную производительность около 6,6 TFLOPS на ватт, что в 80 раз эффективнее NVIDIA A100 по энергопотреблению. При этом фактическая пропускная способность превосходит заявленные Apple 38 TOPS, а энергопотребление остается на уровне мобильных устройств.

Zero-Human Company уже интегрирует этот подход в свои рабочие процессы. По заявлению компании, речь идет о превращении архивных данных в автономные системы ИИ без участия человека. Стоимость обучения, которая раньше требовала аренды кластеров A100 за десятки тысяч долларов, теперь снижается до стоимости электроэнергии, потребляемой Mac, который в противном случае простаивал бы без дела. Впервые владельцы Mac получают возможность выполнять тонкую настройку и обучение больших моделей локально, приватно и без очередей в облачных сервисах.

При этом автор проекта подчеркивает, что текущая реализация является исследовательской, а не готовым решением для корпоративного использования. Коэффициент использования Apple NPU пока составляет всего 2-3% от пикового, многие операции по-прежнему выполняются на CPU, а до обучения действительно больших моделей на потребительском оборудовании еще далеко. Проект служит доказательством концепции и справочным материалом для изучения возможностей прямого доступа к Apple Neural Engine, а не заменой существующих фреймворков вроде Core ML или MLX.

Выводы

Демонстрация обратного распространения на Apple Neural Engine подтверждает, что аппаратные возможности нейронных процессоров Apple ограничены исключительно программной политикой компании, а не техническими причинами. Даже с текущим низким КПД в 2-3% эффективность по энергопотреблению оказывается на порядки выше серверных GPU, что открывает путь к распределенному обучению на миллионах устройств. Zero-Human Company уже тестирует технологию, а значит, в ближайшее время мы можем увидеть первые практические применения.