Dragon Hatchling (BDH): новая архитектура LLM, мимикрирующая под мозг

Введение

Независимые разработчики представили новую архитектуру языковых моделей под названием Dragon Hatchling (BDH), особенностью которой является уникальная структура, подобная нейронам головного мозга человека.

Подробнее о Dragon Hatchling (BDH)

Разработчики заявляют, что биологические нейронные сети демонстрируют высочайшую однородность, масштабируемость и, что самое главное, способность к прогрессирующей взаимосвязи всех клеток. Для современных языковых моделей последнее является особенно важным вызовом на пути к достижению универсальности и максимальной эффективности размышления. Инновационная архитектура Dragon Hatchling (BDH) способна преодолеть этот барьер, поскольку она основана на принципах работы масштабно-инвариантной биологической сети, где нейронные клетки локально взаимодействуют друг с другом, тем самым устраняя компромиссы в задержках, производительности и эффективности. BDH представляет собой практичную state-of-the-art архитектуру для обучения последовательностей, основанную на механизмах внимания в пространстве состояний. Архитектура представляет все данные модели в виде графов, а также достигает паритета с GPT2 в задачах обработки языка и машинного перевода при равном количестве параметров (от 10 млн до 1 млрд). Память моделей на базе архитектуры Dragon Hatchling (BDH) реализовывается через механизмы синаптической пластичности с использованием импульсных нейронов и хеббовского обучения, что подтверждает практически полное соответствие процессам, происходящим при передаче данных в мозге при мышлении и воспроизведении речи. Сама сеть нейронов в BDH представляется в виде графов данных с повышенной модульностью и прочными связями.

Выводы

В ближайшее время разработчики выложат исходный код своей передовой архитектуры Dragon Hatchling (BDH) на Hugging Face и другие открытые библиотеки, а пока стоит поразмышлять, почему языковые модели движутся в сторону мимикрии под реальные нейроны. На самом деле, биологические нейронные сети — это совершенный механизм, который обеспечивает огромную масштабируемость, производительность и, что самое главное, экономичность. В то же время современные LLM испытывают трудности со всеми этими характеристиками, поэтому текущий ИИ-тренд нацелен на повторение структуры мозговых нейронов в программно-аппаратной реализации. Скорее всего, в самые эффективные LLM будут походить именно на реальные нейронные структуры, а системы наподобие MoE и даже DSA будут считаться устаревшими.