Llama* Nemotron — новое поколение LLM с регулируемым режимом размышления

Введение

Компания Nvidia анонсировало выход семейства больших языковых моделей Llama* Nemotron, предназначенных для разработки новейших моделей ИИ-агентов, адаптированных как под автономную, так и командную работу. Главное нововведение Llama* Nemotron — возможность регулирования уровня интеллекта с помощью отключения или включения режима рассуждения.

Особенности Llama* Nemotron

В семейство новых LLM вошли модели Nano, Super и Ultra, предназначенные для выполнения широкого спектра операций — от пользовательских задач до вычислений в рамках передовых дата-центров. Все нейросети семейства Llama* Nemotron прошли дополнительное обучение, благодаря чему их производительность возросла на 20%, а вывод ускорился в 5 раз в сравнении с аналогичными ИИ на архитектуре Llama* от компании Meta*, выложенные в открытый доступ. Дообучение моделей проходило с помощью сервиса NVIDIA DGX Cloud при использовании 360 тысяч часов инференса с на базе ускорителей Nvidia H100. Также для оптимизации функции рассуждения обучение моделей курировалось специалистами на протяжении 45 тысяч часов. В данный момент новые ИИ доступны в сервисах Nvidia NIM, однако, компания заявила, что впоследствии Nano, Super и Ultra появятся в открытом доступе.

Выводы

Помимо вышеперечисленного, Nvidia также поделилась информацией, что новые модели Llama* Nemotron уже активно используются рядом компании для разработки более совершенных ИИ-агентов. К примеру, IT-гигант Microsoft активно внедряет Nemotron и микросервисы NIM в облачную экосистему Microsoft Azure, а SAP SE использует модели Llama* Nemotron для увеличения производительности собственного ИИ-помощника Joule. Не исключено, что новые LLM на архитектуре Llama* станут основой для большинства умных помощников, выпускаемых крупными партнерами Nvidia.

*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена

**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена