Вышло новое поколение языковых моделей Llama* 4

Введение

Компания Meta* выпустила новое поколение больших языковых моделей Llama* 4. В серию мультимодальных LLM вошли такие нейросети, как Llama* 4 Maverick 400b и Llama* 4 Scout 109b на архитектуре MoE. Из общего количества параметров моделей 17 миллиардов будут активными. Обе модели обучены на 30 миллиардах токенов, что в 3 раза больше, чем при обучении нейросетей семейства Llama* 3. Особенностью этих ИИ является функция слияния модальностей, при которой модели будут обрабатывать текст и изображения совместно, улучшая понимание контекста.

Подробнее моделях Llama* 4

Модели Llama* 4 Maverick 400b и Llama* 4 Scout 109b включают в себя от 16 до 128 “экспертов”, понимают свыше 200 языков и поддерживают тонкую настройку для 12 самых распространенных языков. Llama* 4 Maverick 400b можно развертывать в квантизированных форматах BF16 и FP8, тогда как Llama* 4 Scout 109b поддерживает развертывание в форматах FP32, FP16, INT 8 и INT 4, при этом обеспечить модель нужным количеством VRAM может всего 1 ИИ-ускоритель Nvidia H100. Контекстное окно версии Scout достигает 10 миллионов токенов, что равноценно 20-часовому видеоролику или 5000 страницам текста. Кроме того, Scout может одновременно обрабатывать до 48 изображений и демонстрирует 100% точность в задачах поиска информации в колоссальных массивах данных. Также стоит отметить, что модель Llama* 4 Scout превзошла языковую модель Gemma 3 с 27 миллиардами параметров.

В свою очередь, Llama* 4 Maverick смогла занять 2 место в бенчмарке LMSYS Arena, набрав 1417 баллов ELO, что равноценно результатам нейросети GPT-4.5, но ниже, чем у модели Gemini 2.5 Pro. Maverick оптимизирована для развертывания на производительных серверных системах с колоссальным объемом VRAM, для локального запуска нужен 1 DGX-сервер или 8 ИИ-ускорителей Nvidia H100. также Maverick имеет контекстное окно в 10 миллиардов параметров, способна решать сложнейшие логические задачи и писать программный код. Высочайшая производительность LLM Llama* 4 Maverick удалось достичь благодаря дистилляции знаний от модели Llama* 4 Behemoth с 2 триллионами параметров. Такая огромная языковая модель как Llama* 4 Behemoth обучалась на 32 тысячах ИИ-ускорителях специально для создания меньших моделей серии Llama* 4. Чтобы исключить возможность обхода ограничений, новые нейросети поддерживают технологии Llama* Guard (блокировка вредных запросов) и Prompt Guard (защита от промптов-инъекций). Также частота отказов от ответа при вопросах на спорные темы снижена с 7% до 2%. Обе модели уже доступны для скачивания в Hugging Face, для скачивания необходимо специальное лицензионное соглашение Llama* 4 Community.

Выводы

Также компания Meta* заявила, что на конференции LlamaCon 29 апреля будут показаны передовые модели искусственного интеллекта серии Llama, которые будут иметь функцию рассуждения. Релиз моделей Llama* 4 ожидался сообществом с самого начала ИИ-бума, вызванного внезапным ростом популярности китайских LLM. Передовые нейросети Llama* 4 уже сейчас используются для создания приложений в таких специфических сферах, вроде медицины, анализа больших данных и мультиязычного перевода, открывая пользователям доступ к высокоэффективным ИИ, не требующих использования облачных кластеров для оптимальной работы.

*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена

**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена