Новейшие ИИ-модели Llama* 4 оказались неэффективными и подверглись массовой критике

Введение

Новые языковые модели Llama* 4, которые вышли 5 апреля 2025 года, подверглись массовой критике со стороны ИИ-сообщества. Большинство юзеров сообщают о генерации неработоспособного кода, ошибках при выполнении логических задач и цикличности при создании текстов.

Что произошло с Llama* 4?

На фоне провала Llama* 4, сети разгорелись дискуссии о том, почему результаты моделей оказались такими плохими. Одной из наиболее правдоподобных причин низкой эффективности Llama* 4 является очистка базы данных, используемой для обучения моделей. Скорее всего, Meta* была вынуждена убрать из базы данных материалы, защищенные авторскими правами, после подачи иска на компанию в феврале 2025 года. По всей видимости, после удаления защищенных данных, таких как книги, картины и библиотеки программного кода, Meta* просто заменила их на синтетические данные, в результате чего критически упала производительность моделей. При этом, в результатах внутренних тестов разработчиков показана высочайшая производительность — эффективность старшей модели Llama* 4 Maverick эквивалентна нейросети GPT-4.5, а младшая модель Llama* 4 Scout превзошла передовую LLM Gemma 3:27b.

Выводы

Интересно, что перед выходом провальных нейросетей семейства Llama* 4, директор Meta* AI Джоэль Пино внезапно ушла в отставку спустя 8 лет работы в компании. Также в сети появилась информация, что один из сотрудников ИИ-гиганта отказался подписывать отчет по модели и уволился, что также свидетельствует о серьезных внутренних проблемах Meta*. В свою очередь, высокие результаты при внутренних тестированиях объясняются информацией от бывшего сотрудника Meta* — он заявил, что модели Llama* 4 дообучались напрямую из данных публичных тестов для нейросетей. Другими словами, новейшие LLM буквально были дообучены для достижения высоких результатов в бенчмарках ИИ, а не для практических сценариев использования. Скорее всего, Meta* уже в ближайшее время начнет исправлять проблемы моделей Llama* 4 чтобы сохранить свою репутацию, поэтому ставить крест на этих новейших языковых моделях еще рано.

*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена

**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена