Essential AI Labs представил Rnj-1 — ИИ-модель от авторов Attention is All You Need

Введение

Американский стартап Essential AI Labs, основанный Ашишем Васвани и Нитишем Палмером, авторами революционной статьи “Attention is All You Need”, представил свою первую открытую модель искусственного интеллекта Rnj-1. Название модели отсылает к индийскому математику Сринивасе Рамануджану и отражает стремление компании соединить научное наследие с современными технологиями искусственного интеллекта.

Подробнее о Rnj-1

ИИ-модель Rnj-1 с 8 миллиардами параметров, созданная полностью с нуля и обученная на 8,4 триллионах токенов, базируется на использовании так называемого “глобального внимания” и технологии YaRN, которая позволяет обрабатывать до 32 000 токенов всего за один запрос (задействуя весь контекст в 32 к токенов), что открывает широкие возможности для работы с экстремально длинным контекстом. Помимо базовой модели Rnj-1, разработчики также представили instruct-версию нейросети, которая демонстрирует лучшее качество генерации и большую точность при следовании инструкциям благодаря дополнительному пост-обучению. Модель ориентирована на выполнение задач в области написания кода, логики и математических вычислений и естественных науках, вызова инструментов и агентских задач, демонстрируя производительность, превосходящую Qwen3-8b, OLMo-7b и Gemma-3-12b. Компания подчеркивает, что модели Rnj-1 созданы специально для работы на потребительских GPU, что делает ее доступной для исследователей и разработчиков без дорогостоящего серверного оборудования. В отличие от многих ИИ-проектов, нейросети Rnj-1 имеют минимальную постобработку, что оставляет сообществу возможность адаптировать и улучшать их под собственные задачи.

Выводы

Несмотря на то, что модели Rnj-1 вышли совсем недавно, они уже ворвались в топ самых популярных нейросетей на платформах Hugging Face и GitHub, а их поддержку уже ввели такие популярные ИИ-движки, как vLLM, Ollama, LM Studio и SGLang, что свидетельствует об интересе открытого сообщества к новому ИИ-продукту начинающего стартапа.