Сооснователь OpenAI представил nanochat — открытый проект для обучения LLM за $100

Введение

Бывший инженер Tesla и сооснователь OpenAI Андрей Карпатый представил nanochat — открытый набор инструментов для полного цикла создания и обучения больших языковых моделей. По словам разработчика, обучение базовой версии модели обойдется примерно в 100 долларов, если использовать аренду вычислительных мощностей у облачных провайдеров, а весь процесс займет не более 4 часов.

Подробнее о nanochat

Nanochat создан в рамках образовательного курса LLM101n от Eureka Labs и представляет собой минималистичный, но полностью функциональный программный стек для обучения языковых моделей. В репозитории проекта содержатся:

• Токенизатор на языке Rust собственной разработки;
• Система подкачки датасетов из FineWeb-EDU;
• Скрипты для обучения LLM, Fine-Tuning, инференса и оценки метрик;
• Встроенный веб-интерфейс для общения с готовой моделью.

Проект рассчитан на запуск на инстансе с 8 GPU Nvidia H100. Полный цикл обучения занимает около четырех часов. При средней стоимости аренды облачного кластера в $24 за час общие расходы составляют примерно $100. Для запуска процесса обучения используется скрипт speedrun.sh, а для тестирования модели через веб-интерфейс используется команда python -m scripts.chat_web. Пользователи могут легко просмотреть ход обучения, вызвав отчет с помощью команды cat report.md.

Главная цель проекта — демонстрация полного цикла создания LLM с ограниченным бюджетом. По словам Карпатого, nanochat — это основа для экспериментов и доработок: на его базе можно строить крупные модели и добавлять собственные интеграции, создавая уникальные ИИ-модели. Исходный код проекта nanochat уже выложен в открытый доступ на GitHub и включает все необходимые инструкции для запуска. Проект уже используется участниками курса LLM101n для обучения и исследования архитектур современных языковых моделей.

Выводы

В долгосрочной перспективе проект nanochat может стать основой для создания полноценных ИИ-приложений с бюджетом до $1000. Позволяя практически каждому заинтересованному энтузиасту разрабатывать собственные, уникальные большие языковые модели и реализовывать огромное множество перспективных идей, внося огромный вклад в развитие open-source сообщества.