AMD Gaia — новейшее приложение от AMD для запуска локальных LLM

Введение

22 марта 2025 года компания AMD представила платформу Gaia — приложение с открытым исходным кодом, с помощью которого можно локально запускать, обучать и настраивать большие языковые модели на ПК с операционной системой Windows. AMD Gaia в будущем сможет составить конкуренцию таким популярным платформам, как LM Studio и Nvidia ChatRTX.

Особенности AMD Gaia

Работа приложения AMD Gaia обеспечивается 4 компонентами, которые являются частью технологии Retrieval-Augmented Generation (RAG), объединяющей искусственный интеллект и базы знаний для обучения LLM. Вот какие системы-агенты входят в RAG:

• Simple Prompt Completion — предоставляет прямой доступ к работе с ИИ-моделью для оценки производительности и проведения тестов.
• Chaty — необходим для создания удобного графического интерфейса чат-бота;
• Clip — инструмент для расширенного поиска, который находит информацию через YouTube, а также предлагает функцию вопросов и ответов;
• Joker — генерирует ответы нейросети с элементом юмора, что добавляет нейросетям “человечности” и делает общение с ИИ более нативным.

Благодаря использованию RAG, пользователи AMD Gaia получают более точные, релевантные ответы, а также улучшается общий опыт использования LLM. За инференс искусственного интеллекта отвечает отдельная система — Lemonade SDK, которая предоставляет инструменты для настройки больших языковых моделей в целях их адаптации под конкретные сценарии использования. К примеру, вы можете задать для LLM такие настройки, которые позволят нейросети составлять сводки больших текстов или обрабатывать сложные задачи, требующие функции рассуждения. Для этого Lemonade SDK запускает нейросети в разных средах (Hugging Face, ONNX Runtime GenAI API), при этом открывая веб-сервис и взаимодействуя с AMD Gaia, параллельно подключая приложение к OpenAI REST API. Другими словами AMD Gaia оптимизирует запросы пользователей приложения и только после этого передает их нейросети для обработки и генерации ответа.

Выводы

Также стоит отметить, что система AMD Gaia предлагает дополнительное увеличение производительности ИИ для устройств с процессорами Ryzen AI, которые имеют встроенный нейронный модуль NPU и интегрированный GPU. В отличие от проприетарных сервисов, AMD Gaia обеспечивает конфиденциальность данных своих пользователей, минимизирует задержку работы моделей и гарантирует эффективную работу с LLM без подключения к сети.