Релиз FLUX.2: новый открытый флагман в ИИ-генерации изображений

Введение

Компания Black Forest Labs представила новое семейство моделей для генерации высококачественных изображений — FLUX.2. Разработка новой open-source нейросети велось при участии компании Nvidia и в тесном сотрудничестве с командой разработчиков ComfyUI, что позволило не только значительно улучшить качество генерации контента, но и адаптировать модель под реальные сценарии использования и потребности художников, дизайнеров и ИИ-энтузиастов.

Подробнее о FLUX.2

FLUX.2-dev — это высокопроизводительная генеративная нейросеть, которая способна создавать высокодетализированный, фотореалистичный визуальный контент в разрешении до 4 мегапикселей без артефактов. В отличие от предыдущего семейства FLUX.1, в новом поколении добавили функцию создания контента по 6 референсным изображениям, что позволяет в точности сохранить стиль, композицию и тон исходника, не прибегая к дополнительному тонкому дообучению ИИ. Такой подход позволяет генерировать десятки согласованных между собой вариаций одного и того же изображения, включая иллюстрации, UI-элементы, инфографику или контент со сложным, многоязычным текстом. Модель демонстрирует особо высокое качество при генерации текстовых элементов — именно на этом часто сыпались предыдущие версии FLUX.

Благодаря сотрудничеству Nvidia и Black Forest Labs, модели FLUX.2 получили глубокую оптимизацию для графических процессоров GeForce RTX. Поддержка квантования FP8 позволяет снизить объем необходимой видеопамяти примерно на 40%, одновременно давая прирост производительности на все те же 40%. Эти улучшения особенно важны, учитывая требования для локального развертывания, которые выставляет модель: при размере в 32 миллиарда параметров, для комфортного инференса FLUX.2 требует около 90 ГБ видеопамяти в режиме FP8 и около 64 ГБ при использовании lowVRAM-подхода — для развертывания понадобится как минимум одна профессиональная видеокарта RTX 6000 PRO, либо несколько потребительских видеокарт RTX 5090. Для работы с моделью без квантизации, потребуется целый GPU-сервер на 178 ГБ.

Команда ComfyUI совместно с Nvidia также улучшила механизм потоковой передачи весов, что позволяет выгружать часть структуры модели в системную память. Таким образом система может работать с ограниченными ресурсами GPU, пусть и с некоторым снижением скорости генерации из-за более медленного доступа к RAM. При этом FLUX.2 интегрирована напрямую в ComfyUI и не требует отдельного специализированного ПО: пользователи могут начать работу через обновление приложения и загрузку весов с платформы Hugging Face.

Выводы

FLUX.2 представляет собой значительный шаг вперед в области ИИ-генерации высококачественного контента и продвигает индустрию диффузионного искусственного интеллекта к новым высотам. Благодаря сочетанию высокой производительности, глубоко проработанному визуальному стилю и мощным возможностям кастомизации контента, FLUX.2 может становится новым, эталонным инструментом для дизайнеров и ИИ-исследователей, изучающих передовые диффузионные ИИ. Несмотря на то, что развертывание FLUX.2 доступно лишь на мощных рабочих станциях, в ближайшем будущем благодаря новым оптимизациям расхода памяти и механизмам экономии системных ресурсов, новая нейросеть может стать более доступной для массового потребителя.