OpenAI выпустила Sora 2: американский ответ на Wan2.5

Введение

Компания OpenAI представляет свою новейшую модель для генерации видео Sora 2, которая устанавливает новые стандарты в создании визуального и аудиоконтента. Новая языковая модель превосходит предыдущие системы Sora в области точности представления физических явлений, реалистичности и функциональности, а также впервые интегрирует синхронизацию диалогового контекста и генерацию звуковых эффектов.

Подробнее о Sora 2

По заявлениям OpenAI Sora 2, знаменует качественный скачок в развитии технологий генерации видео. Если первоначальная версия Sora, представленная в феврале 2024 года, была аналогом нейросети GPT-1 для генерации видео, то новая модель соответствует уровню GPT-3.5. Это проявляется в способности точно моделировать сложные физические процессы, например, анатомически верное выполнение гимнастических упражнений и правдоподобная физика воды при плавании. Примечательно, что Sora 2 научилась распознавать ошибки во время генерации, благодаря чему количество галлюцинаций было значительно снижено. Если первая версия Sora при генерации броска баскетбольного мяча могла телепортировать его ближе прямо в кольцо при неверном расчете траектории, то Sora 2 поймет свою ошибку и покажет, что мяч пролетит мимо кольца или отскочит от него. Интеграция такого передового функционала стала возможной благодаря оптимизации интеллекта встроенного ИИ-агента, который на ходу просчитывает возможные сценарии при генерации видеоконтента.

Помимо этого, Sora 2 также демонстрирует значительный прогресс в области сохранения статического фона и окружения при генерации сложных, многокадровых видео. Нейросеть также стала эффективнее работать с различными стилями — от реалистичных, кинематографичных видео до аниме, мультипликации или сюрреализма. В Sora 2 была добавлена инновационная функция Cameo, которая позволяет интегрировать реальных людей, животных и объекты в генерируемые сцены с сохранением внешности и голоса после ввода текстового или визуального референса. Таким образом, пользователи могут персонализировать генерируемый видеоконтент в высочайшем качестве.

Особое внимание компания уделила системам безопасности: были внедрены строгие ограничения для несовершеннолетних пользователей, расширен штат модераторов и разработана система родительского контроля через ChatGPT. Пользователи сохраняют полный контроль над своими цифровыми образами, а уязвимые группы юзеров теперь с меньшей вероятностью смогут сгенерировать шокирующий или эротический контент.

Пока что Sora 2 доступна бесплатно через официальный веб-интерфейс OpenAI, но позднее доступ будет закрыт. Пользователи ChatGPT Pro получат доступ к улучшенной версии Sora 2 Pro. Также компания уже планирует выпустить API для разработчиков. В дополнение к громкому релизу, OpenAI также запустила удобное мобильное приложение для iOS.

Выводы

OpenAI заявляют, что Sora 2 является не просто пользовательским инструментом для генерации развлекательного контента, а важнейшим шагом вперед в области генеративного искусственного интеллекта, приближающим индустрию к созданию универсальных симуляторов мира и роботов-агентов, способных анализировать окружающий мир.