Восторг и недостатки — OpenAI представила Sora

15 февраля компания OpenAI представила новую генеративную модель искусственного интеллекта Sora, которая позволяет преобразовывать текст в видео. Инструмент вызвал восторг в соцсетях, однако до полноценного запуска ему предстоит немало доработок.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Sora способна на основе простых текстовых подсказок генерировать видеоролики продолжительностью до 60 секунд с разрешением до 1080p. Они могут включать в себя несколько персонажей, определенные типы движения и точные детали объекта и фона.

В основе инструмента лежат исследования GPT и DALL-E 3. Она работает по так называемой диффузионной модели — превращает исходное изображение в статистический шум, а затем преобразовывает его, пошагово этот шум удаляя.

Announcing Sora — our model which creates minute-long videos from a text prompt: https://t.co/SZ3OxPnxwz pic.twitter.com/0kzXTqK9bG

— Greg Brockman (@gdb) February 15, 2024

Разработчики признают, что на данном этапе у Sora все еще есть ряд недостатков. Ей сложно точно смоделировать физику комплексной сцены — она путается в причинно-следственных связях.

«Например, человек может откусить кусочек печенья, но после этого на нем может не остаться следа от укуса», — объясняют в OpenAI.

У инструмента есть проблемы с пространственными деталями. Полученный результат может не соответствовать заданным направлениям, ошибаться, где право и лево.

Пока Sora доступна «красной команде» тестировщиков, а также избранным дизайнерам, художникам и кинематографистам.

Реакция соцсетей

Инструмент вызвал восхищение в соцсетях и уже вошел в тренды X более чем с 173 000 постов. 

Для наглядной демонстрации возможностей модели CEO OpenAI Сэм Альтман начал принимать запросы пользователей на генерацию видео. На момент написания он поделился в общей сложности девятью роликами, созданными Sora.

https://t.co/uCuhUPv51N pic.twitter.com/nej4TIwgaP

— Sam Altman (@sama) February 15, 2024

Эксперты в области ИИ отметили, что возможности Sora «лишают дара речи».

I don’t even know what to say…

These clips generated by OpenAI’s Sora model have me speechless.

We knew good AI text-to-video would come, but this quickly? Unreal.

We’re stepping into a new world.

Buckle up. pic.twitter.com/zP7b5fKw5x

— Mckay Wrigley (@mckaywrigley) February 15, 2024

По словам старшего научного сотрудника Nvidia Джима Фана, Sora гораздо больше, чем просто еще одна «творческая игрушка», наподобие DALL-E 3. Он определил ее как «физический движок, управляемый данными», поскольку модель ИИ не просто генерирует абстрактное видео, но также интуитивно создает физику объектов в самой сцене.

If you think OpenAI Sora is a creative toy like DALLE, … think again. Sora is a data-driven physics engine. It is a simulation of many worlds, real or fantastical. The simulator learns intricate rendering, "intuitive" physics, long-horizon reasoning, and semantic grounding, all… pic.twitter.com/pRuiXhUqYR

— Jim Fan (@DrJimFan) February 15, 2024

Наряду с этим ряд пользователей выразил опасения, что подобные Sora инструменты усугубят проблему дипфейков. 

OpenAI, the builders of ChatGPT, have built Sora. A text to video AI system that creates 60 sec videos. It’s not yet available but is causing significant concern around its deep fake potential use. The issue isn’t just video content but how it’s used. https://t.co/Qujz3TfeH2

— Ian McLintock (@ian_mcl) February 16, 2024

По мнению одного из пользователей, крупным соцсетям нужно задуматься над встроенной защитой от реалистичных подделок. Отдельно он выделил угрозу подмены видеодоказательств преступлений.

Open AI launched #Sora that gives almost realistic text to video GAI:
1. Deep fake detection becomes super important against spread of misinformation (platforms like X should've in-built debunker of deep fakes)
2. Courts will have a hard time with video evidence as proof of crime

— TheShunyaLab (@theshunyalab) February 16, 2024

Другой юзер заявил о необходимости технологии обратного проектирования De-AI, чтобы избежать неправильной интерпретации контента.

This is amazing! But we badly need a De-AI reverse engineering technology to avoid misinterpretation and deepfake generation to avoid misuse.#Sora #OpenAI #AI #DeepFake https://t.co/hazxryNlHI

— Neeraj Chauriya🇮🇳 (@neerajchauriya) February 16, 2024

Ранее OpenAI начала тестировать функцию «памяти» для чат-бота ChatGPT, которая сохраняет обсуждаемую в разговорах информацию для улучшения взаимодействия с пользователем.

При этом компания активно противодействует использованию своих продуктов в незаконных целях.