Sora от OpenAI сгенерировала видеоклип для инди-музыканта

Сценарист и режиссер Пол Трилло одним из первых продемонстрировал музыкальный видеоклип, который полностью сгенерировал искусственный интеллект Sora от OpenAI.

Ролик сняли для инди-чиллвейв музыканта Washed Out (Эрнест Уэзерли Грин-младший) и его нового сингла The Hardest Part. Четырехминутный клип представляет собой серию быстрых кадров в различных сценах, объединенных для создания иллюзии непрерывного зума. 

Ролик полностью сгенерировал ИИ

В рамках проекта Sora сгенерировала более 700 отрывков, из которых выбрали 55 отдельных клипов. Затем их смонтировали в целый видеоряд в Adobe Premiere.

По словам режиссера, чтобы получить желаемый результат, им приходилось придумывать подробные подсказки для ИИ. Они включали не только само изображение, но и ракурсы съемки, движения персонажей.

«Мы пролетаем сквозь пузырь, он лопается, мы пролетаем сквозь жвачку и выходим на открытое футбольное поле», — написал Трилло в качестве подсказки к одному короткому фрагменту видео. 

Режиссер отметил, что в ролике применялись только возможности генерации видео из текста. Он не использовал методику «оживления» статичных кадров с помощью ИИ, которая набирает популярность в творческой среде.

Идея создания клипа появилась у Трилло еще 10 лет назад, однако тогда он отказался от нее. Теперь же благодаря ИИ смог реализовать задуманное.

First official commissioned music video made with @OpenAI Sora for @realwashedout

This was an idea I had almost 10 years ago and then abandoned. Finally was able to bring it to life.

Watch the full video here https://t.co/sGpmMLVCul pic.twitter.com/J3RxRD9nzo

— Paul Trillo (@paultrillo) May 2, 2024

В интервью Los Angeles Times Грин также рассказал, что с нетерпением ждал возможности использовать новые технологии и оценить их влияние на творчество.

«Так что, если это новаторство, я с удовольствием приму в нем участие», — добавил музыкант.

Первый в своем роде?

OpenAI представила генератор видео Sora в феврале 2024 года. Инструмент вызвал восторг в соцсетях, однако его не выпустили в публичный релиз.

Разработчики опасаются, что генератор могут использовать для создания манипуляционных и дезинформационных видео. Поэтому стартап предоставил доступ к инструменту лишь экспертам по безопасности и небольшой группе «визуальных художников, дизайнеров и кинематографистов». 

В начале апреля OpenAI опубликовала ролик Air Head, созданный канадской творческой студией Shy Kids с использованием Sora. Однако тот в значительной степени опирался на другие инструменты VFX и видеомонтажа, такие как ротоскопирование в Adobe After Effects.

Тем не менее появление подобных видео свидетельствует о стремлении творческих личностей использовать новые ИИ-инструменты для самовыражения и повествования. При этом многие критикуют технологии и OpenAI, в частности как нарушающие авторские права путем соскабливания и обучения алгоритмов на работах художников без их согласия или компенсации.

Ранее исследование показало, что люди не могут отличить ИИ-видео от реальных.