Nvidia представила генератор видео по текстовому описанию

Компания Nvidia разработала нейросеть VideoLDM, генерирующую короткие и реалистичные видеоролики по текстовому описанию.

Алгоритм позволяет создавать анимации продолжительностью около пяти секунд в разрешении до 2048х1280 пикселей и частотой 24 FPS. Модель генерирует видео как по простым, так и сложным подсказкам.

В основе VideoLDM лежат наработки алгоритма Stable Diffusion. Согласно отчету, нейросеть учитывает 4,1 млрд параметров. Из них 2,7 млрд обучались на видео.

В компании заявили, что добились «значительного прогресса» в тренировке нейросети достаточно быстро. По словам разработчиков, VideoLDM стала генерировать детализированные и соответствующие описанию видео всего за месяц.

Разработчики опубликовали несколько примеров работы нейросети на своем сайте.

https://forklog.com/wp-content/uploads/video26.mp4
«Черепаха плавает в океане». Данные: Nvidia.
https://forklog.com/wp-content/uploads/video14.mp4
«Штурмовик пылесосит песчаный пляж». Данные: Nvidia.
https://forklog.com/wp-content/uploads/video7.mp4
«Одетая в костюм лисица танцует в парке». Данные: Nvidia.
https://forklog.com/wp-content/uploads/video10.mp4
«Лев стоит на серфборде в океане на закате, 4К, высокое разрешение». Данные: Nvidia.
https://forklog.com/wp-content/uploads/video27.mp4
«Две панды сидят за столом и играют в карты, 4К, высокое разрешение». Данные: Nvidia.
https://forklog.com/wp-content/uploads/video57.mp4
«Наливание пива в бокал под низким углом». Данные: Nvidia.

Модель также умеет генерировать сцены вождения. Такие ролики имеют разрешение 1024х512 пикселей продолжительностью до пяти минут.

VideoLDM может моделировать специфические сценарии вождения и прогнозировать поведение объектов на дороге. По словам разработчиков, это позволяет создавать реалистичные кадры.

https://forklog.com/wp-content/uploads/high_res_driving_1.mp4
https://forklog.com/wp-content/uploads/high_res_driving_2.mp4
Пример сгенерированной сцены вождения. Данные: Nvidia.

Опубликованная работа является участником конференции IEEE по компьютерному зрению и распознаванию образов, которая пройдет в Ванкувере с 18 по 22 июня. Неизвестно, планирует ли Nvidia выпускать алгоритм в публичный доступ.

Напомним, в апреле Meta представила инструмент для сегментации изображений и видео.

В марте Microsoft выпустила предварительную версию Bing Image Creator.

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version