Google разработает ИИ-модель для генерации звука к видео

Компания Google DeepMind разрабатывает технологию на базе искусственного интеллекта для создания саундтреков к видео.

Исследовательское подразделение Google в области ИИ и другие организации уже создавали модели для видео, но они не способны генерировать под них звуковые эффекты. Для этих целей DeepMind использует технологию V2A (video-to-audio).

«Модели для генерации видео развиваются невероятными темпами, но многие современные системы не создают звуковую дорожку. Одним из следующих важных шагов на пути к генерации фильмов является появление саундтреков к этим немым видеороликам», — говорится в сообщении DeepMind.

Технология V2A от DeepMind использует промпты в сочетании с видео для создания музыки, звуковых эффектов и диалогов. Например: «Пульсирующая под водой медуза, морская жизнь, океан». Лежащая в основе V2A диффузионная ИИ-модель обучена на базе звуков, расшифровок диалогов и видеоклипов.

Для создания звука к видео использовались следующие подсказки: кинематограф, триллер, фильм ужасов, музыка, напряжение, атмосфера, шаги по бетону.

DeepMind отмечает, что технология пока не идеальна, а звук нельзя назвать высококачественным и убедительным. Перед полноценным запуском V2A требуются доработки и тестирования. 

Напомним, в феврале OpenAI представила новую генеративную ИИ-модель Sora, которая позволяет преобразовывать текст в видео. 

В июне ученые из Гарварда и DeepMind создали виртуальную крысу с искусственным интеллектом в качестве мозга.

Ранее дочерняя компания Google представила генеративную ИИ-модель Genie для создания игр.

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version