Google разработает ИИ-модель для генерации звука к видео

Компания Google DeepMind разрабатывает технологию на базе искусственного интеллекта для создания саундтреков к видео.

Исследовательское подразделение Google в области ИИ и другие организации уже создавали модели для видео, но они не способны генерировать под них звуковые эффекты. Для этих целей DeepMind использует технологию V2A (video-to-audio).

«Модели для генерации видео развиваются невероятными темпами, но многие современные системы не создают звуковую дорожку. Одним из следующих важных шагов на пути к генерации фильмов является появление саундтреков к этим немым видеороликам», — говорится в сообщении DeepMind.

Технология V2A от DeepMind использует промпты в сочетании с видео для создания музыки, звуковых эффектов и диалогов. Например: «Пульсирующая под водой медуза, морская жизнь, океан». Лежащая в основе V2A диффузионная ИИ-модель обучена на базе звуков, расшифровок диалогов и видеоклипов.

Для создания звука к видео использовались следующие подсказки: кинематограф, триллер, фильм ужасов, музыка, напряжение, атмосфера, шаги по бетону.

DeepMind отмечает, что технология пока не идеальна, а звук нельзя назвать высококачественным и убедительным. Перед полноценным запуском V2A требуются доработки и тестирования. 

Напомним, в феврале OpenAI представила новую генеративную ИИ-модель Sora, которая позволяет преобразовывать текст в видео. 

В июне ученые из Гарварда и DeepMind создали виртуальную крысу с искусственным интеллектом в качестве мозга.

Ранее дочерняя компания Google представила генеративную ИИ-модель Genie для создания игр.