Stability AI представила новую ИИ-модель для композиторов

Компания Stability AI представила новую итерацию Stable Audio с расширенным набором функций для создания звуковых клипов.

Our new model takes AI music generation to the next level by letting you generate high-quality audio up to 3 minutes. Everyone can generate audio up to 3 minutes in length, including our free plan users! https://t.co/0xqQcrHLbwhttps://t.co/MlV0jiULEF

— Stable Audio (@stableaudio) April 3, 2024

Модель первого поколения может генерировать аудиофайлы длиной до 90 секунд. Stable Audio 2.0 создает треки в два раза длиннее и с большим количеством пользовательских настроек.

Предыдущая версия в качестве промптов использовала только текст, а новая способна воспринимать в качестве референса звуковые клипы. ИИ может подбирать стиль генерируемого им аудио, что дает более точные результаты.

Представители Stability AI утверждают, что модель может создавать  «структурированные композиции, включающие вступление, развитие и концовку». Еще одним улучшением по сравнению с предыдущим поколением стала возможность создания звуковых эффектов.

Stable Audio основана на диффузионной модели. От других ИИ-алгоритмов ее отличает способ обучения: в процессе тестирования модель получает коллекцию звуковых клипов с ошибками и задание восстановить оригинальный звук.

В новой версии используется специализированная реализация технологии, известная как латентная диффузионная модель. Как и другие нейронные сети, такие модели обучаются на наборе данных, похожем на файлы, которые они будут обрабатывать в процессе генерации. Но перед началом обучения датасет преобразуется в математическую структуру, что делает процесс разработки ИИ более эффективным.

Измененный таким образом набор данных называется латентным пространством и он содержит только самые важные детали. Менее значимые удаляются, что уменьшает общий объем информации, которую модели ИИ приходится обрабатывать в процессе обучения. Это позволяет сократить количество оборудования и снизить затраты.

Инженеры Stability AI также добавили новую нейронную сеть, основанную на архитектуре Transformer, разработанной Google в 2017 году. В основном она используется для построения языковых моделей. Transformer учитывает большое количество контекстной информации при интерпретации данных, что позволяет ему получать максимально точные результаты. 

«Сочетание этих двух элементов приводит к созданию модели, способной распознавать и воспроизводить крупномасштабные структуры, которые необходимы для создания высококачественных музыкальных композиций», — говорится в пресс-релизе Stability AI.

Stable Audio 2.0 доступен для пользователей бесплатно, а API позволит другим компаниям интегрировать ИИ-модель в свои приложения.

Ранее компания Adobe представила Project Music GenAI Control, помогающий людям создавать и редактировать музыку без профессионального опыта.

Напомним, в феврале Stability AI анонсировала Stable Diffusion третьего поколения.