World Labs представил ИИ-инструмент для генерации 3D-сцен

Основанный пионером искусственного интеллекта Фей-Фей Ли стартап World Labs представил ИИ-систему для генерации 3D-сцен из одного изображения.

We’ve been busy building an AI system to generate 3D worlds from a single image. Check out some early results on our site, where you can interact with our scenes directly in the browser!https://t.co/ASD6ZHMwxI

1/n pic.twitter.com/tuvGXHmepP

— World Labs (@theworldlabs) December 2, 2024

Инструмент фирмы способен при наличии входной картинки оценить трехмерную геометрию, заполнить невидимые части сцены и создать новый контент.

World Labs aims to address the challenges many creators face with existing genAI models: a lack of control and consistency. Given an input image, our system estimates 3D geometry, fills in unseen parts of the scene, invents new content so you can turn around, and generalizes to a… pic.twitter.com/3SaTugmGRX

— World Labs (@theworldlabs) December 2, 2024

Создатель видео может передвигаться и исследовать 3D-сцены с помощью свободно движущейся камеры, управляемой по принципу видеоигры. При этом сцены остаются неизменными при смене ракурса и следуют законам физики.

Our output 3D scenes can be rendered in real-time in the browser with full camera control. This means you can explore them with a freely moving camera like in a videogame, or even simulate 3D camera effects like shallow depth of field or dolly zoom.

3/n pic.twitter.com/HqzYaKhtAw

— World Labs (@theworldlabs) December 2, 2024

Продукт World Labs совместим с другими известными ИИ-инструментами, что улучшает рабочий процесс. 

Ряд разработчиков ознакомились с генератором сцен. Создатель анимации под ником enigmatic_e оценил упрощенный процесс размещения персонажей и движения камеры.

@8bit_e shows how our models fill a gap in his creative workflow, making it easy to stage characters within scenes and direct precise camera movements.

8/n pic.twitter.com/AIbhFtXU1B

— World Labs (@theworldlabs) December 2, 2024

В World Labs отметили, что большинство инструментов на базе генеративного искусственного интеллекта создают 2D-контент, а генерация 3D-сцен «изменит то, как мы делаем фильмы, игры, симуляторы и другие цифровые проявления нашего физического мира».

В блоге World Labs представлены интерактивные проекты, позволяющие пользователям перемещаться прямо в браузере с помощью стрелок или клавиш WASD. Движения ограничены небольшой областью.

Решение World Labs не первое в своем роде. ИИ-модель MaGRITTE генерирует виртуальные 3D-миры с обзором в 360° при помощи запросов из комбинации изображения, макета и текстового промпта.

Напомним, в марте Nvidia представила ИИ-модель для генерации 3D-объектов по промпту. Она способна создавать высококачественные трехмерные изображения практически мгновенно.