OpenAI представила модель 3D-генерации POINT-E

Компания OpenAI выпустила новый алгоритм генерирования трехмерных изображений по текстовому запросу POINT-E.

Согласно исследованию, модели требуется один графический процессор Nvidia V100 и около двух минут для создания изображения.

Алгоритм не генерирует 3D-объекты в традиционном понимании. Он создает «облака точек» или дискретные наборы точек данных в пространстве, которые представляют трехмерную форму.

Исследователи отметили, что такие данные проще синтезировать с вычислительной точки зрения. Однако они не охватывают детализированную структуру, форму или текстуру объекта.

Трехмерные объекты, созданные с помощью POINT-E. Данные: OpenAI.

Чтобы обойти это ограничение, команда OpenAI обучила дополнительную систему ИИ для преобразования облаков точек POINT-E в сетки.

Сам POINT-E состоит из двух частей:

  • модели преобразования текста в изображение;
  • модели преобразования изображения в 3D.

Модель преобразования текста в изображение работает аналогично DALL-E 2. Ее обучили на помеченных изображениях, чтобы алгоритм понимал ассоциации между словами и визуальными понятиями.

Модель преобразования изображения в 3D обучили на парах картинка-трехмерный объект.

Например, если ввести текстовый запрос «Кошка ест буррито», POINT-E сначала сгенерирует синтетическое изображение в соответствии с текстовой подсказкой. После этого вторая модель синтезирует грубое «облако» с 1024 точками, а затем улучшит 3D-объект до 4096 точек.

Превращение 2D-изображения в 3D. Данные: OpenAI.

По словам исследователей, после обучения моделей на наборе данных из «нескольких миллионов» 3D-объектов и связанных с ними метаданных POINT-E может создавать цветные облака точек, соответствующие текстовым подсказкам. Они признали неидеальную работу модели, однако отметили скорость генерирования.

«Хотя наш метод имеет худшие результаты в этой оценке, чем самые современные методы, он дает образцы за небольшую долю времени. Это может сделать его более практичным для определенных приложений или позволить обнаруживать более качественные 3D-объекты», — заявили разработчики.

OpenAI разместила открытый исходный код проектов на GitHub.

Напомним, в декабре компания представила чат-бота ChatGPT, основанного на большой языковой модели.

В апреле OpenAI выпустила вторую версию генератора изображений по текстовому описанию DALL-E.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version