Инструмент NVIDIA 3D MoMa на базе искусственного интеллекта превращает 2D-фотографии в 3D-модели Mesh

NVIDIA 3D МоМа
Превращение неподвижных 2D-фотографий в 3D-моделированные сетчатые модели — задача небыстрая и не особенно простая. Как раз наоборот, вице-президент NVIDIA по графическим исследованиям Дэвид Любке говорит, что достижение такой цели «долгое время считалось священным Граалем, объединяющим компьютерное зрение и компьютерную графику». Возможно, ненадолго.
NVIDIA готовится представить свой конвейер обратного рендеринга 3D MoMa на конференции по компьютерному зрению и распознаванию образов в Новом Орлеане. Перспектива этого инструмента на базе ИИ заключается в том, что он может позволить архитекторам, дизайнерам, концепт-художникам, разработчикам игр и другим специалистам быстро импортировать объект в графический движок. Оказавшись внутри, они могли изменять масштаб, менять материал и экспериментировать с различными световыми эффектами, говорит NVIDIA.
«Сформулировав каждую часть обратной задачи рендеринга как дифференцируемый компонент с ускорением на графическом процессоре, конвейер рендеринга NVIDIA 3D MoMa использует механизмы современного ИИ и чистую вычислительную мощность графических процессоров NVIDIA для быстрого создания 3D-объектов, которые создатели могут импортировать, редактировать и расширяться без ограничений в существующих инструментах», — объясняет Любке.
NVIDIA 3D МоМа
С точки зрения NVIDIA, жизнь художников и инженеров становится намного проще, когда 3D-объект имеет форму, которую можно использовать в популярных инструментах редактирования, таких как игровые движки и тому подобное. И эта форма представляет собой треугольную сетку с текстурированными материалами.
По большей части создатели и разработчики создают 3D-объекты , используя сложные методы, которые отнимают много времени и сил. Вот где достижения в области нейронного излучения могут быть благом. В этом случае NVIDIA утверждает, что один графический процессор Tensor Core может использовать свой инструмент 3D MoMa для создания моделей треугольной сетки всего за час. Затем конечный результат может быть важен для популярных игровых движков и инструментов моделирования, которые уже используются для дальнейших манипуляций.
«Реконструкция трубопровода включает в себя три функции: трехмерную модель сетки, материалы и освещение. Сетка похожа на трехмерную модель из папье-маше, построенную из треугольников. С ее помощью разработчики могут изменять объект в соответствии со своим творческим видением. 2D-текстуры накладываются на 3D-сетки, как кожа. А оценка освещения сцены с помощью NVIDIA 3D MoMa позволяет создателям позже изменять освещение объектов», — объясняет NVIDIA. NVIDIA решила продемонстрировать свой инструмент 3D MoMa на демонстрации джаза, потому что «джаз — это импровизация». Команда собрала около 500 изображений пяти джазовых инструментов (по 100 на каждый) под разными углами, а затем использовала 3D MoMa для их реконструкции в трехмерные модели сетки.
Как вы можете видеть на видео выше, инструменты реагируют на свет так же, как и в реальном мире. Чтобы глубже погрузиться в технологию, вы можете ознакомиться с опубликованной NVIDIA статьей , которую она представляет сегодня.

Источник (англ.)

Поставить оценку
Кофебрейкер | Интернет-журнал