Репликатор NVIDIA Omniverse и аватары с искусственным интеллектом призваны помочь нам создать метавселенную

герой Omniverse Replicator Image
Две среды «виртуальных двойников» Replicator.

Задолго до того, как Facebook переименовал себя в Meta, и даже до того, как его генеральный директор представил в массы идею « метавселенной », эта концепция была привлекательной для создателей. В конце концов, идеальным вариантом использования концепции «виртуальной конференции» является совместное творческое пространство. Действительно, NVIDIA уже продает именно такой продукт, известный как « Omniverse », и работает над ним уже много лет.
Однако Omniverse от NVIDIA не совсем похожа на метавселенную, о которой говорит Цук. Вместо того, чтобы быть структурированным как видеоигра с персонажем игрока, которым вы управляете, Omniverse больше похожа на профессиональное сотрудничество и совместное использование экрана, но без экрана. Это похоже на совместное редактирование контента, за исключением того, что контент представляет собой трехмерное пространство, битком набитое элементами искусственного интеллекта и машинного обучения, описанными для виртуальной среды форматом Pixar Universal Scene Descriptor (USD).

Сегодня утром на GTC NVIDIA анонсировала две новые технологии для Omniverse: Avatar и Replicator. Сочетая SDK для распознавания речи Riva, языковую модель Megatron 530B, рекомендательную структуру Merlin и среду компьютерного зрения NVIDIA Metropolis, инструментарий Omniverse Avatar позволяет ускорить создание, казалось бы, интеллектуальных виртуальных помощников, с которыми можно взаимодействовать через Omniverse. касанием или другим вводом или с помощью голосового ввода на естественном языке.

nvidia omniverse Дженсен Хуанг
Проект Токкио

На сцене генеральный директор NVIDIA Дженсен Хуанг продемонстрировал три аватара. Первым был Project Tokkio, который представлял собой аватар, созданный по его собственному образу и обученный оказывать поддержку клиентам. Хуанг сначала продемонстрировал способность Токкио вести незаписанный разговор, а затем продемонстрировал способность аватара служить в ресторане приемщиком заказов.

Следующей была платформа DRIVE Concierge AI . Если вы когда-нибудь хотели, чтобы в вашем автомобиле была Alexa или Cortana, то это идея. Наконец, Хуанг продемонстрировал Project Maxine, аватар, предназначенный для использования вместе с приложениями для видеоконференций. Максин убирает фоновый шум в чате удаленного абонента, а затем переводит свою английскую речь на немецкий, французский и испанский языки с тем же голосом и интонацией.

Все демонстрации сопровождаются динамически анимированными 3D-аватарами на базе NVIDIA Video2Face и Audio2Face, анимацией лица и рендерингом на основе искусственного интеллекта. Нетрудно представить, как подобные аватары, немного доработанные, могли быстро стать частью повседневной жизни.

Эрикссон 5G Вселенная
Использование Replicator для имитации покрытия 5G.

Другая часть набора, Omniverse Replicator, более проста, чем Avatar. Replicator — это то, что NVIDIA называет «мощным механизмом генерации синтетических данных». По сути, это инструмент для использования «цифровых двойников» пространств и объектов реального мира на основе Omniverse для создания физически смоделированных данных, которые можно использовать для обучения ИИ реальному миру.
Одним из важнейших факторов, определяющих качество ИИ, является размер его тренировочного набора, и возможность обучать роботов в физически смоделированном виртуальном пространстве, которое очень близко соответствует реальности, позволит исследователям и инженерам создавать высококачественные ИИ. с постоянной производительностью гораздо быстрее. На самом деле NVIDIA заявляет, что уже использует эту технику для своих нейронных сетей автономных транспортных средств и что она «сэкономила месяцы времени на разработку».

В настоящее время Replicator выпускается в двух формах: одна для NVIDIA DRIVE Sim, предназначенная для обучения автономных транспортных средств, и другая для Isaac Sim, предназначенная для обучения «роботов-манипуляторов». Как отмечает NVIDIA, виртуальная природа «цифрового двойника» позволяет ИИ не только узнавать об окружающей среде в смоделированном пространстве, но и тестировать и узнавать о «редких или опасных» условиях, которые невозможно проверить в реальности, например, о вождении. частично вне вашей полосы.

NVIDIA не назвала никаких сроков для более широкой доступности Avatar, но компания заявляет, что Omniverse Replicator должен быть доступен разработчикам для «создания механизмов генерации данных для предметной области» в следующем году.

Источник (англ.)

Поставить оценку
Кофебрейкер | Интернет-журнал