NVIDIA Jetson AGX Orin Dev-Kit Eval: внутри мозга робота с искусственным интеллектом

запуск nvidia jetson agx orin devkit
Искусственный интеллект и робототехника идут рука об руку, как арахисовое масло и шоколад. Чтобы быть действительно полезным, сервисный робот должен быть достаточно умным, чтобы выполнять возложенные на него задачи, оставаться вне опасности и не наезжать на своих коллег-людей. Почти десять лет назад NVIDIA осознала, что технология чрезвычайно параллельной обработки в своих графических процессорах и более программируемая природа графических архитектур могут использоваться для машинного обучения. В 2014 году это видение начало воплощаться в жизнь с запуском Jetson TK1, и на свет появился мощный ИИ.

Перенесемся в 2022 год, и NVIDIA не сбавляет обороты. В марте компания приоткрыла завесу над Jetson AGX Orin . , новейшая платформа для робототехники и искусственного интеллекта, основанная на технологии Ampere GPU компании. В то время как связанные с COVID блокировки за границей задержали компанию в передаче своего оборудования разработчикам, эти устройства уже отправляются, и у нас есть один из комплектов для разработки. Итак, без лишних слов, давайте знакомиться с Jetson AGX Orin.

Технические характеристики комплекта разработки Jetson AGX Orin

характеристики платы nvidia jetson agx orin

спецификации devkit nvidia jetson agx orin

Мы рассмотрели спецификации различных комплектов Jetson AGX Orin в нашем предыдущем обзоре, но суть в том, что для выполнения большей части тяжелой работы имеется примерно один графический процессор GeForce RTX 3050 для ноутбуков с CUDA и тензорными ядрами. Мощность графического процессора сочетается с парой ускорителей глубокого обучения NVIDIA и дюжиной ядер Cortex A78AE в пакете с бюджетом мощности до 60 Вт. Все это поддерживается 32 ГБ унифицированной памяти LPDDR5 с пропускной способностью более 200 ГБ/с. Если на высоком уровне это звучит очень похоже на Apple M1 Pro или Max, давайте просто скажем, что Купертино не изобретал архитектуру с общей памятью.

В производственном комплекте есть множество вводов-выводов для камер, микрофонов и других датчиков, но в комплекте для разработчиков все готово. У нас есть 10 Гбит/с USB 3.2, DisplayPort, 10 Gigabit Ethernet, 40-контактный массив GPIO и разъемы для программаторов автоматизации, аудио и JTAG. Слот для микро SD и два слота M.2 оставляют место для множества дополнительных хранилищ и беспроводных подключений. Также имеется слот PCI Express Gen 4 с восемью линиями подключения и форм-фактором x16. Поскольку комплект разработчика Jetson AGX Orin имеет на борту только 64 ГБ памяти eMMC, это может быть хорошим местом, например, для хранения дополнительного хранилища.

распакованный nvidia jetson agx orin devkit

Комплект разработчика Jetson AGX Orin может работать без головы, подключенный к ПК с Linux через один из портов USB-C или micro USB, или как автономный блок Linux. Мы решили просто запустить его как отдельный автономный ПК; есть много памяти и ресурсов ЦП, и он поставляется с полной установкой Ubuntu Linux 20.04 LTS, готовой к работе. Вскоре мы подробно поговорим о нашем опыте с Орином. Независимо от того, использовали ли мы Jetson AGX Orin в качестве привязанного устройства, подключенного к другому ПК с Linux, или в качестве автономной среды разработки, все, что нам нужно было для начала работы, было прямо в коробке.

Работа с комплектом разработки Jetson AGX Orin

Обо всем этом интересно читать и писать, но NVIDIA прислала нам комплект, поэтому нам нужно было погрузиться и проверить его. Как вы можете видеть на фотографиях выше, комплект разработчика Jetson AGX Orin крошечный . Это примерно 4,3 дюйма в квадрате и три дюйма в высоту, размером с один из миниатюрных NUC от Intel, но немного выше. Размеру помогает наличие внешнего источника питания, который подключается к порту USB-C прямо над разъемом цилиндра, который можно использовать вместо питания с альтернативным источником питания. Подключите клавиатуру, мышь и монитор DisplayPort (или дисплей HDMI с адаптером DP-HDMI) и включите его, чтобы начать работу.

Чтобы помочь нам протестировать различные функции, NVIDIA также включила USB-гарнитуру и веб-камеру 720p, хотя обычно они не входят в комплект для разработки. Однако эти части оборудования были важны, так как одна из демонстраций, которую мы скоро покажем, ищет эти конкретные идентификаторы оборудования.

Jetson AGX Orin поставляется с предустановленной Ubuntu Linux 20.04 прямо из коробки, поэтому первоначальная последовательность запуска будет знакома Ubuntu . ветераны. После того, как мы выбрали наш язык, местоположение, имя пользователя и пароль, нам представили рабочий стол Gnome 3, который Ubuntu использовала с тех пор, как удалила свой интерфейс Unity. NVIDIA добавила несколько полезных ярлыков на рабочий стол, которые открывают ссылки на документацию в браузере и папки с примерами кода в файловом браузере Gnome. Но прежде чем мы смогли приступить к работе, нам нужно было перейти на NVIDIA Jetson Jetpack 5 , который сам по себе занимает около 10 ГБ, и добавить собственный редактор кода.

Поскольку Microsoft добавила поддержку дистрибутивов Arm64 Linux в 2020 году, это стало популярным выбором среди разработчиков Jetpack, независимо от того, предпочитают ли они C++ или Python. Его можно загрузить непосредственно с сайта Microsoft Visual Studio Code . на странице «Другие загрузки» или с помощью apt-get в командной строке. В VS Code Marketplace есть все расширения языковой поддержки, необходимые для обоих поддерживаемых языков.

Когда мы впервые открыли проект, Code предложил нам установить все, чего нам не хватало, так что это был довольно безболезненный процесс установки.

nvidia jetson agx orin devkit в штучной упаковке
Инструментарий NVIDIA включает в себя все, что вам нужно для начала работы с Jetson AGX Orin.

После установки Jetpack 5 и загрузки тестовых инструментов и образцов кода NVIDIA мы получили всего около 15 ГБ из встроенного хранилища eMMC емкостью 64 ГБ. Разработчики, которые хотят работать прямо в системе, должны помнить об этом, поскольку она не оставляет много места для данных и проектов, особенно для данных, используемых для вывода на основе визуальных моделей ИИ. Помните, что Jetson AGX Orin может работать в автономном режиме, подключенном к другому ПК с Linux через USB, так что это один из способов обойти это ограничение или просто использовать внешний USB-накопитель для хранения проектов. Порт USB-C со скоростью 10 Гбит/с должен быть достаточно быстрым, чтобы большинство разработчиков не заметили замедления.

Знакомство с демонстрационными версиями Jetson AGX Orin

Другая сторона медали образцов разработки — это демоверсии. В дополнение к примерам кода, которые предоставляет NVIDIA, есть множество полнофункциональных демонстраций, которые разработчики могут изучить, чтобы увидеть, как обученные модели искусственного интеллекта компании реагируют на ввод данных в реальном времени. Мы изучили каждую из них, чтобы увидеть, как они функционируют, и изучить варианты их практического использования. Самая крупная и потенциально наиболее впечатляющая демонстрация, которую нам предоставила NVIDIA, — это автоматическое распознавание речи NVIDIA Riva (ASR). Для этого лучше всего было заснять  модель машинного обучения в действии на видео, вот что мы встроили ниже.

Демонстрация ASR предоставила нам пустое окно терминала, и пока мы разговаривали, он начал распознавать нашу речь и расшифровывать ее в режиме реального времени. На рынке существует множество других программных инструментов для распознавания речи, но это лишь одна часть интерфейса человека и робота. Соедините ASR с диалоговым ИИ и синтезом речи, и вы получите робота, который может не только разговаривать с вами, но и поддерживать беседу, чем NVIDIA особенно гордится. Собственно, мы рассмотрим это на следующей странице. Между прочим, эта демонстрация не совсем аппаратно-независима; это конкретное приложение ASR было создано для конкретной гарнитуры, которую нам прислала NVIDIA, но исходный код, очевидно, может быть расширен для поддержки дополнительного оборудования.

Как вы можете видеть на видео, расшифровка не совсем идеальна, но NVIDIA заявляет, что этого достаточно, чтобы сервисный робот смог определить намерения пользователя. Видео без сценария, и это сделано намеренно. Большинство разговоров не написаны по сценарию, даже если вы хорошо обдумали то, что хотите сказать. Вы можете видеть, что когда я начал и остановился, ИИ начал и остановился вместе со мной, и в этом отношении транскрипция была довольно справедливой оценкой того, что я должен был сказать. Забавно смотреть в видео, как ИИ пытается понять, что я имею в виду; слова мелькают в окне терминала и исчезают, когда я иду, и он начинает обнаруживать смысл.

На рынке есть много решений, но особенно интересно было наблюдать за тем, как оно работает. Это довольно большое дело, потому что автоматизированное распознавание речи при низком энергопотреблении — это большая часть того, что облегчит взаимодействие с роботами. Извлечь смысл и контекст из предложений людям иногда достаточно сложно, поэтому обучение ИИ — довольно монументальная задача. У многих компаний есть решения, и NVIDIA не первая, но, как показывает наше видео, намеренно избегающее разговоров о технологиях, это еще не совсем решенная проблема. Однако становится лучше.

Что подводит нас к искусственному интеллекту NVIDIA. — модель-адаптационный фреймворк TAO, или инструментарий «Обучение, адаптация, оптимизация». Это означает, что разработчики могут адаптировать модель для быстрого запуска. В качестве примера NVIDIA предоставляет модель сети распознавания действий, которая была обучена идентифицировать определенные действия, соответствующие конкретным упражнениям, таким как ходьба и бег, а также определять, когда человек падает. Эта модель обучалась на нескольких сотнях коротких видеороликов, изображающих эти действия с разных ракурсов. NVIDIA предоставила руководство по расширению модели для определения дополнительных действий, таких как отжимание или подтягивание.

Мы последовали этому примеру и затем смогли развернуть модель на самом Jetson AGX Orin или на NVIDIA DeepStream, у которого есть экземпляры A100 в Azure. Именно здесь разница между экземпляром ускорителя центра обработки данных по-прежнему превосходит даже модернизированный Jetson. Jetson был достаточно быстрым, чтобы запустить модель и проверить правильность внесенных нами изменений, в то время как экземпляры DeepStream невероятно быстро просматривают видеофайлы и определяют действия, выполняемые в них. Это дало нам представление о рабочем процессе улучшения модели, предоставляемом TAO, и о том, как работает рабочий процесс разработки-развертывания-тестирования, предоставляемый Jetson AGX Orin и DeepStream в тандеме.

Играть с инструментами весело и все такое, но эти части комплекта созданы для серьезной работы. Далее, давайте взглянем на некоторые практические выводы и посмотрим, какие выводы мы можем сделать из времени, проведенного с комплектом.

Источник (англ.)

Поставить оценку
Кофебрейкер | Интернет-журнал