Машинное обучение повсюду. Это неотъемлемая часть наших смартфонов и умных бытовых приборов, запуск чат-ботов для обслуживания клиентов для крупных розничных продавцов, а также усердная работа по распознаванию людей и действий в системах безопасности, среди множества других приложений. Нейронные сети являются основой развития робототехники и автоматизации в производственном секторе, и они разумно подкрашивают фотографии, которые мы делаем, когда находимся в пути. Он даже готовит для нас пиццу , как опытный профессионал.
Недавнее приобретение AMD компании FPGA (Field Programmable Gate Array) и компании Xilinx , специализирующейся на адаптивных вычислениях , может привести к созданию довольно впечатляющих гибридных продуктов для ускорения искусственного интеллекта. , но это далеко не единственная область, в которой конкурирует компания. Системы-на-модулях (SOM) Xilinx Kria для периферийных приложений ИИ представляют собой готовые к производству энергосберегающие устройства FPGA с достаточным количеством операций ввода-вывода для ускорения задач машинного зрения и робототехники по доступной цене.
Существует множество приложений для искусственного интеллекта машинного зрения, включая распознавание лиц, автоматизированный контроль качества (например, проверку печатных плат на наличие плохих дорожек и соединений холодной пайки), отслеживание транспортных средств и идентификацию объектов, и это лишь некоторые из них. От производства до правоохранительных органов, во многих отраслях промышленности требуется автоматизация, и использование камер для помощи в этой автоматизации является ключевым моментом. Xilinx говорит, что эти отрасли ищут готовые решения с готовым к производству искусственным интеллектом . модели и простой способ интегрировать эти модели в более широкие приложения, а не создавать их с нуля. Это то, на что компания нацелена с продуктом и инструментами, которые мы рассматриваем сегодня, Xilinx Kria KV260 Vision AI Starter Kit.
Стартовый комплект Xilinx Kria KV260 Vision AI
Характеристики Xilinx K26 SoM, развернутые на Kria KV260 Vision AI Starter Kit
Сегодня мы рассмотрим Kria KV260 Vision AI Starter Kit, ориентированную на разработку плату, предназначенную для ускорения задач анализа и распознавания изображений. Существует отдельный комплект KR260 Robotics AI Starter Kit с дополнительным вводом-выводом Ethernet, чтобы связать несколько комплектов вместе в режиме реального времени для управления целыми роботами. В обоих комплектах для разработки используется K26 SoM, который Xilinx/AMD нацелены на умные города (например, камеры контроля дорожного движения и тому подобное) и умные производственные предприятия, использующие роботов.
Начнем с K26 SoM, который является сердцем KV260. Он оснащен четырехъядерным процессорным комплексом Arm Cortex A53 с 4 ГБ памяти DDR3, который используется для запуска образов Linux, доступных для SoM. На SoM имеется множество вводов-выводов, в том числе 40 Гбит Ethernet, которые можно разделить между четырьмя разъемами 10 Гбит/с, а также пара 240-контактных блоков ввода-вывода, которые подключаются либо к производственному устройству, либо к плате разработчика.
Однако настоящая звезда — это блок программируемых логических ячеек на 256 000, используемый для запуска приложений-ускорителей ИИ, которые захотят создать большинство покупателей. Это довольно мощная логическая матрица за свои деньги. Например, цена Terasic DE10-nano выросла до 210 долларов из-за проблем с цепочкой поставок и увлечения MiSTer FPGA . Даже Diligent Zybo Z7-20 за 349 долларов, работающий на другой SoC Xilinx, Zynq-7020, имеет только 53 000 вентильных массивов и гораздо меньше операций ввода-вывода, чем K26. Короче говоря, K26 — это что-то вроде вундеркинда в небольших пространствах FPGA.
На самом деле у NVIDIA нет сравнения яблок с яблоками, поскольку ее инструменты используют ресурсы графического процессора, а не FPGA, но модуль Jetson Xavier TX довольно близок с точки зрения производительности TOPS. Эти два модуля также имеют одинаковую цену для производственных приложений, поскольку они оба стоят 300 долларов США от соответствующих производителей. С другой стороны, Jetson Xavier TX не имеет отдела ввода-вывода по сравнению с K26.
K26 SoM монтируется на макетную плату для стартового комплекта по вашему выбору. В случае с KV260 это означает Gigabit Ethernet, четыре порта USB 3 Type-A, HDMI, DisplayPort и пару разъемов для камер, JTAG и другие низкоуровневые функции. Это одноплатный компьютер, который меньше, чем материнская плата mini ITX, размером примерно с три Raspberry Pi 4. Исследуемый нами стартовый комплект KV260 можно приобрести непосредственно у Xilinx за 199 долларов, в то время как KR260 с большим количеством входов-выходов имеет несколько более высокую начальную стоимость — 349 долларов.
Самого стартового комплекта почти достаточно, чтобы приступить к разработке на аппаратном обеспечении Xilinx и платформе разработки Vitis, но вам потребуется немного больше аппаратного обеспечения, такого как хранилище и блок питания. Но чтобы снизить затраты, плата — это все, что есть в основном комплекте, потому что все остальное довольно обычное. Разработчикам, которые только начинают работать с платформой, потребуется блок питания, камера и карта micro SD для хранения операционной системы для начинающих. Эти три элемента вместе с кабелями HDMI, micro USB и Ethernet входят в базовый комплект аксессуаров Kria KV260. Однако вам не нужно покупать сам комплект, потому что большая его часть может лежать у вас под рукой. Блок питания в комплекте — довольно обычный адаптер на 12 вольт, 36 ватт, в котором используется стандартный 5,5-миллиметровый штекер с внутренним диаметром 2,1 миллиметра.
Камера, входящая в комплект аксессуаров, представляет собой устройство MIPI с 13-мегапиксельным датчиком, аналогичным тому, что вы можете найти в бюджетном смартфоне, и подключается к краевому разъему на передней панели платы. Xilinx рекомендует пользователям, которым нужно что-то более мощное, выбирать камеру, которая не сжимает видео, поскольку артефакты сжатия усложняют работу моделей ИИ. Компания специально назвала веб-камеру Logitech Brio, которая не выполняет никакого сжатия в потоке, идущем с камеры на ПК. У нас ее не было под рукой, но у нашей веб-камеры Lenovo 500 FHD не было проблем во время нашего тестирования.
Последний аксессуар, который прислала Xilinx, — это шикарное крепление для KV260, напечатанное на 3D-принтере. К сожалению, его нельзя купить в Xilinx, но компания планирует сделать его доступным для печати для себя. Он идеально подходит для KV260 и имеет удобную откидную створку, позволяющую высвободить доску из малиново-красной клетки. Это действительно своего рода классы системы.
Начало работы со стартовым комплектом KV260 Vision AI
Xilinx утверждает, что разработчики смогут приступить к работе со стартовым комплектом Kria KV260 Vision AI примерно за час. Компания предоставляет несколько различных способов настроить Starter Kit в качестве цели разработки. Во-первых, это дистрибутив PetaLinux, который был первой операционной системой для K26 SoM, установленной на плате разработки комплекта. Это встроенный дистрибутив Linux, который позволяет обращаться к FPGA, подключая его к ПК с Linux. Это традиционная встроенная среда разработки, которую используют многие другие SoM.
Однако в этом пространстве произошел довольно драматический сдвиг. В наши дни разработка может выполняться на самом устройстве как на отдельной рабочей станции, работающей под управлением Ubuntu Linux в той или иной форме. Все началось с аппаратного обеспечения NVIDIA Jetson, и когда мы рассмотрели бюджетный Jetson Nano 2 ГБ, это был рекомендуемый путь. Мы видели это снова на более дорогом наборе разработчика Jetson AGX Orin ранее в этом году. Поскольку разработчики встроенного машинного обучения начали ожидать этого, Xilinx также идет по этому пути с изображением, доступным непосредственно от Canonical. Это будет рекомендуемый маршрут установки в будущем, но PetaLinux все еще доступен для ветеранов, которые привыкли подключать эти устройства к более мощному рабочему столу.
Мы пошли на Ubuntu маршрут, так как это предпочтительный метод Xilinx в будущем. Хотя мы как бы знали, чего ожидать, процесс установки действительно завершился менее чем за час. Загрузка образа Ubuntu заняла около 10 минут, а еще около 10 минут потребовалось, чтобы записать его на прилагаемую карту micro SD емкостью 16 ГБ из комплекта аксессуаров. Пока это происходило, мы подключили KV260 к 4K-телевизору, который я обычно использую для «тестирования» компьютерных игр и просмотра телевизора, пока я пишу, вместе с клавиатурой и мышью. Итак, примерно через 20 минут мы были готовы начать процесс установки.
Комплект аксессуаров включает в себя все, что вам нужно, но это все обычные предметы, которые могут быть у вас под рукой.
Давайте кратко отметим, что, как и Jetson Nano 2GB , KV260 не имеет отдельного выключателя питания. Когда мы подключили блок питания, система сразу же загрузилась. Единственный способ выключить его — выдернуть вилку. К счастью, блок питания имеет стандартную 5,5-миллиметровую штекерную вилку. Это то же самое, что и множество других блоков питания, и это означает, что встроенный выключатель питания, который мы использовали для MiSTer FPGA, также работает здесь. Дискретный выключатель питания абсолютно не нужен, но, безусловно, приятнее выключать машину, чем просто дергать за шнур или отключать весь удлинитель.
Как бы то ни было, за 20 минут до конца мы следовали инструкциям на веб-сайте Xilinx в точности. Первая загрузка требует подключения кабеля micro USB к нашему ПК, а также HDMI к нашему дисплею, USB к нашей клавиатуре и мыши, 13-мегапиксельной камере к плате, Ethernet к нашему маршрутизатору, но пока не подключайте питание к плате. Как только все будет подключено ко всему остальному — клавиатуре, мыши, монитору, ПК, Ethernet — тогда его можно будет включить.
Xilinx Kria KV260 Приключения в стране Linux
Однако мы столкнулись с некоторыми проблемами. Что бы мы ни пытались — менять местами кабели, карты SD, использовать разные мониторы — изначально мы не могли заставить Ubuntu 22.04 загружаться на нашем KV260. Он не отвечал на терминал macOS через COM-порты USB, и то же самое верно для терминала Tera в Windows 11. Однако встроенный дистрибутив PetaLinux прекрасно работал с терминалом. Однако, поскольку Ubuntu был рекомендуемым путем установки, мы хотели разобраться с этим.
Затем мы заметили более старый образ Ubuntu 20.04.3 LTS, доступный для загрузки. Мы взяли это и записали на нашу SD-карту, и Kria отлично загрузилась на рабочий стол Gnome. Наконец, мы могли начать. Воодушевленные этим, мы немного покопались в вики Xilinx для разработчиков и обнаружили, что KV260 просто нужно обновить прошивку. Но для обновления прошивки файл должен быть на загруженном KV260, поэтому Ubuntu 22.04 прямо из коробки в нашем случае не годился.
Как только я вошел в систему и сменил пароль, мое сердце упало, потому что экран погас примерно на 30 секунд. Однако система все еще была активна в терминале, и после этой короткой паузы снова появился рабочий стол Gnome. Мы были в пути. Есть несколько вещей, которые можно установить из командной строки, в том числе оснастка Kria Linux, которая позволила нам настроить систему. После установки этого пакета мы могли установить все остальные зависимости Xilinx . Наконец мы смогли запустить наше первое приложение: приложение NLP Smartvision. Мы вернемся к этому через секунду, но сначала: пришло время остановить наш секундомер. Можем ли мы запустить KV260 Vision AI Starter Kit за час?
Что ж, получается, что ответа нет, но с оговоркой. Если бы мы начали с Ubuntu 20.04.3 вместо 22.04, мы были бы золотыми. Инструкции по началу работы были не совсем ясными; в нем сказано загрузить изображение, а первое изображение на странице — это бета-версия Canonical, поэтому мы решили, что было бы естественно начать с самого нового. Только при прокрутке вниз после неудачной первой попытки мы увидели небета-версию ОС.
Это все, вероятно, наша собственная вина; Я был слишком взволнован, чтобы погрузиться, и просто сделал первое, что увидел. Мы также сознательно решили не консультироваться с Xilinx, пока не исчерпаем все наши собственные идеи и варианты, как это сделало бы большинство конечных пользователей. Ожидается, что Ubuntu 22.04 выйдет из бета-версии где-то в третьем квартале (период с июля по сентябрь) и будет поддерживаться в течение десяти полных лет, поэтому, как только она будет готова, она будет хороша еще долгое время.
Именно с этим образом Ubuntu 20.04.3 LTS мы выполнили остальную часть тестирования для этого обзора. Однако, прежде чем опубликовать наши результаты, мы хотели обновить прошивку и протестировать новейшую операционную систему, поэтому мы обновили прошивку. Это потребовало быстрого входа в терминал с помощью оснастки xlnx-config, в которую встроено средство обновления прошивки и средство проверки состояния. Затем мы записали бета-версию Ubuntu 22.04 на запасную SD-карту, и KV260 загрузился, как и ожидалось.
Эта история имеет счастливый конец по двум причинам: во-первых, мы сделали все это, используя общедоступную документацию. Не было никакого особого отношения, и любой разработчик, хорошо читающий документацию, без проблем обновится, даже если это неожиданно. Во-вторых, это сработало. наш Kria KV260 теперь загружает Ubuntu 22.04. В-третьих, ОС гораздо более отточена; анимация более плавная, и система в целом более отзывчива. И, наконец, есть регуляторы скорости вращения вентилятора; когда система простаивает, вентилятор останавливается. Он был немного высоким при работе на полном ходу, поэтому мы рады видеть, что это больше не постоянная проблема.
В любом случае, давайте погрузимся и посмотрим, что это за штука…