Встраиваемые системы компьютерного зрения как интеллектуальные датчики в концепции IoT
![Демонстрация решений для встраиваемого зрения](http://images-ctf.baslerweb.com/dg51pdwahxgw/0nALzidJDq9fWO8mXinhv/2fd2a531ea39e32d5b383949900cf269/Embedded_IoT-Use-Case_1380x735px__1_16_9.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
Принцип работы интеллектуальных IoT-решений
Датчики в решениях IoT, например камеры, как правило, подключены к облачному приложению по каналу, который характеризуется невысокой пропускной способностью. По этой причине передача больших объемов видеоданных была бы чрезвычайно медленной. Один из подходов заключается в анализе видеоданных непосредственно на стороне камеры, выступающей датчиком, — на периферийном устройстве, — тогда как в облако передаются только результаты этого анализа. Для этих целей вполне достаточно даже канала с очень низкой пропускной способностью: передача данных в облако не занимает много времени, и камера успевает регистрировать событие.
Подробнее о встраиваемых решенияхЭтап 1. Поиск подходящих аппаратных компонентов для встраиваемой системы компьютерного зрения
Для проектирования этой демонстрационной системы был выбран отмеченный наградами комплект для разработки встраиваемых систем Basler Embedded Vision Kit. В этот комплект входят:
модульная камера dart BCON for MIPI от Basler;
совместимая процессорная плата 96 Boards™ на базе однокристальной системы Qualcomm® Snapdragon™;
совместимая плата расширения 96 Boards™ для непосредственного подключения модульной камеры к процессорной плате.
Это решение отвечает за получение изображений модульной камерой с высокой частотой кадров и их непосредственную обработку на процессорной плате.
Смотреть встраиваемые технологии компьютерного зренияЭтап 2. Обучение нейронных сетей для решения задачи классификации
Задачей этой демонстрационной системы является классификация фигурок Lego (ремесленник, астронавт, повар и т. д.) или дорожных знаков. Эту задачу решают нейронные сети — а именно сверточные нейронные сети (СНС).
Специалисты Basler предварительно обучили две СНС — одну для классификации фигурок Lego, другую для классификации дорожных знаков. Поскольку размер обученных СНС относительно невелик и составляет всего несколько мегабайт, их можно перенести из облака на периферийное устройство за приемлемое время даже по каналу с низкой пропускной способностью. После развертывания СНС, распознающей фигурки Lego, периферийное устройство оказалось способным надежно классифицировать фигурки и передавать результат в облако по каналу с низкой пропускной способностью с незначительной задержкой. Для «модификации» периферийного устройства с целью классификации дорожных знаков потребовалось просто перенести соответствующую СНС, распознающую дорожные знаки, из облака.
Смотреть ПО для встраиваемых системКратко о преимуществах встраиваемой системы компьютерного зрения
Низкие требования к пропускной способности канала, соединяющего датчик с облаком;
малая задержка отклика облачного приложения на событие датчика;
идеальная возможность одновременного «удаленного обслуживания» нескольких датчиков (например, настройка датчиков, обновление встроенного программного обеспечения или загрузка новой СНС для решения другой задачи классификации).