Intelligente IoT-Anwendungen dank Embedded Vision
In unserer Live-Demo dient eine Embedded Vision Lösung als effizienter und intelligenter Sensor zur Bilddatenklassifikation. Lesen Sie hier mehr dazu.
So funktionieren die intelligenten IoT-Anwendungen
IoT-Sensoren, wie z.B. eine Kamera, sind in der Regel nur mit sehr geringer Bandbreite an die Cloud angebunden. Daher würde die Übertragung der großen Bilddatenmenge nur langsam von statten gehen. Ein Lösungsansatz besteht darin, die Analyse der Bilddaten am Ort des Kamera-Sensors selbst, „on the Edge“ (Processing on the Edge), durchzuführen und dann nur noch die ausgewerteten Daten in die Cloud zu übertragen. Hierfür ist eine Anbindung mit sehr niedriger Bandbreite völlig ausreichend. Entsprechend schnell kann die Übertragung in die Cloud erfolgen und auf ein Ereignis reagiert werden.
Mehr über unsere Embedded Vision LösungenSchritt 1: Die passende Hardware für das Embedded Vision System finden
Die Basis dieser Live-Demo bildet das preisgekrönte Basler Embedded Vision Kit. Dieses besteht aus
einem dart BCON für MIPI Kameramodul von Basler,
einem 96 Boards™ kompatiblen Processing Board mit Qualcomm® Snapdragon™ SoC und
einem 96 Boards™ kompatiblen Mezzanine Board zum direkten Anschluss des Kameramoduls an das Processing Board.
Dank dieser Lösung können die vom Kameramodul mit hoher Bildrate eingezogenen Bilddaten direkt auf dem Processing Board verarbeitet werden.
Entdecken Sie das Embedded Vision PortfolioSchritt 2: Neuronale Netze für die Klassifikation trainieren
Ziel der Live-Demo ist die Klassifikation unterschiedlicher Lego-Figuren (Handwerker, Astronaut, Koch, usw.) bzw. unterschiedlicher Verkehrszeichen vornehmen zu können. Diese Aufgabe übernehmen Neuronale Netze, genauer gesagt Convolutional Neural Networks (CNNs).
Basler hat zunächst zwei verschiedene CNNs trainiert, eines für die Klassifikation von Lego-Figuren, ein anderes für die Klassifikation von Verkehrszeichen. Die trainierten CNNs sind mit einigen Megabyte nicht sehr groß und können auch über eine Anbindung an die Cloud mit niedriger Bandbreite in akzeptabler Zeit von der Cloud auf das Edge Device übertragen werden. Nach der Übertragung des Lego-Figuren-CNNs konnte das Edge Device die Figuren zuverlässig klassifizieren und das Ergebnis mit geringen Bandbreitenanforderungen und geringer Latenz an die Cloud melden. Um das Edge Device auf die Klassifikation von Verkehrszeichen „umzurüsten“, musste nur das entsprechende Verkehrszeichen-CNN von der Cloud aus übertragen werden, so dass der smarte Sensor dann in der Lage war, zuverlässig unterschiedliche Verkehrszeichen zu erkennen.
Zur Software für Embedded Vision
Die Vorteile der Embedded Vision Lösung auf einen Blick
geringe Bandbreitenanforderungen der Anbindung des Sensors an die Cloud
geringe Latenz bei der Reaktion einer Cloud-Anwendung auf ein Sensorereignis
ideale Möglichkeit der gleichzeitigen „Fernwartung“ vieler Sensoren OTA (Konfiguration des Sensors, Firmware Update oder z.B. Hochladen eines neuen CNNs für eine neue Klassifikationsaufgabe)