Künstliche Intelligenz für ein automatisiertes Bezahlterminal

So funktioniert das automatisierte Bezahlterminal für den Einzelhandel

Um die Live-Demo zu entwickeln, hat unser Embedded Vision Team eng mit NXP Semiconductors zusammengearbeitet. Dabei herausgekommen ist ein automatisiertes Bezahlterminal für den Einzelhandel, das auf KI-Software basiert. Das Embedded Vision System identifiziert und klassifiziert hierbei die Produkte im Einkaufskorb und zeigt die jeweiligen Preise an. Die Kunden können dann auswählen, welche Produkte sie in den Einkaufskorb legen möchten. Ein trainiertes neuronales Netzwerk erkennt die Produkte dann über den Videostream und kann anschließend den Gesamtpreis anzeigen – das Prinzip ist ähnlich wie einer Gesichtserkennungsanwendung.

Mit welcher Hardware arbeitet diese Retail-Lösung?

Als Basis unserer Retail-Lösung dient das Basler Embedded Vision Kit, das aus folgenden Bestandteilen zusammengesetzt ist:

• dart BCON für das MIPI-Kameramodul von Basler

• mit dem AR1335-Sensor von onsemi

• i.MX 8QuadMax SoC von NXP

• i.MX 8QuadMax basierte Verarbeitungsplatine

• SMARC 2.0 Trägerplatine

Dank dieses hochmodernen geräteinternen Verarbeitungssystems kommt der Demo-Aufbau der tatsächlichen Anwendung schon sehr nahe. Er umfasst alle Faktoren, die für die Bildverarbeitung notwendig sind.

Welche Software steckt im Embedded Vision System?

Die Software macht einen wesentlichen Bestandteil dieser Anwendung aus. Sie besteht aus zwei Hauptkomponenten – der Systemsoftware und der Anwendungssoftware.

Schauen wir uns zuerst die Systemsoftware an: Die verschiedenen Elemente der Systemsoftware müssen miteinander verbunden sein und ein stimmiges System ergeben, damit das Embedded System überhaupt erst funktioniert. Hier kann Basler seine langjährige Vision Erfahrung ausspielen, um Softwareelemente wie NXPs Yocto Kernel und BSP miteinander zu einem schlanken Embedded System zu verbinden.

Unsere KI-Anwendungssoftware basiert auf einem maßgeschneiderten Convolutional Neural Network (CNN). Das Modell verwendet die neuesten Deep Learning- und geräteinternen Verarbeitungstechniken für eine schnelle und zuverlässige Reaktion in einem nahtlosen Szenario.