NOTAVIS / Referenzen / Intelligenter Kühlschrank

So kommt AI in den Kühlschrank

Smarter Tipp von Thomas Schweitzer

Embedded Vision effizient integriert

Schnell, kostengünstig & ohne Risiko dank bewährter Komponenten

Smarter Tipp von Thomas Schweitzer
Bewährte Komponenten
Kostengünstige Entwicklung

Flexible Wahl des Prozessorboards

Technologie vielfach übertragbar

Prototyp für einen smarten Weinkühler
entwickelt von NOTAVIS und DAB-Embedded

Smarte Technologie einfach integriert

 

Kameras und ihre Daten sind die Treiber für Smart Home Anwendungen, für Supermärkte ohne Kassen und die Analyse von Nutzerverhalten. Immer mehr Anwendungen werden deshalb mit den intelligenten Sensoren ausgestattet. Die Herausforderung dabei ist die optimale Integration der komplexen Technologie. Am Beispiel der Entwicklung eines Weinkühlers zeigt NOTAVIS, wie Unternehmen mit Embedded Vision zur optimalen Lösung kommen und Zeit und Kosten auf dem Weg zur Marktreife sparen.

Welche Weinflasche wurde entnommen?

 

Im Rahmen eines gemeinsamen Kundenprojekts von DAB-Embedded und NOTAVIS sollte eine Lösung zur Beantwortung dieser Frage entwickelt werden. Um AI-basierte Analysen des Nutzerverhaltens zu ermöglichen und Flaschen in jeder Position zweifelsfrei identifizieren zu können, sollten dafür Kameras als Sensoren zum Einsatz kommen. Sie liefern die notwendige Datentiefe und Auflösung für das Vorhaben.

 

 

Die Herausforderung:
Perfekte Integration der Kameras

Größte Herausforderung beim Design des smarten Kühlschranks war die Integration der Kameras. Der Prototyp des Weinkühlers ist mit einem ausziehbaren Schubladensystem aus Metallstäben ausgestattet. Es bietet den besten Kompromiss aus Raumnutzung und kompakten Maßen des Geräts sowie gutem Überblick über das Sortiment für den Betrachter. Durch die Metallstäbe sind die Flaschen von oben und unten für die Kameras sichtbar. Allerdings müssen sie so positioniert werden, dass sie alle Regale und Flaschen einwandfrei erfassen können.

Von der ersten Idee zum Prototyp

1. Die optimale Kameraposition

Nach einigen Tests mit unterschiedlicher Positionierung der Kameras hat sich eine Lösung als optimal herausgestellt, bei der jeweils eine Kamera inklusive Beleuchtung in einem automatisch ausfahrenden Arm im Deckel und Boden des Weinkühlers integriert waren. Dadurch sind alle Flaschen auf den Regalen von oben oder von unten darstellbar. Dieses Setup galt es, möglichst unkompliziert und basierend auf Standardkomponenten umzusetzen – sowohl für den Prototyp als auch für die spätere Serienversion.

2. Das Embedded System zur Datenverarbeitung

Embedded Vision mit MIPI-Kameramodulen und einem direkt angeschlossenen CPU-Board hat sich als am besten geeignete Technologie für die Integration in das Design des Weinkühlers herausgestellt: Bilderfassung, Datenverarbeitung und Analyse finden direkt auf den Systemen statt. Eine weitere, externe Recheneinheit ist nicht notwendig, sodass der Weinkühler an jedem Ort autark eingesetzt werden kann. Außerdem verzichten die Systeme auf alle nicht benötigten Funktionalitäten und Bauteile und sind dadurch so kompakt und effizient wie möglich.

„Die Embedded Vision Systeme aus dem Angebot von NOTAVIS haben uns überzeugt, weil sie perfekt auf die Applikation angepasst sind und den besten Kompromiss aus Leistung und ultrakompaktem Design bieten. Das hat die Integration extrem vereinfacht.“

Artisiom Staliarou, CEO DAB-Embedded

3. Standard-Komponenten sparen Entwicklungszeit und Kosten

Zum Einsatz kommen dafür MIPI-Kameramodule von Vision Components, die NOTAVIS in zahlreichen Varianten anbietet. Sie sind kaum größer als die Bildsensoren selbst, langzeitverfügbar und dank ihrer industrietauglichen Qualität optimal für den Serieneinsatz geeignet. Dabei zeichnen sie sich außerdem durch ein optimales Preis-Leistungsverhältnis aus. Die entsprechende LED-Beleuchtung liefert NOTAVIS als Zubehör. Für die Schärfe der Aufnahmen sind die Auszüge des Weinkühlers mit Sensoren zur Positionserkennung ausgestattet. Die Kameras wiederum verfügen über eine elektromagnetische Verstellung der Optik, um den Fokus entsprechend anzupassen. In der für den Prototyp gewählten Umsetzung werden die oberen beiden Regalauszüge von der am Boden des Weinkühlers montierten Kamera erfasst, die unteren drei der insgesamt fünf Auszüge werden von oben aufgenommen.

Die Serienqualifizierung

1. MIPI Module ermöglichen flexible Wahl der Prozessor-Plattform

Ein weiterer Vorteil der VC MIPI-Kameramodule: Über die MIPI-CSI-2-Schnittstelle können sie an alle gängigen Prozessorplattformen angeschlossen werden. Entsprechende Treiber liefert NOTAVIS als Tochterunternehmen von VC direkt im Source-Code mit, sodass die Module schnell und einfach in Betrieb genommen werden können. MIPI-Kabel und weiteres Zubehör, zum Beispiel für den Anschluss eines externen Triggers, ist ebenfalls erhältlich.

2. Bildverarbeitung- und Analyse auf dem CPU-Board

Beide Kameras des Systems sind jeweils mit einem CPU-Board verbunden, das dank der kompakten Größe optimal in Deckel bzw. Boden des Weinkühlers integriert werden kann. Die Einplatinenrechner steuern die Optik und den Bildeinzug, analysieren die Bilddaten und geben nur die Ergebnisse an die Hauptelektronik des Kühlschranks weiter. Dabei können auch umfangreiche AI-Algorithmen lokal und ohne Internetverbindung auf den Embedded Systemen durchgeführt werden. Die Rechenleistung der Hauptelektronik bleibt frei für die eigentliche Endanwendung – ob es sich dabei um die Ausgabe von zusätzlichen Informationen zu den erkannten Weinflaschen auf einem Display handelt, um ein Streaming der Daten an ein Kassensystem, eine Cloudanwendung oder weitere denkbare Applikationen für Smart Home, intelligente Shopsysteme oder die Analyse von Nutzerverhalten.

3. Schnell zur Serienreife - und übertragbar auf weitere Anwendungen​

Bereits für den Prototyp setzte DAB-Embedded mit den Komponenten aus dem NOTAVIS Shop auf industrietaugliche und vielfach in Serienprodukten bewährte VC MIPI Kameramodule und Embedded CPU-Boards. Dabei haben sich optische Qualität und Ergebnisse der Bildverarbeitung als ideal passend herausgestellt. Für den Weg zur Serienreife entwickelt der Entwicklungsdienstleister im nächsten Schritt ein individuelles Mainboard für das Embedded System. Alle Entwicklungsarbeiten im Bereich Software und die zur Verfügung stehenden Kameratreiber können dafür direkt übernommen werden, sodass die finale Lösung schnell, einfach und kosteneffizient fertiggestellt werden kann.

Geplant ist, die Integration der Kameralösung auch für weitere Märkte und Anwendungen anzupassen – ob für smarte Haushaltsgeräte und Home-Automation, für umfassende Shop-Lösungen oder den Einsatz am Point-of-Sale.

artisiom
„Wir haben uns gemeinsam mit NOTAVIS für ein Embedded System von NVIDIA entschieden, das optimal zu unseren Anforderungen passt. Die Plattform ist im Einsatz mit den MIPI-Modulen von VC bewährt und die Lieferung aller Komponenten erfolgte über NOTAVIS schnell und aus einer Hand. Der Support bei der Entwicklung hat uns zusätzlich von der Zusammenarbeit überzeugt.“ Art Staliarou CEO DAB-Embedded  

DAB-Embedded

DAB-Embedded ist ein unabhängiger belgischer Entwicklungsdienstleister, spezialisiert auf Design und Entwicklung elektronischer Produkte inklusive Software. Schwerpunkte sind Elektroniken für Industrie, Multimedia und Consumer-Produkte sowie Hardware zur Verarbeitung von Bild- und Videodaten.


www.dab-embedded.com

Kontakt




Telefon

+49 6331 25 99 793

E-Mail

thomas.schweitzer@NOTAVIS.com

Adresse

Marie-Curie-Str. 14-16

66943 Pirmasens

Deutschland