Gesture Control : Sensoren: Wie ein Steirer Samsung von sich überzeugte

Was passiert, wenn gerade an einem Sensor-Prototypen mit einer Vielzahl an innovativen Ideen gebastelt wird, aber die Konkurrenz plötzlich mit einem ähnlichen Produkt auf den Markt geht? Richtig, es wird ein Gang zugelegt und das eigene Produkt gleich um einiges besser gemacht. Diese Erfahrung machte Mario Manninger. Der Senior Director Engineering und sein Team haben sich beim Mikroelektronik- und Halbleiterhersteller ams auf das Entwickeln und Produzieren von High-Performance-Sensoren spezialisiert. Jetzt gehen sie mit einem neuen Chip auf den Markt, der erstmals in der Lage ist 13 verschiedene Gesten in acht unterschiedliche Richtungen zu erfassen. Der Staatspreis für Innovation war ihnen damit sicher.

Im Team der Division Advanced Optical Solutions (AOS) von ams reifte schon seit einigen Jahren die Idee, Gestensensoren - nicht Kamera-basiert -, sondern auf der leistungsfähigeren Infrarotbasis zu entwickeln. Denn letztere können zum Beispiel auch in Handys eingebaut und genutzt werden. „Wir stellen bereits Näherungssensoren her, die sehr klein und für Handys geeignet sind“, erklärt Manninger. „Der Gedanke war jedoch: Wie kann man diese Näherungssensoren ändern, dass sie auch für Gestensensoren einsetzbar sind?“ Wie kann man mit Infrarot Objekte verfolgen? Wie lassen sich solche Richtungssignale dann auswerten? Alle diese Fragen flossen zunächst in eine Machbarkeitsanalyse ein. Daraufhin wurde ein erster, bereits überraschend gut funktionierender Prototyp gebaut. Das Team um Manninger konnte zu diesem Zeitpunkt zwar noch nicht genau beschreiben, welche Performanz der Sensor einmal erreichen wird, jedoch vom Prinzip her war er funktionsfähig. Der Prototyp stellte natürlich kein Echtzeitsystem dar, aber auf dieser Basis konnten die einzelnen Elemente entwickelt werden. Dieser umfasste die Hardware (Chip) und Software (Erkennung der Gesten).

Was bei ams anfänglich als Nebenprojekt auf den Weg gebracht wurde, erweckte plötzlich die gesamte Aufmerksamkeit: Im Jahre 2013 kam die Konkurrenz mit einem solchen Chip im Smartphone S4 von Samsung auf den Markt. „Jetzt mussten wir schnell handeln und die Entwicklung dramatisch beschleunigen“, sagt Manninger. „Gleichzeitig fragten wir uns: Was können wir verbessern?“ Denn das Konkurrenzprodukt war „zum Glück“ sehr fehleranfällig und die Entfernungen für die Gestenerkennung recht beschränkt.

Das Team um Manninger in Österreich und den USA entwickelte nun einige Erfindungen und Patente, um diese Technologie deutlich zu verbessern und vor allem auch viel robuster zu machen. Das heißt, ein winziges Format von nur 2 mm Breite für Handys, eine wesentlich höhere Empfindlichkeit bei der Gestenerkennung, eine weitere Entfernung der Gesten sowie ein noch stromsparender Chip. Getreu nach der Philosophie des Unternehmens, bessere Features als der Wettbewerb zu bieten und gleichzeitig den Preis der Konkurrenz zu halten. Auf diese Weise wurde ein innovatives Set an Funktionen entwickelt, das nicht nur Gesten der vier Himmelsrichtungen erkennt, sondern auch die Annäherungs-, Button-, Tap- (Blättern von allen Seiten), Diagonal- und Zoom-Funktion.

In der Folge wurde dann mit dem Softwarekonzept begonnen und an den Patenten gefeilt. „Am Anfang waren zehn Mitarbeiter beteiligt und als das Konkurrenzprodukt am Markt war, stockten wir das Team schnell auf, sodass in Spitzenzeiten über 40 Leute in verschiedenen Ländern am Projekt arbeiteten“, sagt Manninger. Die Softwareentwickler verfeinerten den Algorithmus und programmierten die 13 Gesten. Hinzu kam auch eine Barcode-Funktion, mit der das Infrarot-LED Barcodes darstellen kann, die von einem Scanner gelesen werden können. Die Software-Ingenieure brachten den Gestensensor schließlich zu einer robusten Produktionsreife. Dabei war der Chip, der von Grund auf neu entwickelt wurde, die größte Herausforderung. Dieser sollte eben möglichst klein und energiesparend arbeiten, hochempfindlich sein und sich fertigungstechnisch genau positionieren lassen. Auf diese Weise sollte eine Hand aus einer Entfernung von 200 mm bis zu 400 mm erkannt werden.

Der berührungslose Gestensensor soll vielfach in der Praxis einsetzbar sein. Mögliche Anwendungen sind zum Beispiel Bedienung durch verschmutzte Hände in der Produktion, Bedienung von Geräten der Medizintechnik während einer OP, in der Bedienkonsole von Autos und sogar unter Wasser. Denn das Team um Manninger fand heraus, dass die Touchscreens der Handys unter Wasser gar nicht funktionieren. Bevor das Produkt zum Kunden geht, testete ams jedes Bauteil, um sicher zu stellen, dass alles perfekt arbeitet, die Linse exakt sitzt und das Licht genau durchgeht. Der neue Gestensensor sollte erstmals im damaligen Smartphone S5 von Samsung eingebaut werden.

Endlich war der Tag der Produktvorstellung bei Samsung gekommen. Doch das ams-Team wurde mit Wünschen zur Modifikation der Software überrascht. Im Grunde eine klare Sache, aber weit gefehlt. Leider konnten die Entwickler den Ingenieuren von Samsung nur sehr mühsam klare Vorgaben entlocken. Damit ging das Projekt in eine heiße Phase großer Unsicherheiten. Und das neun Monate nach Entwicklungsstart! Das Team um Manninger ließ sich aber nicht kleinkriegen. Sogleich wurde das Softwareteam erweitert, darunter auch Entwickler von ams aus China, und jede Woche produzierte das Team ein neues Software-Release. Das Problem lag unter anderem daran, dass nun die Funktionen des Gestensensors, der Farberkennung und der Näherungssensor gleichzeitig funktionieren mussten. Doch auch diese große Hürde konnte von den Softwareentwicklern schließlich genommen werden.

Das Team durfte nun die Sektkorken knallen lassen! Doch zu früh gefreut! „Jetzt wurde die Richtigkeit unserer Testmethode von Samsung angezweifelt und Tests mit einer künstlichen Hand für alle zu verbauenden Sensoren gefordert“, so Manninger. „Nur so sollte es gehen.“ In kurzer Zeit war auch dies geschafft und erfolgreiche Testergebnisse für 20 Mio. Stück lagen vor. „Damit konnten wir Samsung zeigen, dass kein einziger Fehler gefunden wurde, der nicht schon vorher optisch von uns entdeckt wurde“, so Manninger. „Ab diesem Zeitpunkt durften wir den Test mit der künstlichen Hand weglassen.“

Auf das Ergebnis konnten alle Beteiligten stolz sein: Das Smartphone Samsung S5 war ein voller Erfolg. Im Anschluss dazu brachte ams das Produkt nach einigen Anpassungen hinsichtlich der verschiedenen Betriebssysteme und Architekturen auf den breiten Markt. Mit dem darauffolgenden Samsung S7 erblickte die zweite Sensor-Generation das Licht der Welt. „Diese Sensoren sind noch empfindlicher und noch höher auflösender als die ersten“, freut sich Manninger. Für ihn hat die Technologie aber noch lange nicht den Zenit erreicht. „Da gibt es noch viel Luft nach oben.“