Augmented Reality : Wie ein MIT-Professor den Röntgenblick industrietauglich macht

Seine Anwendungen wurden als einer der 50 Wege anerkannt, auf denen das MIT die Informatik verändert hat, und seine Arbeit über die Wahrnehmung von Robotern (Finder of Lost Things) wurde als einer der 103 Wege genannt, auf denen das MIT eine bessere Welt schafft. Fadel Adib, Professor am MIT und CEO von Cartesian Systems, forscht im Bereich der drahtlosen Sensorik. „Wir entwickeln Technologien, die nicht nur bereits existierendes schneller oder besser machen, sondern komplett neue Dinge ermöglichen und bringen sie zur Marktreife“, sagt er. Ziel seiner Gruppe ist es, neue Drahtlos- und Sensortechnologien zu entwickeln und sie zu kommerzialisieren.

Adibs jüngstes Baby ist die Weiterentwicklung von Augmented-Reality-Headsets. Konnten diese bisher Objekte nur in der physischen Welt visualisieren, wurden diese Eigenschaften nun um eine Darstellung erweitert. „Wir haben ein Augmented-Reality-Headset mit Röntgenblick gebaut“, freut sich der Forscher. Sie zeige Dinge, die das menschliche Auge normalerweise nicht wahrnehmen kann. Für diese Erweiterung werden drahtlose Signale, verwendet. Sie haben ähnliche Eigenschaften wie sichtbares Licht, sind aber für das menschliche Auge nicht wahrnehmbar. Und sie haben noch eine weitere spannende Besonderheit: Sie können Wände durchdringen.

Um das zu ermöglichen, stattete man eine Hololens von Microsoft mit einer Batman-Antenne aus, die Wireless Signale aussendet. Die drahtlosen Signale durchdringen, wie das herkömmliche WI-FI, Oberflächen. Treffen sie auf ein Objekt, werden sie reflektiert oder sie nehmen Daten auf und kommen zurück. Diese Information wird analysiert. „Wir entwickelten Algorithmen und künstliche Intelligenz, die diese drahtlosen Signale extrahieren und analysieren können, um Objekte und auch Menschen auf der anderen Seite der Wand zu erkennen“, so Adib. Es ist möglich, ihren Standort, ihre Formen und bei Menschen sogar ihre Gesten zu ermitteln. „Nur Gesichtszüge können wir bisher noch nicht genau erkennen, aber wir können z.B. die Herzfrequenz messen“, sagt der MIT-Professor. Sobald der Computer weiß, was sich auf der anderen Seite befindet, zeigt er es dem Nutzer des Headsets. So kann dieser verdeckte Objekte erkennen und tatsächlich durch Wände sehen. Anwendungsgebiete für die Produktion und Fertigung gibt es beispielsweise in Verbindung mit Iot-Geräten und in der Zusammenarbeit mit Robotern.

Die Algorithmen hinter dem von Adib erfundenen System FuseBot ermitteln die wahrscheinliche Lage und Ausrichtung von Gegenständen unter einem Stapel. Danach findet der Roboter den effizientesten Weg, um hinderliche Gegenstände zu entfernen und das Zielobjekt zu extrahieren. Im Versteckspiel schlägt FuseBot bereits ein state-of-the-art Robotersystem: Es kann mehr versteckte Gegenstände in der Hälfte der Zeit auffinden. Verwendet wird das neue System zum Beispiel für die Verarbeitung von Rücksendungen in einem E-Commerce-Lager. "Wir haben multimodales Denken in das System integriert - FuseBot kann sowohl über Vision als auch über RF nachdenken, um einen Stapel von Gegenständen zu verstehen", so der Wissenschaftler. Weitere Anwendungsgebiete gibt es auch im Gesundheitsbereich z.B. bei der Betreuung von Alzheimer Patient:innen in Verbindung mit Smart-Home Anwendungen. Die Technologie wurde außerdem zur Überwachung von Covid-19-Patienten verwendet, um Ansteckungen zu verhindern.

Als weiteres Projekt entwickelte die Gruppe von Fadel Adib ein IoT-System, das für umweltzecke den Ozean vermessen soll. Das Besondere daran ist, dass es ohne Batterien auskommt. Die Sensoren ernten Energie aus Schallwellen und können sich so selbst versorgen. Das Team entwickelte auch eine neue Kommunikationstechnologie mit geringem Stromverbrauch sowie bildgebende Systeme für Unterwasserumgebungen. Ein Ergebnis ist die erste batterielose Unterwasserkamera, die drahtlos Daten senden kann. Das Team arbeitet nun daran, die Kameras für den Einsatz in der Tiefsee zu verbessern und kooperiert mit der NASA, um die Sensoren ins Weltall zu schicken.

Prof. Fadel Adib spricht am 29.3.23 auf der MIT-Konferenz in Wien.