In Gespräch: Prof. Jan Peters : "Roboter leisten noch zu wenig für ihren Preis"

Maschinelles Lernen durch Versuch und Irrtum: Der Roboter als Kleinkind, der aus seinen Fehlern lernt und für Erfolge belohnt wird. Kann man Reinforcement Learning so simpel beschreiben? 

Jan Peters: Ja, man kann diese Parallele durchaus ziehen. Wir lernen auf der einen Seite durch Imitation, auf der anderen Seite durch unsere Erfahrungen, durch Fehler und Irrtum. Beide Methoden sind essenziell, denn rein durch das Suchen nach Fehlern und deren Verbesserung würden wir nicht bestehen. Direkt nach der Geburt sind Kinder bereits in der Lage zu imitieren, was sehr eindrucksvoll ist! In der Robotik haben wir beides ausprobiert, um Roboter zu einer Lösung zu bringen. Vieles davon war grandios, aber wir sind genauso grandios gescheitert – beispielsweise darin, einen Haushaltroboter zu liefern, der alles kann. Und das liegt nicht an der Hardware. Bis vor kurzer Zeit war unser Argument immer, dass das maschinelle Hören und Sehen noch nicht gut genug funktioniert, die Sprachverarbeitung schlecht sei oder dass die fehlenden Körper schuld seien, aber das trifft alles nicht mehr zu. Das vergangene Jahr war für die Robotik in etwa das, was Chat GTP für die Allgemeinheit war. Auf einmal kamen aus dem Nichts 180 verschiedene humanoide Roboter von verschiedenen chinesischen, amerikanischen und auch einzelnen europäischen Firmen auf.

Wenn also inzwischen die Hardware nicht mehr das Problem und die Sinneswahrnehmung ausreichend: Wieso sind hochentwickelte Roboter dann noch nicht Teil unseres Alltags?

Peters: Wir sind jetzt an dem Punkt gekommen, an dem man humanoide Roboter für den Preis eines Kleinwagens bekommt – natürlich viel zu viel. Der Chef von iRobots hatte mir einmal erzählt, dass er Preis für seinen Staubsaugerroboter damals so gesetzt hat, dass ein Mann oder eine Frau bereit war, diesen Betrag ohne vorherige Zustimmung des Partners auszugeben. Die Umfrage damals hatte 500 Dollar ergeben. So wurde also der Preis für den Staubsaugerroboter festgesetzt – und dieser hat den Markt erobert und andere, teurere Modelle verdrängt. Davon sind wir bei humanoiden Robotern natürlich meilenweit entfernt – die Roboter leisten noch zu wenig für ihren Preis. Und genau hier ist das Lernen eine essenzielle Komponente, um Roboter kostengünstig zu instruieren.

Wie kann man sich Lernen in der Robotik vorstellen? Funktioniert maschinelles Lernen unabhängig oder braucht es immer auch Feedback durch den Menschen?

Peters: Wir befinden uns in einer Zeit der generativen KI und der großen Netze. Wir haben jetzt schon vortrainierte neuronale Netze, die einfache Tätigkeiten selbstständig ausführen können, beispielsweise eine Tasse anzuheben. Diese Tätigkeit muss niemand mehr manuell programmieren. Über viele Generationen von Robotik hinweg haben wir sehr große Datensätze generiert und aus diesen schon eine Menge an Verhalten herausimitiert. Dazu kommt nun noch die Selbstverbesserung am realen System – und das das geht hauptsächlich über das Reinforcment Learning, also das Lernen aus Versuch und Fehlern.

Bei Kindern spielt das Thema Belohnung auch eine Rolle, um gewünschtes Verhalten zu fördern. Wie belohnt sich ein Roboter, wenn er menschenunabhängig lernt?

Peters: Die einfachste Form ist ein binärer Reward, also guter Roboter, böser Roboter. Wenn Der Roboter fast immer eine 1 erhält, hat er die Lösung geschafft, wenn er fast immer eine 0 erhält, muss er weiter ausprobieren. Dieses Ausprobieren ist bei uns Menschen elementar. Als Kinder versuchen wir dieselben Bewegungen viele Male zu machen, da wir eine Variabilität, wie es die Neurowissenschaftler nennen, in der Bewegung haben. Diese Variabilität sorgt dafür, dass wir immer weiter lernen und ausprobieren, weil sich unser Körper Tag für Tag stark verändert und wir uns immer wieder auf die aktuelle Situation anpassen müssen. Aber wenn man lang genug eine Bewegung übt, wird man langsam immer besser, bis man bei der Genauigkeit angekommen ist, die die menschliche neuronale Verarbeitung realisieren kann. Und genau so ist es auch bei Robotern: Wir erhalten aus großen Datensätzen gelernte Modelle – erst bewegt sich der Roboter damit noch ungelenk, dann wird er mit der Zeit immer besser.

Ab welchem Punkt sind Aufgaben so komplex, dass sie eine massive Herausforderung für die Robotik bedeuten? Kann man hier irgendwo eine Grenze ziehen?

Peters: Die Herausforderung ist, dass wir für das Lösen von Aufgaben, egal ob in der Industrie oder im Haushalt, jeweils eigene Datensätze brauchen. Aber wir können nicht für alle Aufgaben der Welt riesige Datensätze sammeln. Dementsprechend wird es langfristig darauf hinauslaufen, dass die Roboter selbst das Sammeln der Daten übernehmen müssen. Nehmen Sie das Beispiel Chat GPT und seine Mitbewerber: Da wurde einmal das komplette Internet abgesaugt, fast alle Bücher, die verfügbar waren, und damit konnten Chat GPT und die vielen Competitors trainiert werden. Aber wir sind an einem Punkt angekommen, an dem 80 Prozent aller jemals vom Menschen generierten Daten fast vollständig verwendet worden. Das heißt also mehr oder weniger, uns gehen die Daten aus. Ich habe immer gedacht, uns gehen irgendwann Erdöl oder Uran aus, aber niemand ist auf die Idee gekommen, dass uns ausgerechnet das menschlich aufgeschriebene Wissen und die menschlich generierten Fotos ausgehen würden! Dementsprechend werden wir in der Robotik langfristig das Problem haben, dass Roboter die Daten selbst generieren müssen, was für Roboter alles andere als trivial ist. Menschen haben die Daten aus den unterschiedlichsten Gründen erhoben. Dass man einen Roboter nun in die Welt schickt, ihn Aufgaben ausprobieren und Erfolgsbeispiele sammeln lässt und es am Ende funktioniert, ist relativ unwahrscheinlich. Denn aktuell versucht der Roboter immer zu vertiefen, was er schon kann. Wenn er so also nur sein aktuelles Modell stärkt, dann fällt das Modell innerhalb kurzer Zeit in sich zusammen – der modell collapse.

Wann wird  der nächste Entwicklungssprung passieren, so dass Roboter Teil unseres Alltags werden?

Peters: Sehr schwierig zu sagen! Ich habe nicht damit gerechnet, wie schnell Chat GPT da sein würde. Ich habe nicht damit gerechnet, dass das letzte Jahr so viele humanoide Roboter auf den Markt bringen würde. Autonomes Fahren hingegen dauert viel länger als wir alle erwartet haben. Wir haben  eine überalternde Bevölkerung, wir werden mehr und mehr Robotik brauchen, weil uns einfach die Arbeitskräfte ausgehen. In der Industrie hat sich bei der Verwendung von Robotik wahnsinnig viel getan, leider ist es zu einem gewissen Prozentsatz an der deutschen Industrie vorbeigegangen. m Servicebereich liegt ein unglaubliches Potential: Ob Küche oder Bewirtung oder alle leicht repetitiven Aufgaben, lassen sich diese sehr gut automatisieren. Denken Sie auch an den Rehabilitationsbereich: Da bekommen sie als Schlaganfallpatient mal hier und da ein Stündchen Therapie, weil es zu wenige Physiotherapeuten gibt. Jetzt überlegen Sie sich mal, welchen Unterschied ein Roboter, welcher sich auf einen Menschen anpasst und ihm Schritt für Schritt Fähigkeiten zurückgeben kann, macht! Dazu gibt es auch erfolgreiche Pilotstudien und zertifizierte Roboter, die man hierbei zum Einsatz bringen könnte, z.B. von der Firma Hokoma. Schauen sie sich mal Krankenhäuser an: Wir haben dort hochqualifizierte Fachkräfte, denen die Bezeichnung Krankenschwester nicht gerecht wird. Von deren Arbeitszeit geht ein hoher Prozentsatz für Hol-und-bring-Aufgaben verloren, also Tätigkeiten, die man mit der Robotik problemlos lösen könnte beim aktuellen Stand der KI. Stellen Sie sich vor, es gibt Operationen die nur zwei bis drei Personen weltweit ausführen können und Experten, die einen einzelnen Schnitt besser können als alle anderen Chirurgen auf dieser Welt. Was wäre, wenn für diesen einen besonderen Schnitt Beispiele vorliegen und wir diesen mithilfe von KI vollautomatisieren und für alle zugänglich und demokratisieren würden!