Das kann der GPT-Killer aus Linz : KI-Startup von Sepp Hochreiter veröffentlicht ersten Blick auf xLSTM

Gemeinsam mit dem Institut für Maschinelles Lernen der JKU Linz, das von Hochreiter geleitet wird, hat das Linzer Start-up NXAI ein neues wissenschaftliches Paper veröffentlicht, das „extended LSTM“ beschreibt. "Wie weit kommen wir in der Sprachmodellierung, wenn wir LSTM auf Milliarden von Parametern skalieren? Derzeit lautet unsere Antwort: Mindestens so weit wie aktuelle Technologien wie Transformers oder State Space Models", schreiben die Autoren.

"Ich bin sehr froh, dass xLSTM veröffentlicht wurde. LSTM liegt mir sehr am Herzen - und das seit über 30 Jahren. Mit xLSTM schließen wir die Lücke zu den bestehenden modernen LLMs. Mit NXAI haben wir begonnen, unsere eigenen europäischen LLMs zu bauen. Ich bin sehr stolz auf mein Team", schreibt KI-Pionier Sepp Hochreiter auf X.

Das xLSTM-Modell wurde ausgiebig getestet und direkt mit den derzeitigen Spitzenreitern "Llama" von Meta und GPT-3 von Open AI verglichen. Die Ergebnisse zeigen, dass xLSTM mit den anderen Verfahren mithalten kann. Vergleicht man xLSTM-Modelle mit modernen Transformatoren wie GPT oder State-Space Models wie Mamba, so schneidet xLSTM sowohl bei der Wortvorhersage als auch bei der Skalierung besser ab. Damit xLSTM aber sein volles Potenzial ausschöpfen kann, sei noch ein „umfangreicher Optimierungsprozess“ nötig, betonen die Autoren.

Das Team rund um Hochreiter baut auf seiner Erfindung der Long Short-Term Memory (LSTM) Technologie auf, die er 1991 entwickelte und die bis 2017 als führende Methode in der Sprachverarbeitung und Textanalyse galt. Mit xLSTM führt er diese Tradition fort und macht gleichzeitig einen signifikanten Sprung nach vorne. "Mit xLSTM haben wir die Möglichkeit, die KI-Technologie vom Herzen Europas aus zu revolutionieren und die Vorherrschaft von Transformermodellen zu brechen. Diese Chance möchten wir unbedingt nutzen", meinte Hochreiter zum Zeitpunkt der Gründung von NXAI.

Die Test deuten darauf hin, dass größere xLSTM-Modelle eine ernsthafte Konkurrenz für die aktuellen großen Sprachmodelle darstellen werden, die mit der Transformer-Technologie aufgebaut wurden, schreibt das Autorenteam. xLSTM habe das Potenzial, andere Bereiche des Deep Learning wie Reinforcement Learning, Zeitreihenvorhersage oder Modellierung physikalischer Systeme wesentlich zu beeinflussen.

NXAI gehört zu je 37 Prozent der Pierer Digital Holding und dem Start-up Netural X sowie zu 26 Prozent Hochreiter. xLSTM sei eine Basistechnologie für alle Branchen, das Entwicklerteam arbeitet aber auch konkret an der Umsetzung der Produkte für die Industrie. Der große Vorteil der xLSTM-Technologie ist das überlegene Verständnis von Textsemantik. Auf diese Weise kann das Modell auch komplexere Texte verstehen und generieren. Dies mache xLSTM zu einem Schlüsselelement in der Entwicklung großer KI-gesteuerter Systeme.

Hochreiter hegt große Ambitionen mit seiner Entwicklung: "Unser Sprachmodell ist viel besser als alles, was derzeit auf dem Markt ist. Ich will Open AI vom Markt fegen", sagte er im Juli 2023. Hochreiter sparte nicht mit Kritik an der österreichischen Standortpolitik. „Es ist eine Katastrophe hier! Seit sechs Jahren kritisiere ich, dass man als Forscher, aber auch als Unternehmer in Österreich nirgends andocken kann. Die Industrieunternehmen wissen nicht, was mit KI möglich ist, und die Forscher wissen nicht, was die Industrie braucht“.

Doch die ersten Hürden scheinen nun überwunden zu sein. Die Resultate stimmen zuversichtlich, dass Hochreiters Vision möglich ist und dass es mit xLSTM einen ernsthaften europäischen Konkurrenten im Bereich der generativen KI geben könnte. Unter der wissenschaftlichen Leitung von Johannes Brandstetter verfolgt NXAI das Ziel, mittels neuester Forschungsergebnisse und dem Einsatz umfangreicher Rechenressourcen Simulationstools zu entwickeln, die industrielle Anwendungen revolutionieren.

Die Kritik scheint mittlerweile auch Früchte zu tragen. Das Bundesministerium für Bildung, Wissenschaft und Forschung sowie der Österreichische Wissenschaftsfonds (FWF) fördern die Grundlagenforschung für ein "Broad AI" mit 20 Millionen Euro für die kommenden fünf Jahre. Die Eigenmittel der Forschungseinrichtungen miteingerechnet beläuft sich das Volumen sogar auf 33 Millionen Euro. Die Laufzeit kann auf 10 Jahre mit insgesamt 70 Millionen Euro Förderung verlängert werden

Im Gegensatz zu bestehenden KI-Programmen, wie etwa ChatGPT, die in der Regel nur vorhandene Daten auswerten, soll die "Broad AI" in der Lage sein, eigene Schlussfolgerungen zu ziehen und kreative Lösungen zu entwickeln. „Eine ,Broad AI‘ könnte dazu beitragen, unseren Alltag, aber auch systemrelevante Bereiche und Prozesse, wie Energie, Verkehr oder Gesundheitswesen, ökologisch nachhaltiger, effizienter und ressourcenschonender zu gestalten“, erläutert Sepp Hochreiter.

Um dieses ambitionierte Ziel zu erreichen, arbeiten im Cluster of Excellence unter der Leitung der JKU, die mit dem LIT AI LAB rund um Sepp Hochreiter seit Jahren Knotenpunkt der europäischen KI-Forschung ist, Wissenschaftler*innen der TU Wien, WU Wirtschaftsuniversität Wien, TU Graz, Universität Klagenfurt und des Institute of Science and Technology Austria (ISTA) zusammen.

Die durch den Ansatz der „Bilateralen KI“ entstehende „Broad AI“ soll aufgrund ihrer eigenen Sinneswahrnehmungen Abstraktionen anstellen und logisch denken können. Sie könnte dann z.B. eine Reise organisieren, CO2 minimieren oder ein Haus möglichst günstig und ökologisch renovieren – also komplexe Planungen unter Berücksichtigung aller Zusammenhänge durchführen.