Privates Forschungszentrum : Hochreiter und Pierer wollen besseres ChatGPT entwickeln

Hochreiter erklärt: “Mit xLSTM haben wir die Möglichkeit, die KI-Technologie vom Herzen Europas aus zu revolutionieren und die Vorherrschaft von Transformermodellen zu brechen. Diese Chance möchten wir unbedingt nutzen. Daher bin ich sehr froh über die Zusammenarbeit der JKU mit NXAI. Durch NXAI erhalten wir eine erste Startfinanzierung für dringend notwendige Rechnerkapazitäten, mit denen wir xLSTM weiterentwickeln, testen und vor allem hochskalieren können.”

Schwerpunkt der in der Linzer Tabakfabrik angesiedelten NXAI GmbH mit derzeit zehn Mitarbeitern ist daher die Weiterentwicklung der europäischen Large Language Modeling Technology xLSTM, einer branchenübergreifenden Basistechnologie. In den nächsten drei Monaten werde das Erforschte mit dem am Markt Vorhandenen abgeglichen, so Netural X- und NXAI-Geschäftsführer Albert Ortig. "Parallel arbeiten wir daran, die Produkte auszuleiten und in die Wirtschaft und Industrie zu transformieren". Die NXAI GmbH gehört zu je 37 Prozent der Pierer Digital Holding und dem Start-up Netural X sowie zu 26 Prozent Hochreiter.

Zwischen der Johannes Kepler Universität (JKU) und NXAI sei eine Forschungskooperation vereinbart worden, um die an der Universität unter Hochreiter bereits geleistete Grundlagenforschung einen Schritt weiter zu bringen, so Rektor Stefan Koch. Nämlich "die Umsetzung auf größere Rechenressourcen und dann die Entwicklung von Produkten zur Umsetzung von universitärem Wissen in die Wirtschaft". Nicht genannt wurde, wie viel Geld zur Verfügung steht. "Wir kommunizieren nicht über Summen, aber wir sind ausreichend ausgestattet, um das tun zu können, was wir tun müssen", so Ortig. Derzeit sei man rein privat finanziert, ohne Fördermittel. Auf diese hofft der CEO aber in Zukunft.

Ortig erklärt: “Die derzeitigen Entwicklungen werden massiv von den USA und Asien vorangetrieben. Europa beherbergt allerdings genau die Spitzentechnologie und Forscher:innen, welche den Grundstein dieser Entwicklung gelegt haben und die entsprechenden Wachstumstreiber für diese Märkte waren. Die Herausforderung besteht nun darin, den Innovationsgeist wieder in die Wirtschaft Europas zu bringen und gemeinsam reale Herausforderungen mit AI anzugehen. Genau das soll durch NXAI geschehen.”

Hochreiter, Vorstand des Uni-Instituts für Machine Learning und Labor-Leiter für Artificial Intelligence am Linz Institute of Technology (LIT), hatte im Vorjahr kritisiert, dass in Österreich eine vernünftige KI-Strategie fehle. Der gebürtige Bayer hat mit der Long Short Term Memory-Technologie (LSTM)1991 eine der Grundlagen für KI-Systeme geschaffen. Darauf aufbauend könne man quasi ein "besseres ChatGPT" machen, das schneller in der Anwendung sei. Aktuelle Large Language Modelle (LMM), die auf Transformermodellen basieren, brauchen im laufenden Betrieb sehr hohe Rechnerleistungen, wenn der Text lang ist. Denn mit wachsender Textlänge steigen die Transformer-Berechnungen quadratisch. Bei dem von Hochreiter inzwischen weiterentwickelten xLSTM erhöhen sich die Berechnungen nur linear mit der Textlänge. Dies bedeute, "wir können die gleiche Leistung anbieten, man zahlt aber weniger dafür, da man weniger Rechner braucht", sagt er.

Dass Privatinvestoren in Grundlagenforschung investieren, um Technologie vor Ort zu halten, derartiges kenne Hochreiter nur aus Silicon Valley. Generell erfolge die Bereitstellung von Fördermitteln in Österreich und Europa viel zu langsam, es ginge dabei oft um Wochen oder Tage, merkte er an. "Bis hier Förderanträge durchgehen, ist man von der "Konkurrenz überrannt", sieht er Fehler im System: Förderinstrumente in Österreich seien "super ungeeignet" für die schnelllebige KI.