Nach dem Transformer: Welche KI-Architekturen könnten die Zukunft prägen?

Foto: Growtika auf Unsplash

Seit der Veröffentlichung des bahnbrechenden Papers "Attention Is All You Need" im Jahr 2017 hat der Transformer die KI-Welt im Sturm erobert. Er ist die treibende Kraft hinter Modellen wie ChatGPT, GPT-4 und Midjourney und hat sich als universelle Architektur für Sprache, Bilder, Robotik und sogar Biologie etabliert. Doch jede Technologie erreicht irgendwann ihre Grenzen. Angesichts des enormen Rechenbedarfs und der Schwierigkeiten bei der Verarbeitung langer Sequenzen stellt sich die Frage: Was kommt nach dem Transformer?

Die Grenzen des Transformers

Trotz seiner beeindruckenden Fähigkeiten hat der Transformer zwei wesentliche Schwächen:

• Quadratiches Scaling: Die Aufmerksamkeitsmechanismen vergleichen jedes Wort mit jedem anderen, was zu einem quadratischen Anstieg des Rechenaufwands mit der Sequenzlänge führt. Bei langen Texten oder Genomen wird dies schnell untragbar.
• Statische Parameter: Transformers können nicht kontinuierlich lernen; einmal trainierte Gewichte bleiben fix. Zudem sind sie als Black Box schwer erklärbar, was in sicherheitskritischen Bereichen wie der Medizin problematisch ist.

Diese Einschränkungen haben die Forschung an alternativen Architekturen beflügelt, die subquadratisches Scaling, dynamische Anpassung und bessere Interpretierbarkeit versprechen.

Hyena: Die Rückkehr der Faltung

Ein vielversprechender Kandidat ist die Hyena-Architektur, die von einem Team um Chris Ré und Yoshua Bengio entwickelt wurde. Statt Attention nutzt Hyena zwei Operationen: lange Faltungen (convolutions) und elementweise Multiplikation. Dadurch skaliert Hyena subquadratisch – bei einer Sequenzlänge von 64.000 Token ist es bereits 100-mal schneller als ein Transformer.

"Die Überwindung der quadratischen Hürde ist ein entscheidender Schritt für neue Möglichkeiten im Deep Learning – etwa die Verarbeitung ganzer Lehrbücher oder die Analyse gigapixelgroßer Bilder." – Hyena-Autoren

Ein erster Erfolg ist HyenaDNA, ein Genomik-Modell mit einem Kontextfenster von einer Million Token. Damit könnte es eines Tages möglich sein, das gesamte menschliche Genom als Prompt zu verwenden und Fragen zu Krankheiten oder Medikamentenreaktionen zu stellen.

Liquid Neural Networks: Weniger ist mehr

Am MIT entwickelte Ramin Hasani mit seinem Team die sogenannten Liquid Neural Networks. Inspiriert vom Gehirn des Fadenwurms C. elegans besitzen diese Netzwerke probabilistische Gewichte, die sich je nach Eingabe dynamisch anpassen. Zudem sind sie extrem kompakt: Ein autonomes Fahrzeug konnte mit nur 19 Neuronen und 253 Parametern gesteuert werden.

• Kontinuierliches Lernen: Die fließenden Gewichte ermöglichen eine Anpassung an neue Daten ohne erneutes Training.
• Transparenz: Die geringe Größe macht die Entscheidungen nachvollziehbar – ein Vorteil für regulierte Bereiche.

Allerdings arbeiten Liquid Networks nur mit Zeitreihendaten, was ihren Einsatz auf Robotik und autonome Systeme beschränkt.

Evolutionäre Ansätze: Sakana AI

Einer der ursprünglichen Transformer-Erfinder, Llion Jones, hat mit Sakana AI einen neuen Weg eingeschlagen. Statt monolithischer Modelle setzt das Startup auf Schwarmintelligenz: Viele kleine Modelle arbeiten zusammen und lernen durch evolutionäre Prinzipien. Jones ist überzeugt: "Lernen gewinnt immer. Die Geschichte der KI zeigt, dass es besser ist, einem Modell beizubringen, selbst zu lernen, als es von Hand zu entwickeln."

FAQ

Was ist der Hauptnachteil von Transformern? Der quadratische Rechenaufwand bei langen Sequenzen und die fehlende Fähigkeit zum kontinuierlichen Lernen.

Welche Architektur könnte Transformer ersetzen? Hyena, Liquid Neural Networks und evolutionäre Ansätze wie Sakana AI sind vielversprechende Kandidaten.

Sind diese neuen Architekturen bereits praxistauglich? Bislang wurden sie nur im kleinen Maßstab getestet. Ob sie bei Milliarden Parametern mithalten, muss sich noch zeigen.

Fazit

Der Transformer bleibt der unangefochtene Standard, doch die Forschung schläft nicht. Hyena und Liquid Neural Networks zeigen, dass Alternativen mit weniger Rechenaufwand und mehr Flexibilität möglich sind. Ob eine dieser Architekturen den Transformer ablösen wird oder ob wir eine Diversifizierung erleben – die Zukunft der KI verspricht spannend zu werden.