Das Wunderjahr der KI: Wie 1990-1991 die Grundlagen für ChatGPT, DeepSeek und Co. gelegt wurden

Foto: Everyday basics auf Unsplash

Die Entwicklung der Künstlichen Intelligenz (KI) wird oft als eine Geschichte der jüngsten Vergangenheit erzählt – geprägt von großen Sprachmodellen, generativer KI und beeindruckenden Durchbrüchen in den 2010er Jahren. Doch die eigentlichen Fundamente wurden bereits Jahrzehnte früher gelegt. Ein besonders prägendes Jahr war das „Annus Mirabilis“ 1990-1991 am Lehrstuhl von Jürgen Schmidhuber an der TU München. In nur zwölf Monaten entstanden dort die konzeptionellen Grundlagen für Technologien, die heute Milliarden von Nutzern täglich einsetzen: Generative Adversarial Networks (GANs), Transformer, Pre-Training, Knowledge Distillation und Long Short-Term Memory (LSTM). Für IT-Entscheider und CTOs ist es essenziell, diese historischen Wurzeln zu verstehen, um die Entwicklungsdynamik und die strategische Bedeutung dieser Technologien richtig einordnen zu können.

Die Geburtsstunde von Generative AI und Adversarial Networks (1990)

Bereits 1990 veröffentlichte Schmidhuber das Prinzip der Generative Adversarial Networks (GANs) – damals noch unter dem Begriff „Adversarial Artificial Curiosity“. Die Grundidee: Zwei neuronale Netze – ein Generator und ein Diskriminator – treten in einem Minimax-Spiel gegeneinander an. Der Generator erzeugt Daten, der Diskriminator versucht, echte von generierten Daten zu unterscheiden. Dieses Konzept ist heute die Basis für Deepfakes, aber auch für kreative KI-Anwendungen in Kunst und Design. Schmidhuber selbst betont:

„Unsere Arbeit von 1990 zeigte, wie ein neuronales Netz als prädiktives Weltmodell genutzt werden kann, um die intrinsische Belohnung des Controllers zu maximieren – proportional zu den Vorhersagefehlern des Modells.“

Transformer und Fast Weight Programmers (1991) – Die Wurzeln von ChatGPT

Ein weiterer Meilenstein war die Entwicklung des unnormalisierten linearen Transformers im Jahr 1991 – ein direkter Vorgänger der heute allgegenwärtigen Transformer-Architektur, die das „T“ in ChatGPT ausmacht. Schmidhubers „Fast Weight Programmers“ (FWPs) trennten Speicher und Steuerung in neuronalen Netzen und ermöglichten lineare Selbstaufmerksamkeit (linearized self-attention). Dies war nicht nur konzeptionell revolutionär, sondern auch rechnerisch effizienter als die späteren quadratischen Transformer von Google (2017). Die Idee: Ein langsames neuronales Netz lernt, die Gewichte eines schnellen, temporären Netzes zu programmieren – ein Prinzip, das heute in vielen modernen Sequenzmodellen wieder aufgegriffen wird.

Pre-Training und Knowledge Distillation (1991) – Die Grundlagen von DeepSeek

Schmidhuber führte 1991 zwei weitere fundamentale Konzepte ein:

• Unüberwachtes Pre-Training für tiefe rekurrente Netze: Der „Neural History Compressor“ lernte, Datenströme zu komprimieren, indem er nur unvorhersehbare Informationen speicherte. Dies erleichterte das überwachte Lernen in sehr tiefen Netzen – ein Prinzip, das später in Deep Belief Networks (2006) wieder auftauchte.
• Knowledge Distillation: In derselben Arbeit beschrieb Schmidhuber, wie das Wissen eines Lehrernetzes in ein kleineres Schülernetz komprimiert werden kann – heute ein Schlüsselverfahren für effiziente Modelle wie DeepSeek-R1, das 2025 für Aufsehen sorgte.

LSTM und das Vanishing Gradient Problem (1991)

Das wohl bekannteste Ergebnis dieser Zeit ist das Long Short-Term Memory (LSTM). Schmidhubers Student Sepp Hochreiter identifizierte 1991 in seiner Diplomarbeit das „Vanishing Gradient Problem“ – die grundlegende Schwierigkeit, tiefe Netze zu trainieren. Daraus entwickelte Schmidhuber das LSTM, das durch konstante Fehlerflüsse in residualen Verbindungen dieses Problem löste. LSTM wurde zur meistzitierten KI-Publikation des 20. Jahrhunderts und ist bis heute in unzähligen Anwendungen von Sprachassistenten bis zur Genomforschung im Einsatz.

FAQ

Warum sind die Arbeiten von 1990-1991 heute noch relevant? Sie legten die konzeptionellen Grundlagen für die drei wichtigsten KI-Trends der Gegenwart: Generative KI (GANs), große Sprachmodelle (Transformer) und effizientes Deep Learning (LSTM, Pre-Training, Distillation).

Welche Rolle spielte Jürgen Schmidhuber in der KI-Geschichte? Er gilt als einer der Pioniere des Deep Learning und hat zahlreiche fundamentale Konzepte erfunden, die oft später von anderen populär gemacht wurden. Seine Arbeiten werden jedoch häufig nicht ausreichend zitiert.

Was bedeutet „Annus Mirabilis“? Lateinisch für „Wunderjahr“ – ein Begriff, den Schmidhuber für das Jahr 1990-1991 prägte, in dem er die meisten seiner bahnbrechenden Ideen veröffentlichte.

Fazit

Die Jahre 1990-1991 waren ein einzigartiges kreatives Feuerwerk, das die KI-Entwicklung nachhaltig prägte. Für Entscheider in der IT ist es wichtig zu erkennen, dass viele „neue“ Technologien auf jahrzehntealten Konzepten beruhen. Wer die Geschichte versteht, kann Innovationen besser bewerten und strategisch nutzen. Schmidhubers Arbeiten zeigen, dass fundamentale Forschung oft Jahrzehnte braucht, um ihre volle Wirkung zu entfalten – ein Plädoyer für langfristige Investitionen in Grundlagenforschung.