2026 wird das Jahr, in dem KI endlich lernt zu lernen
Google DeepMind löst das grösste Problem der Large Language Models. Und das könnte alles ändern.
Aktuelle KI-Modelle sind wie mürrische alte Leute. Sie wissen viel, aber lernen nichts Neues dazu. ChatGPT kann dir erklären, wie man Honig herstellt, aber wenn du ihm 5 Minuten später dieselbe Frage stellst, hat es die Antwort schon wieder vergessen. Das Problem heisst "catastrophic forgetting". Google DeepMind hat jetzt eine Lösung präsentiert, die das ändern könnte.
Ronak Mald, Forscher bei Google DeepMind, hat es auf den Punkt gebracht: 2024 war das Jahr der Agenten. 2025 das Jahr des Reinforcement Learning. 2026 wird das Jahr des kontinuierlichen Lernens.
Im November veröffentlichte Google Research "Nested Learning". Ein neues Machine-Learning-Paradigma. Entwickelt von Ali Behrouz, der auch hinter der Titans-Architektur steckt. Der Mann wird auf Machine-Learning-Konferenzen regelrecht belagert. Aus gutem Grund.
Das Problem: KI hat kein Gedächtnis
Stell dir vor, du erzählst jemandem eine Geschichte. Diese Person hört zu, versteht alles. Aber sobald du fertig bist, ist alles weg. Komplett gelöscht. So funktionieren aktuelle Large Language Models.
Sie haben zwei Arten von "Gedächtnis": Das Context Window (Kurzzeit) und die Pre-Training Daten (Langzeit). Dazwischen? Nichts. Sobald das Context Window voll ist, werden alte Infos rausgeschmissen. Egal wie wichtig sie sind. Sie landen nie im permanenten Speicher.
Das ist kristallisierte Intelligenz ohne fluide Intelligenz. Viel Wissen, null Anpassungsfähigkeit.
Die Lösung: Neuroplastizität für Maschinen
Google DeepMind schaut sich an, wie das menschliche Gehirn das Problem löst. Die Antwort: Neuroplastizität. Die Fähigkeit, die eigene Struktur basierend auf neuen Erfahrungen anzupassen.
Menschen haben ein Kurzzeitgedächtnis (schnell, flüchtig) und ein Langzeitgedächtnis (langsam, dauerhaft). Dazwischen läuft ein cleverer Filter: Was ist wichtig genug, um dauerhaft gespeichert zu werden?
Kurzfristig
Context Window. Speichert die letzten paar tausend Tokens. Wird laufend überschrieben. Nichts bleibt hängen.
Langfristig
Pre-Training Daten. Eingefroren nach dem Training. Kann nicht mehr aktualisiert werden. Statisch.
Nested Learning
Die Brücke. Ein System, das kontinuierlich entscheidet: Was ist wichtig? Was wird dauerhaft gespeichert? Was darf vergessen werden?
Surprise: Der Schlüssel zum Lernen
Wie entscheidet das System, was wichtig ist? Überraschung. Nicht im emotionalen Sinn. Sondern als mathematische Differenz zwischen Erwartung und Realität.
Beispiel: "Honig wird aus Blütennektar gemacht." Nicht überraschend. Landet im Kurzzeitgedächtnis, wird vergessen. Aber: "Bienen trinken den Nektar, verdauen ihn, erbrechen ihn wieder in Waben." Das ist überraschend. Das landet im Langzeitgedächtnis. Beim nächsten Gespräch über Honig wird diese Info abrufbar sein.
Genau so funktioniert Nested Learning. Es misst, wie stark neue Inputs vom aktuellen Weltmodell abweichen. Hohe Abweichung = hohe Überraschung = dauerhaft speichern.
Von Titans zu Hope: Die Evolution
Titans (Dezember 2024) war der erste Schritt. Eine Langzeitgedächtnis-Architektur, die Infos basierend auf Überraschungswert priorisiert. Eine Art Aktenschrank. Wichtiges wird abgelegt, Unwichtiges ignoriert.
Hope (November 2025) geht weiter. Es ist eine selbstmodifizierende Architektur mit "infinite looped learning levels". Hope speichert nicht nur ab. Es reorganisiert. Vergisst Unwichtiges. Verstärkt Wichtiges. Genau wie das menschliche Gehirn.
2024: Kein Langzeitgedächtnis
LLMs konnten nur ihr Context Window nutzen. Alles andere war eingefroren.
2025: Titans Architektur
Erste Version eines aktiven Langzeitspeichers. Statisches Ablagesystem.
2026: Hope Architektur
Dynamisches, sich selbst optimierendes Gedächtnis. Kontinuierliches Lernen wird möglich.
Was das praktisch bedeutet
Aktuelle LLMs machen dumme Fehler. Immer wieder. Das Seahorse-Emoji-Desaster: ChatGPT behauptet, es gäbe ein Seepferdchen-Emoji. Zeigt ein Pferd. Merkt, dass es falsch ist. Probiert ein Einhorn. Dann eine Seestern. Dann eine Robbe. Eine Crevette. Es lernt nicht aus seinen Fehlern. Es hat kein Gedächtnis für diese spezifische Interaktion.
Mit Nested Learning würde das System nach dem ersten Fehler speichern: "Es gibt kein Seepferdchen-Emoji." Diese Info würde dauerhaft bleiben. Beim nächsten Mal keine Wiederholung des Fehlers.
Meine Predictions für 2026
Erstens: Wir werden neue Benchmarks sehen. Tests, die messen, wie gut LLMs langfristige Ziele verfolgen können. Nicht nur "Beantworte diese Frage korrekt", sondern "Führe ein Projekt über 20 Stunden durch."