Code-Evolution knackt ARC-AGI-2
Wie Imbue mit evolutionären Algorithmen einen neuen Rekord aufstellte. Und warum das wichtig ist.
Stell dir vor, du kannst die Performance eines günstigen KI-Modells verdreifachen. Ohne das Modell selbst zu verändern. Nur durch cleveres Code-Design drumherum. Das Team von Imbue hat genau das geschafft. Hier die Story.
Das ARC-AGI-2 Benchmark misst, ob KI-Systeme wirklich verstehen, was sie tun. Oder ob sie nur Muster auswendig lernen. François Chollet hat diesen Test 2019 entwickelt. Die Idee: Aufgaben, die für Menschen einfach sind, aber KI an ihre Grenzen bringen.
Imbue hat jetzt eine Methode vorgestellt, die auf Code-Evolution setzt. Das Resultat: Mit dem Open-Source-Modell Kimi K2.5 erreichen sie 34% Erfolgsquote. Das ist ein neuer Rekord für frei verfügbare Modelle. Mit Gemini 3.1 Pro kommen sie sogar auf 95%.
Die Resultate im Überblick
Drei Durchläufe. Drei verschiedene Basismodelle. Immer der gleiche Evolutions-Framework.
Kimi K2.5: 2.8x Boost
Von 12.1% auf 34.0% (+21.9%). Kosten: $2.67 pro Aufgabe. Das ist der beste Open-Source-Score auf ARC-AGI-2. Übertrifft sogar GPT-5.2 auf Medium-Reasoning-Modus.
Gemini 3 Flash: 1.8x Boost
Von 34.0% auf 61.4% (+27%). Kosten: $2.42 pro Aufgabe. Performance vergleichbar mit viel teureren Modellen wie Opus 4.6 oder GPT-5.2 auf X-High.
Gemini 3.1 Pro: 95% Trefferquote
Von 88.1% auf 95.1% (+7%). Kosten: $8.71 pro Aufgabe. Deutlich günstiger als Gemini 3 Deep Think ($13.62) und andere Refinement-Lösungen (>$30).
State of the Art
Vergleichbar mit Confluence Lab (97.9% für $11.77/Task). Aber: Imbue's Lösung ist vollständig Open Source und reproduzierbar.
Was ist ARC-AGI überhaupt?
Ein Task besteht aus 2-5 Beispiel-Paaren: Input-Grid, Output-Grid. Deine Aufgabe: Finde die Regel, die Input in Output verwandelt. Wende diese Regel dann auf neue Test-Inputs an.
Jeder Grid ist ein farbiges Raster. Die Transformationsregeln variieren stark. Manchmal geht es um Symmetrie. Manchmal um Objektbewegung. Manchmal um Mustererkennung. Für Menschen oft trivial. Für KI? Eine echte Herausforderung.
Frühe LLMs konnten ARC-AGI nicht lösen. Null Tasks. Es dauerte Jahre, bis überhaupt zweistellige Erfolgsraten erreicht wurden. ARC-AGI-2 wurde 2025 veröffentlicht und ist nochmal deutlich schwieriger. Anfang 2026 lag der Rekord bei 54.2% (GPT-5.2 Pro). Jetzt, nur zweieinhalb Monate später: 84.6% (Gemini 3 Deep Think).
Wie Code-Evolution funktioniert
Das Konzept ist biologisch inspiriert. Du startest mit einer Population von "Organismen". Jeder Organismus ist ein Python-Code-Snippet, das versucht, die Aufgabe zu lösen.
Dann läuft ein Loop:
1. Sampling
Wähle einen Parent-Organismus basierend auf seinem Fitness-Score. Bessere Lösungen werden häufiger ausgewählt.
2. Mutation
Ein LLM generiert Mutationen des Parent-Codes. Diese werden getestet. Nur Mutationen, die neue Resultate produzieren, werden akzeptiert.
3. Scoring
Jeder neue Organismus bekommt einen Fitness-Score. Basierend auf Korrektheit, Transfer-Fähigkeit und Code-Simplizität.
4. Loop
Zurück zu Schritt 1. Bis zu 16 Iterationen. Der Prozess stoppt, sobald zwei gute Lösungen gefunden wurden.
Der Trick: Fitness-Scoring mit drei Komponenten
90% Korrektheit. Wie gut matcht die Output-Prediction mit den bekannten Beispielen? Teilpunkte für jeden korrekt vorhergesagten Grid-Cell.
7% Transfer-Score. Ein Reasoning-Modell bewertet, wie gut die Lösung auf Challenge-Inputs generalisiert. Das fängt Hard-Coded-Farben oder andere Overfitting-Probleme ab.
3% Simplizität. Weniger Hard-Coded Constants = höherer Score. Kürzerer Code = höherer Score. Einfachere Lösungen generalisieren besser.
Prompting-Techniken für bessere Mutationen
Natural Language First: Das LLM beschreibt die Transformation zuerst in natürlicher Sprache. Dann erst in Code. Das alignt besser mit menschlicher visueller Sprache.
Differential Formatting: Wenn Input- und Output-Grid die gleiche Grösse haben, zeigen sie nur die veränderten Zellen an. Das hilft dem LLM, sich auf relevante Bereiche zu fokussieren.
Randomisierte Mutations-Stärke: Manchmal fordert das Prompt kleine inkrementelle Änderungen. Manchmal radikale Neuinterpretationen. Das verhindert, in lokalen Maxima steckenzubleiben.
Crossover-Mutationen: 25% der Zeit werden drei Parents kombiniert statt nur einer. So können Entdeckungen aus verschiedenen Zweigen der Population zusammengeführt werden.
Warum das für dich relevant ist
Imbue hat den Darwinian Evolver nicht für ARC-AGI entwickelt. Sondern für Vet (Verify Everything). Ein Agent-Verifier, der KI-generierten Code auf Qualität prüft.
Der Evolver optimiert die Prompts und die Entscheidungslogik in Vet. Das Resultat: Besserer Code, zuverlässigere Agents. Und du kannst Vet heute schon runterladen.
Die Idee dahinter: Code-Qualitätsprobleme in KI-generierter Software ändern sich ständig. Imbue generiert laufend neue, annotierte Datensätze mit typischen Problemen. Der Evolver destilliert diese Erkenntnisse zurück in Vet's interne Prompts. Automatisch. Kontinuierlich.
Der Darwinian Evolver ist jetzt Open Source. Problem-agnostisch. Du kannst ihn für praktisch alle Code- und Prompt-Optimierungen verwenden.
Fazit: Evolution schlägt Brute Force
Code-Evolution ist kein Hype. Es ist eine fundamentale Methode, um aus günstigen Modellen mehr rauszuholen. Ohne das Modell selbst anzufassen.