KI & Reasoning
Tree of Thoughts: Wie Sprachmodelle besser denken lernen
Ein Framework, das nicht nur Antworten produziert, sondern Wege prüft, verwirft und gezielt weiterverfolgt.
Veröffentlicht am 16. Juni 2023
Wir bringen Maschinen bei, Gesichter zu erkennen, Sprache zu verstehen und Autos zu fahren. Beim echten Problemlösen sind sie trotzdem oft erstaunlich fragil. Tree of Thoughts (ToT) setzt genau dort an, mit einer Denkstruktur, die näher an unserem eigenen Abwägen, Testen und Zurückspringen liegt. Die Idee wurde hier ursprünglich am 16. Juni 2023 skizziert.
1. Menschliches Denken
Warum Entscheide selten linear sind, sondern aus Varianten, Erinnerungen und Kontext entstehen.
2. Was ToT ist
Ein Such- und Bewertungsprozess, der mehrere sinnvolle Zwischenideen parallel verfolgt.
3. Nutzen für LLMs
Bessere Robustheit bei Aufgaben, die Planung, Prüfen und Umdenken verlangen.
4. Integration in Produkte
Mehr Qualität durch Struktur, aber auch mehr Rechenaufwand und mehr Designarbeit.
5. Balanced View
Begeisterung trifft auf Sicherheitsfragen, Ethik und berechtigte Skepsis.
6. Technik
Thought-Nodes, Suchstrategien wie BFS/DFS und ein Ranking der Kandidaten.
7. Ausblick
ToT als Baustein für Systeme, die kontextreicher und planvoller agieren.
8. Single-Prompt-Idee
Fünf Rollen, mehrere Iterationen, Fehlerkorrektur und am Schluss ein harter Realitätscheck.
Grosse Sprachmodelle können heute Sprache nicht nur nachbauen, sondern auch erstaunlich gut schlussfolgern. Trotzdem bleibt eine Lücke zwischen plausibel klingender Antwort und verlässlichem Problemlösen. Der Knackpunkt ist selten das Vokabular, sondern der Weg dorthin. ToT ist ein Versuch, genau diesen Weg systematischer zu machen.
Denk an die simple Frage, was du heute Abend isst. Dein Kopf prüft nicht eine Option, er öffnet gleich mehrere Pfade. Erinnerungen, Einschränkungen, Wetter, Zeit, Lust, Kühlschrank. Am Ende bleibt eine Entscheidung, aber sie entsteht aus einem kleinen Wald an Möglichkeiten.
Genau dieses Muster ist beim kreativen und beim analytischen Denken zentral. Wir probieren, verwerfen, drehen eine Idee, und kommen später wieder darauf zurück. Wir wechseln Perspektiven, statt stur geradeaus zu marschieren. ToT nimmt diese Dynamik ernst und übersetzt sie in ein Arbeitsmodell für LLMs.
Tree of Thoughts organisiert das Denken als Baum. Jeder Knoten ist ein sinnvoller Zwischenstand, also ein kohärenter Gedankenschritt, der weitergeführt werden kann. Das Modell erzeugt mehrere Kandidaten, bewertet sie, und lässt gute Pfade weiterwachsen. Unbrauchbare Pfade werden abgeschnitten, damit der Baum nicht ins Unendliche wuchert.
Ein anschauliches Beispiel ist das mathematische Spiel „Game of 24“. Aus vier Zahlen sollen mit +, -, *, / am Schluss 24 entstehen. Mit ToT werden verschiedene Zwischenrechnungen als Pfade aufgebaut und laufend eingeschätzt, zum Beispiel als „sicher“, „vielleicht“ oder „unmöglich“. Der Nutzen ist nicht Magie, sondern saubere Suche mit frühem Aussortieren.
Auch Schach passt als Bild, weil es Planung und Gegenplanung erzwingt. Ein ToT-System generiert mögliche Züge, bewertet ihre Aussichten und verfolgt vielversprechende Varianten tiefer. Schlechte Varianten werden gestrichen, bevor sie Zeit fressen. Das fühlt sich weniger nach Zufallstreffer an und mehr nach strukturiertem Vorwärtsdenken.
In der Umsetzung ist ToT kein Schalter, den man einfach umlegt. Du verschiebst den Fokus von „gib mir eine Antwort“ zu „baue, prüfe und verfeinere Kandidaten“. Das hilft bei komplexen Aufgaben, verlangt aber klare Kriterien, wann ein Pfad gut ist. Und es verlangt Produktentscheidungen, weil mehr Struktur oft auch mehr Laufzeit bedeutet.
Skalierung ist die harte Kante. Je grösser die Aufgabe, desto schneller wächst der Baum. Darum sind Suchstrategien und gute Heuristiken entscheidend, sonst wird ToT teuer und langsam. Interdisziplinäre Zusammenarbeit kann helfen, weil kognitive Modelle, Engineering und Domänenwissen hier zusammenhängen.
Technisch betrachtet kombinierst du drei Dinge. Erstens eine Repräsentation von „Thoughts“ als Zwischenstände. Zweitens eine Suche, die entscheidet, welche Knoten erweitert werden. Drittens eine Bewertung, die Kandidaten priorisiert oder verwirft, zum Beispiel über ein einfaches Ranking wie „sure/maybe/impossible“.
| **Suchstrategie** |
**Kurzprofil** |
| Breadth-first search (BFS) |
Erkundet zuerst alle Kandidaten auf einer Ebene, bevor tiefer gegangen wird. |
| Depth-first search (DFS) |
Geht einen Pfad möglichst tief, springt bei Bedarf zurück und prüft dann Alternativen. |
Ein nüchterner Blick gehört dazu. Begeisterung ist verständlich, weil ToT Ambiguität besser aushält und nicht sofort auf die erstbeste Antwort springt. Gleichzeitig steigen die Anforderungen an Tests, weil Fehlentscheidungen in sensiblen Bereichen realen Schaden anrichten können. Und es bleiben ethische Fragen, etwa wer Verantwortung trägt, wenn Systeme „entscheidungsähnlich“ handeln.
Skepsis ist ebenfalls gesund. Menschliches Denken ist nicht nur Logik, sondern auch Emotion, Erfahrung und Kultur. ToT imitiert eher die Struktur des Abwägens als die ganze Tiefe menschlicher Kognition. Das ist nicht wenig, aber es ist auch nicht das Ende der Geschichte.
Für die Praxis ist ToT vor allem ein Designprinzip. Wo Planung, Varianten und Rücksprünge nötig sind, kann es LLMs stabiler und nützlicher machen. Wo Aufgaben simpel sind, ist es vermutlich Overkill, so wie ein Taschenmesser im Spital zwar beeindruckt, aber nicht automatisch hilft. Die Kunst ist, ToT dort einzusetzen, wo der Denkbaum echten Mehrwert liefert.
Der „Single-Prompt“-Ansatz aus dem Text ist im Kern ein Prozessvertrag. Mehrere Expertenrollen, transparente Annahmen, mindestens drei Iterationen, Korrektur von Fehlern und am Schluss ein Abgleich mit der Aufgabenstellung. Das Ziel ist nicht maximale Komplexität, sondern die simpelste Lösung, die wirklich passt. Als Prompt-Design ist das weniger ein Zauberspruch, sondern eine klare Moderation von Suche und Bewertung.
ToT ist keine Zauberei, sondern bessere Sucharbeit
Tree of Thoughts macht LLMs nicht automatisch „menschlich“. Es gibt ihnen aber eine Denkdramaturgie, die bei schwierigen Aufgaben den Unterschied zwischen plausibel und belastbar ausmachen kann. Wer ToT einsetzt, sollte gleich streng sein bei Bewertung, Tests und Grenzen wie bei jedem anderen Engineering-Entscheid. Dann wird aus einem schönen Konzept ein Werkzeug, das in echten Produkten liefert.