Reasoning-Sprachmodell (LRM) (auf Deutsch: „schlussfolgerndes Sprachmodell“ oder „denkendes Sprachmodell“) ist eine spezielle Kategorie von großen Sprachmodellen (LLMs), die darauf ausgelegt sind, komplexe Denkaufgaben („Multi-Step Reasoning“) zu lösen. Sie werden als künstliche-Intelligenz-Systeme beschrieben, die natürliche Sprachverarbeitung mit strukturierten Inferenzfähigkeiten kombinieren. Diese Modelle werden üblicherweise durch Prompten, Supervised Finetuning (SFT) und Bestärkendes Lernen (RL) konstruiert, die mit vortrainierten Sprachmodellen initialisiert werden.
Ein Sprachmodell ist ein generatives Modell eines Trainingsdatensatzes von Texten. Prompting bedeutet die Konstruktion einer Texteingabe. Das Sprachmodell generiert, konditioniert auf diese Eingabe, eine Lösung für die gestellte Aufgabe. Prompting kann angewendet werden auf ein vortrainiertes Modell („Basismodell“), ein Basismodell nach SFT oder RL oder beides.
Eigenschaften und Technik
Diese Modelle zeichnen sich als Weiterentwicklung zu den bisherigen LLMs durch folgende Merkmale aus:
Sie zerlegen Aufgaben in mehrere logische Teilschritte („Chain of Thought Reasoning“).
Sie verwenden während der Laufzeit zusätzliche, in Testversionen auch unlimitierte Rechenressourcen für Nachdenken und Problemlösung.
Belohnungsmodelle sollen die Qualität und Nachvollziehbarkeit der Lösungen erhöhen.
Reasoning LLMs liefern im Vergleich zu älteren LLMs wie GPT-3 oder GPT-4 robustere, nachvollziehbarere und oft exaktere Antworten, insbesondere bei mathematischen und Programmieraufgaben.
Prompting-Techniken
Chain of Thought Prompting
Chain of Thought Prompting (CoT) fordert das Modell auf, eine Frage zu beantworten, indem es zunächst eine „Gedankenkette“ generiert, womit Inferenzschritte gemeint sind, die einen logischen Gedankengang nachahmen.
Dieser Ansatz wurde 2022 vom Google-Brain-Team am PaLM-540B-Modell veröffentlicht.
Beim CoT-Prompting hat die Eingabe die Form „<input> Lass uns Schritt für Schritt denken“, das Modell antwortet mit einer Kette von Inferenzschritten, die mit einer Antwort enden.
Tree of Thought Prompting
Tree of Thought Prompting verallgemeinert CoT, indem das Modell aufgefordert wird, einen oder mehrere „mögliche nächste Schritte“ zu generieren. Darauf exekutiert das Modell auf jedem der möglichen nächsten Schritte Breitensuchen, Beam Search oder durchläuft eine andere Methode von Baumsuchen.
Self-Consistency Decoding exekutiert mehrere Chain-of-Thought-Durchläufe und wählt die am häufigsten erreichte Schlussfolgerung aus allen Durchläufen aus.
Retrieval-Augmented Generation
Ein Sprachmodell kann eine Anfrage beantworten, indem es zuerst eine Datenbank von Dokumenten mit der Anfrage abfragt. Der Dokumentenabruf kann über eine Vektordatenbank, einen Zusammenfassungsindex, Baumindex oder Schlüsselworttabellenindex erfolgen.
Tool-Use und externe Methodenaufrufe
Sprachmodelle können lange Inferenzschritte durchführen, indem sie externe Methoden aufrufen, wie numerische Rezepte, Programminterpreter, API-Aufrufe und weiteres. Dies kann durch Prompt-Engineering beschrieben werden, indem die externen Methoden im Kontext beschrieben werden (ein Beispiel für In-Context-Learning) oder in das Modell hineintrainiert werden.
Supervised Fine-Tuning (SFT)
Ein Basismodell kann auf einem Datensatz von Inferenzaufgaben mit Beispiellösungen und Inferenzspuren feingetuned werden. Dieses Modell wäre dann in der Lage, Inferenzspuren für ein gegebenes Problem zu generieren.
Rejection Sampling Fine-tuning (RFT)
Da es teuer ist, wenn Menschen Inferenzspuren für einen SFT-Datensatz schreiben, gibt es Vorschläge für Methoden, SFT-Datensätze automatisch zu konstruieren. Beim Rejection Sampling Fine-tuning (RFT) werden so neue Inferenzspuren über eine Schleife gesammelt:
2. Generierung vieler Inferenzspuren für die Eingabe
3. Verwendung eines Verifizierers zur Entfernung von Inferenzspuren mit falscher Endantwort
4. Für jede verbleibende Spur: Extraktion der darin erscheinenden Gleichungen, Deduplizierung der Spuren und Hinzufügung zum Datensatz
Reinforcement Learning (RL)
Ein vortrainiertes Sprachmodell kann durch RL weiter trainiert werden. In der RL-Formalisierung ist ein generatives Sprachmodell eine Policy π. Eine Eingabe, die eine zu lösende Aufgabe spezifiziert, ist ein Umgebungszustand s, und die Antwort des Sprachmodells auf die Eingabe ist eine Aktion a.
Das Training eines Reasoning-Sprachmodells durch RL besteht dann aus der Konstruktion eines Belohnungsmodells zur Steuerung des RL-Prozesses. Intuitiv beschreibt ein Belohnungsmodell, wie wünschenswert/angemessen/gut die Antwort für die Eingabe ist.
Outcome Reward Model (ORM)
Das Outcome Reward Model oder outcome-supervised RM (ORM) ist ein „Belohnungsmodell“, das die Belohnung eines Schrittes bestimmt, der durch die endgültige Antwort bestimmt wird. Sie werden auch „Verifizierer“ genannt.
Für Aufgaben mit einer leicht zu überprüfenden Antwort, wie Textaufgaben in der Mathematik, kann die Outcome-Belohnung einfach binär sein: 1, wenn die endgültige Antwort korrekt ist, und 0 andernfalls.
Process Reward Model (PRM)
Das Process Reward Model oder process-supervised RM (PRM) ist ein Belohnungsmodell, das die Belohnung eines Schrittes bestimmt, der durch die bisherigen Schritte bestimmt wird.
Für eine partielle „Denkspur“ können Menschen befragt werden, ob die bisherigen Schritte korrekt sind, unabhängig davon, ob die endgültige Antwort korrekt wäre. Dies kann dann als binäres Belohnungssignal verwendet werden.
Anwendungen bei der Inferenz
Test-Time Compute Scaling
Ein trainiertes ORM kann die beste Antwort auswählen. Die Policy würde mehrere Antworten generieren, und ein trainiertes ORM wählt aus. Dies wäre eine einfache Form des Test-Time Compute Scaling („best-of-N“).
Guided Tree Search
Ein trainiertes PRM kann verwendet werden, um das Reasoning durch ausufernde „Baumsuche“ zu leiten. Das heißt, das Policy-Modell generiert mehrere mögliche nächste Inferenzschritte, und das PRM wählt den besten aus, und der Prozess wiederholt sich.
Bewertung und Benchmarks
Reasoning-Fähigkeiten von Sprachmodellen werden üblicherweise an Problemen mit eindeutigen Lösungen getestet, die kostengünstig überprüft werden können und menschlich generierte Lösungen beim Reasoning erfordern. Solche Problemlösungvorlagen sind in der Mathematik und bei kompetitiven Programmierungsaufgaben üblich. Beispielsweise:
GSM8K (Grade School Math): 8,5K sprachlich diverse Grundschul-Textaufgaben in Mathematik, die 2 bis 8 grundlegende arithmetische Operationen zur Lösung erfordern.
MMLU (Measuring Massive Multitask Language Understanding): 16.000 Multiple-Choice-Fragen aus 57 akademischen Fächern einschließlich Mathematik, Philosophie, Recht und Medizin.
GPQA (Google-Proof Q&A): 448 Multiple-Choice-Fragen, geschrieben von Domänenexperten in Biologie, Physik und Chemie, und erfordern PhD-Level-Experten zur Lösung.
HumanEval: Programmierproblemen, bei denen die Lösung immer eine Python-Funktion ist, oft nur wenige Zeilen lang.
Bewertungsmetriken
Die Benchmark-Werte sind von folgenden Arten:
pass@n: Das Modell erhält n Versuche zur Lösung jedes Problems. Wenn ein Versuch korrekt ist, erhält das Modell einen Punkt.
cons@n: Das Modell erhält n Versuche zur Lösung jedes Problems. Wenn die häufigste Antwort korrekt ist, erhält das Modell einen Punkt.
Geschichte
Reasoning Language Models wurden um 2024 von führenden KI-Unternehmen wie OpenAI, DeepSeek, Alibaba und Google auf den Markt gebracht. Zu den ersten wichtigen Modellen zählen:
OpenAI o1/o1-preview, nachfolgend o3 und o3-mini
DeepSeek R1
Qwen (Alibaba)
Google Gemini/Deep Research
Kennzeichnend sind bei den genannten Modellen die beschriebenen Trainingsmethoden wie „Knowledge Distillation“ und der Einsatz von Prozess- und Ergebnis-Belohnungsmodellen (PRM/ORM).
Prompt Engineering wurde in GPT-3 als „Few-Shot-Learning“ entdeckt,
was eine Periode der Forschung zur „Entlockung“ weiterer Fähigkeiten vortrainierter Sprachmodelle einleitete. Es wurde dann festgestellt, dass ein Modell dazu gebracht werden konnte, CoT-Reasoning durchzuführen, was seine Leistung bei Reasoning-Aufgaben verbesserte.
Anwendungen
Reasoning Language Models werden eingesetzt in:
mathematischen Aufgaben (z. B. American Invitational Mathematics Examination / AIME)
In Benchmarks wie AIME erzielen Reasoning-Modelle Erfolgsraten von 50 bis über 80%, während ältere LLMs meist unter 30% bleiben.
Herausforderungen
Aktuelle LRMs zeigen zwar bessere Leistungen in Reasoning-Benchmarks, aber ihre fundamentalen Fähigkeiten und Grenzen sind noch unzureichend verstanden. Das zeigten Untersuchungen mittels kontrollierbarer Puzzle-Umgebungen, die präzise Manipulation der Komplexität bei konsistenten logischen Strukturen ermöglichen:
Vollständiger Genauigkeitskollaps: LRMs versagen komplett bei Problemen jenseits bestimmter Komplexitätsschwellen
Paradoxes Skalierungsverhalten: Der Reasoning-Aufwand steigt zunächst mit der Problemkomplexität, nimmt dann aber wieder ab – trotz ausreichendem Token-Budget
Schwächen bei exakter Berechnung: LRMs verwenden keine expliziten Algorithmen und zeigen inkonsistentes Reasoning zwischen verschiedenen Puzzles
Strukturanalyse: Detaillierte Untersuchung der Reasoning-Spuren zeigt Muster in der Lösungsfindung und wirft grundlegende Fragen zu den wahren Reasoning-Fähigkeiten auf
Evaluationsproblematik: Bisherige Bewertungen fokussieren zu stark auf finale Antwortgenauigkeit und leiden unter Datenkontamination
Drei Performance-Bereiche im Vergleich zu Standard-LLMs
Mittlere Komplexität: LRMs zeigen Vorteile durch zusätzliches „Denken“
Hohe Komplexität: Beide Modelltypen versagen vollständig
Ausblicke
Die neuen Modellgenerationen (z. B. OpenAI o4-mini, DeepSeek R1, Google Gemini 2.0 Flash Thinking) lassen zwar erwarten, dass Reasoning und Erklärbarkeit bei KI weiter verbessert werden. Wichtige Forschungsfelder werden die Verbindung von Reasoning LLMs mit KI-Agentensystemen sein. Der breite Einsatz von Agentensystemen oder von Agenten in Echtzeitumgebungen ist noch in Entwicklung.
Nachteile
Mangelnde Transparenz in den Prozessen, daher wenig Vertrauenswürdigkeit
Signifikant höherer Rechen- und Zeitaufwand bei der Generierung der Antworten
Bisherige Vorteile nur in klar verifizierbaren Lösungsbereichen (Mathematik, Logik)
Datenschutz und Urheberrechtsproblematik bleiben ungelöst
Bereichsübergreifende Zugriffe von Agentensystemen unterlaufen Sicherheitsschranken in Betriebssystemen
12Qiao, Shuofei; Ou, Yixin; Zhang, Ningyu; Chen, Xiang; Yao, Yunzhi; Deng, Shumin; Tan, Chuanqi; Huang, Fei; Chen, Huajun (2023): Reasoning with Language Model Prompting: A Survey, arXiv:2212.09597
↑Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei; Chi, Ed H.; Le, Quoc V.; Zhou, Denny (2022): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022, arXiv:2201.11903
↑Narang, Sharan; Chowdhery, Aakanksha (2022): Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance, Google AI Blog
↑Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) (2024): Arten von Prompting - Chain of Thought Prompting, Technische Hochschule Augsburg
↑Yao, Shunyu; Yu, Dian; Zhao, Jeffrey; Shafran, Izhak; Griffiths, Thomas L.; Cao, Yuan; Narasimhan, Karthik (2023): Tree of Thoughts: Deliberate Problem Solving with Large Language Models, arXiv:2305.10601
↑The Decoder (2023): Tree of Thoughts verbessert GPT-4s logische Fähigkeiten, Mai 2023
↑Besta, Maciej; Blach, Nils; Kubicek, Ales; Gerstenberger, Robert; Podstawski, Michal; Gianinazzi, Lukas; Gajda, Joanna; Lehmann, Tomasz; Niewiadomski, Hubert; Nyczyk, Piotr; Hoefler, Torsten (2024): Graph of Thoughts: Solving Elaborate Problems with Large Language Models, AAAI 2024, arXiv:2308.09687
↑Wang, Xuezhi; Wei, Jason; Schuurmans, Dale; Le, Quoc; Chi, Ed; Narang, Sharan; Chowdhery, Aakanksha; Zhou, Denny (2022): Self-Consistency Improves Chain of Thought Reasoning in Language Models, arXiv:2203.11171
↑Snell, Charlie; Lee, Jaehoon; Xu, Kelvin; Kumar, Aviral (2024): Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, arXiv:2408.03314
↑Ma, Qianli; Zhou, Haotian; Liu, Tingkai; Yuan, Jianbo; Liu, Pengfei; You, Yang; Yang, Hongxia (2023): Let's reward step by step: Step-Level reward model as the Navigators for Reasoning, arXiv:2310.10080
↑Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; Chen, Mark; Jun, Heewoo; Kaiser, Lukasz; Plappert, Matthias; Tworek, Jerry; Hilton, Jacob (2021): Training Verifiers to Solve Math Word Problems, arXiv:2110.14168
↑DFKI NLP Group (2024): Natural Language Processing Research, Deutsches Forschungszentrum für Künstliche Intelligenz Berlin
↑DFKI Speech and Language Technology Lab (2024): KI zur Analyse, Generierung und Interaktion von gesprochener und geschriebener Sprache, DFKI
↑Ludwig-Maximilians-Universität München (2024): Forschung zur Künstlichen Intelligenz, LMU München
↑Technische Universität München (2024): Künstliche Intelligenz und Maschinelles Lernen, TU München
↑Plattform Lernende Systeme (2024): Große Sprachmodelle - Chancen und Herausforderungen für Forschung und Anwendung, Bundesministerium für Bildung und Forschung