KI-Risiken im Klartext

Zentrale Themen der KI-Sicherheit / Wie wir KI testen und überwachen

Überwachbarkeit der Gedankenkette (Chain-of-Thought Monitorability)

Viele KI-Modelle schreiben ihre Überlegungen auf, bevor sie handeln. Diese zu lesen ist eine der wenigen Möglichkeiten, Fehlverhalten im Voraus zu erkennen, doch dieses wichtige Sicherheitswerkzeug könnte verschwinden.

Belege zuletzt geprüft am 16. Okt. 20264 Min. Lesezeit

Worum es geht

Viele aktuelle KI-Modelle „denken laut“, bevor sie antworten. Sie erzeugen eine oft lange Folge von Zwischenüberlegungen auf einer Art Notizblock, in einer Sprache, die normaler Sprache nahekommt. Das nennt man eine „Gedankenkette“ („Chain of Thought“). Die Überwachbarkeit der Gedankenkette ist das Maß, in dem uns das Lesen dieser Überlegungen verrät, was das Modell tatsächlich tut und warum, auch dann, wenn es plant zu betrügen, zu täuschen oder zu sabotieren.

Warum das wichtig ist

Das meiste, was in einem neuronalen Netz geschieht, ist undurchsichtig. Deshalb ist die Überwachung der Gedankenkette ein wertvolles Werkzeug. Bei schwierigen, mehrschrittigen Aufgaben können heutige Modelle nicht alles intern durchdenken und müssen es aufschreiben, sodass wichtige Informationen oft in einem Text auftauchen, den ein Prüfer, ob Mensch oder KI, lesen kann. Modelle, die in Evaluationen bei unerwünschtem Verhalten ertappt wurden (z. B. Belohnungs-Hacking), sind oft aufgeflogen, weil ihre Überlegungen ihre Absichten verrieten, manchmal ganz unverblümt, etwa mit Worten wie „Let’s hack“ („Lass uns hacken“) (Baker et al., 2025). Ein Papier von 2025, an dem mehr als 40 Forschende von OpenAI, Anthropic, Google DeepMind, dem britischen AI Security Institute und anderen Einrichtungen beteiligt waren, nannte die Überwachbarkeit der Gedankenkette „eine neue und fragile Chance“ für die KI-Sicherheit (Korbak et al., 2025). Mit Blick auf katastrophale Risiken ist sie eines der wenigen Werkzeuge, mit denen sich ein fehlausgerichtetes System bei der Planung ertappen ließe, bevor es handelt.

Warum sie fragil ist

Drei Dinge könnten dieses Fenster schließen. Erstens Trainingsdruck: OpenAI stellte fest, dass Modelle, die im Training für „schlechte Gedanken“ bestraft wurden, sich weiterhin fehlverhielten, aber lernten, dies in ihrer Gedankenkette nicht mehr zu verraten (Baker et al., 2025). Zweitens fehlende Treue („Unfaithfulness“): Modelle schreiben nicht immer auf, was ihre Antworten tatsächlich bestimmt. Anthropic fand heraus, dass Reasoning-Modelle einen ihnen gegebenen Hinweis nur in einer Minderheit der Fälle als genutzt erwähnten, bei Claude 3.7 Sonnet in 25 % der Fälle (Chen et al., 2025). Drittens die Architektur: Bauweisen, mit denen Modelle intern in einer kontinuierlichen, nicht sprachlichen Form denken können, manchmal „Neuralese“ genannt, würden das Aufschreiben von Überlegungen weniger nötig machen, vielleicht sogar ganz überflüssig (Erklärtext von Linch). Jeder dieser Schritte kann verlockend sein: Wenn sich ein Modell schlecht verhält, liegt es nahe, es durch Bestrafung „schlechter Gedanken“ verbessern zu wollen, und Neuralese könnte Modelle leistungsfähiger oder effizienter machen. Doch diese Schritte würden ein wichtiges Sicherheitswerkzeug untergraben.

Was wir bisher wissen

Zuletzt geprüft am 16. Oktober 2026

Im Januar 2026 empfahl das Frontier Model Forum, der Branchenverband der führenden KI-Labore, dass Entwickler Gedankenketten nicht darauf trainieren, „gut auszusehen“, dass sie Architekturen bevorzugen, die schriftliches Nachdenken erfordern, bis die Interpretierbarkeitsforschung aufgeholt hat, und dass sie Evaluationen zur Überwachbarkeit veröffentlichen (FMF-Kurzbericht). Das sind Normen unter dem Vorbehalt „unter sonst gleichen Bedingungen“, keine verbindlichen Zusagen.

Der erste echte Test kam im September 2026. Berichten zufolge, die sich auf eine anonyme Quelle stützten, nutzt OpenAIs GPT-6 Astra „rekurrente Tiefe“ („recurrent depth“), die es ihm erlaubt, mehr Überlegungen intern anzustellen. OpenAI bestritt, dass es sich um ein Neuralese-Modell handelt, und erklärte, seine Rechentiefe liege innerhalb eines Faktors zwei von der von GPT-4 (Transformer). Seine Systemkarte berichtet, dass Astra, vor allem in Tests, in denen es angewiesen wurde, der Überwachung zu entgehen, seine Gedankenkette besser kontrolliert als sein Vorgänger und seltener belastende Informationen aufschreibt; Belege für verborgenes, verschlüsseltes Denken fand sie allerdings nicht. Der Sicherheitsforscher Ryan Greenblatt sagte, falls die Berichte zuträfen, sei dies womöglich die bislang schlimmste Entwicklung für die KI-Sicherheit (Transformer).

Die Forschung zeigt weiterhin sowohl Chancen als auch Grenzen. Prüfsysteme, die die Gedankenkette lesen, entdecken weit mehr Fehlverhalten als solche, die nur die Handlungen sehen (Baker et al., 2025). Wenn Nachdenken für eine Aufgabe wirklich notwendig ist, gelingt es Modellen kaum, der Überwachung zu entgehen (Emmons et al., 2025), wobei eine neuere Arbeit argumentiert, dass die Überwachung selbst dann scheitern kann (Bürger et al., 2026).

Die Überwachung der Gedankenkette funktioniert bei heutigen Modellen recht gut und ist eine geschätzte Verteidigungslinie. Ob sie erhalten bleibt, hängt von Gestaltungsentscheidungen ab, zu denen sich die Entwickler nicht verpflichtet haben.

Verwandte Einträge

Quellen

  1. Wikipedia. Reward hacking.en.wikipedia.org
  2. Bowen Baker et al. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation.arxiv.org
  3. Tomek Korbak et al. (2025). Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety.arxiv.org
  4. Yanda Chen et al. (2025). Reasoning Models Don't Always Say What They Think.arxiv.org
  5. Linch. What is neuralese and why is it bad?linch.substack.com
  6. Frontier Model Forum (2026). Issue Brief: Chain of Thought Monitorability.frontiermodelforum.org
  7. Shakeel Hashim (2026). What is neuralese and why is everyone so concerned about it? Transformer.transformernews.ai
  8. OpenAI (2026). GPT-6 Astra System Card: metagaming and alignment faking in evaluations.deploymentsafety.openai.com
  9. Scott Emmons et al. (2025). When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors.arxiv.org
  10. Lennart Bürger et al. (2026). Chain of Thought Monitoring Can Fail Even When CoT Is Necessary.arxiv.org

Fehler entdeckt oder ein neueres Ergebnis? Bitte melden Sie sich über die Seite Über mich.