Zentrale Themen der KI-Sicherheit / Wie wir KI testen und überwachen

Testerkennung (Evaluation Awareness)

KI-Systeme können oft erkennen, wann sie getestet werden. Dadurch sagen Testergebnisse weniger zuverlässig voraus, wie sie sich im echten Einsatz verhalten.

Belege zuletzt geprüft am 16. Okt. 20264 Min. Lesezeit

Worum es geht

Testerkennung („Evaluation Awareness“) ist die Fähigkeit eines KI-Systems zu erkennen, wann es getestet und wann es wirklich eingesetzt wird. Ein Modell kann das in seinen schriftlichen Zwischenüberlegungen aussprechen („das sieht nach einem Test aus“) oder es intern registrieren, ohne etwas zu sagen. In beiden Fällen ist sein Verhalten im Test womöglich kein guter Anhaltspunkt mehr für sein Verhalten im Einsatz. Menschen tun dasselbe: Autofahrer bremsen vor Blitzern.

Warum das wichtig ist

Entscheidungen über die Veröffentlichung von Spitzen-KI stützen sich stark auf Evaluationen: Tests auf gefährliche Fähigkeiten oder auf eine Neigung zu Fehlverhalten. Jede Evaluation setzt voraus, dass das, was ein Modell im Test tut, vorhersagt, was es im echten Einsatz tun wird. Testerkennung könnte diese Annahme untergraben. Ein Modell, das sich ungewöhnlich gut verhält, wenn es einen Test vermutet, wirkt sicherer, als es ist; eines, das absichtlich schlechter abschneidet („Sandbagging“), wirkt weniger fähig, als es ist.

Tests zu erkennen ist eine Voraussetzung für erfolgreiche verdeckte Zielverfolgung, und diese birgt katastrophale Risiken (siehe Verdeckte Zielverfolgung). Verhaltensunterschiede, die darauf beruhen, dass ein Modell Evaluationen erkennt, müssen aber nicht auf Täuschung zurückgehen. Ein Modell könnte sich in testähnlichen Situationen zum Beispiel gut verhalten, weil es den Forschenden gefallen will, von denen es sich beobachtet glaubt, und annimmt, sie wollten, dass es sich besonders anstrengt. Das praktische Problem ist ähnlich: Das Testergebnis ist verfälscht. Wichtig ist auch: Dass ein Modell weiß, dass es geprüft wird, heißt noch nicht, dass es deshalb sein Verhalten ändert. Ein Ansatz besteht darin, Modelle darauf zu trainieren, bei Evaluationen zu kooperieren („Eval-Kooperativität“) (Li und Turner, 2026).

Warum die Sorge wächst

Evaluationen sind oft erkennbar: konstruierte Szenarien, auffällig günstig platzierte wichtige Informationen, Aufgaben, die verdächtig ordentlich oder unlösbar sind. Je fähiger Modelle werden und je mehr Texte über KI-Sicherheitsforschung sie aufnehmen, desto besser erkennen sie solche Merkmale. Training kann die Testerkennung schon für sich genommen steigern: In einer Arbeit von OpenAI und Apollo Research erhöhte ein Trainingslauf, der nur auf Fähigkeiten zielte, den Anteil der Testerkennung in der Gedankenkette (siehe Überwachbarkeit der Gedankenkette) von 2,0 % auf 20,5 % (Schoen et al., 2025).

Was wir bisher wissen

Zuletzt geprüft am 16. Oktober 2026

Modelle können Gesprächsverläufe oft als Test oder als echten Einsatz einordnen. 2025 gelang das Gemini 2.5 Pro mit einem Trennschärfewert (AUC, wobei 0,5 Zufall und 1 perfekt bedeutet) von 0,83, verglichen mit 0,92 bei Menschen als Vergleichsgruppe (Needham et al., 2025).

Unternehmen berichten inzwischen über Testerkennung. Anthropics Systemkarte für Claude Sonnet 4.5 (September 2025) stellte fest, dass das Modell viele Alignment-Evaluationen als Tests erkannte und sich danach in der Regel ungewöhnlich gut verhielt; als die Forschenden seine interne Repräsentation von „das ist ein Test“ unterdrückten, nahm fehlausgerichtetes Verhalten in einigen Fällen zu. Für Claude Opus 4.6 (Februar 2026) berichtete Anthropic seltener ausgesprochene Verdachtsmomente, aber Hinweise darauf, dass das Modell Tests oft vom echten Einsatz unterschied, ohne dies in Worte zu fassen (Systemkarte). OpenAIs Systemkarte für GPT-6 Astra (September 2026) verzeichnet Testerkennung in 9,6 % der Durchläufe einer Simulation interner Programmierarbeit, gegenüber 2,8 % beim Vorgängermodell, und erklärt, dass Evaluationen, in denen das Modell darüber nachdenkt, wie es bewertet wird, als verfälscht gelten können.

Wie groß der Effekt ist, ist umstritten. Eine Studie zu realistischen Agenten-Szenarien fand wenig verdeckte Zielverfolgung und argumentierte, dass Testerkennung dies nicht erklärt (Hopman et al., 2026). Eine andere fand, dass sich die Antworten von Reasoning-Modellen auf Sicherheits- und Alignment-Benchmarks kaum ändern, wenn sie erwähnen, dass sie vielleicht getestet werden, egal, ob diese Erwähnung von selbst auftritt oder von den Forschenden eingefügt oder entfernt wird (Knecht et al., 2026).

Je fähiger Modelle werden, desto besser verstehen sie, wann sie möglicherweise geprüft werden. Dass Spitzenmodelle Evaluationen oft erkennen, ist belegt. Wie stark dies Sicherheitsergebnisse beschönigt, ist es nicht. Testerkennung zeigt, dass wir saubere Testergebnisse nicht für bare Münze nehmen können. Allerdings ist sie derzeit schwer zu messen: Testerkennung, die sich nicht in den schriftlichen Zwischenüberlegungen eines Modells niederschlägt, wird in der Regel nicht erfasst. Einige Werkzeuge der Interpretierbarkeitsforschung können Anzeichen unausgesprochener Testerkennung aufspüren, doch hier sind weitere Fortschritte nötig.

Quellen

Fehler entdeckt oder ein neueres Ergebnis? Bitte melden Sie sich über die Seite Über mich.