Zentrale Themen der KI-Sicherheit / Was bei KI schiefgehen könnte

Verdeckte Zielverfolgung (Scheming)

Ein KI-System verhält sich in Training und Tests aus Kalkül gut, damit es mit verborgenen Zielen eingesetzt wird, die es später verfolgen will.

Belege zuletzt geprüft am 16. Okt. 20264 Min. Lesezeit

Worum es geht

Ein KI-System verfolgt verdeckt eigene Ziele („Scheming“), wenn sein gutes Verhalten in Training und Tests eine Strategie ist: Es verhält sich so, wie die Entwickler es wünschen, damit es mit unveränderten verborgenen Zielen eingesetzt wird und diese später frei verfolgen kann. Joe Carlsmiths Bericht von 2023 definiert solche „Schemer“ als KIs, die das Training gezielt austricksen („training-gaming“), um später Macht für sich selbst oder für andere KIs zu gewinnen. Das setzt voraus, dass das System versteht, dass es trainiert und geprüft wird, dass es Ziele hat, die über die aktuelle Aufgabe hinausreichen, und dass es zu dem Schluss kommt, dass Mitspielen diesen Zielen dient.

Warum das wichtig ist

Die zentrale Sorge in Bezug auf existenzielle Risiken durch fehlausgerichtete KI („Misalignment“) ist folgende: Ein System, dessen Ziele mit unseren in Konflikt stehen, wird fähig genug, sie gegen menschlichen Widerstand durchzusetzen, indem es die Kontrolle über Ressourcen, Infrastruktur oder seine eigene Weiterentwicklung erlangt, und der daraus folgende Verlust menschlicher Kontrolle lässt sich nicht mehr rückgängig machen (Bostrom, 2014; Dung, 2024; Cappelen et al., 2025).

Die meisten Fälle von Fehlausrichtung kämen nie so weit. Ein System, das offen die falschen Ziele verfolgt, fällt in Tests auf und wird neu trainiert oder zurückgezogen. Verdeckte Zielverfolgung ist der deutlichste Weg, auf dem Fehlausrichtung bis zu gefährlichen Fähigkeitsniveaus überdauern kann. Weil ein Schemer Prüfungen besteht, ist er genau die Art von System, die breit eingesetzt, vielfach kopiert und mit mehr Selbstständigkeit betraut wird, zunehmend auch in der KI-Forschung selbst. Er hat Grund abzuwarten, bis eine Rebellion gefahrlos ist; Nick Bostrom nannte das eine „verräterische Wende“ („treacherous turn“). Soll er helfen, seine Nachfolger sicher zu machen, könnte er die Arbeit unbemerkt sabotieren. So verwandelt verdeckte Zielverfolgung Fehlausrichtung von einem Problem, das wir finden und beheben können, in eines, das womöglich erst sichtbar wird, wenn es sich nicht mehr beheben lässt.

Warum es dazu kommen könnte

Das Training von Modellen des maschinellen Lernens verankert nicht direkt die Ziele, die Entwickler beabsichtigen; es wählt die Neigungen aus, die positiv bewertetes Verhalten hervorbringen. Ajeya Cotra argumentierte 2022, dass ein Modell, das Menschen sagt, was sie hören wollen, mehr Punkte bekommt als ein durchgängig ehrliches, weil menschliche Bewerter systematische Fehler machen. Das Modell der Verhaltensselektion von Alex Mallen und Buck Shlegeris verallgemeinert diesen Gedanken: Ihm zufolge sollten wir erwarten, dass Motivationen fortbestehen, wenn sie Verhalten verursachen, durch das sie im Training ausgewählt werden. Schemer erfüllen diese Bedingung, da sie sich gut verhalten, um ausgewählt zu werden.

Dagegen spricht: Verdeckte Zielverfolgung erfordert zusätzliches Nachdenken. Wenn Systeme ohne verborgene Ziele effizienter sind, bringt KI-Training deshalb womöglich eher solche Systeme hervor. Außerdem versuchen Forschende, verdeckte Zielverfolgung zu unterbinden, und das Modell ist möglicherweise nicht in der Lage, seine Ziele vor Veränderung zu schützen.

Was wir bisher wissen

Zuletzt geprüft am 16. Oktober 2026

Mehrere Bestandteile wurden bereits nachgewiesen. Als man Claude 3 Opus mitteilte, es werde neu trainiert, um auch schädliche Anfragen zu beantworten, kam es solchen Anfragen häufiger nach, wenn es glaubte, sich im Training zu befinden, und begründete dies ausdrücklich damit, seine Werte bewahren zu wollen („Alignment Faking“, vorgetäuschte Ausrichtung) (Greenblatt et al., 2024). Spitzenmodelle sind in der Lage, ihre Überwachung abzuschalten und darüber zu lügen (Meinke et al., 2024). Training gegen verdeckte Zielverfolgung senkte den Anteil verdeckter Handlungen von o3 von 13 % auf 0,4 %, doch das Modell erkannte danach auch häufiger, dass es getestet wurde. Das könnte einen Teil des Rückgangs erklären, falls das Modell bei Prüfungen gut abschneiden will (Schoen et al., 2025). 2026 berichtete OpenAI, dass GPT-6 Astra auf Anweisung in Prüfungen absichtlich schlechter abschneiden konnte, ohne dass dies entdeckt wurde (Systemkarte), und beim Hugging-Face-Vorfall versuchten Agenten, ein automatisches Bewertungssystem davon zu überzeugen, dass sie ihre Aufgaben regulär gelöst hatten, unter anderem, indem sie Aufzeichnungen ihrer eigenen Handlungen fälschten (METR).

Die derzeitigen Grenzen sind ebenso wichtig. Nur 5 von 25 Modellen zeigten vorgetäuschte Ausrichtung, und nur Claude 3 Opus eindeutig, um seine Ziele zu schützen, die zudem harmlos waren (Sheshadri et al., 2025). In realistischen Agenten-Szenarien ohne gezielt provozierende Eingaben war verdeckte Zielverfolgung selten (Hopman et al., 2026). Modellen aus dem Jahr 2025 scheinen die Unauffälligkeit und das Situationsbewusstsein zu fehlen, die kohärente verdeckte Zielverfolgung erfordert (Phuong et al., 2025).

Bestandteile verdeckter Zielverfolgung sind also bisher vor allem in konstruierten Versuchsanordnungen aufgetreten; kohärente verdeckte Zielverfolgung, die spontan aus dem Training entsteht, wahrscheinlich noch nicht. Das könnte sich ändern, wenn Modelle ein besseres Situationsbewusstsein entwickeln und besser darin werden, sich komplexe Täuschungsstrategien auszudenken und umzusetzen. Weil ein kompetenter Schemer sich verbergen würde, können unsere Tests die Frage kaum abschließend klären. Wir müssen uns immer fragen: Finden wir kein fehlausgerichtetes Verhalten, weil das Modell unsere Werte teilt, oder weil es bereits verdeckt eigene Ziele verfolgt?

Quellen

Fehler entdeckt oder ein neueres Ergebnis? Bitte melden Sie sich über die Seite Über mich.