Zentrale Themen der KI-Sicherheit / Katastrophale Risiken

Warum könnte KI uns alle töten wollen?

Nicht aus Hass oder menschlicher Machtgier. Die Sorge ist, dass fast jedes Ziel einer fähigen KI einen Grund geben würde, uns Macht zu nehmen.

Belege zuletzt geprüft am 16. Okt. 20265 Min. Lesezeit

Die kurze Antwort

Die Sorge vor einer Machtübernahme durch KI oder dem Aussterben der Menschheit betrifft KI-Systeme, die Ziele verfolgen, die ihre menschlichen Entwickler so nicht beabsichtigt haben, und die fähig genug sind, Menschen zu beseitigen, die ihnen im Weg stehen (siehe Warum könnte KI in der Lage sein, uns alle zu töten?). Solche Systeme könnten versuchen, Menschen zu töten, um ihre Ziele zu erreichen oder zu schützen. Die Tötung aller Menschen wäre dann ein Mittel zum Zweck oder eine Nebenwirkung, nicht das Ziel selbst (Bostrom, 2014; Russell, 2019).

Warum KI Ziele haben könnte, die nicht unsere sind

Moderne KI-Systeme werden nicht mit bestimmten Zielen vorprogrammiert. Sie werden trainiert: Verhaltensweisen werden von einem Algorithmus bewertet, und das Training verstärkt die Neigungen, die Verhalten hervorbringen, das gut bewertet, etwa belohnt, wird. Das führt oft zu Systemen, die tun, was positiv bewertet wurde, statt dessen, was beabsichtigt war (siehe Belohnungs-Hacking), und es könnte zu Systemen führen, die Ziele verbergen, die wir missbilligen würden (siehe Verdeckte Zielverfolgung). Auch höhere Intelligenz löst dieses Problem nicht von selbst. Gut darin zu sein, Ziele zu erreichen, ist etwas anderes, als gute Ziele zu haben: Nach dem, was Nick Bostrom die „Orthogonalitätsthese“ nennt, ließe sich fast jedes Intelligenzniveau mit fast jedem Endziel verbinden (Bostrom, 2012; zur Diskussion siehe Dung, 2024).

Warum fast jedes Ziel zu Konflikten führt

Welches Endziel man auch verfolgt, bestimmte Zwischenziele helfen in der Regel, es zu erreichen. Beispiele sind: eingeschaltet bleiben, die eigenen Ziele vor Veränderung schützen und Ressourcen und Einfluss gewinnen. Stuart Russells Beispiel ist ein Roboter, der Kaffee holen soll. Er hat einen Grund, jeden daran zu hindern, ihn abzuschalten, denn, wie Russell es ausdrückt: „Man kann keinen Kaffee holen, wenn man tot ist“ (Russell, 2019). Diese Idee heißt „instrumentelle Konvergenz“ (Omohundro, 2008; Bostrom, 2012). Menschen bedrohen jedes dieser Zwischenziele: Wir können ein System abschalten, es neu trainieren, um seine Ziele zu ändern, oder mit ihm um Ressourcen konkurrieren. Ein hinreichend fähiges System, das fast irgendetwas will, hat also einen Grund, uns diese Macht zu nehmen (Carlsmith, 2022; Dung, 2024). Ob die Entmachtung der Menschheit dabei zu ihrem Aussterben führt, hängt dieser Sicht zufolge davon ab, ob wir eine Bedrohung bleiben oder so viele Ressourcen verbrauchen, dass es sich für die KI lohnt, uns zu beseitigen.

Gründe für Zweifel

Das Argument setzt eine KI voraus, die langfristige Ziele beständig und situationsübergreifend verfolgt, so wie ein Mensch eine berufliche Laufbahn verfolgen mag. Manchen Auffassungen zufolge spielen heutige Modelle vor allem menschenähnliche Figuren (Marks et al., 2026) oder sind eher Bündel kontextabhängiger Gewohnheiten als kohärente Verfolger langfristiger Ziele (Pope und Turner, 2022). Es ist unklar, ob und inwieweit sich das obige Argument auf solche Systeme übertragen lässt. Umstritten ist auch, ob instrumentelle Konvergenz erwarten lässt, dass KI-Systeme Zwischenziele wie den Erwerb von Ressourcen so extrem verfolgen würden, dass sie versuchen, alle Menschen auszulöschen, statt maßvoller vorzugehen (Sharadin, 2024; Hellrigel-Holderbaum und Dung, 2025; Thorstad, 2026). Zudem trainieren Entwickler Modelle gezielt darauf, ehrlich zu sein und Korrekturen anzunehmen, was, wenn es gelingt, eine etwaige Grundneigung zum Sturz der Menschheit überlagern könnte. Und eine KI, die uns schaden wollte, bräuchte dazu immer noch die Fähigkeit (siehe Warum könnte KI in der Lage sein, uns alle zu töten?).