Zentrale Themen der KI-Sicherheit / Katastrophale Risiken

Automatisierte KI-Forschung und -Entwicklung

KI-Systeme übernehmen einen wachsenden Teil der Arbeit an besserer KI. Das könnte den technischen Fortschritt stark beschleunigen und ihn von menschlicher Aufsicht und menschlichen Reaktionen abkoppeln.

Belege zuletzt geprüft am 16. Okt. 20264 Min. Lesezeit

Worum es geht

Automatisierte KI-Forschung und -Entwicklung („Automated AI R&D“) bedeutet, dass KI-Systeme die Arbeit erledigen, bessere KI-Systeme zu bauen: Trainingscode schreiben, Experimente durchführen, Ergebnisse auswerten und neue Methoden vorschlagen. Sie ist nicht nur eine Möglichkeit für die Zukunft, sondern bereits ein gegenwärtiger Trend. Offen ist, wie weit und wie schnell sie voranschreitet.

Warum das wichtig ist

Die Sorge gilt einer Rückkopplungsschleife. Wenn KI KI-Forschung betreiben kann, beschleunigt jede Verbesserung der KI auch die Forschung, die die nächste Verbesserung hervorbringt: die sogenannte „rekursive Selbstverbesserung“. Das könnte das Tempo der KI-Entwicklung drastisch erhöhen und rasch zu deutlich fähigeren Systemen führen. Der Mathematiker I. J. Good nannte das 1965 eine „Intelligenzexplosion“. Ein Papier vom September 2026, zu dessen Autoren die Turing-Award-Träger Geoffrey Hinton und Yoshua Bengio, OpenAIs Chefwissenschaftler Jakub Pachocki und Anthropic-Mitgründer Jack Clark gehören, argumentiert, dass sie Jahre des Fortschritts auf Monate oder weniger zusammendrängen könnte (Chan et al., 2026).

Die Automatisierung der KI-Forschung und -Entwicklung ist für katastrophale Risiken bedeutsam. Sie verkürzt die Zeit, die Regierungen und Entwicklern bleibt, um Risiken zu bemerken und Probleme zu beheben. Sie legt einen größeren Teil der KI-Entwicklung in die Hände von KI-Systemen. Wenn also manche Systeme nicht an guten Werten ausgerichtet sind, könnten sie die zunehmend fähigeren Modelle verderben, die sie entwerfen. Fehlausgerichtete Modelle könnten außerdem menschliche Versuche, KI an unseren Werten auszurichten, gezielt sabotieren. Und wenn es zu einer Intelligenzexplosion kommt, könnte sich, wer in diesem Moment bei der KI-Entwicklung vorne liegt, einen entscheidenden Vorteil verschaffen, indem er die Konkurrenz rasch abhängt. Das erhöht den Einsatz im Wettlauf um KI und verstärkt das Risiko, dass KI zu einer Machtkonzentration führt (Davidson et al., 2025).

Was eine Intelligenzexplosion bremsen oder stoppen könnte

KI-Fortschritt braucht Rechenleistung, nicht nur Ideen, und das Wachstum der Rechenleistung lässt sich durch automatisierte Forschung womöglich schwerer beschleunigen. Zudem nehmen die Erträge von Forschungsaufwand tendenziell ab, wenn leicht zu findende Ideen ausgeschöpft sind, und manche Aufgaben dürften sich auf absehbare Zeit nicht automatisieren lassen. Diese Reibungen können die beschleunigende Wirkung der Automatisierung von KI-Forschung zwar nicht vollständig aufhalten, doch Forschende sind sich uneinig, wie stark sie sie bremsen und ob sie verhindern werden, dass KI die geistigen Fähigkeiten des Menschen bald rasch und drastisch übertrifft.

Was wir bisher wissen

Zuletzt geprüft am 16. Oktober 2026

Die meisten Messungen stammen von den KI-Unternehmen selbst. Im September 2026 berichtete Anthropic, dass Claude etwa 26 % seiner Forschungs- und Entwicklungsarbeit an KI „leitet“, also den Großteil einer Aufgabe nach einer allgemein gehaltenen Vorgabe erledigt, während ein Mensch die Aufsicht führt; zu Jahresbeginn waren es weniger als 1 %. Keine der gemessenen Arbeiten läuft vollständig autonom. OpenAI erklärte, es habe sein Ziel eines „automatisierten Forschungspraktikanten“ erreicht, der klar umrissene Forschungsaufgaben von einigen Tagen unter menschlicher Anleitung erledigt, und strebe bis März 2028 einen automatisierten KI-Forscher an (OpenAI, 2026). Jack Clark bezifferte die Wahrscheinlichkeit, dass ein Modell bis Ende 2028 seinen Nachfolger vollständig selbst trainiert, auf über 60 % (Axios).

Diese Zahlen sind mit Vorsicht zu genießen. Sie beruhen auf Selbstauskünften und sind nicht unabhängig überprüft. Unabhängige Messungen haben sich als schwierig erwiesen. METRs randomisierte Studie von 2025 ergab, dass erfahrene Softwareentwickler mit KI-Werkzeugen 19 % langsamer waren, sich aber für schneller hielten (METR, 2025). Die Folgestudie von 2026 kam zu dem Schluss, dass sie inzwischen wahrscheinlich schneller sind, konnte aber nicht verlässlich sagen, um wie viel, unter anderem, weil Entwickler sich weigerten, ohne KI zu arbeiten (METR, 2026).

Messungen der KI-Fähigkeiten deuten auf rasche Fortschritte im Allgemeinen und bei Softwareaufgaben im Besonderen hin. Die Komplexität der Softwareaufgaben, die KI-Agenten mit 50 % Erfolg bewältigen (gemessen daran, wie lange Menschen dafür brauchen), hat sich seit 2023 etwa alle vier Monate verdoppelt (METR, 2026). METR hat dieses Maß inzwischen nicht mehr fortgeschrieben, weil seine Aufgaben die Leistung bei Aufgaben, für die Menschen mehr als etwa 16 Stunden brauchen, nicht verlässlich messen können (METR).

Belegt ist, dass KI unter menschlicher Aufsicht einen schnell wachsenden Teil der KI-Entwicklung übernimmt. Ob daraus eine Explosion, eine stetige Beschleunigung oder ein Plateau wird, hängt von spekulativen Engpässen ab. In jedem Fall laufen die erklärten Pläne der führenden KI-Unternehmen auf eine enorme Beschleunigung hinaus.

Quellen

Fehler entdeckt oder ein neueres Ergebnis? Bitte melden Sie sich über die Seite Über mich.