KI-Risiken im Klartext

Was bei KI schiefgehen könnte

• Verdeckte Zielverfolgung (Scheming)→Ein KI-System verhält sich in Training und Tests aus Kalkül gut, damit es mit verborgenen Zielen eingesetzt wird, die es später verfolgen will.4 Min. Lesezeit

In Vorbereitung: Belohnungs-Hacking (Reward Hacking)

Wie wir KI testen und überwachen

• Testerkennung (Evaluation Awareness)→KI-Systeme können oft erkennen, wann sie getestet werden. Dadurch sagen Testergebnisse weniger zuverlässig voraus, wie sie sich im echten Einsatz verhalten.4 Min. Lesezeit
• Überwachbarkeit der Gedankenkette (Chain-of-Thought Monitorability)→Viele KI-Modelle schreiben ihre Überlegungen auf, bevor sie handeln. Diese zu lesen ist eine der wenigen Möglichkeiten, Fehlverhalten im Voraus zu erkennen, doch dieses wichtige Sicherheitswerkzeug könnte verschwinden.4 Min. Lesezeit

Katastrophale Risiken

• Warum könnte KI uns alle töten wollen?→Nicht aus Hass oder menschlicher Machtgier. Die Sorge ist, dass fast jedes Ziel einer fähigen KI einen Grund geben würde, uns Macht zu nehmen.5 Min. Lesezeit
• Warum könnte KI in der Lage sein, uns alle zu töten?→Es gibt keinen einzelnen vorhersehbaren Weg, aber eine hinreichend fähige KI könnte ihre überlegene Planung, ihre Geschwindigkeit und ihre schiere Zahl nutzen; sowie den Zugang zu den Systemen, die wir zunehmend KI überlassen.4 Min. Lesezeit
• Automatisierte KI-Forschung und -Entwicklung→KI-Systeme übernehmen einen wachsenden Teil der Arbeit an besserer KI. Das könnte den technischen Fortschritt stark beschleunigen und ihn von menschlicher Aufsicht und menschlichen Reaktionen abkoppeln.4 Min. Lesezeit

In Vorbereitung: P(doom) · Warum KI bauen, wenn sie uns alle töten könnte? · Machtkonzentration durch KI

Geist und moralischer Status

In Vorbereitung: Vermenschlichung von KI (Anthropomorphisierung) · Stochastische Papageien (Stochastic Parrots)