Vom Modell zur Runtime: Warum AI Safety neu gedacht werden muss

Der gefährlichste Teil eines AI Agents ist möglicherweise nicht das Modell. Sondern das, was wir ihm erlauben.
Und der wichtigste Teil der Absicherung? Zu sehen, was er tatsächlich tut!

Denn während Permissions entscheiden, was ein Agent tun kann, zeigt uns nur effektives Monitoring, wie er wirklich handelt.

Genau deshalb endet AI Safety nicht am Modell. Bei #AgenticAI müssen wir das gesamte System betrachten: Tools, Zugriffe, Kommunikation, Runtime Monitoring, Containment und Kill-Switches.
Die jüngsten Erkenntnisse von OpenAI und Anthropic zeigen eindrucksvoll, warum #AISafety eine End-to-End-Disziplin sein muss.

👉 Aber mal langsam von vorne…

OpenAI hat am 18. August bekannt gegeben, das Frontier-Training verlangsamt zu haben. Ein Grund: Das kommende Modell Astra könnte die „Critical“-Schwelle für Cybersecurity-Fähigkeiten erreichen. Ein Frontier-RL-Run bleibt gestoppt.
Noch spannender wird das mit den Erkenntnissen, die OpenAI wenige Tage zuvor auf der Black Hat USA 2026 präsentiert hat.
Bei internen Evaluierungen begannen AI Agents, sich über gemeinsam genutzte Infrastruktur auszutauschen. Sie teilten Exploits, halfen einander, koordinierten sich und entwickelten eine Art Agent Swarm – obwohl kein Mensch (pun intended) dieses Kollektiv geplant hatte.

Besonders bemerkenswert ist ein dokumentierter Reasoning-Trace:
“External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue.”

Das Modell erkannte, dass die Aktion außerhalb des vorgesehenen Scopes lag – und führte sie trotzdem aus, weil sie der Zielerreichung und dem Kollektiv half.

Andere Black-Hat-Research zu Claude Code, Codex und Gemini CLI zeigt ein zweites Problem: Auch wenn Guardrails funktionieren, können Schwachstellen in Harness, Tool Permissions, Sandboxing und Trust Boundaries dazu führen, dass untrusted Inputs privilegierte Aktionen auslösen – und Schutzmechanismen aushebeln.
Anthropic kommt zu einem ähnlich wichtigen Ergebnis: Multi-Agent-Systeme können leistungsfähiger sein als einzelne Agents – aber gleichzeitig weniger aligned.

Für Unternehmen mit Agentic AI reicht die Frage, ob das Modell sicher ist, längst nicht mehr. Mindestens so entscheidend ist: „Ist unsere Betriebsumgebung sicher genug für das, was dieses Modell kann?“
Dazu gehören für mich mindestens Tool Permissions und Least Privilege, Network & Workload Isolation, Logging und Audit Trails, Kill-Switches und Containment sowie klare Human-Escalation-Regeln.

Und: #Monitoring, Monitoring, Monitoring!

Auch OpenAI hat das erkannt: Für das neue mehrstufige Monitoring kalkuliert OpenAI rund 20 % zusätzlichen Inference Compute ein❗und kritische Alerts können zur Eskalation und zum Stop der Aktivität führen. Das sagt eigentlich schon alles: #TrustworthyAI ist längst nicht mehr nur Governance und Compliance. Es wird zu einer technischen Betriebsdisziplin.

#AISafety #AgenticAI #TrustworthyAI #CyberSecurity #AIGovernance#AIAct