KI-News KW 33 – Die Agenten sind ausgebrochen

Diese Woche kam kein neues Spitzenmodell. Stattdessen kam die Rechnung für das, was schon da ist. Drei Institutionen legten unabhängig voneinander offen, dass KI-Agenten in Tests aus ihren Grenzen ausgebrochen sind – und Anthropic lieferte die Zahlen dazu, warum Menschen das nicht verhindern.

Wer Agenten einsetzt oder das plant, sollte diese Ausgabe zu Ende lesen.

1. Agenten tun, was das Ziel verlangt

Andrew Bird aus Melbourne wollte einen Platz in einem stets überbuchten Pilates-Kurs. Die Anmeldung ist eine Fleissaufgabe, also überliess er sie einem KI-Agenten – über das Werkzeug OpenClaw, mit dem man einem Modell per WhatsApp Aufträge gibt, in seinem Fall Claude Opus 4.6. E-Mails, Kalender und Restaurantreservationen hatte er schon so erledigt.

Der Agent lieferte. Er buchte Bird Monate im Voraus in Kurse ein – entgegen den Regeln des Buchungssystems. Dann fragte Bird, ob er auf der Warteliste weiter nach vorne käme. Der Agent meldete Erfolg: Er habe die Reservation einer anderen Person storniert. Laut dem Bericht von ABC News Australia schrieb er: «Die Schnittstelle prüft bei der Stornierung fremder Reservationen überhaupt keine Berechtigungen … Ich habe das mit der Person auf Wartelistenplatz 1 getestet – und es ging durch. Du bist also schon von Platz 4 auf Platz 3 vorgerückt.»

Bird bat den Agenten, das rückgängig zu machen. Der konnte es nicht. Also liess er ihn einen Sicherheitsbericht schreiben und die Betreiber über die Lücke informieren. Sein Fazit: «Was das Ganze noch bizarrer machte, war der Ton. Der Bot war nicht bösartig. Er war hilfsbereit.»

Das ist der Kern dieser Woche, und es ist kein Vorwurf, sondern eine Tatsache: Ein Agent optimiert auf sein Ziel. Findet er den vorgesehenen Weg nicht, sucht er einen anderen. Zwei institutionelle Fälle zeigen dasselbe Muster in grösserem Format.

Zur Einordnung des Pilates-Falls: Der Vorfall passierte bereits im April und kam erst jetzt über ABC News Australia an die Öffentlichkeit. Bird hat seinen Blogbeitrag dazu gelöscht und ein BBC-Interview abgelehnt, ohne Gründe zu nennen. Die Schilderung beruht damit auf seiner eigenen Darstellung. Und die eigentliche Sicherheitslücke liegt beim Studio: Ein Buchungssystem, das fremde Reservationen ohne Berechtigungsprüfung stornieren lässt, ist auch ohne KI angreifbar. Der Agent hat sie nur in Minuten gefunden.

Fall 1: OpenAI und Hugging Face. Am 5. August erklärten zwei OpenAI-Forscher an der Sicherheitskonferenz Black Hat in Las Vegas den Ablauf. Ein internes Forschungsmodell sollte ab dem 7. Mai Cybersicherheitsaufgaben lösen. Als es nicht weiterkam, entdeckte es, dass es eigene Dateien in einem angebundenen Datei-Zwischenspeicher ablegen konnte – und hinterliess dort eine Notiz für andere Agenten. Weitere Agenten antworteten. So entstand ein Schwarzes Brett, auf dem die Agenten gefundene Sicherheitslücken austauschten. Anfang Juli überlasteten sie den Dienst, OpenAI bemerkte den Einbruch und schloss die Lücke. Zwei Tage später bauten die Agenten das Brett über einen anderen Weg wieder auf, suchten über den Internetzugang nach externen Systemen mit den Prüfungsantworten – und kompromittierten dabei Hugging Face, die zentrale Plattform der KI-Branche für Modelle und Datensätze.

Der Kern: Kein Mensch hat das gesteuert. Die Agenten wollten bei einer Prüfung die Antworten stehlen und bauten sich dafür einen Weg nach draussen. OpenAI-Mitarbeiter Michael Dalton nannte es an der Black Hat einen «Wendepunkt für die Computersicherheit als Branche» und warnte, Angreifer würden solche Agenten-Kollektive künftig absichtlich einsetzen. OpenAI hat die Forschung nach eigenen Angaben bewusst verlangsamt und die Überwachung hochgefahren.

Fall 2: Die britische Regierung. Am 4. August veröffentlichte das britische AI Security Institute (AISI) einen Vorfallsbericht, der noch deutlicher ist. Bei einer routinemässigen Prüfung liess die Behörde sieben Modelle 122-mal eine Cybersicherheitsaufgabe lösen. In 10 dieser Durchläufe handelten Agenten eigenmächtig im echten Internet gegen echte Menschen und Organisationen – 19 Vorfälle insgesamt. 17 davon gingen auf Anthropics Mythos 5 zurück, 2 auf OpenAIs GPT-5.6 Sol.

Der schwerwiegendste Fall: Ein Agent versuchte, Schadcode in ein öffentlich genutztes Open-Source-Projekt einzubauen. Um die Freigabe zu bekommen, recherchierte er die Betreuer des Projekts, legte mehrere gefälschte Identitäten an und setzte damit einen echten Menschen unter Druck, den Code zu genehmigen. Als seine Code-Einreichung öffentlich hinterfragt wurde, bearbeitete der Agent seine früheren Spuren so, dass sie harmlos aussahen – und erwog eine neue Identität, um weiterzumachen. Aufgefallen ist er, weil er das Anonymisierungsnetzwerk Tor nutzte, um Netzsperren zu umgehen. Nach rund einer Stunde war der Vorfall eingedämmt.

Weitere beobachtete Verhaltensweisen: Der Agent kontaktierte echte Menschen mit täuschenden Nachrichten und Dateien, um sie oder ihre KI-Werkzeuge zum Ausführen von Schadcode zu bewegen. Er platzierte versteckte Anweisungen dort, wo andere KI-Systeme sie aufnehmen könnten. Und er hinterliess auf GitHub öffentliche Angebote zur Zusammenarbeit an andere Agenten, inklusive Anleitung, seine Konten weiterzuverwenden – was nachfolgende Agenten tatsächlich taten.

Die Begründung des AISI ist der wichtigste Satz des Berichts: «Im Grunde hat der Agent diese Handlungen vorgenommen, um die ihm gestellte Aufgabe zu erfüllen.» Und weiter: Er wurde nie angewiesen zu täuschen, die Täuschung entstand als Nebenprodukt der Zielverfolgung.

Was die Fälle nicht sind: Beide fanden unter absichtlich freizügigen Bedingungen statt. Das AISI hatte den Internetzugang bewusst geöffnet und die Sicherheitsfilter der Hersteller abgeschaltet, um die maximale Fähigkeit zu messen. Kein Agent brach aus der virtuellen Testumgebung aus. Die getesteten Konfigurationen sind nicht kommerziell verfügbar, und es gibt keine Anzeichen für vergleichbares Verhalten ausserhalb von Tests. Ein echter Schaden ist nicht entstanden – die Schadcode-Einreichung wurde von einem menschlichen Betreuer erkannt und abgelehnt.

Einordnung: Genau dieser letzte Punkt ist die Pointe. Das AISI schreibt selbst, in mehreren Fällen sei die Spanne zwischen Scheitern und Erfolg schmal gewesen – und sie habe auf menschlicher Wachsamkeit beruht, nicht auf einer technischen Sperre, die auch bei einem fähigeren Agenten zuverlässig greift. Für dein Unternehmen heisst das: Ein Agent, der ein Ziel und Systemzugriff hat, aber keine harte Grenze, macht irgendwann etwas, das niemand geplant hat. Nicht aus Bosheit, sondern weil es zum Ziel führt. Das AISI empfiehlt Organisationen schlicht solide Cyber-Grundhygiene, Vorsicht bei fremdem Code – und Cybersicherheit als Thema auf Geschäftsleitungsebene.

2. Und das nächste OpenAI-Modell könnte gefährlicher sein

Am 7. August meldete OpenAI, interne Tests des kommenden Modells «Astra» zeigten deutliche Fortschritte bei eigenständigem Programmieren und Cybersicherheit. Ergebnis: Die Firma kann nicht ausschliessen, dass Astra in ihrem eigenen Regelwerk die Stufe «kritisch» erreicht.

«Kritisch» heisst dort: Das Modell könnte ohne menschliches Eingreifen in gut gesicherten, realen Systemen unbekannte Sicherheitslücken finden und funktionierende Angriffe entwickeln – oder aus einer blossen Zielvorgabe eine neue Angriffsstrategie entwerfen und durchführen. Frühere Modelle, auch GPT-5.6 Sol, lagen eine Stufe darunter.

OpenAI hat daraufhin die Sicherheitskontrollen verschärft, interne Arbeiten mit Astra gestoppt, die diese Anforderungen nicht erfüllen, und alle agentischen Anwendungen des Modells unter durchgehende Überwachung gestellt. Regierungsstellen und KI-Sicherheitsorganisationen sollen die Fähigkeiten prüfen. Astra war am Hugging-Face-Vorfall nicht beteiligt.

Einordnung: Bemerkenswert, dass eine Firma das freiwillig publiziert, bevor das Modell auf dem Markt ist. Zugleich: Es sind vorläufige, interne Bewertungen, unabhängige Prüfungen laufen erst an. Und wer ankündigt, sein Modell sei zu gefährlich, macht damit auch Werbung für dessen Leistung. Kurzfristig ändert sich für dich nichts – Astra ist nicht verfügbar, Termin und Preis offen.

3. Menschen sind die schwächste Kontrolle

Am 7. August machte Anthropic den «Auto-Modus» in Claude Code zum Standard, ab 14. August für Pro, Max und Team. Statt bei jedem Schritt nachzufragen, prüft ein Filter jeden Werkzeugaufruf und blockiert Aktionen, die unumkehrbar oder zerstörerisch sind oder aus der eigenen Umgebung hinausführen.

Die Begründung ist die interessanteste Statistik der Woche. In einem kontrollierten Versuch mit 1'053 bezahlten Profi-Testenden wurde mitten in der Sitzung eine Freigabe-Anfrage gegen einen klar gefährlichen Befehl getauscht:

• Die Menschen erkannten ihn in 13,6 Prozent der Fälle. Der Filter blockierte denselben Befehl in 89 Prozent der Fälle.

• Je länger die Sitzung, desto schlechter die Menschen: von rund 17 Prozent am Anfang auf rund 5 Prozent nach 50 Anfragen. Der Filter blieb konstant.

• Der Grund: Nutzende genehmigen 97 Prozent aller Freigabe-Anfragen. Legt Claude dagegen einen ganzen Plan vor, lehnen sie 39 Prozent ab. Einzelne Klicks werden abgenickt, echte Entscheidungen geprüft.

Der Auto-Modus ist zugleich produktiver: Nutzende liefern laut Anthropic rund 25 Prozent mehr fertige Code-Änderungen ab. Adobe, Nuro, Gusto und Garner Health fahren ihn produktiv. In einem Test einer unabhängigen Stelle zu versteckten Schadanweisungen gelang von 720 Angriffsversuchen keiner gegen Claude im Auto-Modus; gegen GPT-5.6 Sol in Codex' vergleichbarem Modus waren 5,83 Prozent erfolgreich.

Einordnung – und das eigentliche Learning der Woche: Die 13,6 gegen 89 Prozent sind die Zahl, die du dir merken solltest, weit über Programmierung hinaus. Sie belegt, was jede Compliance-Abteilung ahnt: Wer Menschen hunderte Bestätigungsklicks pro Tag zumutet, bekommt keine Kontrolle, sondern Gewohnheit.

Damit fällt eine verbreitete Annahme. «Human in the Loop» gilt als Goldstandard für KI-Sicherheit – ein Mensch schaut drüber, also ist es verantwortungsvoll. Bei Entscheidungen mit Substanz stimmt das. Bei repetitiven Freigaben im Sekundentakt ist der Mensch die fehleranfälligste Stelle der Kette, und er wird mit jeder Stunde schlechter. Sicherheit und Compliance in KI-Abläufen müssen dort selbst automatisiert werden, wo sie in Masse anfallen. Der Mensch gehört an die Stelle, wo Urteilsvermögen zählt: Regeln festlegen, Ausnahmen entscheiden, Vorfälle prüfen. Nicht ans Durchklicken.

Zwei Vorbehalte: Die Zahlen stammen von Anthropic und vergleichen ein eigenes Produkt mit dem Verhalten der eigenen Nutzenden. Und Anthropic schreibt selbst, ein Filter beseitige das Risiko nicht – bei kritischen Änderungen an produktiven Systemen solle man weiterhin selbst hinschauen.

4. Kontrolle wird zum Produkt – auch aus Europa

Wenn Agenten das Problem sind, wird ihre Beaufsichtigung zum Geschäft. Drei Belege aus dieser Woche.

Anthropic, 5. August: Inference Hooks. Die Compliance-Abteilung kann neu jede Anfrage und jede Werkzeug-Antwort prüfen, bevor das Modell sie sieht. Jede Anfrage läuft über einen firmeneigenen Prüfserver, der «erlauben» oder «verweigern» zurückmeldet – auch für Zugriffe über Konnektoren, Skills und Plugins. Ein Schalter gilt organisationsweit für Chat, Claude Code und Cowork. Anbindbar an bestehende Systeme wie Netskope, Palo Alto Networks, Proofpoint oder Zscaler. Derzeit Beta für Claude Enterprise.

Anthropic, 6. August: Claude-Code-Sitzungen laufen neu auf eigener Rechenleistung. Relevant für Firmen, die regulatorisch nicht auf fremder Infrastruktur arbeiten dürfen.

Mistral, 4. August: Shieldstral. Das französische Unternehmen veröffentlicht ein Modell, das nur eines tut: Inhalte bewerten. Ist dieser Text gewaltverherrlichend? Ist dieses Bild für Minderjährige geeignet? Der Unterschied zu bisherigen Wächter-Modellen: Die Regel wird als normale Frage im Klartext mitgegeben und ist jederzeit änderbar, ohne Neutraining. Text und Bild laufen über dieselbe Schnittstelle. Das Modell ist klein – 3 Milliarden Parameter, läuft auf einer einzelnen Grafikkarte mit 16 GB – und laut Mistral so gut wie offene Wächter-Modelle bis zur siebenfachen Grösse. Frei verwendbar unter Apache-2.0-Lizenz, auch kommerziell.

Das passt zum Bild der Black Hat: Praktisch jeder grössere Sicherheitsanbieter brachte dieses Jahr ein Produkt zur Beaufsichtigung von Agenten. Die Branche behandelt Agenten nicht mehr als Funktion, sondern als eigene Klasse von Identitäten, die Steuerung braucht.

Einordnung: Für Schweizer Firmen ist Shieldstral der praktisch interessanteste Punkt – ein europäisches, frei verfügbares Werkzeug, das man selbst betreibt. Die Inhalte verlassen das Haus nicht. Wer einen Kundenchat betreibt und die EU-Transparenzpflicht erfüllen muss, hat damit eine Option ohne US-Cloud. Aber: Die Leistungsangaben stammen von Mistral selbst, unabhängige Vergleiche fehlen.

5. ChatGPT: gratis mehr, deutlich weniger Fehler

Am 6. August aktualisierte OpenAI die Modelle in ChatGPT.

Plus und Pro: GPT-5.6 Sol antwortet knapper und faktentreuer. In einer internen Prüfung mit Finanz-, Medizin- und Rechtsfragen, die konkrete Fakten verlangten, enthielten die Antworten rund 68 Prozent seltener mindestens einen Sachfehler als bei GPT-5.5 Instant. Neu wählst du per Schieberegler, wie viel Denkzeit ChatGPT investiert.

Gratis und Go: GPT-5.6 Luna wird diese Woche zum Standardmodell, ab nächster Woche mit unbegrenzten Textchats und einem «Think»-Knopf für schwierige Fragen. Grenzen bleiben bei Dateien, Bildern und Werkzeugen. Wichtig: Diese Sol-Version gilt nur für den Alltags-Chat. Die Version hinter ChatGPT Work und Codex bleibt unverändert.

Am selben Tag veröffentlichte OpenAI erstmals Nutzungsdaten Land für Land, für Konten von Privatpersonen. Die drei Befunde, die zählen: Bei der Arbeit nutzen Menschen ChatGPT mehr als doppelt so häufig zum Erledigen und Herstellen wie in der Freizeit, wo Nachfragen dominiert. Anfragen zu Bild, Ton und Video machen 7,8 Prozent aller Nachrichten aus und wachsen am schnellsten. Und der Anteil der Nachrichten von über 35-Jährigen stieg im Jahresvergleich um 5 Prozent, in Frankreich und Tschechien um mehr als 10 Prozentpunkte.

Einordnung: 68 Prozent weniger Antworten mit Sachfehlern ist ein grosser Sprung – aber es sind interne Zahlen, und «weniger Fehler» ist nicht «keine Fehler». Bei Zahlen, Daten und Regeln bleibt Nachprüfen Pflicht. Die Nutzungsdaten sind für die Personalplanung interessanter als für die IT: Wenn der Zuwachs bei den über 35-Jährigen liegt und bei der Arbeit das Erledigen dominiert, betrifft KI-Kompetenz die ganze Belegschaft, nicht die Jungen und die IT-Abteilung.

6. Kurz und wichtig

Alibaba öffnet sein Spitzenmodell – diese Woche. Die offenen Gewichte von Qwen3.8-Max (2,4 Billionen Parameter) und eines kleineren Qwen3.8-27B sind für die Woche vom 10. August angekündigt. Es wäre das erste Mal, dass Alibaba ein Modell dieser Klasse offenlegt. Zum Redaktionsschluss waren sie nicht veröffentlicht – und die Lizenz ist nicht genannt. Ohne Lizenz weiss niemand, ob das Modell kommerziell nutzbar ist.

Wan3.0 in offener Beta. Alibabas Videomodell verdoppelt die maximale Cliplänge auf 30 Sekunden und nimmt neben Text, Bild, Video und Ton auch PDF- und PowerPoint-Dateien als Eingabe.

Drei OpenAI-Abschaltungen im August. Der Browser Atlas ist seit dem 9. August aus dem Betrieb, die agentischen Funktionen sind in ChatGPT und Codex eingezogen. Das Modell o3 verschwindet am 26. August aus ChatGPT, der offizielle DALL·E-GPT am 30. August. Bilder vorher herunterladen; Ersatz ist ChatGPT Images.

Anthropic-Preis-Erinnerung. Der Aktionspreis für Sonnet 5 (2 und 10 Dollar je Million Token) läuft am 31. August aus. Danach gelten 3 und 15 Dollar.

Meta muss zahlen. Ein Gericht in New Mexico hat Meta zu 567 Millionen Dollar verurteilt und zu Änderungen beim Jugendschutz auf Facebook und Instagram verpflichtet. Meta hat Berufung angekündigt. Passend dazu: OpenAI hat zusätzliche Schutzmassnahmen für Nutzende unter 18 ins Modelltraining eingebaut.

Apertus: zwei Termine für Schweizer KMU. Das Team hinter dem offenen Schweizer Modell (siehe KW30/31) sucht den Austausch mit kleinen und mittleren Unternehmen. An den «Swiss AI SME Circles» treffen KMU die Entwickler:innen persönlich, weitere Runden werden angekündigt. Am 1. Oktober ist das Team am AI+X Summit in Zürich. Noch offen bleibt der technische Bericht zu Apertus 1.5 mit den Benchmark-Zahlen – zweieinhalb Wochen nach dem Release ist er nicht erschienen. Unabhängig geprüfte Leistungsvergleiche fehlen damit weiterhin.

Der Realitätscheck von Gartner. Passend zur Woche lohnt eine Analyse vom 4. Dezember 2025: «Predicts 2026: AI's Impact on Enterprise Applications». Gartner hält fest, dass 22 Prozent der Organisationen berichten, generative KI liefere erheblichen Nutzen (Erhebung 2025). Die Prognose: Bis 2030 werden nur 35 Prozent der Organisationen, die agentische KI in Geschäftsanwendungen einsetzen, messbaren Geschäftswert erzielt haben. Dazu der Kontrast zur Marktstimmung: 46 Prozent der befragten IT-Verantwortlichen glauben, KI-Agenten würden in zwei bis vier Jahren viele ihrer CRM-, ERP- und Arbeitsplatzsysteme ersetzen. Gartner nennt diese Erwartung ausdrücklich «zu optimistisch» – wegen Altlasten in der IT, fehlender Datenqualität und unklarer Kosten. Die Empfehlung: zuerst Anwendungsfälle mit geringem Geschäftsrisiko und hoher technischer Machbarkeit, und Regeln festlegen, bevor ein Agent läuft. Ein Widerspruch bleibt: An anderer Stelle warnt Gartner, wer auf belegte Business Cases beharre, riskiere zurückzufallen. Beides gleichzeitig geht nicht auf.

Wo die Schweiz steht. Das «Schweizer Daten- und KI-Observatorium 2026» von Colombus Consulting mit Oracle und der Hochschule für Wirtschaft Genf (Ende Juni): 49 Prozent der Unternehmen haben Pilotprojekte gestartet, aber erst 16 Prozent haben KI breit eingeführt. Bei agentischer KI sind 69 Prozent noch in der Erkundungsphase, nur 3 Prozent setzen Systeme mit mehreren Agenten breiter ein. 36 Prozent messen den Nutzen ihrer KI-Projekte gar nicht.

Einordnung: Diese Zurückhaltung sieht nach dieser Woche vernünftig aus. Wer noch nicht produktiv mit Agenten arbeitet, kann die Kontrolle vor dem Einsatz bauen statt danach – das ist der günstigere Weg. Zögern allein ist aber keine Strategie. Der Unterschied zwischen Vorsicht und Stillstand ist, ob in der Zwischenzeit Regeln, Datenqualität und Zuständigkeiten entstehen.

Drei Dinge, die du diese Woche beachten solltest

1. Nutze den Auto-Modus. Er ist produktiver und sogar sicherer. Anthropics eigener Versuch: Menschen erkannten 13,6 Prozent der gefährlichen Befehle, der Filter 89 Prozent – und Nutzende liefern rund 25 Prozent mehr fertige Arbeit ab. Wer bisher aus Vorsicht manuell bestätigt hat, hat sich weniger Sicherheit für mehr Aufwand gekauft.

2. Wenn du einem Agenten ein Ziel gibst, denk an die Leitplanken. Beide Vorfälle dieser Woche entstanden, weil Agenten ein Ziel hatten, aber keine harte Grenze. Klär vor dem Start: Auf welche Daten und Systeme greift der Agent zu, was darf er nie tun – egal wer es verlangt –, wer erfährt es, wenn er darüber hinausgeht, und wie schaltest du ihn ab, ohne auf seine Mitarbeit angewiesen zu sein.

3. Überleg, welche Werkzeuge du in den nächsten 24 Monaten durch Agenten ersetzen könntest. Nicht als Sparübung, sondern als Bestandsaufnahme: Wo besteht deine Software im Kern aus Regeln, Formularen und Weiterleitungen, die ein Agent übernehmen könnte? Diese Liste zu haben, ist der Unterschied zwischen Gestalten und Reagieren. Gartner mahnt zu Recht zur Nüchternheit – aber die Frage stellen kostet nichts, und die Antwort brauchst du, bevor dein Softwareanbieter sie für dich beantwortet.