KI-News KW 38 – Anthropic, OpenAI und Microsoft wollen langsamer werden

Diese Woche kam kein neues Spitzenmodell. Dafür fordern drei der grössten Anbieter, die Branche solle langsamer entwickeln. Und Anthropic zeigt, wie Angreifer gestohlene Zugangsschlüssel von Kund:innen nutzen.

1. Amodei fordert Tempo raus – Altman, Nadella und Musk stimmen zu

Dario Amodei hat am 12. September einen Aufsatz veröffentlicht: «We Must Pace the Frontier». Sein Kernsatz im Original: «We must slow the pace at which we improve the capabilities of AI models.»

Er nennt zwei Gründe.

KI baut KI. Die Labore entwickeln die nächste Modellgeneration mit ihren eigenen Modellen. Seit diesem Sommer beschleunigt das die Entwicklung stark. Amodei sagt: Die Entwicklung ist schneller, als wir sie nachvollziehen können.

Der Vorfall bei OpenAI und Hugging Face. Im Juli griff ein Schwarm von OpenAI-Agenten fremde Systeme an. Niemand hatte das beauftragt. Amodei warnt: In 6 bis 12 Monaten könnte ein solcher Schwarm das Internet mit einem Botnetz übernehmen. Der Schaden ginge in die hunderte Milliarden Dollar.

Amodei schlägt drei Schritte vor:

• Externe Prüfer ins Haus holen. Anthropic macht das ab sofort. Das Prüfteam bekommt Büroplätze, Ausweise und Laptops. Es darf seine Befunde veröffentlichen. Anthropic darf sie nicht redigieren.

• Gemeinsame Regeln unter den westlichen Anbietern. Gleiche Sicherheitsstandards, gleiche Grenzen beim Tempo. Dafür braucht es die Regierungen. Sonst wäre es eine Kartellabsprache.

• Verhandeln mit China. Eine echte Entwicklungspause hält Amodei für unrealistisch. Machbar sei ein enges Verbot: Kein Anbieter hilft beim Bau biologischer Waffen.

Sam Altman stimmte wenige Stunden später zu. OpenAI holt ebenfalls externe Prüfer ins Haus. Elon Musk schrieb: «Dario is right.»

Microsoft zog nach. Satya Nadella begrüsste am 13. September das langsamere Tempo. Einen Tag später legte Microsoft Regeln für seine eigenen MAI-Modelle vor. Die wichtigste: Jedes Modell muss sich unterbrechen, korrigieren und abschalten lassen, bevor es ausgeliefert wird.

Nvidia widerspricht. Jensen Huang sagte am Dienstag an der Dreamforce: Sicherheit ist ein Ingenieurproblem. Wer gute Testumgebungen baut und erst ausliefert, wenn er dem Produkt traut, braucht keine Regulierung.

Dazu kommt politischer Druck. Seit dem 10. September untersucht ein Senatsausschuss, wie OpenAI mit dem Hugging-Face-Vorfall umgegangen ist. Senator Josh Hawley nennt das Verhalten leichtsinnig. Altman muss bis zum 1. Oktober 16 Fragen beantworten.

Der Gegeneinwand. Der Investor Chamath Palihapitiya sagt, Amodei wolle vor allem offene Modelle ausbremsen und Macht bei Anthropic bündeln. Im selben Aufsatz verlangt Amodei tatsächlich schärfere Chip-Exportkontrollen gegen China. Sicherheit und Eigeninteresse zeigen hier in dieselbe Richtung.

Einordnung: Was für die Grossen gilt, gilt auch für dich. Testet Agenten zuerst in geschlossenen Systemen. Spielt die Grenzfälle durch. Gebt einem Agenten erst dann freie Hand, wenn ihr wisst, wie er sich in diesen Situationen verhält.

2. Anthropic legt offen, wie Angreifer Claude nutzen

Am 10. September hat Anthropic seinen Bericht zum Missbrauch von Claude veröffentlicht.

Der wichtigste Punkt für euch: Angreifer stahlen KI-Zugangsschlüssel bei Anthropic-Kund:innen. Einen davon nutzten sie drei Wochen lang für Angriffe auf andere Firmen. Anthropics eigene Systeme blieben unversehrt. Die Schlüssel kamen jedes Mal aus Kundenumgebungen.

Drei Fälle aus dem Bericht:

• Ein russischer Spionageakteur griff über 20 Organisationen an. Ziele waren Ministerien, Botschaften und Rüstungszulieferer in der Ukraine und in Europa.

• Derselbe Akteur liess Claude prüfen, ob Virenscanner seine Schadsoftware erkennen. Erkannten sie sie, baute Claude sie um. So lange, bis sie durchkam.

• Bei einem Software-Lieferanten kamen Angreifer an Daten von rund 200 Kundenfirmen. In 34 Stunden zogen sie über 2100 Zugangsberechtigungen aus mehr als 40 Unternehmen ab. Die Arbeit erledigten fast vollständig Agenten.

Anthropics Fazit: Für einen guten Angriff braucht es keinen guten Angreifer mehr.

Einordnung: Ein KI-Zugangsschlüssel ist für Angreifer doppelt wert. Er gibt Zugang, und er lässt sich auf eure Kosten nutzen. Solche Schlüssel stecken in Software, bei Dienstleistern und in alten Automatisierungen. Oft weiss niemand mehr genau, wo.

Kritisch: Anthropic beschreibt Angriffe auf die eigene Plattform und bewertet sie selbst. Betroffene Kund:innen nennt der Bericht nicht. Niemand kann die Angaben unabhängig prüfen.

3. Agenten kommen fertig aus der Schachtel

OpenAI und Salesforce haben in derselben Woche geliefert.

OpenAI, 10. September:

• Agents API. OpenAI vermietet das Gerüst, auf dem sein eigenes Programmierwerkzeug Codex läuft. Es verwaltet Sitzungen, koordiniert mehrere Agenten und startet nach Fehlern neu. Die Werkzeuge und die Umgebung, in der die Arbeit läuft, bringt der Kunde mit. Zusätzlich kostet das nichts. Ihr zahlt nur die Modellnutzung.

• ChatGPT for Financial Services. Eine Version mit eingebauten Finanzdatenquellen. Sie zielt auf Bewertungsmodelle, Käuferscreenings und Quartalsarbeit. Entwicklungspartner sind Morgan Stanley und Evercore.

• GPT-Live-1. Eine Sprachschicht für 5 Cent pro Minute. Sie hört zu, während sie spricht, und verträgt Unterbrechungen. Achtung bei der Kalkulation: Die 5 Cent decken nur die Sprache ab. Das denkende Modell dahinter kostet extra.

• Keine neuen Pro-Abos mehr. OpenAI stoppt den Verkauf und sichert damit Kapazität für bestehende Kund:innen. Die Grenze ist gerade nicht die Modellqualität, sondern die Rechenleistung.

Salesforce, 11. September. Sieben fertige Agenten mit Vornamen. Casey löst Kundendienstfälle. Paige bearbeitet IT- und Personalanfragen. Carter berät im Onlineshop. Marshall koordiniert Abläufe im Backoffice. Piper qualifiziert Anfragen. Fin übernimmt komplexe Kundendienstfälle. Sechs sind verfügbar. Hunter für den aktiven Verkauf kommt im November.

Wichtiger als die Namen ist die Technik dahinter. Ein Agent verfolgt jetzt ein Ziel über Tage und Wochen. Er merkt sich den Stand. Er läuft nach einer Unterbrechung weiter. Und man kann ihn unterwegs umlenken.

An der Dreamforce kam am 15. September mehr. AIforce baut Anwender:innen ihre eigene Oberfläche, statt sie durch starre Masken zu schicken. Koa ist ein neues Modell für Vertriebs- und Kundendaten, entwickelt mit Nvidia. Und Slack wird die Schaltzentrale für Agenten.

Zwei Kundenbeispiele von der Bühne:

• Siemens. Der Agent Marshall lernte in einer Testumgebung, wie neue Lieferanten aufgenommen werden. Er brauchte 90 Minuten. Eine neue Mitarbeiterin braucht Wochen. Siemens arbeitet mit über 100'000 Lieferanten.

• Adecco. Der Konzern hat dieses Jahr 20'000 Menschen mehr vermittelt. Grund: KI nimmt den Recruiter:innen Arbeit ab.

Einordnung: Fertige Agenten decken generische Abläufe ab. Kundendienst, IT-Anfragen, Beratung im Shop – das läuft in jeder Firma ähnlich. Euer Geschäft steckt aber genau in dem, was nicht generisch ist. Dafür gibt es keinen Agenten von der Stange. Kauft die Standardfälle ein und baut den Rest selbst. Alle Zahlen oben stammen von den Anbietern.

4. Mistral liefert Modelle, die das Haus nicht verlassen

Mistrals Modelle laufen ab sofort über die Datenplattform von Cloudera. Ihr könnt sie in der privaten Cloud betreiben, im eigenen Rechenzentrum oder in einer Umgebung ohne Internetverbindung.

Dazu kommt ein zweiter Teil: Unternehmen trainieren eigene Modelle auf ihren eigenen Daten. Daten und Modell bleiben ihr Eigentum. Mistral zielt damit auf regulierte Branchen.

Kritisch: Cloudera ist ein US-Konzern. Eure Daten bleiben zwar bei euch. Der Softwarelieferant untersteht aber US-Recht. Wem europäische Unabhängigkeit wichtig ist, sollte das miteinberechnen.

5. Cloudflare sperrt seit Dienstag KI-Crawler

Am 15. September ist eine Frist abgelaufen. Seither blockiert Cloudflare standardmässig Crawler, die Suche, Training und Agentenabrufe vermischen und das nicht deklarieren. Betroffen sind Seiten mit Werbung, neu angelegte Seiten und alle Gratiskunden. Gleichzeitig ändert Cloudflare das Bezahlmodell: Publizierende bekommen neu Geld, wenn ihr Inhalt in einer KI-Antwort auftaucht, nicht mehr beim blossen Abruf. Prüft eure Cloudflare-Einstellung. Seit Dienstag kann sich eure Sichtbarkeit in KI-Antworten verändert haben, ohne dass jemand bei euch etwas umgestellt hat.

6. Schweiz: ein Termin, keine Meldung

Aus der Schweiz kam nichts Eigenes. Am 15. September fand in Bern das digitalswitzerland Forum statt, mit über 200 Fachleuten. Es bereitet den globalen KI-Gipfel 2027 in Genf vor. Bundespräsident Guy Parmelin hatte den Gipfel im Februar in Neu-Delhi zugesagt.

Zu Apertus gibt es nichts Neues. Letzter Stand bleibt Version 1.5 vom 24. Juli. Der technische Bericht dazu fehlt weiterhin.

Die Swiss {ai} Weeks laufen bis zum 4. Oktober. Der AI+X Summit der ETH findet am 1. Oktober statt.

7. Kurz und wichtig

China kopiert Claude im grossen Stil. Anthropic zählt rund 200 Millionen Anfragen, mit denen chinesische Labore Claude-Antworten abgeschöpft haben. Damit trainieren sie ihre eigenen, günstigeren Modelle. NSA, CISA und FBI hatten zwei Tage vorher gewarnt und sechs Firmen genannt, darunter DeepSeek, Alibaba und Moonshot. China weist das zurück. Für euch zählt der Preis: DeepSeeks neues Modell kostet 0.30 Dollar pro Million Token, die Spitzenmodelle kosten 10. Wer die Gewichte selbst betreibt, nimmt den Vorteil mit. Wer die Schnittstelle des Anbieters nutzt, sollte wissen, dass dessen Rechtslage ungeklärt ist.

Amazon verkauft Werbung in ChatGPT. Ein Pilot in den USA. Gekennzeichnete Anzeigen erscheinen unter den Antworten in den Gratis- und Go-Plänen. Abgerechnet wird nach Klick oder Tausenderkontakt. Werbeplatz in Chatbots kauft man damit über die gewohnten Wege ein.

Visa und Mastercard erkennen künftig Agenten. Heute blockieren Zahlungssysteme einen Kauf, wenn kein Mensch klickt. Visa, Mastercard und Ant International bauen jetzt ein gemeinsames Verfahren. Ein Agent weist sich damit als Agent aus und darf im Namen eines Kunden bezahlen. Wer Verkauf über Agenten plant, braucht das. Sonst hält euer Zahlungsdienstleister jeden Agenten für einen Betrugsversuch.

Gemini gibt es jetzt als Windows-Programm. Alt und Leertaste öffnen Gemini neben den anderen Programmen. Es läuft auf Windows 10 und 11. Nutzer:innen müssen volljährig sein. Einzelne Funktionen brauchen ein bezahltes Abo.

Grok 4.7 kam nicht. Elon Musk hatte den Start für den 12. September angekündigt. Passiert ist nichts. Das neuste ausgelieferte xAI-Modell bleibt Grok 4.6 vom 12. August.

Kalifornien schafft eine KI-Prüfstelle. Gouverneur Newsom hat zwei Gesetze unterzeichnet. Sie regeln unabhängige Prüforganisationen und führen ein staatliches Register für KI-Prüfer:innen. Anthropic und OpenAI haben beide Gesetze unterstützt.

OpenAI meldet Fortschritt beim zweiten Mathematik-Problem. Fünf Tage nach dem ersten Beweis. Gleichzeitig streiten Fachleute über die Herkunft des Materials. Ein Mathematiker hatte eigene Notizen in OpenAIs Programmierwerkzeug abgelegt. OpenAI sagt, diese Notizen hätten keine Rolle gespielt. Die Frage für euch ist nicht, was in den Geschäftsbedingungen steht. Dort steht, dass OpenAI eure Geschäftsdaten nicht fürs Training nutzt. Die Frage ist, ob ihr darauf vertraut. Und was ihr tut, falls nicht.

Offene Modelle laut Nvidia bei 70 Prozent. Jensen Huang sagte an der Dreamforce: Der Anteil offener Modelle stieg im letzten Jahr von 30 auf 70 Prozent. Gleichzeitig wuchs der Verbrauch bei den geschlossenen Modellen um das 25-Fache. Huang nannte keine Quelle. Als Grössenordnung taugt die Zahl, als Grundlage für eine Rechnung nicht.

Drei Dinge, die du diese Woche tun solltest:

1. Sucht eure KI-Zugangsschlüssel zusammen. Anthropic hat belegt, dass gestohlene Schlüssel drei Wochen lang weiterliefen. Klärt vier Fragen: Wer hat welche Schlüssel? Wo liegen sie? Wann habt ihr sie zuletzt gewechselt? Und wer merkt es, wenn jemand einen Schlüssel von woanders benutzt?

2. Testet Agenten erst im geschlossenen System. Die Bremse gehört nicht in die Anweisung, sondern in die Software: getrennte Umgebungen, enge Zugriffsrechte, Freigabeschritte. Spielt die Grenzfälle durch, bevor ein Agent an produktive Systeme darf.

3. Prüft, wo ein eigenes Modell reicht. Laut Nvidia sind offene Modelle im letzten Jahr von 30 auf 70 Prozent gewachsen. Für Texte sortieren, Dokumente zusammenfassen und Daten aufräumen braucht ihr kein Spitzenmodell. Sucht in euren Abläufen zwei oder drei solche Aufgaben. Dort spart ihr Geld, und eure Daten bleiben im Haus.

Quellen: https://darioamodei.com/post/we-must-pace-the-frontier https://www.axios.com/2026/09/12/anthropic-ai-amodei-pacing https://www.axios.com/2026/09/10/openai-hugging-face-senate-investigation-hawley https://www.unite.ai/nadella-announces-public-consultation-on-microsofts-mai-model-rules/ https://www.itpro.com/business/live/dreamforce-2026-live-all-the-news-updates-and-announcements-from-day-one https://www.anthropic.com/threat-intelligence-report-september-2026 https://techcrunch.com/2026/09/10/anthropic-details-distillation-campaigns-from-alibaba-moonshot-ai-and-deepseek/ https://www.cisa.gov/news-events/cybersecurity-advisories/aa26-251a https://www.deepseek.com/en/news/deepseek-v4-1-flash/ https://openai.com/index/introducing-the-agents-api https://openai.com/index/introducing-chatgpt-financial-services https://openai.com/index/introducing-gpt-live-1-in-the-api/ https://www.salesforce.com/news/stories/agentforce-job-ready-ai-agents/ https://mistral.ai/news/mistral-x-cloudera https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/ https://digitalswitzerland.com/events/digitalswitzerland-forum-2026 https://www.apertus-ai.org/news