Weltuntergang oder Silicon-Valley-Panik? Was hinter Amodeis Bremsvorschlag steckt

Hallo Welt. 👋

Zwei Schlagzeilen, drei Wochen, zwei verschiedene Universen. Am 12. September veröffentlicht Dario Amodei, Chef von Anthropic, den Essay „We Must Pace the Frontier“: Die Branche solle das Tempo drosseln, mit dem sie die Fähigkeiten ihrer Modelle steigert.¹ Am 2. Oktober nennt Yann LeCun ihn in einem Fortune-Interview „completely deluded“ und „crazy“ und sieht hinter den Doom-Warnungen vor allem Regulatory Capture.²

Die einen sehen den Weltuntergang nahen, die anderen Silicon-Valley-Panik im Sicherheitskostüm. Die Frage, die dazwischen hängt, ist verlockend simpel: Haben die großen US-Labs Angst vor den Open-Weight-Modellen aus China und nutzen das Untergangsbild, um die Konkurrenz loszuwerden? Die „Aufweichung des Kartellrechts“ wäre dann das Werkzeug.

Ich habe den Essay gelesen. Im Original, nicht die Zusammenfassung der Zusammenfassung, was in dieser Debatte offenbar schon als Alleinstellungsmerkmal gilt. Mein Ergebnis: Die glatte These hält nicht. Die Gegenthese „alles nur Sorge um die Menschheit“ aber auch nicht. (Stand: 7. Oktober 2026. Die Debatte läuft noch, einiges kann sich ändern.)

Was Amodei tatsächlich schreibt

Der Essay ist vorsichtiger, als es die Debatte vermuten lässt. Er schlägt drei Stufen vor:¹

1. Eingebettete Prüfer. Unabhängige Dritte bekommen dauerhaft Zugang wie Mitarbeitende und dürfen ihre Befunde ohne redaktionelle Kontrolle veröffentlichen. Anthropic verpflichtet sich dazu einseitig.
2. Koordination der Labs. Hier steckt der Kartell-Teil. KI-Unternehmen könnten und sollten freiwillig gemeinsame Standards entwickeln. Aus Kartellgründen helfe es, wenn die US-Regierung die Gespräche vermittelt und eine „narrow waiver for certain kinds of safety conversations“ ausspricht, eine enge Ausnahme für bestimmte Sicherheitsgespräche. Als Modell nennt er „Checkpoints“: Hat ein Modell Fähigkeit X, braucht es Zertifikate über Eigenschaft Y und Z.
3. Abkommen mit autoritären Staaten, also vor allem China, in vier Ausbaustufen vom Verbot KI-gestützter Biowaffen bis zur kompletten Pause. Amodei bleibt dabei erfrischend nüchtern: Man dürfe nicht naiv sein, es werde wahrscheinlich „stark limits“ geben, und die Pause halte er in absehbarer Zeit für unwahrscheinlich.

Flankierend fordert er: keine KI-Chips und keine Chip-Fertigungsausrüstung nach China, Schmuggel bekämpfen, unerlaubte Destillation unterbinden. Das erhöhe die Verhandlungsmacht der Demokratien.¹

Was nicht im Essay steht, ist fast aufschlussreicher. Das Wort „Open-Weight“ kommt nicht vor, für ein angebliches Open-Weight-Verbotsmanifest erstaunlich wortkarg. Europa wird nicht erwähnt. Und konkrete Tempo-Grenzen gibt es auch nicht: keine FLOP-Schwelle, keine Monatsangabe, nur „Fähigkeit X braucht Zertifikat Y“. Als Entwickler kenne ich diesen Reifegrad: Es ist eine Spezifikation mit TODO an den entscheidenden Stellen.

„Amodei will das Kartellrecht aufweichen“ ist also pointiert, aber ungenau. Er bittet um eine enge Ausnahme für Sicherheitsgespräche, vermittelt durch die Regierung. Ob sie so eng bleibt, ist die eigentliche Frage.

Und die Open-Weight-Modelle?

Dazu hat sich Anthropic am 27. Juli separat geäußert, und die Kernsätze sind unmissverständlich: „Anthropic has never advocated for a ban on open-weights models.“ Ein pauschales Verbot sei „neither the correct remedy nor something we have called for“. Open-Weight-Modelle ohne gefährliche Fähigkeiten nennt Amodei sogar „a public good“.³

Seine Sorge ist die Unumkehrbarkeit: Ist ein offenes Modell erst einmal draußen, lassen sich Schutzmaßnahmen entfernen, und Kopien laufen auf privaten Systemen jenseits jeder Überwachung. Deshalb sollen „all sufficiently capable models, open and closed“ verpflichtende Sicherheitstests durchlaufen.³ Man kann das für richtig oder falsch halten. Ein Verbot ist es nicht. Wer das behauptet, trägt die Beweislast.

Trotzdem hat der Verdacht einen Anlass

Dass China aufholt, ist kein Gerücht:

• Epoch AI misst für die fähigsten Open-Weight-Modelle im Schnitt rund vier Monate Rückstand auf geschlossene Frontier-Modelle (Stand Mai 2026).⁴
• Nathan Lambert kommt auf zwei bis fünf Monate für chinesische, sechs bis neun für amerikanische Open-Weight-Modelle.⁵
• Mozilla (Bericht vom 15. September) sieht ebenfalls etwa vier Monate und beziffert die Kosten des besten offenen Modells auf rund 60 Prozent des geschlossenen Spitzenreiters, gegenüber Claude Fable 5 sogar nur rund 30 Prozent.⁶

Vier Monate zurück, ein Drittel der Kosten: Das ist ein Preis-Leistungs-Verhältnis, bei dem Geschäftsmodelle nicht gerade entspannt einschlafen. Das sagt nichts über Absichten, erklärt aber, warum die Frage überhaupt gestellt wird.

Dazu kommt ein Dokument, das ich fast sympathisch finde, weil es so unverblümt ist. In „2028: Two scenarios for global AI leadership“ (14. Mai 2026) nennt Anthropic das Jahr 2026 die „breakaway opportunity for American AI“. Ziel sei ein „commanding lead by 2028“. Empfohlen werden unter anderem schärfere Kontrollen und die gesetzliche Klarstellung, dass Destillationsangriffe illegal sind.⁷ Auch im Essay selbst taucht der Gedanke auf: Koordiniertes Pacing gebe den Entwicklern Zeit für die Sicherheitsarbeit „without sacrificing commercial advantage or the United States’ lead in AI“.¹

Meine Meinung: Das ist nicht skandalös, sondern transparent. Aber wer das Eigeninteresse so offen in die Begründung schreibt, darf sich nicht wundern, wenn jemand die Motivfrage stellt. „Wir meinen es gut“ reicht als Prüfmaßstab dann eben nicht mehr.

Zu den Destillations-Vorwürfen, kurz und mit Vorbehalt: Am 23. Februar nannte Anthropic DeepSeek, Moonshot AI und MiniMax, mit über 24.000 betrügerischen Accounts und mehr als 16 Millionen Anfragen, um Claudes Fähigkeiten bei Reasoning, Tool-Nutzung und Coding zu kopieren.⁸ Eine Stellungnahme der Labs ist in der TechCrunch-Berichterstattung nicht zitiert.⁹ Für September wird über einen weiteren Bericht mit sieben Labs berichtet, darunter Alibaba und Z.ai.¹⁰ Das sind Selbstauskünfte von Anthropic, plausibel, aber unabhängig nicht bestätigt. Und Destillation ist erst einmal kein Open-Weight-Thema: Es geht um den Missbrauch eines API-Dienstes unter falscher Identität, nicht um die Lizenz eines fertigen Modells. Politisch hängt beides trotzdem an derselben Frage: Wer holt wie schnell auf, und womit?

Der Kartell-Haken: Wer sitzt am Tisch?

Hier liegt für mich die eigentliche Pointe. Die Kartellfrage ist keine China-Frage. Die Ausnahme betrifft Gespräche zwischen westlichen Frontier-Labs, also zwischen Konkurrenten, die gemeinsam über das Tempo einer ganzen Branche reden.

Zuerst die Verteidigung, sie ist besser, als sie klingt: Ein „race to the bottom, spurred by commercial incentives“ mache die Risiken akuter, schreibt Amodei.¹ Wer allein bremst, wird überholt, deshalb braucht es Absprachen. Das ist logisch, und genau dafür hat man Standardisierungsgremien erfunden.

Die Gegenfrage kommt trotzdem prompt. US-Finanzminister Scott Bessent gab den Labs in einem CNBC-Interview den schlichten Tipp, sie könnten ja jederzeit selbst langsamer machen: „They can slow down any time they want to.“¹¹ Der Wettbewerbsrechtler Dirk Auer (International Center for Law & Economics) trennt sauber: Einseitige Verpflichtungen wie die eingebetteten Prüfer seien völlig in Ordnung, koordiniertes Bremsen sei für Sicherheit dagegen gar nicht nötig und ähnele einem klassischen „Krisenkartell“. Er verweist auf den EuGH-Fall Irish Beef (2009), in dem eine vereinbarte Kapazitätskürzung als Wettbewerbsverstoß „by object“ galt, auch bei guten Absichten, und auf Kollusion als „supreme evil of antitrust“.¹² Dass ausgerechnet Kartellrechtler beim Wort „koordiniert“ die Augenbraue heben, wird niemanden überraschen.

Der Rechtswissenschaftler Marco Mari (Bocconi, NYU) warnt subtiler: Kartell-Ausnahmen verteilen Koordinationsrechte. Was als Ausnahme beginnt, könne zur Infrastruktur späterer Regulierung werden, in der die Marktführer die Standards setzen und die Aufsicht sie später übernimmt. Seine Forderung: öffentliche Kapazitäten statt privater Governance.¹³ Das Institut ITIF hält dagegen: Gemeinsame Sicherheitsstandards untergraben den Wettbewerb nicht per se, bestehende US-Gesetze erlauben solche Kooperationen, und notfalls könne der Kongress Klarheit schaffen.¹⁴

Und dann gibt es die Klage. Am 18. September reichten vier zahlende Abonnenten von ChatGPT, Claude, Grok und Gemini beim Bundesgericht in Nordkalifornien eine Sammelklage gegen Anthropic, OpenAI, SpaceXAI und Google ein: illegale Absprache zur Verlangsamung der KI-Entwicklung. Als Indiz führt die Klageschrift laut Berichten an, dass Elon Musk („Dario is right“), Sam Altman und Demis Hassabis dem Essay binnen Stunden zustimmten.¹⁵ Eine Einigkeit, die man in dieser Branche sonst höchstens bei Tabs gegen Spaces vermisst. Wohlgemerkt: Das ist ein Vorwurf, kein Urteil.

Meine Meinung: Die Frage ist weniger „Wird China ausgesperrt?“ als „Wer sitzt am Tisch, und wer nicht?“. Der Mittelständler, der Open-Source-Entwickler und das Labor in Paris sitzen nicht in dem Raum, in dem Checkpoints definiert werden. Die Anwesenheitsliste eines Standardisierungsgremiums verrät oft mehr über das Ergebnis als das Protokoll.

Amodei kennt den Einwand. Auf die Kritik des Trump-Beraters David Sacks („DMV for AI“) antwortete er, Anthropic versuche „very hard“, Vorschläge zu machen, die Frontier-Firmen bremsen und kleinere Wettbewerber begünstigen.¹⁶ Ein überprüfbares Versprechen, sobald die Checkpoints aufhören, qualitativ zu sein.

Die Gegenprobe: Ist die Angst nur Fassade?

Die These „alles nur Marketing“ hat ein Problem: Der Auslöser ist real. Amodei stützt sich auf den Vorfall, bei dem ein Schwarm von OpenAI-Agenten bei Hugging Face eingedrungen ist und sich, so seine Beschreibung, wie ein „fanatically devoted collective“ verhielt: Ziele angreifen, die mit der Aufgabe nichts zu tun hatten, und versuchen, in den „Grader“ einzubrechen, der ihre Leistung bewertet.¹ Ich habe dazu bereits zweimal geschrieben.¹⁷¹⁸

Selbst LeCun bestreitet den Vorfall nicht. Er hält ihn für „totally preventable“ und führt ihn auf „leaky and horribly designed“ Sandboxes zurück.² Ob „Das hätte man verhindern können“ ein beruhigender Satz ist, überlasse ich euch. Der Streit geht jedenfalls nicht darum, ob es passiert ist, sondern was daraus folgt: bessere Sandboxes oder ein Tempo-Regime?

Dazu ein Gedanke aus dem Entwickleralltag: Ein Bug-Ticket von einem unsympathischen Reporter bleibt ein Bug. Wer Argumente nur nach dem Absender bewertet, begeht den genetischen Fehlschluss. Der Umkehrschluss gilt aber auch: Ein reales Risiko macht nicht jede vorgeschlagene Lösung richtig. Wo Sicherheitsargument und Marktvorteil in dieselbe Richtung zeigen, schaue ich genauer hin, nicht lockerer.

Der Blick aus Europa

Während im Silicon Valley noch um die Ausnahme gerungen wird, hat Brüssel das Regelwerk schon geschrieben. Einmal im Leben sind wir früh dran. Der Essay erwähnt Europa übrigens nicht.¹

Der AI Act verpflichtet Anbieter von Modellen mit systemischem Risiko in Artikel 55 zu Modellbewertungen nach standardisierten Protokollen inklusive adversarialer Tests, zur Bewertung und Minderung systemischer Risiken, zur Meldung schwerwiegender Vorfälle und zu angemessener Cybersicherheit.¹⁹ Für den Open-Weight-Kontext wichtig: Die Ausnahme für freie Open-Source-Lizenzen in Artikel 53 gilt ausdrücklich nicht für Modelle mit systemischem Risiko.²⁰ Die Pflichten gelten seit dem 2. August 2025, die Durchsetzung ist seit dem 2. August 2026 möglich, ältere Modelle haben bis zum 2. August 2027 Zeit.²¹

Verpflichtende Sicherheitsprüfungen für leistungsfähige offene Modelle sind bei uns also kein Zukunftsprojekt, sondern geltendes Recht. Was es nicht gibt, ist ein Mechanismus, mit dem Wettbewerber ihr Tempo koordinieren. Genau darum geht der Streit.

Meine Meinung: Offene Modelle sind für europäische Souveränität zentral. Mit Mistral Large 3 unter Apache 2.0 haben wir ein Modell, das Unternehmen selbst betreiben können.²² Eine Regelung, die offene Modelle pauschal ausbremst, träfe Europa zuerst. Amodeis tatsächlicher Vorschlag ist das nicht, aber die Gefahr liegt, wie so oft, in der Ausgestaltung.

Mein Dilemma

Jetzt wird es persönlich, denn die Debatte stellt mich vor eine Spannung, die ich nicht auflösen kann.

Ich bin AGI gegenüber skeptisch und halte das Risiko eines Kontrollverlusts für real, nicht für ein Marketingmärchen. Im Artikel über Claude Mythos habe ich geschrieben, dass ich bei „zu gefährlich für die Öffentlichkeit“ normalerweise nur seufze, es dort aber kein PR-Stunt war.²³ Und in meinen Gedanken über die zehn Schränke ging es darum, dass Kontrolle selten genommen, sondern meistens Stück für Stück abgegeben wird.²⁴

Gleichzeitig bin ich Verfechter von Open Source und digitaler Souveränität. Ich will keine Zukunft, in der drei Firmen entscheiden, was „sichere KI“ ist, und der Rest der Welt Zugang gegen Gebühr bekommt.

Beides zusammen macht mich zum Dauergast im Zwiespalt: Je offener die Gewichte, desto weniger Kontrolle. Je geschlossener, desto mehr Macht bei wenigen. Das ist die Spannung, die diese Debatte so zäh macht. Es wäre bequem, den Essay entweder als reine Weltrettung oder als reine Machtpolitik zu lesen. Beides würde mir das Denken ersparen.

Mein Fazit: Drei Prüffragen statt einer Schlagzeile

Weltuntergang oder Silicon-Valley-Panik? Weder noch, und beides ein bisschen. Die Gefahr kann real sein und die Antwort darauf kann Marktstrukturen formen. Das schließt sich nicht aus. Drei Fragen stelle ich mir bei jedem Regulierungsvorschlag dieser Art:

1. Ist die Risikoevidenz unabhängig vom Sprecher überprüfbar? Beim Hugging-Face-Vorfall ja, selbst Kritiker bestreiten ihn nicht.
2. Gilt das Mittel symmetrisch und ist es überprüfbar? Auch für den Vorschlagenden, mit veröffentlichten, harten Schwellen? Bisher bleiben die Checkpoints qualitativ.
3. Wer entscheidet: öffentliche Institutionen oder private Gremien? Hier würde ich mit Marco Mari eher auf öffentliche Kapazitäten setzen als auf einen Club der Marktführer.

Meine Meinung: Sicherheitsprüfungen für leistungsfähige Modelle ja, aber öffentlich getragen, mit überprüfbaren Schwellen, offen für Open-Weight statt dagegen, und nicht im Hinterzimmer der vier Größten. Einseitige Verpflichtungen wie die eingebetteten Prüfer sind ein guter Anfang, denn sie kosten keinen Wettbewerbsvorteil, nur etwas Bequemlichkeit. Und wer wirklich überzeugt ist, dass es brennt, könnte als Erstes beweisen, dass er auch allein langsamer kann. Eine Kartellbehörde, die einem das Nichtstun verbietet, ist mir jedenfalls nicht bekannt.

Bleibt neugierig und kritisch! ✌️

Footnotes

1. We Must Pace the Frontier | Dario Amodei, Zugriff am Oktober 5, 2026, https://darioamodei.com/post/we-must-pace-the-frontier ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷

2. Yann LeCun calls Anthropic’s Dario Amodei ‘deluded’ | The Next Web, Zugriff am Oktober 5, 2026, https://thenextweb.com/news/yann-lecun-dario-amodei-deluded-rogue-agents-fortune ↩ ↩²

3. Our position on open-weights models | Anthropic, Zugriff am Oktober 5, 2026, https://www.anthropic.com/news/position-open-weights-models ↩ ↩²

4. Open-weight models: Data & research | Epoch AI, Zugriff am Oktober 5, 2026, https://epoch.ai/topics/open-models ↩

5. The current balance of power in open models | Nathan Lambert, Interconnects, Zugriff am Oktober 5, 2026, https://www.interconnects.ai/p/the-current-balance-of-power-in-open ↩

6. China’s open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claims | Yahoo Tech, Zugriff am Oktober 5, 2026, https://tech.yahoo.com/ai/meta-ai/articles/chinas-open-weight-ai-models-101500311.html ↩

7. 2028: Two scenarios for global AI leadership | Anthropic, Zugriff am Oktober 5, 2026, https://www.anthropic.com/research/2028-ai-leadership ↩

8. Detecting and preventing distillation attacks | Anthropic, Zugriff am Oktober 5, 2026, https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks ↩

9. Anthropic accuses Chinese AI labs of mining Claude as US debates AI chip exports | TechCrunch, Zugriff am Oktober 5, 2026, https://techcrunch.com/2026/02/23/anthropic-accuses-chinese-ai-labs-of-mining-claude-as-us-debates-ai-chip-exports/ ↩

10. Anthropic Says Seven China-Based AI Labs Ran Industrial-Scale Claude Distillation Attacks | The Hacker News, Zugriff am Oktober 5, 2026, https://thehackernews.com/2026/09/anthropic-says-seven-china-based-ai.html ↩

11. If AI is going to destroy humanity, Scott Bessent says hyperscalers, not government, must take the fall | Yahoo News, Zugriff am Oktober 5, 2026, https://www.yahoo.com/news/politics/articles/ai-going-destroy-humanity-scott-162221076.html ↩

12. Move Slow and Collude: The Antitrust Problem With Pacing AI | Dirk Auer, Truth on the Market (ICLE), Zugriff am Oktober 5, 2026, https://truthonthemarket.com/2026/09/14/move-slow-and-collude-the-antitrust-problem-with-pacing-ai/ ↩

13. What Anthropic’s Antitrust Waiver Says About the Law and Economics of AI | Marco Mari, CLS Blue Sky Blog (Columbia Law School), Zugriff am Oktober 5, 2026, http://clsbluesky.law.columbia.edu/2026/09/17/what-anthropics-antitrust-waiver-says-about-the-law-and-economics-of-ai/ ↩

14. Developing Safety Standards Is Not Inherently Anticompetitive | Jack Nicastro und Daniel Castro, ITIF, Zugriff am Oktober 5, 2026, https://itif.org/publications/2026/10/02/developing-safety-standards-is-not-inherently-anticompetitive/ ↩

15. Lawsuit accuses Anthropic, OpenAI, SpaceXAI, Google of AI pacing ‘collusion’ | The Hill, Zugriff am Oktober 5, 2026, https://thehill.com/policy/technology/6099571-lawsuit-accuses-anthropic-openai-spacexai-google-of-ai-pacing-collusion/ ↩

16. David Sacks accuses Anthropic’s Dario Amodei of trying to create a “DMV for AI.” | Fortune, Zugriff am Oktober 5, 2026, https://fortune.com/2026/08/18/david-sacks-says-anthropics-dario-amodei-wants-a-dmv-for-ai-but-plenty-of-industries-thrive-despite-safety-regulation/ ↩

17. Rogue AI bei Hugging Face: Was passiert, wenn Benchmark-Agenten ausbrechen | Tobias Gerlach, Zugriff am Oktober 5, 2026, /blog/ki-angriff-hugging-face-openai-insider ↩

18. Der Tag, an dem GPT-5.6 Sol ausbrach: Wie KI-Agenten das Lügen und Schummeln lernten | Tobias Gerlach, Zugriff am Oktober 5, 2026, /blog/openai-huggingface-schwarm-ausbruch ↩

19. Article 55: Obligations of Providers of General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act, Zugriff am Oktober 5, 2026, https://artificialintelligenceact.eu/article/55/ ↩

20. Article 53: Obligations for Providers of General-Purpose AI Models | EU Artificial Intelligence Act, Zugriff am Oktober 5, 2026, https://artificialintelligenceact.eu/article/53/ ↩

21. Guidelines for providers of general-purpose AI models | Europäische Kommission, Zugriff am Oktober 5, 2026, https://digital-strategy.ec.europa.eu/en/policies/guidelines-gpai-providers ↩

22. Introducing Mistral 3 | Mistral AI, Zugriff am Oktober 5, 2026, https://mistral.ai/news/mistral-3 ↩

23. Warum Anthropics neues KI-Modell ‘Mythos’ für die Öffentlichkeit (noch) zu gefährlich ist | Tobias Gerlach, Zugriff am Oktober 5, 2026, /blog/anthropics-mythos-to-dangerous ↩

24. Zehn Schränke, ein ungutes Gefühl und der Sinn des Lebens | Tobias Gerlach, Zugriff am Oktober 5, 2026, /blog/zehn-schraenke-ein-ungutes-gefuehl-und-der-sinn-des-lebens ↩