100 % ist ein Warnzeichen
Ein vollständig gelöster Test unterscheidet nicht mehr. Fachleute nennen ihn gesättigt. Solche Tests gehören ersetzt, nicht gefeiert.
Messrauschen
Anthropic gibt selbst einen Standardfehler von ±3,5 bis 4,5 Punkten an. Abstände darunter sind kein Unterschied. Platz 1, 2 und 3 lagen bei einer Messung nur 1,83 Punkte auseinander.
Der Wertungsmaßstab
Beim Test OSWorld 2.0 nennt Anthropic 77,9 % und 41,7 % für dasselbe Modell — je nachdem, ob Teillösungen mitzählen. 36,2 Punkte Unterschied durch eine Definition.
Was für Betriebe zählt
30 Tage Datenspeicherung, ohne Genehmigung nicht abwählbar. Eine Verarbeitung allein in der EU ist auf einem der großen Wege derzeit nicht herstellbar.
Ein Anbieter steigt aus
OpenAI meldet keine Werte mehr auf SWE-bench Verified und hat das öffentlich begründet: Der Test misst nicht mehr, was er soll. Kritik vom Anbieter selbst wiegt am schwersten.
Sicherheitsfilter verzerren
Blockierte Aufgaben zählten als null — die Werte sind Untergrenzen. Anderswo sprang ein anderes Modell ein; dort ist der Wert nicht die Leistung von Fable 5.1 allein.
Was Fable 5.1 ist
Anthropics stärkstes allgemein verkäufliches Modell, erschienen am 01.09.2026. 1 Mio. Token Kontext, 10 $ je Mio. Eingabe und 50 $ je Mio. Ausgabe — doppelt so teuer wie Opus 5.
Die eigene Messung
Zehn echte Aufgaben aus dem Betrieb, zwei Modelle, gleiche Bedingungen. Das schlägt jede Rangliste — und kostet einen Nachmittag.
Teuerste Stufe bringt nichts
Die beiden höchsten Einstellungen lieferten beide 90,0 %. Die teuerste kostete mehr für null Zusatznutzen — 4,49 $ je einzelner Aufgabe.
Leere Zelle heißt nichts
Fehlt ein Wert, kann das heißen: nicht getestet, nicht durchgelaufen, Filter dazwischen oder nicht veröffentlicht. Aus einer Leerstelle folgt nichts.
Zahlen ohne Rangliste
273 Sekunden bis zum ersten Zeichen, bei den übrigen getesteten Modellen typischerweise 3,6. 140 Mio. Ausgabe-Token statt 62 Mio. 8.523 $ für einen Testdurchlauf. Steht in keiner Bestenliste.
Der Rat des Herstellers
Anthropic empfiehlt in der eigenen Dokumentation, mit Opus 5 anzufangen. Fable 5.1 sei für besonders anspruchsvolle Arbeit gedacht. Der Anbieter rät selbst zum Günstigeren.
Spitzenleistung überträgt sich nicht
Dasselbe Modell, dieselbe Woche: 100 % bei mathematischen Beweisen, 6,67 % bei juristischer Facharbeit (Platz 18 von 55).
Was Dritte leisten
Vals AI rechnete die Aushilfe heraus: ein Wert fiel von 22,90 auf 10,69 %. Anthropic erwähnt den Effekt, der unabhängige Prüfer beziffert ihn.
Der Denktiefe-Regler
Gleiches Modell, gleicher Test, gleicher Tag: 78,3 % bei sparsamer, 90,0 % bei gründlicher Einstellung. 11,7 Punkte allein durch einen Regler im Testaufbau.
Kontamination
Die Aufgaben stammen aus öffentlichen Fehlermeldungen auf GitHub — also aus dem Trainingsmaterial. Die Prüfungsfragen lagen im Lernstoff.
Die Zahl, die es nicht gibt
„95 % auf SWE-bench Verified“ kursiert überall — Anthropic hat für Fable 5.1 auf diesem Test gar keinen Wert veröffentlicht. Die Zahl gehört zum Vorgänger Fable 5.