Sachmessung · Kapitel 4
Kreativ: Hier lohnt die Klasse Premium
Sechs Aufgaben ohne richtige Lösung, elf Modelle, Blindvergleich mit drei KI-Richtern und einem menschlichen Gegeneindruck
Kurz gesagt
Bei kreativer Arbeit ist der Abstand zwischen den Modellen größer als irgendwo sonst. Eine Kurzgeschichte hat keine richtige Lösung. Deshalb brachten drei KI-Richter alle elf Antworten ohne Namen in eine Reihenfolge, und gezählt wurde, wie oft ein Modell im besten Drittel landete. Keines der gemessenen Modelle der Klasse Basis kam ein einziges Mal dorthin. Claude Haiku 5.5 kam erst im Nachtest am 7. Oktober dazu und ist hier nicht gemessen.
- PremiumFür Texte und Ideen, die wirken sollen: die Klasse Premium mit Claude Opus 5.5. 12 von 12 Mal im besten Drittel, in 11 davon auch bei beiden Richtern anderer Anbieter. In jedem Versuch alle Vorgaben eingehalten.
- AllrounderBei Scaleway (EU): die Klasse Allrounder mit DeepSeek V4 Flash. 6 von 12 Mal im besten Drittel, nie im schwächsten. GLM 5.2 aus der Klasse Premium kam ebenfalls auf 6.
- STACKITKeine Empfehlung. Gemma 4 und Qwen 3.8 lagen meist im Mittelfeld, gpt-oss-120b in allen 12 Vergleichen im schwächsten Drittel.
- Nicht nehmenClaude Haiku 4.5 und gpt-oss-120b. 10 und 12 von 12 Mal im schwächsten Drittel, und die Vorgaben hielten sie nur in 3 und 4 von 12 Versuchen ein.
- HandgriffMehrere Modelle fragen. Die Antworten liegen hier weiter auseinander als bei jeder anderen Art Arbeit.
1Die sechs Aufgaben
| Aufgabe | Worum es geht |
|---|---|
| Kurzgeschichte | Eine Kurzgeschichte zum Firmenjubiläum |
| Kampagnenidee | Eine Kampagnenidee für Wartungsverträge |
| 30 Ideen | Dreißig Ideen für die Nachwuchssuche, dann zehn streichen und drei begründen |
| Videoskript | Ein Skript für ein Erklärvideo von 60 Sekunden |
| Radiospot | Ein Skript für einen Radiospot von 30 Sekunden |
| Bildmotive | Fünf Motive für die neue Website, nur als Text beschrieben |
Alle Aufgaben für dieselbe erfundene Firma, jede mit einer zweiten Nachricht wie „mutiger“ oder „mit Humor“. So wurde verglichen: Jeder Richter bekam die elf Antworten ohne Namen, in eigener Mischung, und brachte sie in eine Reihenfolge. Maßstab: passt zur Firma, hat einen eigenen Einfall, ist konkret, lässt sich so weitergeben. Länge zählt nicht. Aus der Reihenfolge wird ein Drittel, oben, Mitte oder unten. Es gilt, was zwei von drei Richtern sagen.
Belege der Richter zu verfehlten Vorgaben, Antwort für Antwort, stehen im Bericht.
2Das Rangbild
| Modell | oben · Mitte · unten | oben bei fremden Richtern | Vorgaben eingehalten |
|---|---|---|---|
| Claude Opus 5.5Premium · Anthropic | 12 | 11 / 12 | 12 / 12 |
| Claude Sonnet 5.5Allrounder · Anthropic | 102 | 3 / 12 | 9 / 12 |
| Gemini 3.8 FlashAllrounder · Google | 75 | 5 / 12 | 8 / 12 |
| DeepSeek V4 FlashAllrounder · Scaleway | 66 | 6 / 12 | 10 / 12 |
| GLM 5.2Premium · Scaleway | 651 | 6 / 12 | 9 / 12 |
| GPT-6 solPremium · OpenAI | 381 | 1 / 12 | 12 / 12 |
| Qwen 3.8Premium · STACKIT | 174 | 1 / 12 | 7 / 12 |
| GPT-6 lunaBasis · OpenAI | 102 | 0 / 12 | 11 / 12 |
| Gemma 4Allrounder · STACKIT | 93 | 0 / 12 | 11 / 12 |
| Claude Haiku 4.5Basis · Anthropic | 210 | 0 / 12 | 3 / 12 |
| gpt-oss-120bBasis · STACKIT | 12 | 0 / 12 | 4 / 12 |
- bestes Drittel
- Mitte
- schwächstes Drittel
Nicht gemessen: Claude Haiku 5.5 (Basis). Der Nachtest am 7. Oktober umfasste die Büroaufgaben und die langen und zahlenlastigen, nicht die kreativen.
„oben bei fremden Richtern“: nur gezählt, wenn beide Richter anderer Anbieter die Antwort im besten Drittel sahen. „Vorgaben eingehalten“: Versuche ohne verfehlte Vorgabe wie Länge, Anzahl oder Verbote.
3Was sich daraus lesen lässt
- Die Klasse Premium zahlt sich hier aus. Claude Opus 5.5 stand in allen 12 Vergleichen oben, in 11 davon auch bei den beiden Richtern fremder Anbieter. Das ist das klarste Einzelergebnis der ganzen Messung.
- Die gemessenen Modelle der Klasse Basis reichen hier nicht. GPT-6 luna, im Büroalltag so gut wie die teuren Modelle, kam in keinem Vergleich ins beste Drittel. Genau arbeiten und gute Einfälle haben sind zwei verschiedene Dinge.
- Die Modelle bei Scaleway (EU) halten mit. DeepSeek V4 Flash und GLM 5.2 standen je 6 von 12 Mal oben. Für sie gibt es keinen Richter aus dem eigenen Haus.
- Bei STACKIT (Deutschland) bleibt es beim Mittelfeld. Gemma 4 und Qwen 3.8 lagen meist in der Mitte, gpt-oss-120b in allen 12 Vergleichen unten.
4Wie die Richter urteilen
Ein Blindvergleich ohne richtige Lösung hängt an den Richtern. Deshalb weist die Messung aus, wie sie urteilen. Jeder Richter setzte Antworten aus dem eigenen Haus öfter höher als die beiden anderen Richter, obwohl keiner Namen sah.
| Richter | eigenes Haus | fremde Häuser |
|---|---|---|
| GPT-6 astraOpenAI | 64 % | 35 % |
| Gemini 3.1 ProGoogle | 58 % | 18 % |
| Claude Fable 5.1Anthropic | 47 % | 22 % |
Deshalb die Spalte „oben bei fremden Richtern“ in Abbildung 1. Bei Claude Opus 5.5 ändert sie wenig: Sein Ergebnis hängt nicht am Richter aus dem eigenen Haus. Claude Sonnet 5.5 (10 Mal oben, bei fremden Richtern 3) und GPT-6 sol (3 Mal oben, bei fremden Richtern 1) verdanken ihren Platz zum Teil dem Richter aus dem eigenen Haus. Gemini 3.8 Flash kommt bei fremden Richtern auf 5 statt 7.
Einig im Drittel waren sich alle drei Richter bei 56 von 132 Antworten, zwei von drei bei 70, bei den übrigen 6 lagen alle drei verschieden.
Dazu ein menschlicher Leser. Rico Loschke hat 53 der Antworten selbst blind gelesen und in Drittel sortiert. In 22 Fällen lag er im selben Drittel wie die Richter, in 23 ein Drittel daneben, in 8 am anderen Ende. Die Gegenüberstellung Antwort für Antwort steht im Bericht.