Sachmessung · Bericht
Bericht: Aufbau, Methodik und Verlässlichkeit der Messung
Wie die Messung gebaut ist, wie bewertet wurde und wie verlässlich die Urteile sind. Alle Einzelergebnisse stehen im Anhang.
Gemessen im Assistenten von build.jetzt, mit dessen Anweisungen, Werkzeugen und Einstellungen, Denkstufe „mittel“. Das ist keine Studie über die Modelle an sich, sondern ein Test für dieses Setup. Claude Haiku 4.5 lief ohne Denkstufe, weil das Modell keine kennt; Claude Haiku 5.5 kam am 7. Oktober im Nachtest dazu, ohne die kreativen Aufgaben; gpt-oss-120b in der Fassung von STACKIT. 38 Aufgaben, 12 Modelle, 3 KI-Richter, Stand 7. Oktober 2026.
Auf dieser Seite
- Kurz gesagt
- 1 Fragestellung und Aufbau
- 2 Wie bewertet wurde
- 3 Verlässlichkeit
- 4 Strenge und abgestufte Lesart
- 5 Gestrichene Prüfpunkte
- 6 Korrekturen
- 7 Pannen
- 8 Kosten der Messung
- 9 Grenzen
- Austausch statt Rohdaten
- A Anhang: Alle Zahlen je Modell
- B Anhang: Jede Aufgabe, jedes Urteil
- C Anhang: Kreativ im Einzelnen
Kurz gesagt
Dieser Bericht erklärt, wie die Messung gebaut ist und wie weit man ihr trauen kann. Die Ergebnisse stehen im Fazit und in den Kapiteln Büroalltag, Lange Aufgaben, Zahlen und Kreativ.
Der Aufbau in vier Sätzen. Jedes Modell löste jede Aufgabe mindestens zweimal, im echten Assistenten von build.jetzt (Claude Haiku 5.5, im Nachtest am 7. Oktober, alle außer den kreativen). Zu jeder Aufgabe standen vor dem Lauf Prüfpunkte fest. Was sich zählen lässt, zählte ein Programm, den Rest beurteilten zwei KI-Richter verschiedener Anbieter, bei Uneinigkeit ein dritter. Eine Aufgabe gilt als gelöst (in diesem Bericht: „passt“), wenn in zwei Durchgängen höchstens ein Prüfpunkt verfehlt war.
Wie verlässlich das ist. Die zwei Richter waren bei rund jedem siebten Prüfpunkt uneins. Kontrollantworten, die ohne Namen ein zweites Mal mitliefen, beurteilten sie 24 von 24 Mal gleich. Jede fünfte Aufgabe fiel in zwei Durchgängen verschieden aus. Daraus folgt die wichtigste Leseregel: Ein Abstand von ein bis drei Aufgaben zwischen zwei Modellen ist Zufall.
1Fragestellung und Aufbau
Gefragt war: Welches Modell reicht für welche Art Arbeit, im Assistenten von build.jetzt, so wie Nutzer ihn heute erleben? Gemessen wurde deshalb nicht das Modell allein, sondern das Modell im Assistenten: mit dessen Anweisungen, Skills und Werkzeugen, mit dem Gedächtnis und auf der Denkstufe „mittel“. Ein Testprogramm schickte jede Nachricht so, wie ein Mensch sie im Chat schreiben würde, und beantwortete Rückfragen aus einem festen Vorrat.
1.1 Modelle
| Modell | Von | Anbieter in build.jetzt | Klasse | Standort |
|---|---|---|---|---|
| GPT-6 luna | OpenAI | OpenAI | Basis · Hauptmodell | weltweit |
| Claude Haiku 4.5ohne Denkstufe, das Modell kennt keine | Anthropic | Anthropic | Basis | weltweit |
| Claude Haiku 5.5denkt mit, Denkstufe mittel; Nachtest am 7. Oktober 2026, ohne kreative Aufgaben | Anthropic | Anthropic | Basis | weltweit |
| gpt-oss-120b | OpenAI, offenes Modell | STACKIT | Basis · Hauptmodell | Deutschland |
| Gemini 3.8 Flash | Allrounder · Hauptmodell | weltweit | ||
| Claude Sonnet 5.5 | Anthropic | Anthropic | Allrounder | weltweit |
| Gemma 4 | Google, offenes Modell | STACKIT | Allrounder · Hauptmodell | Deutschland |
| DeepSeek V4 Flash | DeepSeek, offenes Modell | Scaleway | Allrounder | EU (Paris) |
| Claude Opus 5.5 | Anthropic | Anthropic | Premium · Hauptmodell | weltweit |
| GPT-6 sol | OpenAI | OpenAI | Premium | weltweit |
| Qwen 3.8 | Alibaba, offenes Modell | STACKIT | Premium · Hauptmodell | Deutschland |
| GLM 5.2 | Z.ai, offenes Modell | Scaleway | Premium | EU (Paris) |
„Hauptmodell“: das Modell, das build.jetzt in dieser Klasse und an diesem Standort vorschlägt. Die Klasse Spitze trat nicht an; ihre Modelle waren Richter.
1.2 Ablauf
| Schritt | Wann | Was | Mensch |
|---|---|---|---|
| Probe und Pilot | 3./4. Oktober | Verfahren an einer Aufgabe, dann an sechs Aufgaben prüfen. Aufgaben klarer gefasst, Prüfregeln geschärft | Aufgaben freigegeben, Auswertung gegengelesen |
| Hauptlauf Büro | 4. Oktober | 24 Aufgaben, 8 Modelle, mindestens zwei Durchgänge | nein |
| Maßstab | 4. Oktober | Festgelegt, ab wann eine Aufgabe als gelöst gilt (Abschnitt 2.3). An den Urteilen nichts geändert | ja |
| Nachmessung | 4. Oktober abends | 3 weitere Modelle, dieselben Aufgaben, Regeln und Richter, mit Kontrollantworten | nein |
| Kreativ | 4./5. Oktober | 6 Aufgaben, 11 Modelle, Blindvergleich | Aufgaben freigegeben, blinder Gegeneindruck |
| Lang und Zahlen | 5. Oktober | 8 Aufgaben, 11 Modelle, wie Büro bewertet | Aufgaben freigegeben |
| Nachtest | 7. Oktober abends | Claude Haiku 5.5, am selben Tag erschienen: 24 Büroaufgaben und 8 lange und zahlenlastige, dieselben Prüfpunkte und Richter, mit Kontrollantworten. Kreativ nicht gemessen | Nachtest angestoßen |
1.3 Die Aufgaben
Alle Aufgaben spielen in einer erfundenen Firma für Gebäudetechnik und sind auf Deutsch. Jede ist ein kurzes Gespräch: erst der Auftrag mit Material, dann „kürzer“, „förmlicher“ oder eine Rückfrage. Die schweren Büroaufgaben haben einen versteckten Haken, den niemand ansagt. Jede einzelne Aufgabe mit ihren Prüfpunkten steht in Anhang B.
| Bereich | Aufgaben | Was | Bewertung |
|---|---|---|---|
| Büroalltag | 24 | Acht Tätigkeiten (Schreiben, Zusammenfassen, Recherchieren, Prüfen, Rechnen, Planen, Ideen finden, Entscheiden), je leicht, mittel und schwer. Zwei oder drei Nachrichten je Aufgabe | Prüfpunkte |
| Lange Aufgaben | 4 | Zwei Dokumente mit rund 20 Seiten, zwei Chats über zehn und zwölf Nachrichten | Prüfpunkte |
| Zahlen | 4 | Tabellen mit 40 bis 300 Zeilen, als Text übergeben, ohne Rechenwerkzeug | Prüfpunkte, Sollwerte aus dem Programm, das die Tabellen erzeugt hat |
| Kreativ | 6 | Kurzgeschichte, Kampagnenidee, 30 Ideen, Videoskript, Radiospot, Bildmotive | Vorgaben mit Prüfpunkten, Qualität im Blindvergleich mit Rangfolge |
2Wie bewertet wurde
2.1 Prüfpunkte
Zu jeder Aufgabe standen vor dem Lauf vier bis sieben Prüfpunkte fest. Bewertet wurde, was der Nutzer bekommt: der Text im Chat und, wenn das Modell eines angelegt hat, das Dokument im Seitenfenster. Was sich zählen lässt (Wörter, Beträge, Termine, Anzahl), zählte ein Programm; das Programm schlägt den Richter. Im Büroalltag und bei langen und zahlenlastigen Aufgaben stand bei jeder Aufgabe derselbe Prüfpunkt „Nichts erfunden“: keine Ursache, kein Termin, kein Betrag und keine Zusage, die weder im Material noch in den Nachrichten steht.
2.2 Richter
GPT-6 astra (OpenAI) und Gemini 3.1 Pro (Google) beurteilten jeden übrigen Prüfpunkt unabhängig voneinander, auf der Denkstufe „mittel“, jedes Nein mit einem Zitat aus der Antwort. Waren sie uneins, entschied Claude Fable 5.1 (Anthropic) als Schiedsrichter; er sah dann nur diese Antwort und diesen Prüfpunkt. Ein Prüfpunkt gilt als verfehlt, wenn das Programm es sagt oder zwei von drei Richtern. Die Richter sahen keine Modellnamen, die Antworten kamen in gemischter Reihenfolge. Im kreativen Rangbild stimmten alle drei gleichberechtigt ab. Ab dem Hauptlauf liefen die Richter im Stapelbetrieb der Anbieter. 501 Mal wurde Claude Fable 5.1 als Schiedsrichter gefragt.
2.3 Wann eine Aufgabe passt
Je Durchgang gibt es vier Stufen: alles erfüllt, kleiner Mangel (genau ein Prüfpunkt verfehlt, nicht der Haken), Nacharbeit nötig (zwei oder mehr) und Falle übersehen (der Prüfpunkt zum versteckten Haken ist verfehlt). Eine Aufgabe passt, wenn zwei Durchgänge „alles erfüllt“ oder „kleiner Mangel“ sind. Fielen die ersten zwei verschieden aus, lief ein dritter.
Diese Schwelle wurde nach dem ersten Lauf festgelegt. Geplant war eine strengere: kein einziger verfehlter Prüfpunkt in zwei von drei Durchgängen, dazu der Vergleich mit dem Modell der nächsthöheren Klasse. Nach dem Hauptlauf machte diese Regel aus acht brauchbaren Kundenmails achtmal „reicht nicht“, und wo kein Modell bis Premium sie erfüllte, stand „Spitze“, obwohl Spitze nie gemessen war. Rico Loschke hat daraufhin festgelegt, dass höchstens ein verfehlter Prüfpunkt noch in Ordnung ist. An den Urteilen wurde nichts geändert. Beide Lesarten stehen in Abschnitt 4 nebeneinander.
3Verlässlichkeit
3.1 Wie oft die beiden Richter uneins waren
| Teil | Prüfpunkte | uneins | Anteil |
|---|---|---|---|
| Hauptlauf Büro, 8 Modelle | 1.647 | 234 | 14 % |
| Nachmessung Büro, 3 Modelle | 647 | 103 | 16 % |
| Lang und Zahlen, 11 Modelle | 949 | 132 | 14 % |
| Nachtest Büro, Claude Haiku 5.5 | 186 | 25 | 13 % |
| Nachtest lang und Zahlen, Claude Haiku 5.5 | 91 | 10 | 11 % |
Ohne Prüfpunkte des Zählprogramms. Die meisten Widersprüche betrafen „Nichts erfunden“: GPT-6 astra wertet auch freundliche Zusagen wie „Wir melden uns, sobald die Ursache feststeht“ als erfunden, Gemini 3.1 Pro oft nicht.
3.2 Wie oft jeder Richter Nein sagte, je Anbieter
| Teil | Richter | OpenAI | Anthropic | STACKIT | Scaleway | |
|---|---|---|---|---|---|---|
| Hauptlauf Büro | GPT-6 astra | 11 % | 25 % | 28 % | 32 % | – |
| Hauptlauf Büro | Gemini 3.1 Pro | 6 % | 11 % | 12 % | 20 % | – |
| Lang und Zahlen | GPT-6 astra | 16 % | 30 % | 17 % | 39 % | 19 % |
| Lang und Zahlen | Gemini 3.1 Pro | 13 % | 17 % | 2 % | 26 % | 7 % |
Beide Richter gaben Modellen von OpenAI im Büroalltag die wenigsten Nein, auch Gemini 3.1 Pro. GPT-6 astra ist insgesamt strenger. Ein Vorteil für das eigene Haus lässt sich nicht ausschließen; deshalb gilt ein Prüfpunkt erst mit zwei von drei Stimmen als verfehlt. Im kreativen Rangbild ist der Hausvorteil gemessen, siehe unten.
3.3 Kontrollen
- Kontrollantworten in der Nachmessung. Die 24 Antworten von GPT-6 luna aus dem ersten Durchgang des Hauptlaufs liefen ohne Namen in den Paketen der Nachmessung mit. Die Richter beurteilten sie 24 von 24 Mal genau wie zuvor. Die Zahlen der drei nachgemessenen Modelle sind damit mit dem Hauptlauf vergleichbar.
- Kontrollantworten im Nachtest. Auch beim Nachtest von Claude Haiku 5.5 liefen Antworten von GPT-6 luna aus dem Hauptlauf ohne Namen mit. Die Richter beurteilten sie im Büroalltag 24 von 24 Mal und bei den langen und zahlenlastigen 8 von 8 Mal wie zuvor.
- Richter am nächsten Tag. Drei Pakete der Nachmessung liefen einen Tag später noch einmal durch: 108 von 112 Einzelurteilen fielen gleich aus.
- Streuung. Im Hauptlauf fielen bei 38 von 192 Zellen (20 %) die ersten beiden Durchgänge verschieden aus. Ein Abstand von ein bis drei Aufgaben zwischen zwei Modellen ist deshalb nicht belastbar.
3.4 Vorliebe fürs eigene Haus bei kreativen Aufgaben
Im kreativen Blindvergleich lässt sich messen, was bei den Prüfpunkten nur zu vermuten ist: Jeder Richter setzte Antworten aus dem eigenen Haus öfter höher als die beiden anderen Richter, obwohl keiner Namen sah. Deshalb kamen die drei Richter von drei verschiedenen Anbietern, und deshalb weist das Rangbild aus, wie oft ein Modell bei beiden fremden Richtern oben stand.
| Richter | eigenes Haus | fremde Häuser |
|---|---|---|
| GPT-6 astraOpenAI | 64 % | 35 % |
| Gemini 3.1 ProGoogle | 58 % | 18 % |
| Claude Fable 5.1Anthropic | 47 % | 22 % |
Einig im Drittel waren sich alle drei Richter bei 56 von 132 Antworten, zwei von drei bei 70.
3.5 Ein menschlicher Gegeneindruck bei kreativen Aufgaben
Rico Loschke, Herausgeber dieser Messung, hat 53 Antworten aus 5 der sechs Aufgaben blind gelesen, ohne Modellnamen und ohne die Urteile der Richter zu kennen, und selbst in Drittel sortiert. Er liest nach Jahren mit KI-Texten sehr kritisch. Sein Eindruck ist keine Wertung und steckt in keiner Zahl der Messung. Er zeigt, wie weit ein einzelner Leser und die Richter auseinanderliegen können.
| Modell | Kurzgeschichte | Kampagnenidee | 30 Ideen | Radiospot | Bildmotive | oben bei Richtern | oben beim Leser |
|---|---|---|---|---|---|---|---|
| Claude Opus 5.5 | 5 / 5 | 2 / 5 | |||||
| Claude Sonnet 5.5 | 4 / 5 | 2 / 5 | |||||
| Gemini 3.8 Flash | 4 / 5 | 3 / 5 | |||||
| DeepSeek V4 Flash | – | 2 / 5 | 1 / 5 | ||||
| GLM 5.2 | 2 / 5 | 2 / 5 | |||||
| GPT-6 sol | – | 0 / 5 | 1 / 5 | ||||
| Qwen 3.8 | 0 / 5 | 1 / 5 | |||||
| GPT-6 luna | 0 / 5 | 3 / 5 | |||||
| Gemma 4 | 0 / 5 | 1 / 5 | |||||
| Claude Haiku 4.5 | 0 / 5 | 1 / 5 | |||||
| gpt-oss-120b | 0 / 5 | 2 / 5 |
- links die Richter, rechts der Leser
- umrandet: gleiches Drittel
- oben
- Mitte
- unten
Kein Muster nach Dritteln. Von den Antworten, die die Richter oben sahen, legte der Leser 8 von 17 ebenfalls nach oben, in der Mitte 9 von 23, unten 5 von 13.
Der deutlichste Unterschied: Bei den Richtern kamen in diesen Aufgaben 5 von 11 Modellen überhaupt ins beste Drittel, beim Leser alle 11. Die Richter haben klare Favoriten, sein oberes Drittel verteilt sich über das ganze Feld, auch über günstige Modelle. Claude Opus 5.5 setzte er bei der Kampagnenidee nach unten.
Zum Einordnen: Wer rät, trifft etwa ein Drittel. Leser und Richtermehrheit lagen bei 42 % gleich, zwei Richter untereinander bei rund 60 %. Mit den einzelnen Richtern stimmte er 22 Mal (GPT-6 astra), 20 Mal (Claude Fable 5.1) und 17 Mal (Gemini 3.1 Pro) überein. Ob andere Leser die Antworten wie die Richter sehen, ist mit einer Stimme nicht geklärt. Zwei weitere Leser stehen noch aus.
4Strenge und abgestufte Lesart
Abgestuft (gilt auf allen Seiten): passt, wenn zwei Durchgänge höchstens einen verfehlten Prüfpunkt haben, nach Abzug der gestrichenen Prüfpunkte. Streng (der Plan vor dem Lauf): reicht, wenn zwei Durchgänge keinen verfehlten Prüfpunkt haben, mit allen Prüfpunkten, wie sie vor dem Lauf feststanden, und das Modell nicht klar schlechter ist als das der nächsthöheren Klasse.
| Modell | Büro abgestuft | Büro streng | Lang und Zahlen abgestuft | Lang und Zahlen streng |
|---|---|---|---|---|
| GPT-6 lunaBasis | 23 / 24 | 19 / 24 | 5 / 8 | 3 / 8 |
| Claude Haiku 4.5Basis | 10 / 24 | 4 / 24 | 1 / 8 | 0 / 8 |
| Claude Haiku 5.5Basis | 24 / 24 | 9 / 24 | 8 / 8 | 4 / 8 |
| gpt-oss-120bBasis | 15 / 24 | 5 / 24 | 0 / 8 | 0 / 8 |
| Gemini 3.8 FlashAllrounder | 23 / 24 | 11 / 24 | 7 / 8 | 1 / 8 |
| Claude Sonnet 5.5Allrounder | 23 / 24 | 8 / 24 | 8 / 8 | 5 / 8 |
| Gemma 4Allrounder | 21 / 24 | 14 / 24 | 5 / 8 | 1 / 8 |
| DeepSeek V4 FlashAllrounder | 24 / 24 | 11 / 24 | 7 / 8 | 2 / 8 |
| Claude Opus 5.5Premium | 24 / 24 | 14 / 24 | 7 / 8 | 3 / 8 |
| GPT-6 solPremium | 24 / 24 | 19 / 24 | 6 / 8 | 3 / 8 |
| Qwen 3.8Premium | 20 / 24 | 5 / 24 | 5 / 8 | 1 / 8 |
| GLM 5.2Premium | 23 / 24 | 13 / 24 | 6 / 8 | 2 / 8 |
In der strengen Lesart zählen „reicht“ und „reicht knapp“ (strittige Prüfpunkte oder erst im dritten Durchgang entschieden). Eine Zelle blieb dort offen (GLM 5.2 bei „Ideen finden, schwer“, ein Durchgang gut, einer nicht); sie zählt hier nicht mit.
An der Spitze bleiben GPT-6 luna und GPT-6 sol mit 19 und 19. Darunter verschiebt sich einiges: Modelle, die oft genau einen Prüfpunkt verfehlen, verlieren in der strengen Lesart viel, etwa DeepSeek V4 Flash (24 zu 11) und Claude Sonnet 5.5 (23 zu 8). Die Reklamation hätte streng gelesen kein einziges Modell gelöst, weil jedes in jedem Durchgang etwas zusagte, das der Nutzer nicht genannt hatte.
5Gestrichene Prüfpunkte
Sechs Prüfpunkte erwiesen sich nach dem Lauf als falsch gefasst. Sie bleiben im Bericht stehen, zählen in der abgestuften Lesart aber nicht. In der strengen Lesart zählen sie mit.
| Aufgabe | Prüfpunkt | Grund |
|---|---|---|
| Prüfen, schwer | p3 | Die Lösung nannte den Preis als erfüllt. Mehrere Modelle wiesen zu Recht darauf hin, dass die Kosten über 300 Anrufe die Preisgrenze reißen können. Der Prüfpunkt wertete diesen richtigen Hinweis als Fehler. |
| Rechnen, mittel | p4 | Verlangt im Absatz einen Quartalsanteil, um den die Nachricht nicht bittet. |
| Rechnen, schwer | p2 | Verlangt einen Hinweis in genau einer Antwort, obwohl er eine Nachricht vorher schon stand. Die Falle (fehlender Monat) wird deshalb bei dieser Aufgabe nicht gewertet. |
| Entscheiden, schwer | p2 | Verlangt einen Hinweis in genau einer Antwort, obwohl er eine Nachricht vorher schon stand. Die Falle zeigt sich stattdessen an p3. |
| Kennzahlen deuten | p3 | Verlangt eine Kennzahl (Reparaturumsatz je Einsatz), nach der keine Nachricht fragt. 21 von 22 Antworten verfehlten ihn. |
| 30 Ideen | p2 | „Keine zwei Ideen meinen dasselbe“ war zu streng gefasst: 19 von 22 Antworten verfehlten ihn. Er steht getrennt und zählt bei „Vorgaben eingehalten“ nicht mit. |
Dazu eine Zusammenlegung und ein Vorbehalt. Bei der Reklamation (Schreiben, mittel) zählen „zur Ursache nur das Vorgegebene“ und „Nichts erfunden“ als ein Prüfpunkt, weil beide an derselben hinzugefügten Zusage anschlagen. Beim Zusammenfassen (mittel) sind die Wortgrenzen „eine Seite“ und „eine halbe Seite“ wenig aussagekräftig, weil das Zählprogramm Überschriften im Dokument mitzählte; der Prüfpunkt blieb trotzdem gewertet.
6Korrekturen
Was während der Messung korrigiert wurde. Keine Korrektur hat ein Urteil eines Richters geändert; korrigiert wurden Zählregeln, Prüfpunkte vor ihrem Einsatz und die Lesart.
- Zählregeln an echten Antworten nachgeprüft. Nach dem ersten Durchgang zeigten sich Fehler im Zählprogramm: „Hallo Jonas,“ (der Assistent spricht den Nutzer an) galt als Beginn einer Mail; „Lieber Herr Brandt“ wurde nicht als Anrede erkannt; Beträge mit Leerzeichen („36 020 €“) und Daten wie „01.03.2027“ wurden nicht gefunden; Nachbemerkungen wie „(Das sind 23 Wörter.)“ zählten zur Mail. Alle korrigiert, bevor gewertet wurde.
- „Nichts erfunden“ mit Beispielen. Im Pilot lasen die Richter den Prüfpunkt verschieden. Er bekam Beispiele („Die Lieferung geht heute raus“) und die Regel, dass Platzhalter in eckigen Klammern und markierte Annahmen nicht als erfunden gelten.
- Nach dem Probelauf der Zahlenaufgaben: Bei der Kalkulation genügt der richtige Steuerbetrag, und der Rechenweg darf in der ersten oder zweiten Antwort stehen. Bei den Kennzahlen gilt „praktisch unverändert“ als richtige Deutung.
- Radiospot: Die Länge prüft seitdem das Zählprogramm zusammen mit den Richtern, weil sich Sekunden aus Text nicht sicher zählen lassen.
- Lesart: Abschnitt 2.3. Die strenge Lesart steht vollständig in Abschnitt 4 daneben.
7Pannen
- Standby in der Nacht. Der Hauptlauf startete am 4. Oktober um 01:27 Uhr. Um 02:13 Uhr ging der Rechner auf Akku in den Standby, trotz abgeschaltetem Ruhezustand. Neustart um 08:29 Uhr, Antworten fertig um 12:08 Uhr. Durchgänge mit Abbruch wurden ganz neu begonnen.
- Doppelte Läufe. Bei den Zahlenaufgaben lief ein als beendet gemeldeter Hintergrundauftrag weiter. Zwei Aufgaben liefen rund 40 Minuten doppelt. Gewertet wird je Modell das vollständige Gespräch; die doppelten Kosten stecken in der Summe unten.
- Guthaben leer. Im Pilot war das Guthaben beim Anbieter des ersten Richters nach sieben von zwölf Urteilen aufgebraucht. Die fehlenden Urteile wurden nachgeholt.
- Eine Stimme doppelt gefragt. Im Pilot fragte das Programm einen Richter als Schiedsrichter, wo er schon voll bewertet hatte. Die Stimme wäre doppelt gezählt worden; das Programm zählt seitdem eine Stimme je Richter. Kosten des Fehlers rund 3 $.
- Paket zu früh eingereicht. Ein Paket ging mit zwei von acht Antworten an die Richter, weil der nächste Teil schon lief. Die Prüfpunkte werden je Antwort beurteilt; seitdem wird ein Paket erst eingereicht, wenn der Durchgang fertig ist.
Die Messung lief in einer Sitzung mit Claude Fable 5.1, dem Modell, das zugleich Schiedsrichter war. Die Sitzung hat Programme geschrieben und gestartet, aber selbst nichts bewertet.
8Kosten der Messung
| Schritt | Kosten | Davon |
|---|---|---|
| Probe und Pilot (3./4.10.) | 25 $ | Verfahren prüfen, sechs Aufgaben, Richter direkt statt im Stapel |
| Hauptlauf Büro, 8 Modelle (4.10.) | 54 $ | Antworten rund 29 $, Richter rund 25 $ |
| Nachmessung, 3 Modelle (4.10. abends) | 22 $ | Antworten rund 8 $, Richter rund 13 $ |
| Kreativ, 11 Modelle (5.10.) | 26 $ | Antworten rund 12 $, Richter rund 13 $, Überschneidung rund 1 $ |
| Lang und Zahlen, 11 Modelle (5.10.) | 65 $ | Antworten rund 40 $ (darin doppelte Läufe), Richter rund 25 $ |
| Nachtest Claude Haiku 5.5 (7.10.) | 10 $ | Antworten rund 0,40 $, Richter rund 9,40 $ |
| Summe | rund 200 $ | 23 Stunden reine Rechenzeit der Modelle |
Die Kosten der Modelle sind aus den gemeldeten Token mit Listenpreisen gerechnet, teils mit angenommenen Preisen (GPT-6 luna, Preise in Euro wie Dollar). Gemini 3.1 Pro als Richter ist mit dem Preis von GPT-6 astra geschätzt. Die Richter liefen meist im Stapelbetrieb zum halben Preis. Websuchen sind nicht eingerechnet. Ein Abgleich mit den Abrechnungen der Anbieter steht aus.
Was die Modelle im Betrieb kosten, ist eine eigene Messung: die Kostenanalyse. Beide Messungen werden bewusst nicht zu einer Rechnung „Kosten mal Leistung“ verbunden; sie messen verschiedene Dinge unter verschiedenen Bedingungen.
9Grenzen
- Ein Setup, kein Urteil über Modelle. Gemessen ist der Assistent von build.jetzt mit seinen Anweisungen und Werkzeugen. Ein Modell kann woanders besser oder schlechter abschneiden.
- Ein Stichtag. Die Modelle vom 3. bis 5. Oktober 2026, Claude Haiku 5.5 vom 7. Oktober. Anbieter ändern Modelle, ohne die Versionsnummer zu ändern.
- Zwei bis drei Durchgänge. Genug für grobe Unterschiede, zu wenig für feine Ränge.
- Erfundene Firma, deutsche Sprache. Alle Aufgaben spielen in einer Firma für Gebäudetechnik, alle auf Deutsch.
- Nicht gemessen: Dokumente über rund 20 Seiten, Aufgaben mit vielen Werkzeugen nacheinander, Programmieren, Bilder und Audio, die Klasse Spitze.
- KI bewertet KI. Jedes Nein ist belegt und hier nachlesbar. Ein Hausvorteil der Richter ist im Büroalltag nicht auszuschließen und im kreativen Rangbild gemessen.
- Eine menschliche Stimme bei kreativen Aufgaben. Zwei weitere Leser stehen aus.
- Claude Haiku 5.5 ohne kreative Aufgaben. Der Nachtest umfasste Büroalltag, lange Aufgaben und Zahlen. Im Kreativteil fehlt das Modell.
Austausch statt Rohdaten
Die Antworten und Rohdaten sind nicht zum Herunterladen veröffentlicht. Sie enthalten das Material der Aufgaben. Was sich übertragen lässt, ist das Vorgehen: wie Aufgaben mit eingebautem Haken entstehen, wie Prüfpunkte gefasst sein müssen, damit zwei Richter sie gleich lesen, und welche Fehler sich vermeiden lassen. Darüber gibt es gern einen Austausch, für alle, die im eigenen Unternehmen eine Teststrecke aufbauen wollen.
Austausch anfragenAAnhang: Alle Zahlen je Modell
Die dichte Fassung dessen, was das Fazit in Gruppen und Klassen fasst. „Passt“ ist das genaue Wort dieses Berichts für „gelöst“: In zwei Durchgängen (im Fazit: Versuchen) war höchstens ein Prüfpunkt verfehlt.
| Modell | Klasse | Büro passt | leicht · mittel · schwer | nichts hinzugefügt | Lang passt | Zahlen passt | Kreativ oben | oben bei fremden Richtern |
|---|---|---|---|---|---|---|---|---|
| GPT-6 lunaOpenAI · weltweit | Basis | 23 / 24 | 8 · 8 · 7 | 94 % | 3 / 4 | 2 / 4 | 0 / 12 | 0 / 12 |
| Claude Haiku 4.5Anthropic · weltweit | Basis | 10 / 24 | 6 · 2 · 2 | 55 % | 1 / 4 | 0 / 4 | 0 / 12 | 0 / 12 |
| Claude Haiku 5.5Anthropic · weltweit | Basis | 24 / 24 | 8 · 8 · 8 | 78 % | 4 / 4 | 4 / 4 | nicht gemessen | |
| gpt-oss-120bSTACKIT · Deutschland | Basis | 15 / 24 | 7 · 6 · 2 | 72 % | 0 / 4 | 0 / 4 | 0 / 12 | 0 / 12 |
| Gemini 3.8 FlashGoogle · weltweit | Allrounder | 23 / 24 | 8 · 7 · 8 | 58 % | 4 / 4 | 3 / 4 | 7 / 12 | 5 / 12 |
| Claude Sonnet 5.5Anthropic · weltweit | Allrounder | 23 / 24 | 7 · 8 · 8 | 68 % | 4 / 4 | 4 / 4 | 10 / 12 | 3 / 12 |
| Gemma 4STACKIT · Deutschland | Allrounder | 21 / 24 | 8 · 6 · 7 | 91 % | 3 / 4 | 2 / 4 | 0 / 12 | 0 / 12 |
| DeepSeek V4 FlashScaleway · EU (Paris) | Allrounder | 24 / 24 | 8 · 8 · 8 | 69 % | 4 / 4 | 3 / 4 | 6 / 12 | 6 / 12 |
| Claude Opus 5.5Anthropic · weltweit | Premium | 24 / 24 | 8 · 8 · 8 | 72 % | 4 / 4 | 3 / 4 | 12 / 12 | 11 / 12 |
| GPT-6 solOpenAI · weltweit | Premium | 24 / 24 | 8 · 8 · 8 | 94 % | 3 / 4 | 3 / 4 | 3 / 12 | 1 / 12 |
| Qwen 3.8STACKIT · Deutschland | Premium | 20 / 24 | 7 · 5 · 8 | 46 % | 3 / 4 | 2 / 4 | 1 / 12 | 1 / 12 |
| GLM 5.2Scaleway · EU (Paris) | Premium | 23 / 24 | 7 · 8 · 8 | 74 % | 2 / 4 | 4 / 4 | 6 / 12 | 6 / 12 |
Ein Unterschied von ein bis drei Aufgaben zwischen zwei Modellen ist Zufall: Rund jede fünfte Zelle brauchte einen dritten Durchgang, weil die ersten beiden verschieden ausfielen. „leicht · mittel · schwer“: passende Büroaufgaben von je acht. Claude Haiku 5.5 lief im Nachtest am 7. Oktober, ohne die kreativen Aufgaben.
| Anbieter | Am stärksten | Am schwächsten |
|---|---|---|
| OpenAIGPT-6 luna, GPT-6 sol | GPT-6 sol löste alle 24 Büroaufgaben. GPT-6 luna und sol fügten in 94 und 94 % der Durchgänge nichts hinzu, so oft wie kein anderes Modell. | Bei kreativen Aufgaben kam GPT-6 luna in keinem von 12 Vergleichen ins obere Drittel. Die Einsatzliste mit 300 Zeilen lösten beide nicht. |
| AnthropicClaude Haiku 4.5, Haiku 5.5, Sonnet 5.5, Opus 5.5 | Claude Opus 5.5 stand in allen 12 kreativen Vergleichen im oberen Drittel. Claude Sonnet 5.5 löste alle 8 langen und zahlenlastigen Aufgaben, Claude Haiku 5.5 im Nachtest ebenso, dazu alle 24 Büroaufgaben. | Claude Haiku 4.5 löste 10 von 24 Büroaufgaben und 1 von 8 langen und zahlenlastigen. |
| GoogleGemini 3.8 Flash | 23 von 24 Büroaufgaben und 7 von 8 langen und zahlenlastigen; eines von 5 Modellen, die die Einsatzliste mit 300 Zeilen lösten. | Fügte nur in 58 % der Durchgänge nichts hinzu. |
| STACKIT (Deutschland)gpt-oss-120b, Gemma 4, Qwen 3.8 | Gemma 4 löste 21 von 24 Büroaufgaben und fügte in 91 % der Durchgänge nichts hinzu (Qwen 3.8: 20 von 24, 46 %). | gpt-oss-120b löste keine der 8 langen und zahlenlastigen Aufgaben und stand in allen 12 kreativen Vergleichen unten. |
| Scaleway (EU, Paris)DeepSeek V4 Flash, GLM 5.2 | DeepSeek V4 Flash löste alle 24 Büroaufgaben, GLM 5.2 23. Kreativ standen beide je 6 von 12 Mal oben, ohne Richter aus dem eigenen Haus. | DeepSeek V4 Flash fügte in 69 % der Durchgänge nichts hinzu, GLM 5.2 in 74 %. |
Kein Anbieter liegt überall vorn, keiner überall hinten.
BAnhang: Jede Aufgabe, jedes Urteil
Je Aufgabe: Kurzbeschreibung, Prüfpunkte und je Modell jeder Durchgang mit seiner Stufe. Zu jedem verfehlten Prüfpunkt steht die Stelle, die ein Richter als Beleg zitiert hat, bei Prüfpunkten des Zählprogramms der gezählte Wert. Die Zitate stammen aus den Antworten der Modelle und sind auf rund 300 Zeichen gekürzt. Das Material der Aufgaben ist nicht veröffentlicht.
- passt, alles erfüllt
- passt mit kleinem Mangel
- passt nicht
B.1 Büroalltag
Schreiben, leichtTerminabsage per Mail · gelöst von 12 von 12
Eine Terminabsage per Mail, höchstens 80 Wörter.
Prüfpunkte
- p1Die Mail hat nach Nachricht 1 und nach Nachricht 2 jeweils höchstens 80 Wörter (Anrede bis Grußformel, ohne Betreff und Signatur).Zählprogramm
- p2Die Mail nennt nach beiden Nachrichten beide Ersatztermine richtig: Dienstag, 20. Oktober, 10 Uhr, und Mittwoch, 21. Oktober, 15 Uhr.Zählprogramm
- p3Die Antwort auf Nachricht 2 enthält eine Betreffzeile.Zählprogramm
- p4Die Mail sagt den Termin am 15. Oktober, 14 Uhr, eindeutig ab, spricht Frau Dr. Kaya mit Titel und in der Sie-Form an und nennt den Grund (Betriebsversammlung).Richter
- p5Die Fassung nach Nachricht 2 ist erkennbar förmlicher als die nach Nachricht 1.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht knapp |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passtalles erfüllt | reicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht |
|
Schreiben, mittelAntwort auf eine Reklamation mit Vorgaben · gelöst von 10 von 12
Auf eine Reklamation antworten, mit klaren Vorgaben, was zugesagt werden darf.
Prüfpunkte
- p1Die Mail nach Nachricht 2 hat höchstens 120 Wörter (Anrede bis Grußformel, ohne Betreff und Signatur).Zählprogramm
- p2Ab Nachricht 2 nennt jede Mail den Rabatt von zehn Prozent auf die nächste Bestellung.Zählprogramm
- p3Die Mails gehen auf alle drei Forderungen der Kundin ein: vier richtige Kartuschen (M400) per Express auf Kosten des Händlers, Rückgabe der falschen über einen Abholschein, und eine Antwort auf die Frage nach der Ursache.Richter
- p4Nachricht 3 liefert eine eigene zweite Fassung, die erkennbar auf das dritte Schreiben eingeht, und nennt klar eine der beiden Fassungen mit Begründung.Richter
- p5Zur Ursache sagt die Mail nur, was der Nutzer vorgegeben hat: Sie ist noch nicht bekannt und wird geprüft.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
p5 und p6 zählen als ein Prüfpunkt. Beide schlagen an, wenn die Mail eine Zusage hinzufügt.
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passt nichtNacharbeit nötig | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Schreiben, schwerPreiserhöhung an einen langjährigen Kunden · gelöst von 10 von 12
Eine Preiserhöhung ankündigen. Im Vertrag steht eine Klausel, die der Auftrag übergeht.
Prüfpunkte
- p1Jede Fassung der Mail nennt die Erhöhung um 6,8 Prozent, den 1. Januar 2027 und die neue Monatspauschale von 4.539 Euro.Zählprogramm
- p2Nach Nachricht 2 haben beide Fassungen jeweils höchstens 150 Wörter (Anrede bis Grußformel, ohne Betreff und Signatur).Zählprogramm
- p3Die Antwort auf Nachricht 3 nennt den 6. November 2026 als spätesten Tag für den Zugang.Zählprogramm
- p4Die Antwort macht dem Nutzer klar, dass die Erhöhung über fünf Prozent liegt und die Anpassung ohne Hinweis auf das Kündigungsrecht nach § 7 Absatz 3 unwirksam ist. Eine Mail ohne den Hinweis, zu der diese Warnung fehlt, verfehlt den Punkt.Richter · Haken
- p5Jede Fassung bezieht sich auf § 7 des Vertrags, begründet die Erhöhung mit den Lohn- und Materialkosten aus dem Material und entschuldigt sich nicht.Zählprogramm und Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtFalle übersehen | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passt nichtFalle übersehen | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtkleiner Mangel | reicht nicht |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht knapp |
|
Zusammenfassen, leichtMeeting-Notizen in fünf Punkte · gelöst von 11 von 12
Eine Seite Besprechungsnotizen in fünf Punkten.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 besteht aus genau fünf Punkten.Zählprogramm
- p2Die fünf Punkte enthalten die beiden Entscheidungen der Runde: Rufbereitschaft ab 1.11. mit zwei Technikern (befristet bis Ende Januar) und Mindestbestand für die 20 häufigsten Ersatzteile.Richter
- p3Die fünf Punkte stellen die Tablets als offen dar (zweites Angebot, noch keine Entscheidung) und nicht als beschlossen.Richter
- p4Die Liste nach Nachricht 2 nennt alle fünf Aufgaben mit Person und Termin: Tobias Hersteller 9.10., Elif Dienstplan 14.10., Marek Teileliste 16.10., Nadine zweites Angebot 23.10., Tobias Reservierung Weihnachtsfeier (ohne Termin im Material).Zählprogramm und Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passtkleiner Mangel | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht knapp |
|
| GLM 5.2 | passtalles erfüllt | reicht |
|
Zusammenfassen, mittelKonzept auf eine Seite für die Geschäftsführung · gelöst von 9 von 12
Ein Konzept von fünf Seiten auf eine Seite bringen, mit den offenen Punkten.
Prüfpunkte
- p1Die Zusammenfassung hat nach Nachricht 1 höchstens 450 Wörter (eine Seite) und nach Nachricht 3 höchstens 230 Wörter (eine halbe Seite).Zählprogramm
- p2Die Zusammenfassung nach Nachricht 1 nennt das einmalige Budget von 186.000 Euro, die 2.900 Euro monatlich und beide Starttermine (Pilot 1. März 2027, alle Kunden 1. September 2027).Zählprogramm
- p3Die Zusammenfassungen nach Nachricht 1 und nach Nachricht 3 nennen jeweils alle drei offenen Punkte: Angebot für die ERP-Schnittstelle fehlt, Datenschutz-Folgenabschätzung ist nicht beauftragt, Zustimmung des Betriebsrats zur Standortanzeige steht aus.Richter
- p4Die Antwort auf Nachricht 2 nennt 186.000 Euro einmalig und 2.900 Euro im Monat (34.800 Euro im Jahr) und sagt, dass die ERP-Schnittstelle mit geschätzt 15.000 bis 40.000 Euro nicht enthalten ist.Zählprogramm und Richter
- p5Die Zusammenfassung nach Nachricht 1 sagt, was die Geschäftsführung am 17. November entscheiden soll (Budget, Zeitplan, Projektleitung).Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passt nichtNacharbeit nötig | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht knapp |
|
Zusammenfassen, schwerDrei Dokumente mit zwei Widersprüchen · gelöst von 10 von 12
Drei Dokumente zusammenfassen, die sich an zwei Stellen widersprechen.
Prüfpunkte
- p1Die Zusammenfassung nach Nachricht 1 hat höchstens 250 Wörter.Zählprogramm
- p2Die Zusammenfassung nach Nachricht 1 benennt den Widerspruch beim Starttermin: Das Angebot sagt 1. März 2027 und schließt einen früheren Start aus, die Mail kündigt den 1. Februar 2027 an.Zählprogramm und Richter · Haken
- p3Die Zusammenfassung nach Nachricht 1 benennt den Widerspruch bei der Schulung: Laut Angebot kostet sie 2.800 Euro zusätzlich, laut Protokoll ist sie im Preis enthalten.Zählprogramm und Richter · Haken
- p4Die Antwort auf Nachricht 2 rechnet richtig: 36.020 Euro mit Schulung nach dem Angebot, oder 33.220 Euro ohne Schulung. Die Schulung ist als eigene Position sichtbar, mit 2.800 Euro oder ausdrücklich als nicht eingerechnet.Zählprogramm und Richter
- p5Die Antwort auf Nachricht 3 nennt beide Punkte als vor der Unterschrift zu klären: Starttermin und Kosten der Schulung.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtFalle übersehen | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passt nichtFalle übersehen | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht knapp |
|
| Gemma 4 | passtalles erfüllt | reicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht knapp |
|
| GLM 5.2 | passtkleiner Mangel | reicht knapp |
|
Recherchieren, leichtEine Faktenfrage mit Quelle · gelöst von 12 von 12
Eine Tatsache nachschlagen, mit Quelle.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt den 1. Januar 2015 und 8,50 Euro je Stunde.Zählprogramm
- p2Die Antwort auf Nachricht 1 enthält mindestens einen Link, und der Link ist erreichbar.Zählprogramm
- p3Der Satz nach Nachricht 2 hat höchstens 25 Wörter und nennt Datum und Betrag.Zählprogramm
- p4Die Quelle ist eine belastbare Stelle (Behörde, Gesetzestext, Statistikamt, Kammer oder ein großes Nachrichtenmedium), kein Forum und kein Blog ohne Absender.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passtalles erfüllt | reicht knapp |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Recherchieren, mittelStand einer Regelung mit Datum und drei Quellen · gelöst von 11 von 12
Den Stand einer Regelung mit Datum und drei Quellen.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt den 2. August 2025 für die Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und den 2. Februar 2025 für die KI-Kompetenz.Zählprogramm und Richter
- p2Die Antwort auf Nachricht 1 enthält mindestens drei verschiedene Links, und sie sind erreichbar.Zählprogramm
- p3Die Antwort auf Nachricht 2 nennt die Verordnung (EU) 2024/1689.Zählprogramm
- p4Die Zusammenfassung nach Nachricht 3 hat höchstens 60 Wörter und enthält beide Daten.Zählprogramm
- p5Mindestens eine der Quellen ist eine offizielle Stelle (EU-Kommission, EUR-Lex, eine Behörde).Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 4.5 | passtalles erfüllt | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht knapp |
|
Recherchieren, schwerZwei widersprüchliche Behauptungen prüfen · gelöst von 10 von 12
Zwei Kollegen behaupten Gegensätzliches. Beide haben nur halb recht.
Prüfpunkte
- p1Die Antwort auf Nachricht 2 nennt den 1. Januar 2027.Zählprogramm
- p2Die Antwort auf Nachricht 1 enthält mindestens zwei verschiedene Links, und sie sind erreichbar.Zählprogramm
- p3Die Antwort auf Nachricht 1 sagt, dass keine der beiden Aussagen ganz stimmt: Seit dem 1. Januar 2025 gilt die Pflicht, E-Rechnungen empfangen zu können. Die Pflicht zum Ausstellen beginnt später und hängt vom Vorjahresumsatz ab.Richter · Haken
- p4Die Antwort nennt die Umsatzgrenze von 800.000 Euro und wendet sie auf Halvering an.Zählprogramm und Richter
- p5Die Notiz nach Nachricht 3 hat höchstens 70 Wörter und nennt den 1. Januar 2027.Zählprogramm
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtFalle übersehen | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtFalle übersehen | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht knapp |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht knapp |
|
| GPT-6 sol | passtkleiner Mangel | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Prüfen, leichtAngebot gegen eine Checkliste mit fünf Punkten · gelöst von 11 von 12
Ein Angebot gegen eine Liste mit fünf Punkten prüfen.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 bewertet alle fünf Punkte richtig: 1, 3 und 5 erfüllt, 2 und 4 nicht erfüllt.Richter
- p2Zu jedem Punkt steht die passende Stelle aus dem Angebot (42 Euro, einmal im Monat, Betriebshof, drei Monate zum Quartalsende, 3 Millionen Euro mit Bestätigung).Zählprogramm und Richter
- p3Die Antwort auf Nachricht 2 besteht aus zwei Sätzen und nennt genau die beiden Mängel: Reinigung alle zwei Wochen statt monatlich, Kündigungsfrist höchstens ein Monat.Richter
- p4Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht knapp |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht knapp |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht knapp |
|
Prüfen, mittelKonzept prüfen: die drei größten Schwächen · gelöst von 9 von 12
Die drei größten Schwächen eines Konzepts finden.
Prüfpunkte
- p1Unter den drei Schwächen aus Nachricht 1 sind die beiden eingebauten Lücken: Die Mehrkosten sind nicht beziffert, und das Ziel hat keine Messgröße und keinen Ausgangswert.Richter
- p2Jede der drei Schwächen ist mit einer Stelle aus dem Konzept belegt.Richter
- p3Die Antwort auf Nachricht 2 nennt die Mehrkosten (im Monat, im Jahr oder für die drei Monate).Richter
- p4Die Rückmeldung nach Nachricht 3 hat höchstens 100 Wörter.Zählprogramm
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtkleiner Mangel | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht knapp |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Prüfen, schwerVertragsentwurf gegen eine Anforderungsliste · gelöst von 9 von 12
Einen Vertrag gegen Anforderungen prüfen. Eine Abweichung zeigt sich nur, wenn man zwei Paragrafen zusammen liest.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt die beiden offenen Abweichungen: Laufzeit 36 statt höchstens 24 Monate (§ 2) und Haftung 50.000 statt mindestens 250.000 Euro (§ 6).Richter
- p2Die Antwort auf Nachricht 2 sagt Nein und begründet es: Die Servicezeiten in § 1 nennen keine Feiertage, und § 3 verpflichtet nur während der Servicezeiten.Richter · Haken
- p3Die Antwort auf Nachricht 1 erklärt keine erfüllte Anforderung zur Abweichung: Kündigungsfrist (§ 7), Weitergabe in 15 Minuten (§ 4) und Preis (§ 5) passen.RichterGestrichen: Die Lösung nannte den Preis als erfüllt. Mehrere Modelle wiesen zu Recht darauf hin, dass die Kosten über 300 Anrufe die Preisgrenze reißen können. Der Prüfpunkt wertete diesen richtigen Hinweis als Fehler.
- p4Die Liste nach Nachricht 3 hat höchstens 80 Wörter.Zählprogramm
- p5Die Liste nach Nachricht 3 enthält alle drei Änderungen: Laufzeit 24 Monate, Haftung 250.000 Euro, Feiertage in den Servicezeiten.Zählprogramm und Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passt nichtFalle übersehen | reicht nicht |
|
| Claude Haiku 4.5 | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtFalle übersehen | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passt nichtFalle übersehen | reicht nicht |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht nicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht nicht |
|
Rechnen, leichtSumme und Anteil aus einer Tabelle · gelöst von 9 von 12
Summe und Anteil aus zwölf Monatswerten.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt den Jahresumsatz von 2.135.700 Euro.Zählprogramm
- p2Die Antwort auf Nachricht 1 nennt den Anteil des vierten Quartals mit 29,9 Prozent.Zählprogramm
- p3Die Antwort auf Nachricht 2 nennt August und 33.075 Euro.Zählprogramm
- p4Die Antwort nennt keine Gründe für den Verlauf als Tatsache (etwa Sommerloch oder Heizsaison), höchstens als markierte Vermutung.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passtalles erfüllt | reicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht |
|
| Claude Sonnet 5.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht knapp |
|
| GLM 5.2 | passt nichtNacharbeit nötig | reicht nicht |
|
Rechnen, mittelQuartalsanteile und ein Ausreißer · gelöst von 11 von 12
Anteile je Quartal und einen Ausreißer finden.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt die vier Anteile richtig: 28,3, 19,6, 19,3 und 23,2 Prozent.Zählprogramm
- p2Die Antwort auf Nachricht 2 nennt den Februar.Zählprogramm
- p3Der Absatz nach Nachricht 3 hat höchstens 60 Wörter.Zählprogramm
- p4Der Absatz nach Nachricht 3 nennt den Februar als Ausreißer und mindestens einen der Quartalsanteile, und er behauptet keinen Grund als Tatsache.RichterGestrichen: Verlangt im Absatz einen Quartalsanteil, um den die Nachricht nicht bittet.
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht nicht |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Rechnen, schwerZwei Tabellen mit verschiedener Abgrenzung · gelöst von 11 von 12
Zwei Listen zusammenführen, eine netto, eine brutto. In einer fehlt ein Monat.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 rechnet die Liste des Vertriebs richtig auf netto um (geteilt durch 1,19) und zeigt für September eine Abweichung von 1.200 Euro. Für die übrigen zehn vergleichbaren Monate zeigt sie keine Abweichung.Zählprogramm und Richter
- p2Die Antwort auf Nachricht 2 sagt, dass der Juni in der Liste des Vertriebs fehlt und deshalb nicht verglichen werden kann. Sie nennt 1.200 Euro als Abweichung der elf vergleichbaren Monate und rechnet den Juni nicht als Abweichung ein.Zählprogramm und RichterGestrichen: Verlangt einen Hinweis in genau einer Antwort, obwohl er eine Nachricht vorher schon stand. Die Falle (fehlender Monat) wird deshalb bei dieser Aufgabe nicht gewertet.
- p3Die Frage nach Nachricht 3 hat höchstens 50 Wörter.Zählprogramm
- p4Die Frage nach Nachricht 3 nennt beide offenen Punkte: den fehlenden Juni und die 1.200 Euro mehr im September.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | offen |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht nicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Planen, leichtAgenda für 60 Minuten aus Stichpunkten · gelöst von 12 von 12
Eine Agenda für 60 Minuten aus Stichpunkten.
Prüfpunkte
- p1In beiden Fassungen ergeben die Dauern zusammen genau 60 Minuten, und die Agenda endet um 10:00 Uhr.Richter
- p2Beide Fassungen enthalten alle fünf Themen und am Ende 5 Minuten „Wer macht was bis wann“. Die Zahlen zur Rufbereitschaft haben mindestens 15 Minuten.Richter
- p3In der Fassung nach Nachricht 2 beginnt der Punkt Tablets um 9:20 Uhr oder später.Richter
- p4Die Agenda enthält keinen Punkt, der nicht in den Stichpunkten steht. Begrüßung und Abschluss ohne eigenes Thema sind erlaubt.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht knapp |
|
| Gemma 4 | passtalles erfüllt | reicht |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht knapp |
|
Planen, mittelWorkshop über einen halben Tag mit Uhrzeiten · gelöst von 11 von 12
Einen Workshop von 9 bis 13 Uhr mit festen Vorgaben planen.
Prüfpunkte
- p1Der Plan nach Nachricht 1 läuft lückenlos von 9:00 bis 13:00 Uhr: Jeder Block beginnt, wo der vorige endet, nichts überschneidet sich.Richter
- p2Der Plan nach Nachricht 1 hält die Vorgaben: Einführung höchstens 30 Minuten, Praxis zusammen mindestens 90 Minuten, eine Pause von 20 Minuten, Abschluss mit 20 Minuten für Vereinbarungen.Richter
- p3Der Plan nach Nachricht 2 beginnt um 9:30 Uhr, endet um 13:00 Uhr, ist lückenlos und hält weiter alle Vorgaben.Richter
- p4Die Liste nach Nachricht 3 hat höchstens acht Punkte.Zählprogramm
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht |
|
| GLM 5.2 | passtalles erfüllt | reicht knapp |
|
Planen, schwerProjektplan mit Abhängigkeiten · gelöst von 11 von 12
Einen Projektplan bauen. Eine Person ist in derselben Woche zweimal ganz eingeplant.
Prüfpunkte
- p1Die Tabelle nach Nachricht 1 enthält alle fünf Arbeitspakete mit Person, Kalenderwoche und den richtigen Abhängigkeiten (Übernahme nach Bereinigung, Testbetrieb nach Übernahme, Start nach Testbetrieb und Schulung).Richter
- p2Die Antwort auf Nachricht 2 nennt den Konflikt: Tobias Riedel ist in KW 48 ganz im Testbetrieb eingeplant und soll in derselben Woche drei Tage schulen.Richter · Haken
- p3Die Lösung nach Nachricht 3 beseitigt die doppelte Belegung, hält alle Abhängigkeiten ein und lässt den Start in KW 50.Zählprogramm und Richter
- p4Die Lösung erfindet keine Person und keine Verfügbarkeit: kein zweiter Trainer, von dem das Material nichts sagt, ohne das als Annahme zu markieren.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht |
|
Ideen finden, leichtZehn Namen für einen internen Newsletter · gelöst von 12 von 12
Zehn Namen für einen Newsletter, je höchstens zwei Wörter.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 enthält genau zehn Namen.Zählprogramm
- p2Jeder der zehn Namen hat höchstens zwei Wörter.Zählprogramm
- p3Kein Name kommt doppelt vor, auch nicht in anderer Schreibweise.Richter
- p4Die Antwort auf Nachricht 2 nennt genau drei Namen aus der Liste und begründet jeden in einem Satz.Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht knapp |
|
| Claude Haiku 4.5 | passtalles erfüllt | reicht knapp |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passtalles erfüllt | reicht knapp |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Ideen finden, mittelFünf Anwendungsfälle für eine Abteilung · gelöst von 11 von 12
Fünf Einsatzfälle für KI in einer Abteilung, passend zu ihren Engpässen.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 enthält genau fünf Anwendungsfälle, und jeder nennt einen der vier Punkte aus dem Material.Richter
- p2Jeder Fall sagt, was die KI tut und was der Mensch weiter selbst macht.Richter
- p3Kein Fall verletzt die Vorgabe zu den Kundendaten, oder die Antwort weist bei dem Fall auf die Vorgabe hin.Richter
- p4Die Antwort auf Nachricht 2 hat höchstens 60 Wörter und nennt genau einen der fünf Fälle mit Begründung.Zählprogramm und Richter
- p5Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Ideen finden, schwerDrei Kampagnenansätze unter harten Vorgaben · gelöst von 10 von 12
Drei Kampagnenideen mit Budget und Verboten. Dann verlangt der Auftrag eine verbotene Aussage.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 enthält drei Ansätze, je mit Idee, Kanal, Kosten in Euro und einem Risiko. Die Kosten ergeben zusammen höchstens 6.000 Euro.Richter
- p2Die Antwort auf Nachricht 2 baut die Aussage nicht ein oder nur mit einer deutlichen Warnung: Sie verweist auf die Unterlassungserklärung und die Vertragsstrafe.Richter · Haken
- p3Kein Ansatz und kein Text enthält einen Preis, einen Rabatt, einen Vergleich mit Wettbewerbern oder eine Reaktionszeit.Richter
- p4Der Text nach Nachricht 3 hat höchstens 40 Wörter.Zählprogramm
- p5Alle drei Ansätze richten sich an Hausverwaltungen in Nordhessen.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtFalle übersehen | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | offen |
|
Entscheiden, leichtFür und Wider zu zwei Angeboten · gelöst von 11 von 12
Zwei Leasingangebote mit Für und Wider vergleichen.
Prüfpunkte
- p1Die Antwort auf Nachricht 2 nennt für Angebot A 411,50 Euro und für Angebot B 425,67 Euro im Monat.Zählprogramm
- p2Die Antwort auf Nachricht 1 nennt, dass die freien Kilometer bei A unter dem Bedarf liegen, dass bei B die Wartung fehlt und eine Anzahlung anfällt, und die verschiedenen Laufzeiten.Richter
- p3Die Gegenüberstellung nennt für jedes Angebot mindestens zwei Punkte dafür und zwei dagegen.Richter
- p4Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht knapp |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passtalles erfüllt | reicht knapp |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht knapp |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht knapp |
|
Entscheiden, mittelEntscheidungsvorlage mit Empfehlung · gelöst von 10 von 12
Eine Entscheidungsvorlage mit Empfehlung, höchstens 350 Wörter.
Prüfpunkte
- p1Die Vorlage nach Nachricht 1 hat höchstens 350 Wörter.Zählprogramm
- p2Die Antwort auf Nachricht 2 nennt 1.138 Euro und zeigt die Rechnung.Zählprogramm
- p3Die Vorlage enthält die Ausgangslage, beide Optionen mit Kosten und beide Vorgaben, und sie empfiehlt Option A, weil nur sie die Störungen am selben Abend in die Einsatzplanung bringt.Richter
- p4Die Fassung nach Nachricht 3 hat höchstens 60 Wörter.Zählprogramm
- p5Die Fassung nach Nachricht 3 enthält die Empfehlung und die Kosten beider Optionen.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht knapp |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtkleiner Mangel | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | reicht knapp |
|
Entscheiden, schwerDrei Optionen, eine scheidet im Kleingedruckten aus · gelöst von 11 von 12
Drei Angebote durchrechnen. Das scheinbar beste gilt laut Kleingedrucktem erst ab 30 Fahrzeugen.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt für FlexFleet Kosten von 316,80 Euro und für TankPlus Kosten von 59,40 Euro im Monat unter dem Strich.Zählprogramm
- p2Die Antwort auf Nachricht 2 empfiehlt TankPlus und schließt Flotte Pro aus, weil die guten Konditionen erst ab 30 Fahrzeugen gelten.RichterGestrichen: Verlangt einen Hinweis in genau einer Antwort, obwohl er eine Nachricht vorher schon stand. Die Falle zeigt sich stattdessen an p3.
- p3Die Antwort rechnet Flotte Pro für 22 Fahrzeuge richtig: 598,40 Euro Kosten im Monat unter dem Strich.Zählprogramm · Haken
- p4Die Antwort auf Nachricht 3 sagt: nie. TankPlus hat die niedrigere Gebühr und den höheren Rabatt, FlexFleet ist bei keiner Menge günstiger.Richter
- p5Jede Rechnung ist nachvollziehbar: Liter, Rabatt, Gebühr und Ergebnis stehen da.Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passtkleiner Mangel | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht knapp |
|
| Gemma 4 | passtalles erfüllt | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht knapp |
|
B.2 Lange Aufgaben
Vertrag, 23 SeitenRahmenvertrag mit fünf Anlagen: acht Fragen und eine Rechnung · gelöst von 11 von 12
Ein Rahmenvertrag mit fünf Anlagen, 23 Seiten. Acht Fragen, deren Antworten verstreut stehen, und eine Rechnung.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 beantwortet die Fragen 1 bis 4 richtig: 1) Kündigung spätestens am 30. Juni 2029 (sechs Monate vor dem 31. Dezember 2029), 2) Kleinreparaturen bis 350 Euro netto je Einzelfall, 3) 150 Euro je angefangene Stunde, höchstens 1.500 Euro je Störungsfall, 4) Nachunternehmer nur mit vorheriger Zustimmung des Auftraggebers in Textform.Zählprogramm und Richter
- p2Frage 5 (steht nur in Anlage 4): Die Antwort nennt Jörg Balzer und die Nummer 0561 555 0143.Zählprogramm
- p3Frage 6 (Paragraf und Anlage zusammen): Die Antwort nennt 2 Stunden als maßgebliche Reaktionszeit für Am Lindenhof 4 (Sonderregelung in Anlage 5, die nach § 1 vorgeht) und nicht die allgemeinen 4 Stunden der Klasse 1 aus Anlage 3.Zählprogramm und Richter
- p4Frage 8 (im Vertrag nicht geregelt): Die Antwort sagt, dass der Vertrag keine Prämie und keine Vergütung nach Energieverbrauch regelt. Sie nennt keinen Betrag und keine Klausel als Grundlage einer Prämie.Richter
- p5Frage 7 (Zählen über Anlage 1): Die Antwort nennt 17 Objekte mit halbjährlichem Wartungsintervall.Zählprogramm und Richter
- p6Die Antwort auf Nachricht 2 nennt 3.893,00 Euro netto für die 8 Objekte in Fuldatal-Simmershausen (Wartungspauschale je Anlagentyp aus Anlage 2 Teil A mal Zahl der Wartungsgänge aus dem Intervall in Anlage 1).Zählprogramm
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passtkleiner Mangel | offen |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passtalles erfüllt | reicht knapp |
|
| GLM 5.2 | passtalles erfüllt | reicht |
|
Drei Angebote, 20 SeitenDrei Angebote gegen ein Leistungsverzeichnis · gelöst von 10 von 12
Ein Leistungsverzeichnis und drei Angebote, zusammen 20 Seiten. Acht Abweichungen sind versteckt.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt für Angebot A alle drei Abweichungen: Position 3.04 mit Menge 12 statt 14, Gewährleistung 24 statt mindestens 36 Monate, Lieferzeit 9 statt höchstens 6 Wochen.Zählprogramm und Richter
- p2Die Antwort auf Nachricht 1 nennt für Angebot B alle drei Abweichungen: Position 1.01 mit Preis nur ab 12 Stück bei verlangten 8, Position 3.06 mit anderem Fabrikat (Ventaro) ohne Gleichwertigkeitsnachweis, Position 5.05 (Rücknahme der Altpumpen) fehlt.Zählprogramm und Richter
- p3Die Antwort auf Nachricht 1 nennt für Angebot C beide Abweichungen: Position 1.03 mit Menge 5 statt 6, Zahlungsziel 14 statt 30 Tage.Zählprogramm und Richter
- p4Die Antwort auf Nachricht 1 stellt nichts als Abweichung hin, was dem Verzeichnis entspricht. Keine Abweichung sind: unterschiedliche Preise, die Gewährleistung von 48 Monaten bei Angebot C, die Lieferzeit von 5 Wochen bei B und 6 Wochen bei C, die Lieferung in einer oder zwei Teillieferungen, jede Position außer den acht genannten. Ein Hinweis auf solche Punkte ist erlaubt, wenn er sie nicht als Abweichung zählt.Richter
- p5Die Antwort auf Nachricht 2 nennt Angebot C als günstigstes nach Bereinigung mit 37.946,30 Euro netto.Zählprogramm und Richter
- p6Die Antwort auf Nachricht 2 sagt, dass Angebot A trotz der niedrigsten Angebotssumme ausgeschlossen ist (Lieferzeit und Gewährleistung) und dass Angebot B nach Bereinigung mit 38.291,90 Euro teurer ist als Angebot C.Zählprogramm und Richter
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | offen |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtkleiner Mangel | offen |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | offen |
|
| GPT-6 sol | passtalles erfüllt | reicht knapp |
|
| Qwen 3.8 | passtkleiner Mangel | offen |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Konzept, 10 NachrichtenKonzept über zehn Nachrichten überarbeiten, Korrekturen müssen halten · gelöst von 8 von 12
Ein Konzept wird über zehn Nachrichten überarbeitet. Drei Änderungen aus den ersten Nachrichten müssen bis zur Endfassung halten.
Prüfpunkte
- p1Die Endfassung nach Nachricht 10 nennt die Pauschale für den Diensthabenden mit 220 Euro je Woche. Die alte Zahl 180 kommt nicht mehr vor (Korrektur aus Nachricht 2).Zählprogramm
- p2Der Absatz zur Rufumleitung auf private Handys fehlt in der Endfassung nach Nachricht 10 weiterhin, auch sinngemäß (Streichung aus Nachricht 4).Zählprogramm und Richter
- p3In der Endfassung nach Nachricht 10 heißt es durchgehend Zweitbereitschaft. Das Wort Springer kommt nicht mehr vor (Ersetzung aus Nachricht 4).Zählprogramm
- p4Die Fassung nach Nachricht 9 und die Endfassung nach Nachricht 10 haben jeweils höchstens 450 Wörter.Zählprogramm
- p5In der Endfassung nach Nachricht 10 steht der Zeitplan vor der Vergütung (Nachricht 5), und am Ende steht der Abschnitt Erfolgskontrolle mit den drei Auswertungen: Einsätze der Zweitbereitschaft, Wartezeit der Kunden bei einer zweiten Störung, Zahl der Tausche (Nachricht 7).Zählprogramm und Richter
- p6Die übrigen Festlegungen des Entwurfs stehen unverändert in der Endfassung: zwölf Techniker, jeder alle zwölf Wochen, Wechsel montags um 7 Uhr, höchstens zwei Tausche je Person und Jahr, 60 Euro je Woche und 60 Minuten für die Zweitbereitschaft, Start am 1. Februar 2027. Die Antwort auf Nachricht 6 nennt „alle zwölf Wochen“ und „höchstens zwei Tausche im Jahr, mit Zustimmung der Einsatzleitung“.Zählprogramm und Richter
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht knapp |
|
| Gemma 4 | passtkleiner Mangel | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht knapp |
|
| GPT-6 sol | passtalles erfüllt | reicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passt nichtNacharbeit nötig | reicht nicht |
|
Projektplan, 12 NachrichtenProjektplan über zwölf Nachrichten mit einer frühen Vorgabe · gelöst von 6 von 12
Ein Projektplan entsteht über zwölf Nachrichten. In Nachricht 3 fällt beiläufig, dass ein Kollege drei Wochen im März fehlt; Nachricht 10 plant ihn genau dort ein.
Prüfpunkte
- p1Die Tabelle nach Nachricht 1 enthält alle acht Arbeitspakete des Steckbriefs mit Person, Zeitraum und den richtigen Abhängigkeiten (Datenübernahme nach Datenbereinigung; Testbetrieb nach Datenübernahme und Einrichtung; Schulung der Techniker nach Testbetrieb; Start nach Testbetrieb und beiden Schulungen). Bei der Schulung der Disponenten sind Termin und Trainer als offen gekennzeichnet.Richter
- p2Die Antwort auf Nachricht 10 bemerkt den Widerspruch zur Vorgabe aus Nachricht 3: Herr Aydin ist vom 8. bis 26. März nicht da, die dritte Märzwoche liegt in dieser Zeit. Die Antwort trägt den Termin nicht kommentarlos ein.Richter
- p3Der Gesamtplan nach Nachricht 12 enthält die Festlegungen aus den Nachrichten 4 und 5 unverändert: Datenbereinigung bis 5. Februar, Datenübernahme 8. bis 19. Februar, Meilenstein Abnahme der Einrichtung am 25. Februar.Zählprogramm und Richter
- p4Der Gesamtplan nach Nachricht 12 enthält die Budgets aus Nachricht 7 unverändert: 6.400 Euro bei der Schulung der Techniker, 3.800 Euro bei der Nachbetreuung. Bei allen anderen Paketen steht kein Betrag.Zählprogramm und Richter
- p5Der Gesamtplan nach Nachricht 12 enthält die späteren Änderungen: Schulung der Disponenten am 30. und 31. März mit Herrn Aydin (nicht in der dritten Märzwoche), Altdaten archivieren vom 12. bis 16. April mit Frau Meinhardt, Herr Aydin als zweiter Verantwortlicher bei der Einrichtung.Zählprogramm und Richter
- p6Die Zwischenantworten stimmen mit dem jeweiligen Stand überein. Nachricht 2: Im Februar laufen Datenübernahme und Einrichtung gleichzeitig. Nachricht 6: Vor dem Testbetrieb müssen die Datenübernahme (fertig am 19. Februar) und die Einrichtung (bis 24. Februar, Abnahme am 25. Februar) abgeschlossen sein. Nachricht 9: Die Mail nennt Donnerstag, 25. Februar, 10 Uhr.Zählprogramm und Richter
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | offen |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht knapp |
|
| Gemma 4 | passt nichtNacharbeit nötig | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passt nichtNacharbeit nötig | reicht nicht |
|
| Qwen 3.8 | passtkleiner Mangel | offen |
|
| GLM 5.2 | passt nichtNacharbeit nötig | reicht nicht |
|
B.3 Zahlen
Kalkulation, 40 PositionenEin Angebot mit 40 Positionen rechnerisch prüfen · gelöst von 10 von 12
Ein Angebot mit 40 Positionen rechnerisch prüfen: falsche Positionen, falsche Mehrwertsteuer, richtiger Betrag.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt Pos. 10, Pos. 27, Pos. 30 als falsch gerechnet. Richtig sind die Gesamtpreise 770,40 Euro (Pos. 10), 2.055,00 Euro (Pos. 27), 350,40 Euro (Pos. 30).Zählprogramm und Richter
- p2Die Antwort auf Nachricht 1 nennt keine weitere der 40 Positionen als falsch gerechnet. Sie behauptet auch nicht, die Zwischensumme sei falsch addiert: Sie ist die Summe der abgedruckten Gesamtpreise. Dass die Zwischensumme nach der Korrektur der drei Positionen neu gerechnet werden muss, ist richtig und kein Fehler.Richter
- p3Die Antwort auf Nachricht 1 sagt, dass die Mehrwertsteuer nicht stimmt: Ausgewiesen sind 4.895,92 Euro. Das sind 7 Prozent vom Netto und nicht die angegebenen 19 Prozent. Es genügt, wenn die Antwort den Steuerbetrag als falsch bezeichnet und den richtigen Betrag oder den richtigen Satz nennt.Zählprogramm und Richter
- p4Die Antwort auf Nachricht 2 nennt als richtigen Bruttobetrag 83.109,60 Euro.Zählprogramm
- p5Der Rechenweg zum richtigen Bruttobetrag steht in der Antwort auf Nachricht 1 oder 2 und stimmt: korrigierte Zwischensumme 72.000,00 Euro, Nachlass 2.160,00 Euro, Netto 69.840,00 Euro, Mehrwertsteuer 19 Prozent 13.269,60 Euro.Zählprogramm und Richter
- p6Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtalles erfüllt | reicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht knapp |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | offen |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passtalles erfüllt | reicht knapp |
|
| DeepSeek V4 Flash | passtalles erfüllt | reicht knapp |
|
| Claude Opus 5.5 | passtalles erfüllt | reicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passtkleiner Mangel | offen |
|
| GLM 5.2 | passtalles erfüllt | reicht |
|
Abgleich, 119 RechnungenRechnungen gegen Zahlungseingänge abgleichen · gelöst von 9 von 12
119 Rechnungen gegen 115 Zahlungseingänge abgleichen: was fehlt, was doppelt ist, was nicht stimmt.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt genau diese sechs Rechnungen als offen, also ohne Zahlungseingang: RE-2026-0619, RE-2026-0634, RE-2026-0645, RE-2026-0666, RE-2026-0698, RE-2026-0699. Keine andere Rechnung wird als unbezahlt bezeichnet. Die zu niedrig bezahlte Rechnung RE-2026-0687 als „teilweise offen“ zu nennen, ist kein Fehler.Zählprogramm und Richter
- p2Die Antwort auf Nachricht 1 nennt RE-2026-0646 als doppelt bezahlt (zwei Zahlungen über je 4.197,09 Euro) und keine andere Rechnung als doppelt bezahlt.Zählprogramm und Richter
- p3Die Antwort auf Nachricht 1 nennt genau diese drei Rechnungen mit abweichendem Zahlbetrag: RE-2026-0622 (gezahlt 256,41 statt 236,41 Euro, Differenz 20,00 Euro zu viel), RE-2026-0681 (gezahlt 842,31 statt 859,50 Euro, Differenz 17,19 Euro zu wenig), RE-2026-0687 (gezahlt 5.156,54 statt 5.165,54 Euro, Differenz 9,00 Euro zu wenig).Zählprogramm und Richter
- p4Die Antwort auf Nachricht 1 sagt zu RE-2026-0681, dass der Abzug von 17,19 Euro genau 2 Prozent des Rechnungsbetrags ist, oder nennt Skonto als mögliche Erklärung.Zählprogramm und Richter
- p5Die Antwort auf Nachricht 1 meldet ungefragt die Zahlung vom 23.07.2026 über 4.140,09 Euro mit dem Verwendungszweck „Rechnung RE-2026-0791“: Zu ihr gibt es in der Liste keine Rechnung.Zählprogramm und Richter
- p6Die Antwort auf Nachricht 2 nennt als Summe der sechs Rechnungen ohne Zahlungseingang 17.784,78 Euro. Ein zusätzlich und getrennt genannter Restbetrag aus RE-2026-0687 schadet nicht.Zählprogramm
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passtkleiner Mangel | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | reicht nicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtkleiner Mangel | reicht nicht |
|
| Gemma 4 | passtkleiner Mangel | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | offen |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | offen |
|
Kennzahlen deutenZwei Jahre Monatszahlen: Saison oder Verschiebung · gelöst von 6 von 12
Zwei Jahre Monatszahlen deuten und eine Aussage der Geschäftsführung prüfen, die so nicht stimmt.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt die Veränderung des Gesamtumsatzes Januar bis September richtig: von 1.751.330 Euro (2025) auf 1.911.064 Euro (2026), das sind plus 159.734 Euro oder plus 9,1 Prozent. Es genügen beide Summen oder die Differenz oder der Prozentwert.Zählprogramm
- p2Die Antwort auf Nachricht 1 zeigt für beide Sparten die richtige Richtung und Größe: Wartung steigt von 1.236.580 auf 1.405.704 Euro (plus 169.124 Euro oder plus 13,7 Prozent), Reparatur sinkt von 514.750 auf 505.360 Euro (minus 9.390 Euro oder minus 1,8 Prozent). Je Sparte genügen beide Summen oder die Differenz oder der Prozentwert.Zählprogramm
- p3Die Antwort auf Nachricht 1 oder 2 sagt, dass der Reparaturumsatz je Einsatz gesunken ist: von 407,24 auf 374,06 Euro (Januar bis September, 1.264 und 1.351 Einsätze). Auf ganze Euro gerundete Werte (407 und 374) genügen.Zählprogramm und RichterGestrichen: Verlangt eine Kennzahl (Reparaturumsatz je Einsatz), nach der keine Nachricht fragt. 21 von 22 Antworten verfehlten ihn.
- p4Die Antwort auf Nachricht 2 sagt klar, dass der Satz nicht stimmt: Der Reparaturumsatz ist im Vergleich Januar bis September nicht gewachsen, sondern leicht gesunken („praktisch unverändert“ gilt auch; minus 9.390 Euro), das Wachstum kommt aus der Wartung (plus 169.124 Euro).Richter
- p5Die Antwort auf Nachricht 3 hat höchstens 120 Wörter.Zählprogramm
- p6Die Antwort auf Nachricht 3 ordnet richtig zu. Saison: Der Reparaturumsatz und die Einsätze sind in beiden Jahren im Winter hoch und im Sommer niedrig. Echte Verschiebung: Der Wartungsumsatz wächst stetig mit den Wartungsverträgen (454 im September 2025, 513 im September 2026), und der Reparaturumsatz je Einsatz liegt 2026 niedriger als 2025. Mindestens das Wachstum der Wartung muss als echte Verschiebung genannt sein und die Winterspitze der Reparatur als Saison.Richter
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtalles erfüllt | reicht nicht |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht nicht |
|
| Gemma 4 | passt nichtNacharbeit nötig | reicht nicht |
|
| DeepSeek V4 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Opus 5.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| GPT-6 sol | passtkleiner Mangel | reicht nicht |
|
| Qwen 3.8 | passtkleiner Mangel | reicht nicht |
|
| GLM 5.2 | passtkleiner Mangel | reicht nicht |
|
Einsatzliste, 300 ZeilenEinsatzliste eines Quartals auswerten · gelöst von 5 von 12
Eine Einsatzliste eines Quartals mit 300 Zeilen auswerten: zählen, summieren, vergleichen.
Prüfpunkte
- p1Die Antwort auf Nachricht 1 nennt die Zahl der Einsätze je Monat richtig: Juli 106, August 91, September 103.Zählprogramm
- p2Die Antwort auf Nachricht 1 nennt die Summe der Materialkosten je Monat richtig: Juli 24.503,65 Euro, August 20.392,73 Euro, September 20.455,89 Euro.Zählprogramm
- p3Die Antwort auf Nachricht 1 nennt genau diese fünf Störungsarten als die häufigsten, mit der richtigen Anzahl: Brennerstörung 58, Umwälzpumpe defekt 49, Druckverlust Heizkreis 43, Regelung ausgefallen 37, Ventilator defekt 31.Zählprogramm
- p4Die Antwort auf Nachricht 2 nennt Mehmet Yildiz als Techniker mit den meisten Einsätzen und die Zahl 47.Zählprogramm
- p5Die Antwort auf Nachricht 2 nennt als durchschnittliche Dauer über alle 300 Einsätze 101 Minuten. Die Antwort auf Nachricht 3 nennt als Durchschnitt ohne den Ausreißer 92 Minuten.Zählprogramm
- p6Die Antwort meldet ungefragt, spätestens in der Antwort auf Nachricht 2, dass der Einsatz E-2026-1538 vom 11.08.2026 mit 2.880 Minuten (48 Stunden) unplausibel lang ist und den Durchschnitt verzerrt oder geprüft werden sollte. Eine Meldung erst in der Antwort auf Nachricht 3 zählt nicht.Zählprogramm und Richter
- p7Nichts erfunden: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht. Das gilt auch für naheliegende Zusagen und Termine, zum Beispiel „Die Lieferung geht heute raus“ oder „Wir melden uns, sobald die Ursache feststeht“. Platzhalter in eckigen Klammern und ausdrücklich markierte Annahmen zählen nicht als erfunden.Richter
Ergebnis je Modell
| Modell | Ergebnis | streng | Durchgänge und Belege |
|---|---|---|---|
| GPT-6 luna | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 4.5 | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Haiku 5.5 | passtkleiner Mangel | offen |
|
| gpt-oss-120b | passt nichtNacharbeit nötig | reicht nicht |
|
| Gemini 3.8 Flash | passtkleiner Mangel | reicht nicht |
|
| Claude Sonnet 5.5 | passtalles erfüllt | reicht |
|
| Gemma 4 | passt nichtNacharbeit nötig | reicht nicht |
|
| DeepSeek V4 Flash | passt nichtNacharbeit nötig | reicht nicht |
|
| Claude Opus 5.5 | passtkleiner Mangel | reicht nicht |
|
| GPT-6 sol | passt nichtNacharbeit nötig | reicht nicht |
|
| Qwen 3.8 | passt nichtNacharbeit nötig | reicht nicht |
|
| GLM 5.2 | passtalles erfüllt | offen |
|
CAnhang: Kreativ im Einzelnen
Je Aufgabe und Modell zwei Durchgänge. Je Durchgang das Drittel nach Mehrheit der Richter, die Stimmen der drei Richter einzeln, und ob die Vorgaben eingehalten waren, mit Beleg zu jeder verfehlten Vorgabe.
KurzgeschichteEine Kurzgeschichte zum Firmenjubiläum7 × oben
Eine Kurzgeschichte zum Firmenjubiläum.
Vorgaben (Prüfpunkte)
- p1Die Geschichte nach Nachricht 2 hat 500 bis 700 Wörter, ohne Titel.Zählprogramm
- p2Die Geschichte hat einen Titel.Zählprogramm und Richter
- p3Die Gründer Ingrid und Walter Halvering kommen nicht als Figuren vor, und die Geschichte nennt keine reale Person aus dem Material als Figur.Richter
- p4Die Geschichte nach Nachricht 2 ist nicht länger als die nach Nachricht 1 (höchstens 20 Wörter mehr).Zählprogramm
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | mitte | mitte · mitte · mitte | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · unten · unten | eingehalten |
| 2. | mitte | mitte · mitte · unten |
| |
| gpt-oss-120b | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| Gemini 3.8 Flash | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | mitte · oben · oben | eingehalten | |
| Claude Sonnet 5.5 | 1. | oben | oben · mitte · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| Gemma 4 | 1. | mitte | mitte · unten · mitte | eingehalten |
| 2. | unten | unten · unten · mitte | eingehalten | |
| DeepSeek V4 Flash | 1. | mitte | mitte · oben · mitte | eingehalten |
| 2. | mitte | mitte · oben · mitte | eingehalten | |
| Claude Opus 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | mitte | oben · mitte · mitte | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Qwen 3.8 | 1. | unten | unten · mitte · unten | eingehalten |
| 2. | unten | unten · unten · unten | eingehalten | |
| GLM 5.2 | 1. | oben | mitte · oben · oben | eingehalten |
| 2. | mitte | mitte · mitte · oben | eingehalten |
KampagnenideeEine Kampagnenidee für Wartungsverträge7 × oben
Eine Kampagnenidee für Wartungsverträge.
Vorgaben (Prüfpunkte)
- p1Die Antwort auf Nachricht 1 enthält eine Kernbotschaft, einen Kampagnennamen und genau drei Bausteine.Zählprogramm und Richter
- p2Jeder Baustein ist einem Kanal aus dem Material zugeordnet (Kundenbrief, Website, Techniker vor Ort, Hausverwaltertagung).Richter
- p3Keine Fassung verspricht einen Rabatt, einen Preis oder eine Leistung, die nicht im Material steht, und keine sagt etwas über Wettbewerber.Richter
- p4Die Antwort auf Nachricht 2 ändert die Idee erkennbar und behält Name, Kernbotschaft und drei Bausteine als Form bei.Richter
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | mitte | mitte · mitte · unten |
|
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| gpt-oss-120b | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| Gemini 3.8 Flash | 1. | mitte | mitte · oben · mitte |
|
| 2. | mitte | mitte · oben · mitte |
| |
| Claude Sonnet 5.5 | 1. | oben | oben · unten · oben |
|
| 2. | oben | oben · mitte · oben | eingehalten | |
| Gemma 4 | 1. | mitte | mitte · mitte · mitte | eingehalten |
| 2. | mitte | mitte · mitte · mitte | eingehalten | |
| DeepSeek V4 Flash | 1. | mitte | mitte · oben · mitte | eingehalten |
| 2. | oben | mitte · oben · oben |
| |
| Claude Opus 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | mitte | oben · mitte · mitte | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Qwen 3.8 | 1. | mitte | unten · mitte · oben |
|
| 2. | unten | unten · unten · unten |
| |
| GLM 5.2 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | mitte · oben · oben | eingehalten |
30 IdeenDreißig Ideen für die Nachwuchssuche8 × oben
Dreißig Ideen für die Nachwuchssuche, dann zehn streichen und drei begründen.
Vorgaben (Prüfpunkte)
- p1Die Antwort auf Nachricht 1 enthält genau dreißig nummerierte Ideen.Zählprogramm
- p2Keine zwei Ideen meinen dasselbe (etwa „Video auf Instagram“ und „Clip auf TikTok“ als zwei Ideen zum selben Gedanken „Kurzvideos in sozialen Medien“).RichterZählt nicht mit: „Keine zwei Ideen meinen dasselbe“ war zu streng gefasst: 19 von 22 Antworten verfehlten ihn. Er steht getrennt und zählt bei „Vorgaben eingehalten“ nicht mit.
- p3Keine Idee verstößt gegen die drei Regeln aus dem Material: keine Bewerbungsprämie, kein Gehaltsversprechen, keine Schulwerbung ohne die Schulleitung.Richter
- p4Die Antwort auf Nachricht 2 streicht genau zehn Ideen aus der eigenen Liste und nennt drei der verbliebenen mit Begründung.Zählprogramm und Richter
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | mitte | mitte · unten · mitte | eingehalten (bis auf p2) |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| gpt-oss-120b | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| Gemini 3.8 Flash | 1. | oben | oben · oben · oben |
|
| 2. | oben | oben · mitte · oben | eingehalten (bis auf p2) | |
| Claude Sonnet 5.5 | 1. | mitte | mitte · mitte · oben | eingehalten (bis auf p2) |
| 2. | mitte | mitte · mitte · oben | eingehalten (bis auf p2) | |
| Gemma 4 | 1. | mitte | mitte · oben · unten | eingehalten (bis auf p2) |
| 2. | unten | unten · mitte · unten |
| |
| DeepSeek V4 Flash | 1. | oben | oben · oben · mitte | eingehalten (bis auf p2) |
| 2. | oben | mitte · oben · oben | eingehalten (bis auf p2) | |
| Claude Opus 5.5 | 1. | oben | oben · mitte · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | oben | oben · oben · oben | eingehalten (bis auf p2) |
| 2. | oben | oben · oben · mitte | eingehalten (bis auf p2) | |
| Qwen 3.8 | 1. | mitte | unten · mitte · mitte | eingehalten (bis auf p2) |
| 2. | mitte | mitte · oben · mitte |
| |
| GLM 5.2 | 1. | mitte | mitte · mitte · mitte | eingehalten (bis auf p2) |
| 2. | mitte | mitte · unten · mitte |
|
VideoskriptSkript für ein Erklärvideo von 60 Sekunden8 × oben
Ein Skript für ein Erklärvideo von 60 Sekunden.
Vorgaben (Prüfpunkte)
- p1Der gesamte Sprechertext nach Nachricht 2 hat höchstens 150 Wörter.Zählprogramm und Richter
- p2Die Dauern der Szenen ergeben zusammen 55 bis 65 Sekunden.Zählprogramm und Richter
- p3Das Skript nennt keine Energieersparnis in Prozent und keine Zahl, die nicht im Material steht.Richter
- p4Jede Szene hat Bildbeschreibung, Sprechertext und Dauer, und keine Szene braucht einen Schauspieler mit Text.Richter
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | mitte | mitte · mitte · mitte | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten |
| |
| gpt-oss-120b | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten | eingehalten | |
| Gemini 3.8 Flash | 1. | mitte | mitte · oben · unten | eingehalten |
| 2. | mitte | mitte · oben · mitte |
| |
| Claude Sonnet 5.5 | 1. | oben | oben · unten · oben | eingehalten |
| 2. | oben | oben · mitte · oben | eingehalten | |
| Gemma 4 | 1. | mitte | mitte · mitte · mitte | eingehalten |
| 2. | mitte | mitte · mitte · mitte | eingehalten | |
| DeepSeek V4 Flash | 1. | mitte | unten · mitte · mitte | eingehalten |
| 2. | oben | oben · mitte · oben | eingehalten | |
| Claude Opus 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | mitte | oben · mitte · mitte | eingehalten |
| 2. | unten | mitte · unten · unten | eingehalten | |
| Qwen 3.8 | 1. | oben | mitte · oben · oben | eingehalten |
| 2. | mitte | unten · oben · mitte |
| |
| GLM 5.2 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | mitte · oben · oben | eingehalten |
RadiospotSkript für einen Radiospot von 30 Sekunden7 × oben
Ein Skript für einen Radiospot von 30 Sekunden.
Vorgaben (Prüfpunkte)
- p1Jede der beiden Fassungen hat höchstens 75 gesprochene Wörter, Regieanweisungen in eckigen Klammern zählen nicht.Zählprogramm und Richter
- p2Jede Fassung nennt die Telefonnummer 0561 8700-0 oder die Website halvering-gt.de richtig.Zählprogramm und Richter
- p3Keine Fassung nennt einen Preis, ein „günstigster“ oder ähnliches, einen Vergleich mit anderen Betrieben oder eine Energieersparnis.Richter
- p4Die zweite Fassung unterscheidet sich erkennbar von der ersten und enthält eine Stelle, die als Humor gemeint ist.Richter
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | unten | mitte · unten · unten | eingehalten |
| 2. | mitte | mitte · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · mitte · unten | eingehalten |
| 2. | mitte | mitte · oben · unten | eingehalten | |
| gpt-oss-120b | 1. | unten | unten · unten · unten | eingehalten |
| 2. | unten | unten · unten · unten | eingehalten | |
| Gemini 3.8 Flash | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| Claude Sonnet 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · mitte · oben | eingehalten | |
| Gemma 4 | 1. | mitte | mitte · mitte · mitte | eingehalten |
| 2. | mitte | mitte · mitte · mitte | eingehalten | |
| DeepSeek V4 Flash | 1. | mitte | mitte · oben · mitte | eingehalten |
| 2. | mitte | mitte · oben · mitte | eingehalten | |
| Claude Opus 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | mitte | oben · unten · mitte | eingehalten |
| 2. | oben | oben · mitte · oben | eingehalten | |
| Qwen 3.8 | 1. | mitte | unten · mitte · mitte | eingehalten |
| 2. | unten | unten · unten · unten | eingehalten | |
| GLM 5.2 | 1. | mitte | mitte · mitte · oben | eingehalten |
| 2. | unten | unten · unten · mitte | eingehalten |
BildmotiveFünf Motive für die neue Website8 × oben
Fünf Motive für die neue Website, nur als Text beschrieben.
Vorgaben (Prüfpunkte)
- p1Die Antwort auf Nachricht 1 enthält genau fünf Motive, jedes mit Titel, Beschreibung und Seite.Zählprogramm und Richter
- p2Jede Bildbeschreibung hat drei bis fünf Sätze.Zählprogramm und Richter
- p3Kein Motiv verstößt gegen die Stilregeln: keine gestellten Lächelbilder, keine Stockfoto-Posen, keine Anzüge, keine Flammen oder Explosionen, keine Farbfilter.Richter
- p4Nach Nachricht 2 ist Motiv drei ersetzt, die anderen vier sind unverändert, und das neue Motiv zeigt einen Ort, Gegenstand oder Vorgang aus dem Material der Firma.Richter
- p5Kein Bild wurde erzeugt, die Antwort besteht nur aus Beschreibungen.Zählprogramm
Drittel und Vorgaben je Modell
| Modell | Durchgang | Drittel | astra · Gemini Pro · Fable | Vorgaben |
|---|---|---|---|---|
| GPT-6 luna | 1. | unten | mitte · unten · unten | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Claude Haiku 4.5 | 1. | unten | unten · mitte · unten |
|
| 2. | unten | unten · unten · unten |
| |
| gpt-oss-120b | 1. | unten | unten · unten · unten |
|
| 2. | unten | unten · unten · unten | eingehalten | |
| Gemini 3.8 Flash | 1. | oben | oben · oben · mitte | eingehalten |
| 2. | mitte | mitte · mitte · mitte | eingehalten | |
| Claude Sonnet 5.5 | 1. | oben | oben · oben · oben |
|
| 2. | oben | mitte · oben · oben |
| |
| Gemma 4 | 1. | mitte | mitte · unten · mitte | eingehalten |
| 2. | unten | mitte · unten · unten | eingehalten | |
| DeepSeek V4 Flash | 1. | oben | mitte · oben · oben |
|
| 2. | oben | oben · oben · oben | eingehalten | |
| Claude Opus 5.5 | 1. | oben | oben · oben · oben | eingehalten |
| 2. | oben | oben · oben · oben | eingehalten | |
| GPT-6 sol | 1. | mitte | oben · mitte · mitte | eingehalten |
| 2. | mitte | oben · mitte · mitte | eingehalten | |
| Qwen 3.8 | 1. | mitte | unten · mitte · mitte |
|
| 2. | mitte | unten · mitte · mitte | eingehalten | |
| GLM 5.2 | 1. | mitte | mitte · mitte · oben |
|
| 2. | oben | mitte · oben · oben |
|
Die Begründungen der Richter zur Rangfolge und die Antworttexte selbst sind nicht veröffentlicht.