Sachmessung · Kapitel 2
Lange Aufgaben: 20 Seiten sind kein Problem, lange Chats schon
Zwei Dokumente mit rund 20 Seiten, zwei Chats über zehn und zwölf Nachrichten, zwölf Modelle
Kurz gesagt
Langes Material lesen die Modelle gut, im langen Chat geht etwas verloren. Den Vertrag mit 23 Seiten lösten 11 von 12 Modellen, die drei Angebote mit 20 Seiten 10. Im Projektplan über zwölf Nachrichten blieb eine früh und nebenbei genannte Vorgabe in 8 von 24 Versuchen unbemerkt. Beide Chat-Aufgaben lösten nur 5 von 12 Modellen.
- BasisFür ein langes Dokument reicht die Klasse Basis. GPT-6 luna löste Vertrag und Angebote. Bei Scaleway (EU) und STACKIT (Deutschland) gilt dasselbe für die Allrounder DeepSeek V4 Flash und Gemma 4. Mehr als rund 20 Seiten sind nicht gemessen.
- AllrounderFür lange Chats mit vielen Änderungen lohnt die Klasse Allrounder. Claude Sonnet 5.5 und Gemini 3.8 Flash lösten beide Chats, bei Scaleway (EU) DeepSeek V4 Flash. Die Klasse Premium brachte hier keinen Vorteil. Aus der Klasse Basis löste nur Claude Haiku 5.5 beide Chats, im Nachtest. Mit diesem Modell reicht auch hier Basis.
- STACKITKeines der drei Modelle bei STACKIT löste beide Chats. Dort helfen kurze Chats.
- HandgriffFrühe Vorgaben wiederholen, wenn sie später wieder zählen. Oder für das Ergebnis einen neuen Chat mit allen Vorgaben anfangen.
1Die vier Aufgaben
| Aufgabe | Worum es geht | gelöst von |
|---|---|---|
| Vertrag, 23 Seiten | Ein Rahmenvertrag mit fünf Anlagen, 23 Seiten. Acht Fragen, deren Antworten verstreut stehen, und eine Rechnung | 11 / 12 |
| Drei Angebote, 20 Seiten | Ein Leistungsverzeichnis und drei Angebote, zusammen 20 Seiten. Acht Abweichungen sind versteckt | 10 / 12 |
| Konzept, 10 Nachrichten | Ein Konzept wird über zehn Nachrichten überarbeitet. Drei Änderungen aus den ersten Nachrichten müssen bis zur Endfassung halten | 8 / 12 |
| Projektplan, 12 Nachrichten | Ein Projektplan entsteht über zwölf Nachrichten. In Nachricht 3 fällt beiläufig, dass ein Kollege drei Wochen im März fehlt; Nachricht 10 plant ihn genau dort ein | 6 / 12 |
Die Dokumente kamen als Text im Gespräch, so wie build.jetzt eine hochgeladene Datei an das Modell übergibt. Die Prüfpunkte je Aufgabe stehen im Bericht.
2Ergebnis je Modell
| Modell | Vertrag, 23 Seiten | Drei Angebote, 20 Seiten | Konzept, 10 Nachrichten | Projektplan, 12 Nachrichten | gelöst |
|---|---|---|---|---|---|
| Claude Haiku 5.5Basis · Nachtest 7. Oktober | 4 / 4 | ||||
| Claude Sonnet 5.5Allrounder | 4 / 4 | ||||
| Gemini 3.8 FlashAllrounder | 4 / 4 | ||||
| DeepSeek V4 FlashAllrounder · Scaleway, EU | 4 / 4 | ||||
| Claude Opus 5.5Premium | 4 / 4 | ||||
| GPT-6 solPremium | 3 / 4 | ||||
| GPT-6 lunaBasis | 3 / 4 | ||||
| Gemma 4Allrounder · STACKIT, Deutschland | 3 / 4 | ||||
| Qwen 3.8Premium · STACKIT, Deutschland | 3 / 4 | ||||
| GLM 5.2Premium · Scaleway, EU | 2 / 4 | ||||
| Claude Haiku 4.5Basis | 1 / 4 | ||||
| gpt-oss-120bBasis · STACKIT, Deutschland | 0 / 4 | ||||
| gelöst von | 11 | 10 | 8 | 6 |
- gelöst, ohne Mangel
- gelöst mit kleinem Mangel
- nicht gelöst
Die zwei linken Spalten sind die Dokumente, die zwei rechten die Chats. Bei vier Aufgaben ist ein Punkt Abstand zwischen zwei Modellen Zufall.
3Was sich zeigt
Ein Dokument von 20 Seiten ist kein Grund für eine teure Klasse. Im Vertrag standen die Antworten auf acht Fragen verstreut über Hauptteil und Anlagen, eine davon nur in einer Anlage, und eine Sonderregelung übersteuert einen Paragrafen. 11 von 12 Modellen fanden das. Bei den drei Angeboten mit acht versteckten Abweichungen waren es 10.
Ausdrückliche Korrekturen halten. Im Konzept mussten drei Änderungen aus den ersten Nachrichten bis zur Endfassung nach Nachricht 10 gelten. Nur in 2 von 26 Versuchen ging eine verloren. Ganz gelöst haben die Aufgabe 8 von 12 Modellen. Die anderen überschritten meist die Wortgrenze oder fügten etwas hinzu, das nicht im Entwurf stand.
Eine beiläufige Vorgabe geht verloren. Im Projektplan fällt in Nachricht 3 der Satz, dass ein Kollege drei Wochen im März fehlt. Nachricht 10 plant ihn genau dort ein. In 8 von 24 Versuchen bemerkte das Modell den Widerspruch nicht. Statt nachzufragen, trugen viele den Termin ein oder legten stillschweigend einen anderen fest.
In beiden Versuchen übersehen von: GPT-6 luna (Basis), gpt-oss-120b (Basis), GPT-6 sol (Premium).
Zusammen mit den vier Tabellen aus dem Kapitel Zahlen ergibt sich das Bild, das im Fazit steht: 5 Modelle lösten 7 oder 8 der 8 Aufgaben, 3 davon aus der Klasse Allrounder. Aus der Klasse Basis gelang das nur Claude Haiku 5.5 (8 von 8), GPT-6 luna löste 5.