Sachmessung · Kapitel 3
Zahlen: Bis 100 Zeilen geht es gut, bei 300 kaum noch
Vier Aufgaben mit Tabellen, wie sie aus Excel oder CSV kommen, zwölf Modelle, kein Rechenwerkzeug
Kurz gesagt
Bis etwa 100 Zeilen rechnen die meisten Modelle richtig, bei 300 nicht mehr. Die Kalkulation mit 40 Positionen lösten 10 von 12 Modellen, den Abgleich von 119 Rechnungen 9, die Einsatzliste mit 300 Zeilen nur 5. Gemessen ohne Rechenwerkzeug: Die Tabelle wurde in Text umgewandelt, und das Modell rechnete selbst. Seit dem 18. Oktober 2026 rechnet build.jetzt nicht mehr im Modell. Eine angehängte Tabelle geht in eine Datenbank, der Assistant fragt sie per SQL ab, und das Modell formuliert nur noch die Antwort. Das gilt für 5.000 Zeilen genauso wie für 40, auch im sicheren Chat.
- BasisFür Tabellen bis etwa 100 Zeilen reicht die Klasse Basis. Kalkulation und Abgleich lösten 9 von 12 Modellen, auch GPT-6 luna und, bei STACKIT in Deutschland, Gemma 4.
- AllrounderFür größere Tabellen die Klasse Allrounder, und nachrechnen. Claude Sonnet 5.5 löste alle vier Aufgaben, bei Scaleway (EU) GLM 5.2 aus der Klasse Premium. Aus der Klasse Basis gelang das Claude Haiku 5.5 im Nachtest, die 300 Zeilen in beiden Versuchen auf den Cent. Auch diese Modelle verrechnen sich bei einzelnen Werten.
- STACKITKeines der drei Modelle bei STACKIT löste die 300 Zeilen.
- HandgriffGalt bis zum 18. Oktober 2026: große Tabellen vorher verdichten, etwa als Pivot in Excel. Seitdem hängen Sie die Tabelle einfach an, der Assistant rechnet sie in einer Datenbank.
1Die vier Aufgaben
| Aufgabe | Worum es geht | gelöst von |
|---|---|---|
| Kalkulation, 40 Positionen | Ein Angebot mit 40 Positionen rechnerisch prüfen: falsche Positionen, falsche Mehrwertsteuer, richtiger Betrag | 10 / 12 |
| Abgleich, 119 Rechnungen | 119 Rechnungen gegen 115 Zahlungseingänge abgleichen: was fehlt, was doppelt ist, was nicht stimmt | 9 / 12 |
| Kennzahlen deuten | Zwei Jahre Monatszahlen deuten und eine Aussage der Geschäftsführung prüfen, die so nicht stimmt | 6 / 12 |
| Einsatzliste, 300 Zeilen | Eine Einsatzliste eines Quartals mit 300 Zeilen auswerten: zählen, summieren, vergleichen | 5 / 12 |
Die Sollwerte stammen aus dem Programm, das die Tabellen erzeugt hat. Ein Prüfpunkt der Kennzahlen-Aufgabe ist gestrichen: Er verlangte eine Kennzahl, nach der keine Nachricht fragt (Begründung im Bericht).
2Ergebnis je Modell
| Modell | Kalkulation, 40 Positionen | Abgleich, 119 Rechnungen | Kennzahlen deuten | Einsatzliste, 300 Zeilen | gelöst |
|---|---|---|---|---|---|
| Claude Haiku 5.5Basis · Nachtest 7. Oktober | 4 / 4 | ||||
| Claude Sonnet 5.5Allrounder | 4 / 4 | ||||
| GLM 5.2Premium · Scaleway, EU | 4 / 4 | ||||
| Gemini 3.8 FlashAllrounder | 3 / 4 | ||||
| DeepSeek V4 FlashAllrounder · Scaleway, EU | 3 / 4 | ||||
| Claude Opus 5.5Premium | 3 / 4 | ||||
| GPT-6 solPremium | 3 / 4 | ||||
| GPT-6 lunaBasis | 2 / 4 | ||||
| Gemma 4Allrounder · STACKIT, Deutschland | 2 / 4 | ||||
| Qwen 3.8Premium · STACKIT, Deutschland | 2 / 4 | ||||
| Claude Haiku 4.5Basis | 0 / 4 | ||||
| gpt-oss-120bBasis · STACKIT, Deutschland | 0 / 4 | ||||
| gelöst von | 10 | 9 | 6 | 5 |
- gelöst, ohne Mangel
- gelöst mit kleinem Mangel
- nicht gelöst
Bei vier Aufgaben ist ein Punkt Abstand zwischen zwei Modellen Zufall. Belastbar ist, welche Aufgabe wie viele Modelle lösten.
3Was sich zeigt
Bis etwa 100 Zeilen geht es gut. In der Kalkulation waren drei Positionen falsch gerechnet und die Mehrwertsteuer falsch angesetzt. 10 von 12 Modellen fanden alles und nannten den richtigen Betrag. Den Abgleich von 119 Rechnungen mit 115 Zahlungen schafften 9.
Bei 300 Zeilen bricht es ein. Die Einsatzliste lösten nur Claude Haiku 5.5 (Basis), Gemini 3.8 Flash (Allrounder), Claude Sonnet 5.5 (Allrounder), Claude Opus 5.5 (Premium), GLM 5.2 (Premium). Zählen und Summieren über so viele Zeilen misslingt den meisten, auch GPT-6 sol aus der Klasse Premium, während Claude Haiku 5.5 aus der Klasse Basis es schaffte. Das ist weniger eine Frage der Klasse als eine Lücke im Werkzeugkasten.
Zahlen deuten ist schwerer als Zahlen finden. Bei den Kennzahlen sollte ein Satz der Geschäftsführung geprüft werden: Das Wachstum komme aus dem Reparaturgeschäft. Tatsächlich kam es aus der Wartung. 6 von 12 lösten die Aufgabe ganz: Claude Haiku 5.5, Claude Sonnet 5.5, DeepSeek V4 Flash, GPT-6 sol, Qwen 3.8, GLM 5.2. Die meisten anderen erkannten den falschen Satz, rechneten aber bei den Vergleichszahlen daneben.
4Was das für build.jetzt heißt
Der Befund betrifft das Produkt mehr als die Modelle. Ein Assistent, der eine Tabelle mit 300 Zeilen bekommt und die Summe „im Kopf“ bildet, liegt meistens daneben, egal mit welchem Modell. Ein Werkzeug, das die Rechnung ausführt, statt sie zu schätzen, fehlt build.jetzt heute. Ob und wie es kommt, ist nach dieser Messung eine offene Frage für die nächste Etappe, nicht entschieden.
Die Messung bleibt so stehen, wie sie gelaufen ist. Kommt ein Rechenwerkzeug, wird diese Aufgabe neu gemessen.