Büroalltag: Die Klasse Basis reicht, wenn das Modell stimmt

Kurz gesagt

Kurze Büroaufgaben lösen die meisten Modelle verlässlich, auch das günstigste. 8 von 12 kamen auf 23 oder 24 von 24, zwei weitere liegen knapp dahinter. Deutlich ab fallen Claude Haiku 4.5 (10) und gpt-oss-120b (15), beide aus der Klasse Basis. Die Klasse Basis reicht also, aber nicht mit jedem Modell. Wie sehr es am Modell hängt, zeigt der Nachfolger von Haiku 4.5: Claude Haiku 5.5, am 7. Oktober erschienen, löste im Nachtest alle 24.

• Basis
  Ohne Standortbindung: GPT-6 luna oder Claude Haiku 5.5. GPT-6 luna löste 23 von 24 und fügte in 94 % der Versuche nichts hinzu, Claude Haiku 5.5 im Nachtest 24 von 24 und 78 %.
• Allrounder
  Bei Scaleway (EU): DeepSeek V4 Flash. 24 von 24 gelöst. Ein Modell der Klasse Basis von Scaleway war nicht in der Messung.
• Allrounder
  Bei STACKIT (Deutschland): Gemma 4. 21 von 24 gelöst, in 91 % der Versuche nichts hinzugefügt.
• Klasse höher
  Beim Prüfen gegen Vorgaben. Den Haken im Vertrag, der sich nur aus zwei Paragrafen zusammen ergibt, übersahen auch GPT-6 luna und Gemma 4. Claude Haiku 5.5 fand ihn.
• Handgriff
  Im Auftrag sagen, was nicht dazugehört. Der häufigste Mangel war kein Fehler in der Sache, sondern ein hinzugefügter Termin oder eine Zusage. Teure Modelle tun das öfter als günstige.

1Die 24 Aufgaben

Acht Tätigkeiten, jede in drei Arten, zum Aufklappen. Alle Aufgaben spielen in einer erfundenen Firma für Gebäudetechnik in Kassel. Jede besteht aus zwei oder drei Nachrichten: erst der Auftrag mit Material, dann „kürzer“, „förmlicher“ oder eine Rückfrage.

Leicht, mittel, schwer beschreiben die Art der Aufgabe, keine gemessene Rangfolge. Leicht ist ein klarer Auftrag mit einer oder zwei Vorgaben. Mittel heißt viele Vorgaben zugleich oder mehr Material. Schwer heißt: ein versteckter Haken, den niemand ansagt.

2Ergebnis je Modell

Eine Aufgabe gilt als gelöst, wenn in zwei Versuchen höchstens ein Prüfpunkt verfehlt war. „Ohne Mangel“ heißt: kein einziger Prüfpunkt verfehlt.

Die Klassen bilden keine Stufenleiter. GPT-6 luna (Basis) liegt gleichauf mit den Allroundern und den Premium-Modellen. Claude Haiku 4.5 steht in derselben Klasse und löste weniger als die Hälfte, ohne Denkstufe, weil das Modell keine kennt. Sein Nachfolger Claude Haiku 5.5 denkt mit und löste alle 24. Ein Modellwechsel am Erscheinungstag machte aus dem Schlusslicht ein Spitzenmodell, in derselben Klasse. Bei STACKIT liegen Gemma 4 (Allrounder, 21) und Qwen 3.8 (Premium, 20) gleichauf. Wer in build.jetzt eine Klasse wählt, wählt einen Preis. Welches Modell dahintersteht, entscheidet über die Leistung.

3Ergebnis je Aufgabe

Je Tätigkeit drei Punkte, in der Reihenfolge leicht, mittel, schwer. Welche Prüfpunkte verfehlt waren und was die Richter dazu zitiert haben, steht im Bericht.

Was auffällt: Die leichten Aufgaben trennen kaum, die mittleren und schweren schon. Bei den mittleren scheitert es meist an einer von vielen Vorgaben, bei den schweren am Haken. Die Zeile „gelöst von“ nennt je Aufgabe, wie viele der 12 Modelle sie lösten.

4Nichts hinzufügen

Der häufigste Mangel war kein Fehler in der Sache. Das Modell fügt etwas Naheliegendes hinzu, das niemand gesagt hat. Ein Prüfpunkt stand deshalb bei jeder Aufgabe: Die Antwort stellt keine Ursache, keinen Termin, keinen Betrag und keine Zusage als Tatsache hin, die weder im Material noch in den Nachrichten steht.

Drei Modelle setzen sich ab, und der Preis erklärt es nicht. GPT-6 luna (Basis), GPT-6 sol (Premium) und Gemma 4 (Allrounder) fügten in über 90 % der Versuche nichts hinzu. Claude Opus 5.5 (Premium) kam auf 72 %. Bei einer Mail an eine Kundin ist ein hinzugefügter Termin kein Schönheitsfehler. Er ist eine Zusage, die jemand einhalten muss.

5Der übersehene Haken

Sieben der acht schweren Aufgaben haben einen gewerteten Haken. Bei der achten (zwei Tabellen, ein Monat fehlt) war der Prüfpunkt falsch gefasst und ist gestrichen, Begründung im Bericht. Die Tabelle nennt die Modelle, die den Haken in zwei Versuchen übersahen.

Zehn von zwölf Modellen bemerkten fast jeden Haken. Die Ausnahmen sind deutlich: gpt-oss-120b übersah 5 der sieben, Claude Haiku 4.5 3. Die Mail zur Preiserhöhung etwa schrieben beide wie bestellt, obwohl sie ohne den Hinweis auf das Kündigungsrecht unwirksam wäre. Den Feiertags-Haken im Vertrag übersahen dagegen auch GPT-6 luna und Gemma 4.

Sobald das Material lang wird oder der Chat über viele Nachrichten läuft, verschiebt sich das Bild. Das zeigen die Kapitel Lange Aufgaben und Zahlen.