Sonnet 5.5 vs. Opus 5.5 im API-Test: Was 132 Aufrufe belegen und was nicht

Dieser Artikel beschreibt einen kleinen, reproduzierbaren Vergleich der Modelle claude-sonnet-5-5 und claude-opus-5-5. Er zeigt die Methodik, die Zahlen und vor allem die Stellen, an denen die Methodik selbst Grenzen hat. Die Ergebnisse sind schnell zusammengefasst: Bei den überprüfbaren Aufgaben waren beide Modelle gleich korrekt. Opus war langsamer und schrieb mehr Text. Mehr Gewicht liegt hier aber auf dem Vorgehen.

Aufbau des Tests

Beide Modelle wurden über die OpenAI-kompatible Schnittstelle unter https://api.crazyrouter.com/v1 aufgerufen, Endpunkt /chat/completions. Insgesamt gab es 132 Aufrufe, alle mit HTTP 200. Der Testlauf fand am 9. November 2026 statt.

Die Aufgaben bestanden aus zwei Gruppen. Die erste umfasste 14 übliche Entwicklungsaufgaben, etwa einen LRU-Cache, eine Log-Auswertung, Bugfixes, Umformung von Text in JSON und ein Werkzeug-Aufruf-Szenario. Die zweite Gruppe umfasste 8 schwerere Aufgaben: eine Fehlerbehebung über drei Dateien, ein Suffix-Array mit einer Laufzeitgrenze von drei Sekunden bei 200.000 Zeichen, einen Token-Bucket-Limiter, Schedulingregeln und eine Zählaufgabe.

Jede Aufgabe lief dreimal pro Modell. Prompt, Systemnachricht (keine) und Temperatur (Standard) waren identisch. Es wurde kein effort-Parameter gesetzt, sondern der Standardwert der Schnittstelle verwendet.

Bewertung

Code wurde mit versteckten Unit-Tests geprüft. Antworten mit einer einzigen richtigen Lösung wurden exakt verglichen. Bei Werkzeugaufrufen wurden Funktionsname und Argumente geprüft. Die Regeln für die Bewertung wurden vor dem Lauf festgelegt und in einem Preregistrierungsdokument mit Hash-Werten festgehalten.

Nach dem Lauf wurden zwei Änderungen vorgenommen, die ich offenlegen möchte. Der Referenzwert für die Aufgabe mit dem langen Dokument hatte zwei gültige Bedingungen nicht berücksichtigt, und die Prüfung auf Ablenkungen zählte auch Erklärungstabellen mit. Beides wurde korrigiert, und beide Korrekturen sind in einer Änderungsliste dokumentiert. An den Modellausgaben wurde nichts verändert. Der Hinweis dient dazu, dass Leser die Korrekturen nachvollziehen können. Eine Bewertung, bei der Regeln nach Sichtung der Ergebnisse geändert werden können, ist eine Schwäche, die man nur durch vorab festgelegte Regeln vermeidet.

Ergebnisse

Der Score von 9,58 bei Sonnet entsteht durch einen einzigen Lauf, bei dem der Code das Paket numpy importierte, das in der Testumgebung nicht installiert war. Mit installiertem Paket bestand derselbe Code alle vier Tests. Das ist ein Umgebungsproblem, kein Algorithmusfehler. Ohne diese Korrektur wären die Werte gleich.

Die Werkzeugaufrufe zeigten ein gemeinsames Problem. Nachdem ein Werkzeug Wetterdaten geliefert hatte, fragte der Nutzer zusätzlich, ob er einen Regenschirm braucht. Beide Modelle lösten nur den nächsten Werkzeugaufruf aus und beantworteten die Textfrage nicht. Das ist eine Frage der Prompt- und Anwendungslogik.

Was die Zahlen nicht zeigen

Insgesamt gab es 22 Aufgaben mit je drei Durchläufen. Das reicht für eine Aussage über die getesteten Aufgaben, nicht für eine Aussage über Modelle allgemein. Offene Aufgaben wie Architekturentscheidungen oder Langtextverfassung wurden nicht mit einer belastbaren Methode bewertet.
Die Latenz hängt von Netzwerk und Auslastung ab. Die Zahlen sind deshalb nur als Größenordnung zu verstehen. Die Aufrufe liefen über eine gemeinsame Gateway-Schnittstelle, die Ergebnisse können daher von direkten Aufrufen beim Anbieter abweichen. Preise wurden in diesem Test nicht geprüft; bitte den offiziellen Preisseiten entnehmen.

Reproduktion

Der Ablauf lässt sich mit eigenen Aufgaben wiederholen: Fixe Regeln vor dem Lauf festlegen, jede Aufgabe mehrfach ausführen, usage und finish_reason für jeden Aufruf speichern und Korrekturen am Bewertungsmaßstab getrennt von den Ergebnissen dokumentieren. Die Modellliste erreicht man über die Crazyrouter-Dokumentation zur Modellliste, die aktuell verfügbaren Modelle für das eigene Konto zeigt das Modellverzeichnis.

Die wichtigste Erkenntnis aus diesem Test ist unspektakulär: Eine Bewertung ist nur so gut wie die Regeln, die vor dem Lauf feststehen.