• 1. Was du tatsächlich auslieferst — warum ein Modellaufruf wie eine Funktion aussieht und keine ist, und was dich das kostet.
• 2. Fälle: das Kapital, das niemand aufbaut — jedes Team hat einen Prompt, fast keines hat Fälle. Was ein Fall ist und wie du bis heute Nachmittag zwanzig davon hast.
• 3. Ground Truth: wenn dir niemand eine gibt — woher die richtigen Antworten kommen, wenn es keine gelabelten Daten gibt, und warum sich das entscheidet, während du das Feature schreibst.
• 4. Checks: erst deterministisch, der Richter zuletzt — wie aus einer Ausgabe ein Urteil wird, und die Regel, die am meisten Zeit spart: lass ein Modell nur das beurteilen, was sonst nichts beurteilen kann.
• 5. Der Richter — die zwei Arten von Rauschen, warum du das des Richters messen musst, bevor du das deines Systems lesen kannst, und das Verfahren, das Raten durch eine Zahl ersetzt.
• 6. Die Referenz — ein Schwellenwert ist keine Referenz. Die eine Zahl, die du festhältst und an der du dich messen lässt.
• 7. Wartung — wann die Suite läuft, was dich hinsehen lassen sollte, und was an dem Morgen zu tun ist, an dem sie rot wird und du nichts geändert hast.
• 8. Für Teams, die für andere entwickeln — dieselbe Suite mit zwei weiteren Aufgaben, wenn das LLM-Feature einem Kunden gehört, und die eine Regel, von der nicht abgewichen werden darf.