• 0. Vor dem Prompt — die vier Entscheidungen, die vor dem Prompt kommen und darüber entscheiden, ob das Feature überhaupt messbar ist. Das eine Kapitel, das dich bittet, zu ändern, was du baust, statt es zu messen.
• 1. Was du tatsächlich auslieferst — warum ein Modellaufruf wie eine Funktion aussieht und keine ist, und was dich das kostet.
• 2. Fälle: das Kapital, das niemand aufbaut — jedes Team hat einen Prompt, fast keines hat Fälle. Was ein Fall ist und wie du bis heute Nachmittag zwanzig davon hast.
• 3. Ground Truth: wenn dir niemand eine gibt — woher die richtigen Antworten kommen, wenn es keine gelabelten Daten gibt, und warum sich das entscheidet, während du das Feature schreibst.
• 4. Checks: erst deterministisch, der Richter zuletzt — wie aus einer Ausgabe ein Urteil wird, und die Regel, die am meisten Zeit spart: lass ein Modell nur das beurteilen, was sonst nichts beurteilen kann.
• 5. Der Richter — die zwei Arten von Rauschen, warum du das des Richters messen musst, bevor du das deines Systems lesen kannst, und das Verfahren, das Raten durch eine Zahl ersetzt.
• 6. Die Referenz — ein Schwellenwert ist keine Referenz. Die eine Zahl, die du festhältst und an der du dich messen lässt.
• 7. Wartung — wann die Suite läuft, was dich hinsehen lassen sollte, und was an dem Morgen zu tun ist, an dem sie rot wird und du nichts geändert hast.
• 8. Für Teams, die für andere entwickeln — dieselbe Suite mit zwei weiteren Aufgaben, wenn das LLM-Feature einem Kunden gehört, und die eine Regel, von der nicht abgewichen werden darf.