• 1. Che cosa stai davvero rilasciando — perché una chiamata al modello sembra una funzione e non lo è, e quanto ti costa.
• 2. Casi: la risorsa che nessuno costruisce — ogni team ha un prompt, quasi nessuno ha dei casi. Che cos'è un caso, e come averne venti entro questo pomeriggio.
• 3. Ground truth: quando nessuno te ne dà una — da dove vengono le risposte corrette quando non ci sono dati etichettati, e perché la cosa si decide quando scrivi la funzionalità.
• 4. Check: prima i deterministici, il giudice per ultimo — come trasformare un output in un verdetto, e la regola che fa risparmiare più tempo: usa un modello per giudicare solo ciò che nient'altro può giudicare.
• 5. Il giudice — i due rumori, perché devi misurare quello del giudice prima di poter leggere quello del tuo sistema, e la procedura che sostituisce le congetture con un numero.
• 6. Il riferimento — una soglia non è un riferimento. L'unico numero che metti nero su bianco e in base al quale accetti di essere misurato.
• 7. Manutenzione — quando viene eseguita la suite, che cosa dovrebbe farti andare a guardare, e che fare la mattina in cui diventa rossa e non hai cambiato niente.
• 8. Per i team che sviluppano per altri — la stessa suite che svolge due compiti in più quando la funzionalità LLM appartiene a un cliente, e l'unica regola che non ammette eccezioni.