Confrontare più modelli

Che cos'è

Una singola valutazione risponde alla domanda “questo ciclo di addestramento è stato utile?”. Prima o poi si presenta una domanda diversa: quale di questi modelli dovremmo utilizzare? Forse un modello open-weight distillato, un modello ottimizzato con rinforzo su un provider e un modello ottimizzato in base alle preferenze su un altro. Le loro valutazioni separate non possono rispondere, perché ognuna ha utilizzato le proprie domande, forse il proprio giudice — e un 4.0 di una configurazione non equivale a un 4.0 di un'altra.

Un confronto fissa le condizioni in modo che i numeri siano allineati. È la stessa idea delle classifiche pubbliche come HELM e Chatbot Arena — un test condiviso, applicato allo stesso modo a ogni concorrente — ridimensionato alle proprie domande.

Come funziona

1. Selezionare le domande una sola volta: le domande di test trattenute di una preparazione, le sue domande di convalida o un set di dati.
2. Eseguire una valutazione per modello esattamente su quelle domande, confrontando comunque ogni modello con la propria base (o con un checkpoint, oppure valutato singolarmente).
3. Classificare i modelli in base al punteggio medio del giudice e mostrare la risposta di ogni modello per ciascuna domanda accanto al riferimento.

answer score   = mean(correctness, helpfulness, tone, format)     1–5
model score    = mean of its answer scores over the shared questions
ranking        = models judged the same way, highest model score first

La classifica è il riepilogo; la vista per singola domanda è dove si impara. Vedere la risposta di ogni modello alla stessa domanda accanto al proprio riferimento mostra cosa sbaglia ancora il modello migliore e se il divario tra due modelli deriva da poche domande o da tutte.

Domande eque

Fianco a fianco o singolarmente: due scale

Lo stesso giudice assegna punteggi notevolmente inferiori a una risposta letta da sola rispetto allo stesso tipo di risposta letta accanto a un'altra — nelle misurazioni di Scalata, circa un punto intero sulla scala 1–5 per lo stesso modello. Pertanto, un confronto classifica solo i modelli che sono stati giudicati allo stesso modo. Un modello valutato singolarmente viene elencato separatamente e contrassegnato come non paragonabile. Per mantenere in classifica un modello la cui base non è più disponibile, è preferibile confrontarlo con uno dei suoi checkpoint.

Indipendenza del giudice

Non utilizzare uno dei modelli confrontati — o la sua base — come giudice. I giudici valutano meglio i testi che assomigliano al proprio stile di scrittura, quindi la famiglia del giudice otterrebbe un vantaggio silenzioso. Scegliere un giudice da una famiglia a cui non appartiene nessuno dei concorrenti e mantenerlo invariato per l'intero confronto.

Costi e tempi

Un confronto costa la somma delle sue valutazioni: le risposte di ogni modello, le risposte della sua baseline e le decisioni del giudice, oltre all'hosting nel caso in cui un modello necessiti di un deployment temporaneo.

Impostazioni

Errori comuni

• Classificare modelli da valutazioni separate che hanno utilizzato domande o giudici diversi.
• Utilizzare domande trattenute da una preparazione per un modello addestrato su un'altra, che potrebbe averle già viste.
• Classificare un modello valutato singolarmente rispetto a modelli giudicati fianco a fianco.
• Lasciare che uno dei concorrenti, o la sua base, funga da giudice.
• Scegliere un vincitore per pochi decimi di punto senza leggere le risposte alle singole domande.

Riferimenti e letture di approfondimento

Le fonti esterne si aprono in una nuova scheda.

1. 01Holistic Evaluation of Language Models↗Liang et al., 2022 · arXiv · arxiv.orgConfrontare molti modelli negli stessi scenari e con le stesse metriche, in modo che i risultati siano allineati.
2. 02Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference↗Chiang et al., 2024 · arXiv · arxiv.orgClassificare molti modelli in base a giudizi a coppie su prompt condivisi.
3. 03LLM Evaluators Recognize and Favor Their Own Generations↗Panickssery et al., 2024 · arXiv · arxiv.orgPerché il giudice non deve essere uno dei concorrenti.
4. 04Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations↗Miller, 2024 · arXiv · arxiv.orgPerché un piccolo divario tra due modelli su poche domande potrebbe essere rumore.

Concetti correlati