Esempio pratico · Assicurazioni
L'ottimizzazione aiuta sul diritto del contratto d'assicurazione?
Non un'opinione — una misura. Abbiamo preso Apertus-8B ed eseguito la stessa ablazione a quattro vie che eseguiamo all'inizio di ogni Pilot, su un compito in cui la risposta può essere valutata esattamente: rispondere a domande sulla legge svizzera sul contratto d'assicurazione con una citazione all'articolo esatto su cui si basa. Il risultato: l'ottimizzazione più il retrieval porta l'asticella di produzione dal 18,8 % al 37,5 %.
L'impostazione
Quattro sistemi, un modello aperto.
Lo stesso Apertus-8B, quantizzato in modo identico a 4 bit, servito in modo identico. L'unica variabile è ciò che abbiamo aggiunto.
Base
Il modello aperto, così com'è consegnato.
+ Retrieval
Modello di base con retrieval BM25 sulla legge.
Ottimizzato
Calibrato con LoRA sul compito, senza retrieval.
Ottimizzato + retrieval
Il sistema completo.
Due cose vengono valutate, entrambe in modo deterministico — nessun giudice LLM: se la risposta è corretta, e se ha citato l'articolo corretto. L'asticella di produzione è entrambe insieme — una risposta giusta con una citazione errata o mancante è un fallimento, perché nel lavoro regolamentato lo è.
Il risultato
L'ottimizzazione più il retrieval è il sistema vincente.
16 domande verificate (10 tedesco, 6 francese). Le parentesi nel rapporto sono intervalli di confidenza al 95 %.
| Metrica | A · base | B · +RAG | C · ottim. | D · ottim.+RAG |
|---|---|---|---|---|
| Risposta + citazione (asticella di produzione) | 6.2% | 18.8% | 0.0% | 37.5% |
| Risposta corretta | 43.8% | 43.8% | 43.8% | 75.0% |
| Citazione corretta | 6.2% | 62.5% | 6.2% | 43.8% |
| Emette il formato richiesto | 0% | 0% | 94% | 69% |
Cosa apporta ogni livello
L'ablazione impedisce a chiunque — noi inclusi — di fare aria fritta.
Ogni scheda àncora un meccanismo a un numero della tabella qui sopra.
Il retrieval abilita la citazione
La citazione corretta sale dal 6,2 % al 62,5 % solo quando il retrieval è attivo. Un modello piccolo non può citare un numero di articolo che non ha mai visto — perciò entrambi i bracci senza retrieval restano vicini a zero sull'asticella di produzione, per quanto ben addestrati.
L'ottimizzazione abilita un output utilizzabile
Il modello di base conosce spesso la risposta (43,8 % con RAG) ma emette il formato a due righe richiesto, leggibile dalla macchina, solo lo 0 % delle volte. L'ottimizzazione lo rende affidabile (69 %) e porta la citazione sotto retrieval al 43,8 %.
La sola ottimizzazione non basta
Il braccio C — ottimizzato, senza retrieval — raggiunge il 94 % di formato ma solo il 6,2 % di citazione e il 43,8 % di risposta: il modello impara come rispondere, non i fatti esatti. Il sistema vincente è la combinazione, il braccio D al 37,5 %.
I limiti onesti
Cosa questo non pretende.
Una valutazione di cui potete fidarvi nomina i propri punti deboli.
37,5 % è un pavimento, non un soffitto. Un modello piccolo, 4 bit, una singola modesta esecuzione LoRA, retrieval BM25 deliberatamente semplice, un set di valutazione verificato compatto (n=16). Ognuno di questi è una leva che un vero Pilot aziona.
La sola ottimizzazione può regredire. L'accuratezza di risposta del braccio C è sotto il modello di base — prova che l'ottimizzazione senza retrieval è lo strumento sbagliato per i compiti a citazione esatta. Lo pubblichiamo anziché nasconderlo.
Il metodo è il prodotto, non il numero. Il vostro compito, i vostri documenti, esattamente questa ablazione — eseguita prima che vi impegniate in produzione, così che il go/no-go poggi sulla misura, non su una promessa.
FAQ
Su questo rapporto.
È sui nostri dati?
Perché il modello di base è così debole qui?
C'è un giudice LLM?
Lo volete sul vostro compito?
Portate un workflow e i documenti che lo sostengono. Costruiremo il set di valutazione ed eseguiremo questa ablazione — sui vostri dati, nella vostra giurisdizione.