Durchgerechnetes Beispiel · Evaluation
Hilft das Fine-Tuning eines kleinen Modells wirklich?
Keine Meinung — eine Messung. Wir nahmen Apertus-8B und führten dieselbe Vier-Wege-Ablation durch, die wir zu Beginn jedes Piloten durchführen, auf einer Aufgabe, deren Antwort sich exakt bewerten lässt: Fragen zu Schweizer FINMA-Rundschreiben beantworten mit einer Fundstelle auf die exakte Randziffer, auf der sie beruht. Das Ergebnis: Fine-Tuning plus Retrieval verdoppelt die produktive Messlatte — 22,4 % auf 45,4 %.
Der Aufbau
Vier Systeme, ein offenes Modell.
Dasselbe Apertus-8B, identisch auf 4-Bit quantisiert, identisch ausgeliefert. Die einzige Variable ist, was wir hinzugefügt haben.
Basis
Das offene Modell, wie ausgeliefert.
+ Retrieval
Basismodell mit BM25-Retrieval über die Rundschreiben.
Feinabgestimmt
LoRA-abgestimmt auf die Aufgabe, kein Retrieval.
Feinabgestimmt + Retrieval
Das vollständige System.
Zwei Dinge werden bewertet, beide deterministisch — kein LLM-Richter: Ist die Antwort korrekt, und hat sie die korrekte Rz im korrekten Rundschreiben zitiert. Die produktive Messlatte ist beides zugleich — eine richtige Antwort mit falscher oder fehlender Fundstelle ist ein Fehler, denn in regulierter Arbeit ist sie einer.
Das Ergebnis
Fine-Tuning plus Retrieval verdoppelt die produktive Messlatte.
183 menschlich verifizierte Fragen (101 Deutsch, 82 Englisch, 10 Rundschreiben). Klammern sind 95-%-Konfidenzintervalle.
| Metrik | A · Basis | B · +RAG | C · abgestimmt | D · abgestimmt+RAG |
|---|---|---|---|---|
| Antwort + Fundstelle (produktive Messlatte) | 0.0% | 22.4% | 1.6% | 45.4% |
| Antwort korrekt | 37.2% | 63.4% | 44.8% | 80.9% |
| Fundstelle korrekt | 1.1% | 39.9% | 2.2% | 50.3% |
| Gibt das geforderte Format aus | 2.2% | 0.0% | 100% | 100% |
Was jede Schicht bringt
Die Ablation hindert jeden — uns eingeschlossen — am Herumreden.
Jede Karte unten heftet einen Mechanismus an eine Zahl in der Tabelle oben.
Retrieval ermöglicht die Fundstelle
Die korrekte Fundstelle steigt von ~1 % auf ~40–50 % nur, wenn Retrieval an ist. Ein Modell kann keine Randziffer zitieren, die es nie gesehen hat — deshalb liegen beide Arme ohne Retrieval nahe null auf der produktiven Messlatte, wie gut trainiert auch immer.
Fine-Tuning ermöglicht brauchbare Ausgabe
Das Basismodell kennt die Antwort oft (63 % mit RAG), gibt das geforderte, maschinenlesbare Format aber nur 2 % der Zeit aus — 0 %, sobald Retrieval den Kontext füllt und es ablenkt. Das feinabgestimmte Modell trifft das Format 100 % der Zeit. Diese Lücke ist der grösste Teil von B → D.
Die beiden verstärken sich
Retrieval allein fügt 22,4 Punkte hinzu; Fine-Tuning allein 1,6. Zusammen fügen sie 45,4 hinzu — fast doppelt so viel wie die Summe der Teile. Diese Interaktion ist der Befund, und deshalb messen wir, bevor wir bauen.
So sieht es aus
Dieselbe Frage, derselbe abgerufene Text.
Das Basismodell ist nicht dumm — es ist in der Form unzuverlässig. Zuverlässigkeit der Form ist, was eine Demo von einem System trennt.
F. Ab welchem Mindesterfordernis an Eigenmitteln gelten für Banken, Wertpapierhäuser und Finanzgruppen die vollständig qualitativen und quantitativen Anforderungen? (Gold: CHF 10 Milliarden, Rz 6, FINMA-RS 2010/01)
CHF 10 Milliarden
Richtige Antwort, keine Fundstelle → durchgefallen
ANSWER: CHF 10 Milliarden SOURCE: FINMA-RS 2010/01 Rz 6
Bestanden
Die ehrlichen Grenzen
Was das nicht behauptet.
Eine Evaluation, der Sie vertrauen können, ist eine, die benennt, wo sie schwach ist.
45 % ist ein Boden, keine Decke. Ein kleines Modell, 4-Bit, ein einzelner bescheidener LoRA-Lauf auf ~500 Beispielen, bewusst schlichtes BM25-Retrieval. Jedes davon ist ein Hebel, den ein echter Pilot zieht.
Strukturierte Antworten sind die Schwachstelle. Feinabgestimmt+RAG erreicht ~47–50 % bei Zahlen, Fristen und Ja/Nein, aber 27 % bei Fragen mit mehreren Listenelementen. Vollständige Mengenextraktion ist das offensichtliche nächste Ziel.
Die Methode ist das Produkt, nicht die Zahl. Ihre Aufgabe, Ihre Dokumente, genau diese Ablation — durchgeführt, bevor Sie sich zur Produktion verpflichten, sodass die Go/No-Go-Entscheidung auf Messung beruht, nicht auf einem Versprechen.
FAQ
Über diesen Bericht.
Läuft das auf den Daten Ihrer Kunden?
Warum sind 45 % die Schlagzeile und nicht etwas Höheres?
Wie wird das bewertet — gibt es einen LLM-Richter?
Wollen Sie das auf Ihrer Aufgabe?
Bringen Sie einen Workflow und die Dokumente dahinter mit. Wir bauen das Evaluationsset und führen diese Ablation durch — auf Ihren Daten, in Ihrer Jurisdiktion.