Durchgerechnetes Beispiel · Evaluation
Fine-Tuning eines kleinen Modells für Schweizer Vertragsrecht.
Ein zweites durchgerechnetes Beispiel — dieselbe Methode wie im FINMA-Bericht, eine andere Domäne: Fragen zum Schweizer Obligationenrecht (OR) beantworten mit einer Fundstelle auf den exakten Artikel. Inklusive eines echten Fehlers, auf den wir unterwegs stiessen, und wie die Ablation ihn auffing.
Der Aufbau
Vier Systeme, ein offenes Modell.
Dasselbe Apertus-8B, identisch auf 4-Bit quantisiert, identisch ausgeliefert. Die einzige Variable sind die Gewichte. Deterministisch bewertet — kein LLM-Richter.
Basis
Das offene Modell, wie ausgeliefert.
+ Retrieval
Basismodell mit BM25-Retrieval über das Gesetz.
Feinabgestimmt
LoRA-abgestimmt auf die Aufgabe, kein Retrieval.
Feinabgestimmt + Retrieval
Das vollständige System.
Die produktive Messlatte ist beides zugleich — die Antwort korrekt und der korrekte Artikel zitiert. Eine richtige Antwort mit falscher oder fehlender Fundstelle ist ein Fehler, denn in juristischer Arbeit ist sie einer.
Das Ergebnis
Fine-Tuning plus Retrieval ist das beste System.
172 menschlich verifizierte Fragen (98 Deutsch, 74 Französisch, 10 vertragsrechtliche Themen). Klammern sind 95-%-Konfidenzintervalle.
| Metrik | A · Basis | B · +RAG | C · abgestimmt | D · abgestimmt+RAG |
|---|---|---|---|---|
| Antwort + Fundstelle (produktive Messlatte) | 4.1% | 38.4% | 2.9% | 52.3% |
| Antwort korrekt | 39.0% | 54.7% | 46.5% | 70.3% |
| Fundstelle korrekt | 7.0% | 69.8% | 5.8% | 62.2% |
| Gibt das geforderte Format aus | 1.2% | 0.0% | 89.5% | 70.9% |
Der veröffentlichenswerte Fehler
Wir erreichten die 52 % nicht beim ersten Versuch.
Das erste Fine-Tuning wurde auf die naheliegende Weise trainiert — auf Fragen und ihre Antwort + Fundstelle, ohne abgerufenen Kontext. Für sich allein sah es grossartig aus. Mit hinzugefügtem Retrieval brach es zusammen.
F. Ist eine im Voraus getroffene Vereinbarung, die die Haftung für grobe Fahrlässigkeit ausschliesst, gültig? (Gold: nein, Art. 100)
ANSWER: nein
Richtige Antwort, keine Fundstelle → durchgefallen
ANSWER: nein SOURCE: OR Art. 100
Bestanden
Die Ursache ist ein Verteilungs-Mismatch zwischen Training und Inferenz: Ein Modell, das mit Retrieval ausgeliefert wird, muss mit Retrieval trainiert werden. Wir bauten das Fine-Tuning-Set neu, sodass jedes Beispiel sowohl schlicht als auch mit abgerufenem Kontext erscheint — der Gold-Artikel garantiert vorhanden — trainierten neu, und die produktive Messlatte stieg von 8,1 % auf 52,3 %. Genau die Art von Fehler, die die Ablation eines Piloten auffängt, bevor er die Produktion erreicht. Wir messen, damit wir ihn nicht ausliefern.
Die ehrlichen Grenzen
Was das nicht behauptet.
Eine Evaluation, der Sie vertrauen können, ist eine, die benennt, wo sie schwach ist.
Listenantwort-Fragen erreichen nahezu null, in jedem Arm. Eine vollständige Mehrelement-Menge zu extrahieren und zu zitieren ist die schwierigste Teilaufgabe hier und das offensichtliche nächste Ziel — dieselbe Schwachstelle, die der FINMA-Bericht markierte.
Französisch liegt hinter Deutsch (D: 42 % FR vs. 60 % DE), was dem Trainings-Mix folgt (271 DE vs. 123 FR Elemente). Ausgewogenere Daten schliessen die Lücke; die Zahl ist ehrlich darüber, wo das Modell heute schwach ist.
Die Format-Compliance liegt bei 71 %, nicht 100 %. Das retrieval-bewusste Fine-Tuning lässt bei einigen Elementen weiterhin die Fundstelle weg — weit besser als die naiven 16 %, nicht perfekt. Es ist ein Boden: Ein grösseres, ausgewogeneres Trainingsset bewegt ihn weiter.
FAQ
Über diesen Bericht.
Ist das dieselbe Methode wie im FINMA-Bericht?
Warum einen Fehler veröffentlichen, den Sie gemacht haben?
Wie wird das bewertet — gibt es einen LLM-Richter?
Wollen Sie das auf Ihrer Aufgabe?
Bringen Sie einen Workflow und die Dokumente dahinter mit. Wir bauen das Evaluationsset und führen diese Ablation durch — inklusive der Fehlermodi, die sie auffängt — auf Ihren Daten, in Ihrer Jurisdiktion.