Konzepte · Evaluation

Was wir nicht messen können, liefern wir nicht aus.

Jeder KI-Anbieter verspricht Qualität. Wir definieren sie mit Ihnen als Zahl, auf Ihren Dokumenten, bevor wir bauen — und binden den Go-live daran. Diese Seite erklärt die Maschinerie hinter diesem Versprechen.

Ein durchgerechnetes Beispiel ansehen →

Eine reproduzierbare Vier-Wege-Ablation von Apertus-8B auf Q&A zu Schweizer FINMA-Rundschreiben — genau die unten beschriebene Evaluation, auf öffentlichen Daten ausgeführt.

Schritt eins

Das Evaluationsset kommt vor dem Modell.

Aus Ihren Dokumenten erstellt, mit Ihren Fachleuten, in Ihren Sprachen — es ist der Vertrag, gegen den das System gebaut wird.

Wir setzen uns mit Ihren Fachleuten zusammen und extrahieren, wie „korrekt erledigt“ aussieht: echte Eingaben aus Ihrem Workflow — Verträge, Schäden, Notizen, Briefe — gepaart mit Gold-Antworten und nach Kriterien bewertet, die Sie abzeichnen. Typischerweise 50–300 Aufgaben über Ihre Dokumenttypen, Sprachen (DE/FR/IT nach Bedarf) und bekannte Randfälle, inklusive der unschönen: gescannte Faxe, gemischtsprachige Dateien, die Ausnahmen, die Ihr Team im Autopilot bewältigt.

Dieses Set wird bewusst vor Beginn der Modellierung gebaut, damit es nicht stillschweigend auf das getrimmt werden kann, was das Modell zufällig gut kann. Es bleibt Ihres — versioniert, dokumentiert und wiederverwendbar gegen jedes künftige Modell oder jeden Anbieter, einschliesslich unseres Nachfolgers.

Schritt zwei

Die Vier-Wege-Ablation.

Eine Tabelle, die Hype in beide Richtungen tötet — unseren eingeschlossen.

Basismodell

Das offene Modell, unverändert. Der ehrliche Boden — und gelegentlich eine Überraschung: Erreicht dies bereits die Messlatte, sollten Sie nicht für Fine-Tuning zahlen.

+ Retrieval

Basismodell, verankert in Ihrem Korpus. Zeigt, was besserer Zugang zu Ihren Dokumenten bringt — meist der grösste einzelne Sprung.

+ Fine-Tune

Modell auf Ihrer Aufgabe trainiert, ohne Retrieval. Zeigt, was gelerntes Verhalten bringt: Format, Terminologie, Ton, Verweigerungsdisziplin.

Beides

Der Produktionskandidat. Ist D nicht klar besser als B und C, sagt das der Bericht, und Sie kaufen das günstigere System.

Im FINMA-Beispiel liest sich diese Tabelle als 0 → 22,4 → 1,6 → 45,4 % auf der produktiven Messlatte über A–D: Retrieval allein kommt ein Fünftel des Weges, Fine-Tuning allein fast nirgendwohin, und erst die Kombination verdoppelt Retrieval. Dieselbe Ablation deckt die Modellwahl ab — Apertus vs. Llama vs. Mistral auf Ihrem Set, und Builds in voller Präzision vs. quantisiert — sodass jede architektonische Entscheidung in Ihrem System auf einen gemessenen Unterschied zurückgeht, nicht auf eine Vorliebe. (Warum wir streng sind, was Fine-Tuning kann und nicht kann: kleine Modelle, gemessen.)

Schritt drei

Metriken mit Zähnen, Guardrails mit Tests.

„Es fühlt sich gut an“ ist keine Metrik. Ein Benchmark-Wert aus der Aufgabe eines anderen auch nicht.

Aufgabenmetriken passen zur Arbeit: Exact-Match-Genauigkeit für extrahierte Felder, Rubrik-Werte für Entwürfe, Antwortgenauigkeit plus Zitattreue für Q&A — eine korrekte Antwort mit erfundener Quelle zählt als Fehler, denn in regulierter Arbeit ist sie einer.

Guardrails werden wie Features getestet: PII-Behandlung, Out-of-Scope-Verweigerungen, Prompt-Injection-Resistenz und Ausgabe-Constraints erhalten jeweils adversariale Testfälle im Eval-Set. Ein Guardrail, das nicht getestet wird, ist ein Wunsch.

Das Gate: Die Messlatte wird im Vorschlag vereinbart. Darüber: Go-live. Darunter: eine dokumentierte Lückenanalyse und eine Entscheidung — schliessen oder aufhören. So oder so wissen Sie es, bevor Produktionsgeld ausgegeben wird.

In der Produktion

Evaluation endet nicht beim Go-live.

Modelle driften, Dokumente ändern sich, Nutzer finden die Lücken. Das Evaluationsset schaut weiter zu.

Kontinuierliche Bewertung

Produktionsstichproben werden gegen dieselben Metriken in einer festen Kadenz bewertet, sodass Qualitätsregressionen als Zahlen auf einem Dashboard erscheinen — nicht als Beschwerden drei Monate später.

Drift & Datenänderung

Neue Dokumenttypen, neue Richtlinienformulierungen, neue Randfälle werden dem Evaluationsset hinzugefügt, sobald sie auftauchen. Das Set wächst mit Ihrer Realität; das System wird dagegen neu validiert.

Alles versioniert

Evaluationssets, Modell-Builds und ihre Werte werden zusammen versioniert. Jede protokollierte Antwort geht auf den Modell-Build und die Eval-Version zurück, die sie erzeugt haben — so lange Ihre Aufbewahrungsrichtlinie das Protokoll behält. Diese Nachverfolgbarkeit ist, wonach Ihre Auditoren fragen werden.

FAQ

Fragen zur Evaluation.

Wie gross muss ein Evaluationsset sein?

Kleiner, als Sie befürchten, grösser als eine Demo. Fünfzig sorgfältig gewählte Aufgaben mit Gold-Antworten trennen bereits „funktioniert“ von „beeindruckt“; 150–300 bringen Aufschlüsselungen pro Kategorie — Dokumenttypen, Sprachen, Randfälle — gross genug, um darauf zu handeln. Wir berichten Konfidenzintervalle neben den Werten — bei Stichproben dieser Grösse ist ein Zwei-Punkte-Unterschied Rauschen, und das sagen wir Ihnen lieber, als es zu verkaufen. Ihre Fachleute investieren Stunden, keine Wochen, und das Set wird ein dauerhaftes Asset, das jedes einzelne Modell überlebt.

Wer definiert, was „korrekt“ bedeutet?

Ihre Fachleute, schriftlich, bevor irgendetwas gebaut wird — Kriterien pro Aufgabentyp, abgezeichnet (die Metriktypen unter Schritt drei). Wir lehnen vage Erfolgskriterien ab, weil auf diese Weise Piloten „erfolgreich“ und ungenutzt enden.

Was passiert, wenn das System die Messlatte verfehlt?

Der Bericht sagt es, mit aufgeschlüsselten Fehlerkategorien — und die Produktions-Roadmap erklärt, was die Lücke schliessen würde und was es kosten würde, oder empfiehlt aufzuhören. Ein Pilot mit festem Umfang, der in einem dokumentierten „Nein“ enden kann, ist genau das, was sein „Ja“ etwas wert macht.

Definieren Sie die Messlatte mit uns.

Bringen Sie einen Workflow und die Fachleute mit, die ihn kennen. Wir formen das Evaluationsset und die Metriken im Scoping-Gespräch.

Termin buchen So funktioniert's