Konzepte · Kleine Modelle
Kleine Modelle, gemessen.
Zwei Fragen entscheiden einen souveränen Build: wie gross muss das Modell für die Aufgabe sein und von welcher Basis starten Sie. Diese Seite beantwortet beide — Leistung versus Grösse, was jede Grössenklasse tatsächlich leisten kann, und das Spektrum vom vollständig schweizerischen Apertus bis zu europäischen und internationalen Open-Weight-Modellen — samt der ehrlichen Grenzen und der Compliance-Einordnung.
Grösse
Wie viel Modell braucht die Aufgabe?
Leistung steigt mit der Grösse — aber sie flacht ab, und die Erträge werden schnell teuer. Die meiste regulierte Arbeit lebt nicht an der Frontier; sie lebt in den Bändern, die ein kleines Modell erreicht.
Modellgrösse wird in Parametern gemessen — von ~1B bis über 200B. Mehr Parameter bringen breiteres Wissen und tieferes Reasoning, aber die Kurve biegt sich: Der Sprung von 1B auf 8B ist transformativ, 8B auf 70B ist real, aber teuer, und darüber hinaus zahlen Sie bei den meisten Aufgaben viel für wenig.
Der Kniff: Die nötige Grösse bestimmt die Aufgabe, nicht der Ehrgeiz. Extraktion, Klassifikation, Routing und strukturiertes Verfassen liegen in den unteren Bändern — das Heimspiel eines kleinen Modells. Und der rote Pfeil unten ist der ganze Punkt dieser Seite: Fine-Tuning eines kleinen Modells auf eine enge Aufgabe hebt seine effektive Leistung ins Band darüber, sodass ein abgestimmtes 8B einen weit grösseren Generalisten bei der Arbeit schlägt, die Sie tatsächlich ausführen.
Der Effekt
Spezialisierung schlägt Grösse bei engen Aufgaben.
Allgemeine Benchmarks belohnen Breite. Ihr Workflow belohnt Tiefe — Ihre Vorlagen, Ihre Terminologie, Ihre Formate, Ihre Randfälle.
Von Haus aus ist ein universelles kleines Modell ein Generalist, der zufällig Ihre Sprache spricht. Feinabgestimmt auf einige Tausend Beispiele Ihrer Aufgabe, wird es zum Spezialisten, der Ihren Korpus gelesen hat. Wie viel das bringt, hängt davon ab, wo das Basismodell startet — genau das misst die Ablation in jedem Pilot, auf Ihren Dokumenten, bevor Sie sich festlegen.
Der öffentliche Referenzpunkt in der Schweiz: Der Übersetzungsdienst des Kantons Tessin stieg von 90 % auf 94 % Genauigkeit nach dem Fine-Tuning von Apertus-8B auf kantonalen Daten, vollständig auf kantonaler Infrastruktur betrieben. Vier Punkte am oberen Ende der Skala — in einem Produktivdienst der Unterschied zwischen Stichprobenkontrolle der Ausgabe und deren Neuanfertigung.
Eine Frontier-API hat auf diesem Terrain zwei strukturelle Nachteile: Sie hat Ihre Dokumente nie gesehen, und sie kann es nie — denn es sind die Dokumente, die Sie nicht weggeben dürfen. Der Vorteil des kleinen Modells ist nicht Intelligenz. Es ist Zugang.
Die Methode
Fine-Tuning vermittelt Verhalten. Retrieval liefert Fakten.
Die beiden werden regelmässig verwechselt — und die Verwechslung ist der Punkt, an dem KI-Projekte scheitern.
Fine-Tuning
Vermittelt die Aufgabe: Ihre Terminologie, Dokumentformate, Ton, Ausgabestruktur, Verweigerungsverhalten. Es memoriert Fakten nicht zuverlässig — es als Wissensspeicher zu nutzen ist ein Designfehler, den wir nicht ausliefern.
Retrieval (RAG)
Liefert die Fakten: die aktuelle Version Ihrer Richtlinien, Verträge und Datensätze, zurückverwiesen auf die Quellseite. Wissen aktualisiert sich in dem Moment, in dem es das Dokument tut — kein Neutraining.
Die Ablation
Jeder Pilot bewertet alle vier Arme — Basis, Retrieval, Fine-Tune, kombiniert — auf Ihrem Evaluationsset. Die Tabelle sagt, welches System sich zu kaufen lohnt.
Gemessen ist die Aufteilung deutlich: In unserer FINMA-Ablation brachte Fine-Tuning allein die Format-Compliance von ~2 % auf 100 %, liess aber die Genauigkeit von Antwort-plus-Fundstelle bei 1,6 % — Verhalten gelernt, Fakten nicht. Retrieval allein: 22,4 %. Kombiniert: 45,4 %.
Die Basis
Vollständig schweizerisch — oder so flexibel, wie Ihre Compliance es erlaubt.
Apertus ist unsere Vorgabe — das vollständig offene, vollständig transparente LLM der Schweiz. Aber Souveränität ist nicht nur schweizerisch. Wo Ihre Richtlinie es zulässt, kann eine europäische oder internationale Open-Weight-Basis Ihre Evaluation gewinnen und trotzdem vollständig auf Ihrer Infrastruktur laufen.
Vollständig schweizerisch
Souverän & vollständig transparent
Apertus
Offene Gewichte und offene Trainingsdaten, Schweizer Herkunft. Die Wahl, wenn jede Ebene prüfbar sein muss — öffentlicher Sektor oder die strengsten Compliance-Haltungen.
Europäisch
EU-basiert, offene Gewichte
Mistral · Teuken · EuroLLM
Europäische Anbieter, offene Gewichte, starke Abdeckung der EU-Sprachen. Die Herkunft bleibt in Europa; Trainingsdaten werden meist nicht veröffentlicht.
International
Beste offene Leistung
Llama · Qwen · Gemma
Die stärksten Open-Weight-Modelle unabhängig von der Herkunft. Maximale Leistung und Ökosystem — der Kompromiss liegt bei der Transparenz der Trainingsdaten und, bei manchen, dem Herkunftsland.
Erlaubt der EU AI Act ein Modell wie Qwen?
Kurzfassung: Der Act reguliert nach Anwendungsrisiko und legt Transparenzpflichten dem Anbieter eines Allzweckmodells auf — er beschränkt ein Basismodell nicht nach seinem Herkunftsland. Ein Open-Weight-Modell auf Ihrer eigenen Infrastruktur zu betreiben hält Ihre Daten in Ihrer Jurisdiktion, unabhängig davon, wo die Gewichte trainiert wurden.
Was ein Modell ausschliessen kann, ist Ihre eigene Beschaffungs- oder Datenschutzrichtlinie: Mehrere Schweizer und EU-Behörden beschränken Technologie chinesischer Herkunft per interner Richtlinie, nicht durch den Act. Das ordnen wir im Scoping mit Ihnen ein — und genau dafür gibt es die vollständig schweizerische Option. Keine Rechtsberatung; wir arbeiten mit Ihren Compliance- und Rechtsteams.
Der Katalog
Die Basismodelle, auf denen wir bauen.
Eine Arbeits-Shortlist, gruppiert nach Herkunft. Grössen und Hardware sind Fakten; Leistung und Tempo sind qualitativ — das echte Ranking liefert immer die Evaluation auf Ihrer Aufgabe.
Schweiz — maximale Souveränität
Apertus
EPFL · ETH Zürich · CSCS (Schweiz)
- Grössen
- 8B · 70B
- Hardware
- 8B → Workstation · 70B → Knoten
Das souveräne LLM der Schweiz — die einzige Basis hier, die ihre Trainingsdaten und ihr Rezept veröffentlicht, nicht nur die Gewichte. Mehrsprachig von Grund auf, inklusive Schweizerdeutsch und Romanisch.
Am besten für: Öffentlicher Sektor, reguliertes Q&A, Übersetzung — überall dort, wo vollständige Prüfbarkeit die Anforderung ist
Leistung & Tempo: Stark bei abgestimmten engen Aufgaben und den Schweizer Landessprachen; hinter den grössten internationalen Modellen bei offener allgemeiner Arbeit
+ Stärke
Vollständige, für Auditoren prüfbare Datenherkunft; Schweizer Herkunft und Jurisdiktion
△ Kompromiss
Jüngeres Ökosystem und weniger Grössen als die Etablierten
Europa — EU-basiert, offene Gewichte
Mistral
Mistral AI (Frankreich)
- Grössen
- 8B · ~24B · grösser
- Hardware
- 8B → Workstation · 24B → einzelne 24–48-GB-GPU
Effiziente französische Open-Weight-Familie mit permissiven (Apache-2.0) Releases und starker Abdeckung europäischer Sprachen.
Am besten für: Mehrsprachige EU-Dokumentenarbeit, Verfassen und Zusammenfassen bei knappem Hardware-Budget
Leistung & Tempo: Hervorragende Leistung pro Parameter; häufiger Evaluationssieger bei europäischen mehrsprachigen Aufgaben
+ Stärke
EU-basiert, permissive Lizenzen, sehr starke Leistung für die Grösse
△ Kompromiss
Trainingsdaten nicht veröffentlicht; die grössten Stufen sind nicht alle offen
Teuken · EuroLLM
OpenGPT-X / EU-Konsortien (Europa)
- Grössen
- 7B · 9B
- Hardware
- → Workstation
Öffentlich finanzierte europäische Modelle, trainiert für breite EU-Sprachabdeckung — alle 24 Amtssprachen — mit ungewöhnlich offener Dokumentation.
Am besten für: EU-souveräne Deployments, die eine europäische Forschungsherkunft und breite Sprachabdeckung wollen
Leistung & Tempo: Solide mehrsprachige Abdeckung bei geringer Grösse; kleineres Ökosystem und weniger abgestimmte Checkpoints als Mistral
+ Stärke
Herkunft aus europäischer öffentlicher Forschung; breite Amtssprachenabdeckung
△ Kompromiss
Kleiner und weniger erprobt als die Marktführer
International — beste offene Leistung
Llama
Meta (USA)
- Grössen
- 8B · 70B · grösser
- Hardware
- 8B → Workstation · 70B → Knoten
Metas Open-Weight-Familie — das reifste Tooling und Community-Ökosystem aller offenen Modelle.
Am besten für: Allzweck-Baselines und agentisches Tooling, wo die Reife des Ökosystems zählt
Leistung & Tempo: Starke allgemeine Leistung über alle Grössen; ein verlässlicher Evaluationskandidat
+ Stärke
Unerreichtes Ökosystem, Tooling und Fine-Tuning-Support
△ Kompromiss
US-Herkunft; eine Community-Lizenz mit Nutzungsbeschränkungen; Trainingsdaten nicht öffentlich
Qwen
Alibaba (China)
- Grössen
- 7B–72B dense · 235B MoE
- Hardware
- 8B → Workstation · 32B → einzelne GPU · 72B / MoE → Knoten
Unter den stärksten offenen Modellen bei Reasoning, Coding und mehrsprachiger Arbeit, mit der breitesten Grössenpalette — inklusive speichereffizienter Mixture-of-Experts.
Am besten für: Die anspruchsvollsten Open-Weight-Aufgaben, wo Leistung Priorität hat und die Richtlinie es erlaubt
Leistung & Tempo: Frontier-offene Spitzenklasse bei Reasoning- und Mehrsprachen-Benchmarks; MoE-Varianten laufen schneller als ein dichtes Modell gleicher Gesamtgrösse
+ Stärke
Top-offene Leistung, permissive Lizenzen, eine Grösse für jedes Hardware-Budget
△ Kompromiss
China-Herkunft — manche Schweizer und EU-Behörden schliessen sie per Beschaffungsrichtlinie aus; Trainingsdaten nicht öffentlich
Gemma
Google (USA)
- Grössen
- 2B · 9B · 27B
- Hardware
- → Workstation (alle Grössen)
Googles kompakte Open-Weight-Familie, abgestimmt auf starke Qualität bei kleinen und mittleren Grössen, die auf eine einzelne GPU passen.
Am besten für: Latenzsensible Einzel-GPU- und Edge-Workloads
Leistung & Tempo: Wettbewerbsfähige Qualität pro Parameter im kleinen und mittleren Bereich
+ Stärke
Klein, schnell, leicht auf bescheidener Hardware zu betreiben
△ Kompromiss
US-Herkunft; bei 27B gedeckelt; Trainingsdaten nicht öffentlich
Die Hardware dahinter zu dimensionieren ist eine eigene Disziplin — siehe Quantisierung dazu, wie ein 70B in ~40 GB und ein 8B in unter 5 GB passt, und die souveräne Laufzeitumgebung für die Deployment-Formen.
Die Ökonomie
Eine Grössenordnung günstiger im Betrieb — und schneller.
Kleine Modelle passen nicht nur in Ihren Compliance-Rahmen. Sie passen in Ihr Budget — in Franken und in Millisekunden.
Betriebskosten: Ein 7–8B-Modell zu betreiben kostet grob eine Grössenordnung weniger als ein Modell der 70B-Klasse — der Unterschied zwischen einer GPU der Workstation-Klasse und einem Multi-GPU-Knoten, zwischen einer Bestellung und einer Beschaffungsrunde.
Latenz: Jeder Cloud-API-Aufruf zahlt eine Round-Trip-Steuer — Netzwerksprünge, TLS, Warten hinter anderen Tenants — bevor Ihre Tokens überhaupt eine GPU erreichen; erste Tokens treffen routinemässig erst nach mehreren Hundert Millisekunden ein. Ein kleines Modell im eigenen Rack umgeht diese Steuer vollständig, und sein schnelleres Prefill und Decode kommen obendrauf — genau das lässt hochvolumige Dokumentenpipelines und interaktive Assistenten sofort wirken.
Der Souveränitäts-Multiplikator: Jeder Parameter, den Sie nicht brauchen, ist Compliance, die Sie nicht kaufen müssen. Ein aufgabenspezifisch abgestimmtes kleines Modell läuft auf einer Maschine — die Workstation-Form in der souveränen Laufzeitumgebung — was die air-gapped und Edge-Deployments (Werkshalle, Klinik, Aussendienst) eröffnet, wohin gehostete Plattformen und US-APIs strukturell nicht folgen können.
Die Grenzen
Wann ein kleines Modell die falsche Wahl ist.
Ein Experte, der Ihnen nicht sagt, wann sein Lieblingswerkzeug verliert, ist kein Experte. Kleine Modelle verlieren hier:
Offene Assistenz
„Beantworte alles über alles“ belohnt Grösse. Wenn Sie einen allgemeinen Chat-Assistenten über öffentliches Wissen brauchen, ist ein Frontier-Modell darin besser.
Breites Weltwissen
Kleine Modelle wissen weniger. Retrieval schliesst die Lücke nur dort, wo Ihr Korpus die Antwort hat — es kann nicht abrufen, was niemand aufgeschrieben hat.
Tiefes Multi-Hop-Reasoning
Lange Ketten neuartigen Reasonings begünstigen weiterhin grössere Modelle. Routinevolumen geht klein; der schwierige Rest eskaliert zu einem grösseren lokalen Modell.
Nicht sensible, geringvolumige Arbeit
Dürfen die Daten weg und ist das Volumen trivial, ist ein API-Abo einfacher. Das sagen wir im Scoping-Gespräch.
Die Trennlinie ist keine Meinung — es ist das Evaluationsset. Deshalb beginnt jedes Engagement mit einem: Evaluation-First-Lieferung.
FAQ
Fragen zu kleinen Modellen.
Ist ein 8B-Modell wirklich gut genug für deutsche Rechts- oder klinische Texte?
Können Sie eine nicht-schweizerische Basis wie Mistral oder Qwen nutzen — und erlaubt der EU AI Act das?
Was ist mit reasoning-lastiger Arbeit?
Wird Fine-Tuning nicht obsolet, sobald ein besseres Basismodell erscheint?
Würde ein kleines Modell Ihre Messlatte erreichen?
Ein Workflow, Ihre Dokumente, unser Harness. Wir bauen das Evaluationsset und zeigen Ihnen die Ablation — in Ihrer Jurisdiktion.