Konzepte · Quantisierung

Wie ein Rechenzentrumsmodell in Ihr Büro passt.

Quantisierung ist die unglamouröse Technologie, die entscheidet, ob souveräne KI einen Server oder ein Rechenzentrum kostet. So funktioniert sie tatsächlich, in genug Detail, damit Ihre Ingenieure es prüfen können.

Der Mechanismus

Die Grösse eines Modells ist Bytes pro Gewicht × Gewichte.

Training nutzt 16-Bit-Zahlen. Inferenz muss das nicht — der grösste Teil dieser Präzision ist Redundanz, die Sie aufwenden können.

Quantisierung speichert jedes Gewicht in weniger Bits — gruppiert und neu skaliert, sodass das Verhalten des Modells erhalten bleibt. Halbe Bits, halber Speicher und meist auch schneller: Bei den Low-Batch-, Single-Tenant-Lasten, unter denen On-Premise-Systeme tatsächlich laufen, ist die Generierungsgeschwindigkeit dadurch begrenzt, wie schnell Gewichte aus dem Speicher strömen — ein kleineres Modell ist also ein schnelleres.

Präzision	8B-Modell	70B-Modell	Läuft auf
16-Bit (Training)	~16 GB	~140 GB	Multi-GPU-Knoten
8-Bit	~8 GB	~70 GB	Rechenzentrums-GPU(s)
4-Bit (der Sweetspot)	~4,5 GB	~40 GB	Eine Workstation-GPU / eine 48-GB-Karte (knapp — oder 2×24 GB)
1–2 Bit (die Grenze)	~1,5–2,5 GB	~12–20 GB	Laptop oder Edge-Box (ein Smartphone, für 27B-Klasse und darunter)

Nur Gewichte — der Arbeitsspeicher fügt den KV-Cache (unten) und Laufzeit-Overhead hinzu. Der 70B-auf-einer-48-GB-Karte-Fit setzt eine kompakte 4-Bit-Variante und einen quantisierten Cache voraus; die genauen Zahlen hängen von Format und Gruppierung ab, und wir dimensionieren das volle Budget beim Scoping.

Der Handel

Was es kostet und wie wir es ehrlich halten.

Quantisierung tauscht ein messbares Stück Qualität gegen eine 3–4×-Reduktion des Speichers und die Hardwarestufe darunter. Das operative Wort ist messbar.

4-Bit: der Produktions-Standard

Moderne 4-Bit-Formate — GGUF-K-Quants für llama.cpp-artiges Serving, AWQ oder GPTQ anderswo — kosten typischerweise einen Punkt oder zwei auf breiten Benchmarks; bei einer engen, feinabgestimmten Aufgabe oft nichts Feststellbares. Hier sollten die meisten souveränen Deployments liegen: ein 70B in ~40 GB Gewichten, ein 8B in unter 5 GB.

Unter 4 Bit: technisch, nicht naiv

Einfach härter zu runden zerstört die Qualität. Zweckgebaute ternäre und binäre Formate — zunehmend kombiniert mit quantisierungsbewusstem Training — halten Modelle bei 1–2 Bit pro Gewicht nutzbar und schrumpfen ein Modell der 27B-Klasse auf Smartphone-Grösse. Diese Grenze bewegt sich schnell, und es ist die, die wir am genauesten beobachten.

Unsere Regel: neu evaluieren, dann ausliefern

Jeder quantisierte Build wird erneut gegen Ihr Evaluationsset ausgeführt und mit der dokumentierten Qualitätsdifferenz neben der Baseline in voller Präzision geliefert. Kostet Quantisierung mehr, als der Deployment-Gewinn für Ihre Aufgabe wert ist, sagt das der Bericht, und wir skalieren hoch.

Das zweite Budget

Kontext hat auch eine Speicherrechnung.

Gewichte sind nur die halbe Dimensionierung. Die andere Hälfte ist der KV-Cache — der Arbeitsspeicher des Modells für Ihr Gespräch oder Dokument.

Für jedes Token im Kontext speichert das Modell Key-Value-Aktivierungen. Bei kurzen Kontexten ist das Rauschen; bei 100K-Token-Kontexten — einem langen Vertrag, einer vollständigen Fallakte — wächst der Cache in die Gigabyte und kann es mit den Gewichten selbst aufnehmen.

Der Cache quantisiert ebenfalls: 4-Bit-KV-Speicherung senkt seinen Fussabdruck um ein Mehrfaches, was oft der Unterschied zwischen „lange Dokumente passen“ und „sie passen nicht“ auf einer gegebenen Maschine ist. Auch die Architektur zählt — neuere Modelle mit hybrider Attention halten den Cache im Verhältnis zu ihrer Grösse überproportional klein.

Praktische Konsequenz: Wenn wir uns auf „bewältigt Ihre 200-seitigen Verträge auf einer Maschine“ verpflichten, wurde diese Aussage dimensioniert — Gewichte, Cache, Overhead — nicht gehofft.

Warum es hier zählt

Quantisierung ist die Kostenkurve der Souveränität.

Jedes Bit, das man einem Gewicht abschält, bewegt „läuft dort, wo Ihre Daten liegen“ eine Stufe die Hardware-Leiter hinunter.

Bei 16-Bit ist ein eigenes Modell ein Investitionsantrag mit angehängtem Grundriss. Bei 4-Bit ist es ein Server. An der 1–2-Bit-Grenze beginnt es Laptops, Edge-Boxen und Maschinen zu bedeuten, die nie ein Netzwerkkabel gesehen haben — die Umgebungen, in denen regulierte Daten tatsächlich leben.

Deshalb behandeln wir Quantisierung als erstklassige Disziplin, nicht als Häkchen. Sehen Sie, worauf die resultierenden Systeme laufen, in der souveränen Laufzeitumgebung.

FAQ

Fragen zur Quantisierung.

Macht Quantisierung das Modell schlechter?

Geringfügig und messbar — das ist der Punkt. „Bei einer engen Aufgabe oft unsichtbar“ ist kein Lieferergebnis, deshalb führen wir Ihr Evaluationsset auf dem quantisierten Build erneut aus und liefern die Differenz neben der Baseline in voller Präzision. Ein quantisiertes Modell ohne Evaluationsbericht ist eine Vermutung.

Warum braucht langer Kontext so viel Speicher?

Das Modell hält einen Key-Value-Cache (KV-Cache) für jedes Token im Gespräch, und bei langen Kontexten wird der Cache — nicht die Gewichte — zum grössten Speicherverbraucher und wächst linear mit der Kontextlänge in die Gigabyte. Der Cache lässt sich ebenfalls quantisieren, was seinen Fussabdruck um ein Mehrfaches senkt. Es ist ein zweites Budget, das wir beim Scoping explizit dimensionieren, denn „unterstützt 100K Kontext“ auf einem Datenblatt bedeutet nichts ohne den Speicher, ihn zu halten.

Wollen Sie die Dimensionierung für Ihren Use Case?

Nennen Sie uns die Dokumente und die Hardware, die Sie haben — wir melden uns mit dem Speicherbudget und der Maschine, auf der es läuft.

Termin buchen So funktioniert's