Live-Demo · On-Device-Inferenz
Ein funktionierendes Modell, das in dieser Seite läuft.
Unten triagiert ein Sprachmodell mit 1,7 Milliarden Parametern Support-Nachrichten — Kategorie, Dringlichkeit, einzeilige Zusammenfassung — berechnet auf Ihrer eigenen GPU, in diesem Browser-Tab. Keine API, kein Server, kein Datenabfluss. Es ist die extremste Form des Arguments, das diese Website macht: Modelle, die dort laufen, wo die Daten liegen.
Warum das wichtig ist
Der Einwand gegen souveräne KI ist die Leistungsfähigkeit. Die Antwort ist der Zuschnitt.
Regulierte Organisationen können keine Kundendaten an Dritt-KI-APIs senden — Bankgeheimnis, ärztliche Schweigepflicht und Beschaffungsregeln sagen alle dasselbe. Das übliche Gegenargument lautet, alles, was Sie selbst betreiben können, sei zu schwach, um nützlich zu sein. Das stimmt, wenn Sie von einem Modell erwarten, dass es alles kann.
Es stimmt nicht mehr, sobald die Aufgabe eng ist. Ein kleines Modell mit einem klar definierten Job — diese Nachricht klassifizieren, diese Felder extrahieren, diese Standardantwort entwerfen — lässt sich evaluieren, deterministisch machen und auf Hardware betreiben, die Sie kontrollieren. Quantisierung schrumpft es, bis «Hardware, die Sie kontrollieren» eine Workstation, ein Telefon — oder, wie hier, ein Browser-Tab sein kann.
Diese Seite ist der funktionierende Beweis: ein echtes Modell mit einem echten Job und ein 0-Byte-Netzwerk-Fussabdruck für alles, was Sie eingeben.
Der Use Case
Support-Triage: eine kanonische enge Aufgabe.
Jede Serviceorganisation hat eine Inbox: Beschwerden, Störungsmeldungen, Vertriebsanfragen, Passwort-Resets. Jemand — oder etwas — liest jede Nachricht und entscheidet, was sie ist und wie dringend sie ist, bevor irgendjemand handelt. Diese Entscheidung passt perfekt zu einem kleinen Modell: Der Input ist eine Nachricht, der Output ein geschlossenes Set von Labels plus eine einzeilige Zusammenfassung, und jede Antwort ist überprüfbar.
Die Demo unten macht genau das. Fügen Sie eine Nachricht ein (oder nutzen Sie ein Beispiel), und das Modell liefert Kategorie · Dringlichkeit · Zusammenfassung. Jede Nachricht wird unabhängig triagiert — keine Historie, kein Drift. Wechseln Sie zum Chat-Tab, um frei mit demselben Modell zu sprechen und Ihre Erwartungen zu kalibrieren, was 1,7 Milliarden 1-Bit-Parameter können und was nicht.
In einem Kundenprojekt beginnt hier die Arbeit, statt zu enden: Die Taxonomie wird zu Ihren Kategorien, das Modell wird auf Ihren gelabelten Nachrichten feinabgestimmt, und ein Evaluations-Harness misst es gegen Ihre Messlatte, bevor es die Produktion berührt — dieselbe Methode wie in unseren publizierten Ablationen.
Läuft vollständig in diesem Tab auf WebGPU. Der erste Start lädt das Modell herunter — ~237 MB, einmalig — danach ist es gecacht und funktioniert offline. Desktop-Chrome oder -Edge mit GPU empfohlen.
Modell-Download von huggingface.co · Ihre Nachrichten verlassen dieses Gerät nie · eigenständige Version ↗
Was hier läuft
Bonsai-1.7B — ein offenes 1-Bit-Modell.
Bonsai-1.7B ist ein offenes Modell von Prism ML (Apache-2.0): aufgebaut auf Qwen3-1.7B und end-to-end für 1-Bit-Gewichte trainiert. Die WebGPU-Engine — handgeschriebene Compute-Kernel, die die gepackten Gewichte auf Ihrer GPU dekodieren — wurde von der webml-community für das 27B-Flaggschiff publiziert (MIT); wir haben sie für diese Seite auf die einfache qwen3-Architektur des 1.7B portiert. Es ist ein unabhängiger Demonstrator, keines unserer Apertus-Fine-Tunes.
- 1.125
- Bits pro Gewicht
- 0.24 GB
- Einmaliger Download
- 32k
- Token-Kontextfenster
- 0
- Bytes Datenabfluss
Q1_0: gepackte Vorzeichenbits + FP16-Gruppenskalen — etwa 14× kleiner als dasselbe Modell in FP16
Nach dem ersten Laden von Ihrem Browser gecacht; läuft von da an offline
Die volle Kontextlänge von Qwen3-1.7B, ausgeführt auf Ihrer GPU
Die Gewichte kommen von Hugging Face; nichts, was Sie eingeben, geht irgendwohin
Von der Demo zur Produktion
Das Muster ist das Produkt.
Was Sie gerade benutzt haben, ist ein Muster: ein kleines, auf eine Aufgabe zugeschnittenes Modell, quantisiert, bis es auf die Hardware passt, die Sie tatsächlich haben, ausgeführt dort, wo die Daten liegen. In Kundenprojekten wenden wir dasselbe Muster mit anderen Zutaten an — Apertus, das offene Schweizer Modell, feinabgestimmt auf Ihren Daten, deployt in Ihrer Jurisdiktion und gemessen an einer Evaluations-Messlatte, die vor Projektstart vereinbart wird.
Wenn Ihre Organisation eine Inbox, einen Dokumentenstrom oder eine Formular-Pipeline hat, die heute von Hand sortiert wird, ist das meist das richtige erste Projekt: eng, messbar und souverän vom ersten Tag an.
Fragen
Das Kleingedruckte.
Verlässt etwas, das ich eingebe, meinen Browser?
Warum ist das Modell nur 0,24 GB gross?
Ist das das Modell, das sysf.io für Kunden deployt?
Was brauche ich, um es auszuführen?
Kartieren Sie Ihre erste enge Aufgabe.
Ein 30-minütiges Scoping-Gespräch — wir sagen Ihnen ehrlich, ob ein kleines, auf die Aufgabe abgestimmtes Modell passt.