Die Familien und was sie unterscheidet
Die meistgenutzten offenen Modelle stammen aus wenigen Familien: Llama, Mistral, Qwen, Gemma, DeepSeek und Phi. Jede veröffentlicht mehrere Größen desselben Modells. Innerhalb einer Familie schlussfolgert die größere Variante besser, die kleinere antwortet schneller.
Die Größe wird in Milliarden Parametern gemessen. Diese Zahl bestimmt den Speicher und damit die Hardware.
Quantisierung: dasselbe Modell in weniger Speicher
Ein Modell lässt sich mit geringerer Genauigkeit je Zahl speichern. Das nennt man Quantisieren. Mit 4 Bit belegt ein Modell etwa ein Viertel des Originals und verliert sehr wenig Qualität. Das nutzt lokal fast jeder.
Die Regel: Bei 4 Bit etwa 0,6 GB pro Milliarde Parameter, plus eine Reserve für das Gespräch.
Welchen Speicher und welche Hardware jede Größe braucht
| Modellgröße | Benötigter Speicher | Wofür es taugt | Ausgangshardware |
|---|---|---|---|
| Bis 8 Milliarden | Etwa 5 GB | Klassifizieren, Daten extrahieren, kurze Texte zusammenfassen | Jede Grafikkarte mit 8 GB |
| 12 bis 32 Milliarden | 8 bis 20 GB | Arbeitsassistent, Formulieren, Dokumente | Grafikkarte mit 16 bis 24 GB oder Compact AI 32 |
| Etwa 70 Milliarden | Etwa 42 GB | Feineres Schlussfolgern, lange Texte | Compact AI 64 oder zwei Grafikkarten mit 24 GB |
| Mehr als 100 Milliarden | Mehr als 65 GB | Die leistungsfähigsten offenen Modelle | Compact AI 128 oder eine Grafikkarte mit 96 GB |
Ein gut gewähltes mittelgroßes Modell erledigt den größten Teil der Büroarbeit. Die großen lohnen sich, wenn die Fragen komplex oder die Dokumente sehr lang sind.
Kontext: wie viel Text es auf einmal liest
Der Kontext ist der Text, den das Modell vor sich hat: die Frage, die Dokumente und das Gespräch. Ein größerer Kontext erlaubt, einen ganzen Vertrag zu lesen, aber er belegt Speicher zusätzlich zum Modell. Deshalb reicht ein Rechner, der das Modell gerade so lädt, nicht mehr aus, sobald man ihm ein langes Dokument gibt.
Die Lizenz: Nicht alle dürfen gleich genutzt werden
„Offen“ bedeutet nicht in jedem Fall dasselbe. Manche Modelle erscheinen unter Lizenzen wie Apache 2.0 oder MIT, die die kommerzielle Nutzung ohne Weiteres erlauben. Andere tragen eigene Bedingungen des Herstellers. Lesen Sie die Lizenz, bevor Sie ein Produkt auf ein Modell bauen.
Passende Hardware und Ratgeber
Häufige Fragen
Welches ist das beste offene Modell?
Das hängt von der Arbeit ab und ändert sich alle paar Monate. Stabil bleibt die Größe: ein mittelgroßes Modell für den Alltag und ein großes für das Schwierige. Bei gut ausgelegter Hardware heißt Modellwechsel, eine andere Datei herunterzuladen.
Verliert ein Modell bei 4 Bit an Qualität?
Im normalen Einsatz sehr wenig. Verlangt die Arbeit höchste Genauigkeit, nutzt man 8 Bit, was doppelt so viel belegt. Deshalb lohnt sich Speicherreserve.
Funktionieren sie gut auf Deutsch?
Die mittelgroßen und großen Modelle der wichtigsten Familien antworten in den großen europäischen Sprachen gut. Die kleinsten sind schwächer. Es lohnt sich, sie mit echten Texten zu testen.
Darf ich sie in einem Produkt verwenden, das ich verkaufe?
Bei vielen ja, aber es hängt von der Lizenz des jeweiligen Modells ab. Die Lizenzen Apache 2.0 und MIT erlauben es. Andere haben Bedingungen, die man lesen muss.
Sollen wir es für Ihr Unternehmen durchrechnen?
Sagen Sie uns, wie viele Personen sie nutzen und mit welchen Dokumenten. Wir antworten mit der Hardware, der Einrichtung und einem Festpreis innerhalb von 12 Arbeitsstunden.