Startseite
Hardware
Konfigurator
Leistungen
OEM Ratgeber Über uns Garantie Kontakt
ESENDEFRITPT
Private KI · Modelle

Offene KI-Modelle für den lokalen Einsatz: Größen, Speicher und die nötige Hardware

Es gibt Dutzende offene Modelle, und jeden Monat kommt ein neues. Um Hardware zu wählen, muss man nicht alle kennen: Es genügt zu wissen, welche Größe das benötigte hat. Dieser Leitfaden ordnet die Modelle nach Größe und nennt den Speicher, den jedes braucht.

Technisches Team von ACD&CO10. November 20266 Min. Lesezeit

Die Familien und was sie unterscheidet

Die meistgenutzten offenen Modelle stammen aus wenigen Familien: Llama, Mistral, Qwen, Gemma, DeepSeek und Phi. Jede veröffentlicht mehrere Größen desselben Modells. Innerhalb einer Familie schlussfolgert die größere Variante besser, die kleinere antwortet schneller.

Die Größe wird in Milliarden Parametern gemessen. Diese Zahl bestimmt den Speicher und damit die Hardware.

Quantisierung: dasselbe Modell in weniger Speicher

Ein Modell lässt sich mit geringerer Genauigkeit je Zahl speichern. Das nennt man Quantisieren. Mit 4 Bit belegt ein Modell etwa ein Viertel des Originals und verliert sehr wenig Qualität. Das nutzt lokal fast jeder.

Die Regel: Bei 4 Bit etwa 0,6 GB pro Milliarde Parameter, plus eine Reserve für das Gespräch.

Welchen Speicher und welche Hardware jede Größe braucht

Modellgrößen, Speicher bei 4 Bit und Ausgangshardware
ModellgrößeBenötigter SpeicherWofür es taugtAusgangshardware
Bis 8 MilliardenEtwa 5 GBKlassifizieren, Daten extrahieren, kurze Texte zusammenfassenJede Grafikkarte mit 8 GB
12 bis 32 Milliarden8 bis 20 GBArbeitsassistent, Formulieren, DokumenteGrafikkarte mit 16 bis 24 GB oder Compact AI 32
Etwa 70 MilliardenEtwa 42 GBFeineres Schlussfolgern, lange TexteCompact AI 64 oder zwei Grafikkarten mit 24 GB
Mehr als 100 MilliardenMehr als 65 GBDie leistungsfähigsten offenen ModelleCompact AI 128 oder eine Grafikkarte mit 96 GB

Ein gut gewähltes mittelgroßes Modell erledigt den größten Teil der Büroarbeit. Die großen lohnen sich, wenn die Fragen komplex oder die Dokumente sehr lang sind.

Kontext: wie viel Text es auf einmal liest

Der Kontext ist der Text, den das Modell vor sich hat: die Frage, die Dokumente und das Gespräch. Ein größerer Kontext erlaubt, einen ganzen Vertrag zu lesen, aber er belegt Speicher zusätzlich zum Modell. Deshalb reicht ein Rechner, der das Modell gerade so lädt, nicht mehr aus, sobald man ihm ein langes Dokument gibt.

Die Lizenz: Nicht alle dürfen gleich genutzt werden

„Offen“ bedeutet nicht in jedem Fall dasselbe. Manche Modelle erscheinen unter Lizenzen wie Apache 2.0 oder MIT, die die kommerzielle Nutzung ohne Weiteres erlauben. Andere tragen eigene Bedingungen des Herstellers. Lesen Sie die Lizenz, bevor Sie ein Produkt auf ein Modell bauen.

Testen Sie zwei oder drei Modelle mit Ihren eigenen Fragen und in Ihrer Sprache, bevor Sie entscheiden. Allgemeine Ranglisten sagen wenig darüber, wie ein Modell auf Ihre Dokumente antwortet.

Häufige Fragen

Welches ist das beste offene Modell?

Das hängt von der Arbeit ab und ändert sich alle paar Monate. Stabil bleibt die Größe: ein mittelgroßes Modell für den Alltag und ein großes für das Schwierige. Bei gut ausgelegter Hardware heißt Modellwechsel, eine andere Datei herunterzuladen.

Verliert ein Modell bei 4 Bit an Qualität?

Im normalen Einsatz sehr wenig. Verlangt die Arbeit höchste Genauigkeit, nutzt man 8 Bit, was doppelt so viel belegt. Deshalb lohnt sich Speicherreserve.

Funktionieren sie gut auf Deutsch?

Die mittelgroßen und großen Modelle der wichtigsten Familien antworten in den großen europäischen Sprachen gut. Die kleinsten sind schwächer. Es lohnt sich, sie mit echten Texten zu testen.

Darf ich sie in einem Produkt verwenden, das ich verkaufe?

Bei vielen ja, aber es hängt von der Lizenz des jeweiligen Modells ab. Die Lizenzen Apache 2.0 und MIT erlauben es. Andere haben Bedingungen, die man lesen muss.

Sollen wir es für Ihr Unternehmen durchrechnen?

Sagen Sie uns, wie viele Personen sie nutzen und mit welchen Dokumenten. Wir antworten mit der Hardware, der Einrichtung und einem Festpreis innerhalb von 12 Arbeitsstunden.

Angebot anfordern

Angebot innerhalb von 12 Arbeitsstunden

Sagen Sie uns, was Sie brauchen

Sagen Sie uns, wofür Sie den Rechner brauchen, und wir antworten mit einer Konfiguration und ihrem Preis. Wenn Sie bereits ein Angebot einer anderen Marke haben, senden Sie es uns und wir erstellen das Gegenstück.

  • Schriftliche Antwort innerhalb von 12 Arbeitsstunden
  • Ein einziger Ansprechpartner, vom Angebot bis zur Garantie
  • Unverbindlich: Wir nutzen Ihre Daten nur für die Antwort

+34 613 17 68 06info@acdcompany.es

Dieses Feld ist erforderlich.
Bitte E-Mail prüfen: Es fehlt etwas.

Oder rufen Sie an: +34 613 17 68 06