Ein Modell ausführen heißt nicht, es zu trainieren
In diesem Ratgeber geht es um die Nutzung bereits trainierter Modelle, die sogenannte Inferenz: chatten, zusammenfassen, Dokumente durchsuchen oder Texte entwerfen. Ein Modell zu trainieren oder per Fine-Tuning anzupassen braucht weit mehr Speicher; das behandeln wir im Ratgeber VRAM für KI-Training vor Ort.
Die Regel, die alles entscheidet: Das Modell muss hineinpassen
Ein Modell belegt ungefähr seine Zahl an Parametern mal die Größe jedes Parameters. Mit 4-Bit-Quantisierung, der üblichen Wahl für den lokalen Betrieb mit sehr geringem Qualitätsverlust, belegt jeder Parameter etwas mehr als ein halbes Byte. Dazu kommt der Kontextspeicher: der Text, den das Modell bei jeder Anfrage liest und schreibt.
| Modell | Ungefährer Speicher | Wo es hineinpasst |
|---|---|---|
| 8 Milliarden Parameter (8B) | etwa 5 GB | Jede GPU ab 8 GB |
| gpt-oss-20b | etwa 13 GB | Eine GPU mit 16 GB |
| 32 Milliarden (32B) | etwa 20 GB | Eine GPU mit 24 oder 32 GB |
| 70 Milliarden (70B) | etwa 40 GB | Zwei GPUs mit 32 GB oder eine Profi-GPU ab 48 GB |
| gpt-oss-120b | etwa 65 GB | Eine Profi-GPU mit 80 bis 96 GB oder ein Rechner mit 128 GB Unified Memory |
Dedizierte GPU oder Unified Memory
Mit einer dedizierten Grafikkarte liegt das Modell in deren Speicher (VRAM) und antwortet sehr schnell, aber die Grenze ist hart: Wenn es nicht hineinpasst, funktioniert es nicht gut. Consumer-Karten erreichen 32 GB, Profikarten 96 GB.
Rechner mit Unified Memory teilen einen großen Speicher, bei kompakten Geräten bis 128 GB, zwischen Prozessor und Grafik. So passen viel größere Modelle in einen kleinen, leisen Rechner, allerdings erzeugt er Text langsamer als eine dedizierte GPU der Oberklasse. Für eine oder wenige Personen ist das meist ein guter Kompromiss.
Wie viele Personen und wie viel Text
Eine Person ist nicht zehn. Wenn sich mehrere Anfragen überschneiden, braucht jede ihren eigenen Kontextspeicher, und der Rechner teilt seine Kapazität auf. Deshalb zählt für ein Team der Speicher so viel wie die GPU-Leistung: Mit langen Dokumenten und mehreren Personen gleichzeitig ist eine GPU mit 16 GB lange vor einer mit 32 GB am Ende.
Richtkonfigurationen
| Szenario | Maschine | Preis |
|---|---|---|
| Bis 5 Personen, Modelle bis etwa 20B | Ryzen 7 9700X · 32 GB · RTX 5060 Ti 16 GB | 2.917 € |
| Bis 15 Personen, Modelle bis etwa 20B | Ryzen 9 9900X · 64 GB · RTX 5070 Ti 16 GB | 4.913 € |
| Bis 30 Personen oder Modelle um 30B | Ryzen 9 9950X · 64 GB · 2× RTX 5070 Ti 16 GB | 6.661 € |
| Bis 60 Personen oder 70B-Modelle auf der GPU | Ryzen 9 9950X · 128 GB · 2× RTX PRO 4000 Blackwell 24 GB | 11.895 € |
| Sehr große Modelle | ACD-014 Enterprise Max · RTX PRO 6000 Blackwell 96 GB | 55.480 € |
Preise zzgl. MwSt.; die ersten vier stammen aus dem Konfigurator. Wenn Sie das System bereits installiert und eingerichtet möchten, mit Suche in Ihren Dokumenten und ohne Abo, sehen Sie sich die private KI für Unternehmen an.
Was wir wissen müssen
Wie viele Personen ihn nutzen und wie viele gleichzeitig, welche Art von Dokumenten und wie groß, ob Sie ein bestimmtes Modell brauchen und ob der Rechner auf einem Schreibtisch oder in einem Schrank stehen soll. Damit schlagen wir Ihnen den Rechner schriftlich vor.
Passende Hardware und Ratgeber
Häufige Fragen
Kann ich einen Laptop für lokale KI nutzen?
Für kleine Modelle und Tests ja. Für die tägliche Arbeit mit Dokumenten kommt ein Desktop-Rechner besser mit Wärme und Dauerbetrieb zurecht und nimmt mehr Speicher auf.
Welches offene Modell sollte ich wählen?
Das hängt von der Sprache, der Art der Aufgabe und dem verfügbaren Speicher ab. Wir testen sie mit Dokumenten, die Ihren ähneln, bevor wir eines empfehlen.
Wie viel Arbeitsspeicher brauche ich?
Mit einer dedizierten GPU mindestens so viel wie der GPU-Speicher, idealerweise das Doppelte, um Modelle und Dokumente bequem zu laden. Bei Rechnern mit Unified Memory ist dieser Speicher zugleich der Speicher des Modells.
Sollen wir Ihnen bei der Wahl des Rechners helfen?
Sagen Sie uns, wie viele Personen ihn nutzen werden und mit welchen Dokumenten. Wir schlagen die Konfiguration schriftlich vor.