KI-Modelle lokal trainieren: Wie viel VRAM brauchen Sie wirklich?

VRAM ist kein Arbeitsspeicher und addiert sich nicht automatisch über mehrere GPUs

Jede GPU behält ihren eigenen Speicher. Für Ausführung oder Training müssen Gewichte, Aktivierungen, Caches und Puffer dort verfügbar sein, wo gerechnet wird. Eine Workstation mit zwei GPUs kann für korrekt parallelisierte Aufgaben hervorragend sein, gilt aber im Allgemeinen nicht als eine GPU mit der einfachen Summe ihrer Gigabytes.

Die LLM-Leitlinien von NVIDIA bieten einen nützlichen Ausgangspunkt: Der Speicher für die Gewichte hängt von der Zahl der Parameter, den Bytes pro Parameter und der Parallelisierung ab. Echte Projekte brauchen aber mehr als die Gewichte: Kontext-Cache, Aktivierungen, Kommunikationspuffer, CUDA und Betriebsreserve. Eine seriöse Schätzung rechnet diese Reserve ein.

Zuerst festlegen, was Sie mit dem Modell machen

Es gibt einen erheblichen Unterschied zwischen gelegentlicher Inferenz, Entwicklung, Fine-Tuning mit Adaptern, Training von Grund auf und dem Betrieb für ein internes Team. Quantisierung kann den Speicher für die Gewichte bei lokaler Inferenz senken; Fine-Tuning und Training bringen Gradienten, Optimiererzustände und Aktivierungen hinzu. Bei Computer Vision zählen Auflösung, Batchgröße und Architektur genauso viel wie die Zahl der Klassen.

Bevor wir eine GPU wählen, fragen wir nach Framework und Version, Modellfamilie, Zielpräzision, Kontextlänge, Batch, Datensatz, Training oder Inferenz, geplanter GPU-Zahl und ob am Arbeitsplatz auch gerendert oder mit CAD gearbeitet wird. Diese Liste verhindert teure Angebote, die an einem vergessenen Speicherdetail scheitern.

Eine vernünftige VRAM-Übersicht

16 GB reichen für Entwicklung, Inferenz kompakter Modelle und gut dimensionierte Bildverarbeitung oder moderates Fine-Tuning. 32 GB schaffen deutlich mehr Raum für Modelle, Datensätze und Kontexte, die in 16 GB nicht unterkommen. 96 GB sind für professionelle KI-Projekte, die diese Kapazität, ECC-Speicher und eine breitere Plattform wirklich brauchen. Das sind Ausgangspunkte, die am genauen Profil zu prüfen sind, keine Marketingstufen.

Wenn eine Anforderung eine GPU übersteigt, zählt das Design des ganzen Systems: ein Mainboard mit genug Steckplätzen und PCIe-Lanes, Reserve beim Netzteil, Gehäuse, Dauertemperaturen, Verteilungssoftware und die Art, wie die Karten kommunizieren. Die Leistung mit mehreren GPUs hängt von Software und Topologie ab; eine feste Vervielfachung sollte niemand versprechen.

CPU, RAM und Speicher prägen trotzdem den Workflow

Die GPU führt die Kernels aus, aber das System muss Daten liefern, Samples vorbereiten, Checkpoints schreiben und stabil bleiben. 64 GB RAM sind eine praktische Basis für viele KI-Workstations; 128 GB oder mehr können bei großen Datensätzen, Vorverarbeitung, mehreren GPUs oder parallelen Werkzeugen nötig sein. Schnelle NVMe-SSDs helfen bei aktiven Datensätzen und Checkpoints, während ein zweites Laufwerk oder Netzwerkspeicher Kapazität und Backup lösen kann.

Eine starke Desktop-CPU reicht für viele Workflows mit einer GPU. Threadripper und Threadripper PRO sind sinnvoll, wenn Sie viele PCIe-Lanes, ECC-RDIMM, mehr Kapazität und eine auf Wachstum ausgelegte Plattform brauchen. Die richtige Wahl ist nicht immer die größte, sondern die, die Spielraum für das nächste Experiment lässt, ohne ungenutzte Kapazität zu bezahlen.

Katalogkonfigurationen als Gesprächsgrundlage

Reproduzierbar schätzen

Beginnen Sie mit einem wiederholbaren Test: ein Modell, eine Konfiguration, Batch, Kontext oder Auflösung und gemessener Verbrauch. Planen Sie dann Reserve für Iterationen ein, statt bis an die Grenze zu runden. Ist ein Produktivbetrieb geplant, legen Sie auch Parallelität und erwartetes Wachstum fest. Das unterscheidet eine Entwicklungs-Workstation von einer Maschine, die Dauerlast bedienen soll.