Der Speicher entscheidet, welches Modell Sie nutzen können
Ein Sprachmodell antwortet nur dann schnell, wenn es vollständig in den Speicher passt, den die Grafik nutzt. In einem Mini-PC mit Unified Memory teilen sich Prozessor und integrierte Grafik denselben Speicher, sodass die Grafik den größten Teil davon nutzen kann. Deshalb bewältigt ein kleiner Rechner Modelle, für die ein Tower eine sehr teure Grafikkarte bräuchte.
Die Rechnung ist einfach: Ein auf 4 Bit komprimiertes Modell belegt etwa 0,6 GB pro Milliarde Parameter. Eines mit 30 Milliarden belegt rund 19 GB, eines mit 70 Milliarden rund 42 GB. Dazu kommt der Speicher für das Gespräch, der mit der Länge der Dokumente wächst.
Die drei Größen und was in jede passt
Der Speicher ist auf dem Board verlötet und lässt sich später nicht erweitern: Man muss beim Kauf richtig wählen. Das sind die drei Rechner und ihr heutiger Preis.
| Rechner | Speicher für die Grafik | Modelle, die hineinpassen | Wofür | Preis |
|---|---|---|---|---|
| Compact AI 32 | Bis zu 24 GB | Bis etwa 19 GB | Assistent für ein kleines Team, Transkription, leichte Bildverarbeitung | 2.065 € |
| Compact AI 64 | Bis zu 48 GB | Bis etwa 42 GB | Große Modelle, Assistent mit Dokumenten, Agentenentwicklung | 2.940 € |
| Compact AI 128 | Bis zu 96 GB | Bis etwa 80 GB oder mehrere gleichzeitig | Die größten lokalen Modelle, mehrere Modelle, lange Analysen | 4.820 € |
Welche Geschwindigkeit zu erwarten ist
Unified Memory ist schnell, aber nicht so schnell wie der Speicher einer dedizierten Grafikkarte. Ein mittelgroßes Modell antwortet flüssig. Eines mit 70 Milliarden Parametern schreibt wenige Wörter pro Sekunde: in Ordnung für eine Person, die auf die Antwort wartet, nicht für zwanzig gleichzeitig.
Wenn viele Personen ihn gleichzeitig nutzen oder die Antwort sofort kommen muss, leistet eine dedizierte Grafikkarte mehr. Deshalb lassen sich diese Rechner damit ausstatten.
Wann sich eine Profi-Grafikkarte lohnt
Jeder der drei lässt sich mit einer NVIDIA RTX PRO ausstatten und bleibt kompakt: Er wandert in ein Gehäuse von rund 10 Litern. Das lohnt sich bei vielen gleichzeitigen Nutzern, mehreren Kameras mit Bildverarbeitung oder Software, die CUDA verlangt, die NVIDIA-Technik, die fast alle Trainingswerkzeuge nutzen.
| Grafikkarte | Speicher | Aufpreis |
|---|---|---|
| NVIDIA RTX PRO 2000 Blackwell | 16 GB mit ECC | + €2,005 |
| NVIDIA RTX PRO 4000 Blackwell | 24 GB mit ECC | + €3,820 |
| NVIDIA RTX PRO 4500 Blackwell | 32 GB mit ECC | + €5,760 |
Das Modell kann vollständig auf der Grafikkarte liegen, um Tempo zu gewinnen, oder sich zwischen Karte und Unified Memory aufteilen, um Größe zu gewinnen.
Welche Software verwendet wird
Offene Modelle laufen mit kostenlosen Programmen wie Ollama, LM Studio oder llama.cpp und werden im Browser über eine Oberfläche abgefragt, die der von Cloud-Assistenten ähnelt. Sie funktionieren unter Windows und Linux. Unter Linux kann die integrierte Grafik etwas mehr Speicher nutzen als unter Windows.
Der Rechner wird mit kostenlos installiertem Linux geliefert oder auf Anfrage mit Windows 11 Pro. Auf Wunsch liefern wir ihn mit heruntergeladenen Modellen und startklarer Oberfläche.
Worauf Sie vor dem Kauf achten sollten
Neben dem Speicher trennen vier Dinge ein Arbeitsgerät von einem Hobbygerät: 2 TB Massenspeicher oder mehr, weil jedes Modell Dutzende Gigabyte belegt; Fernverwaltung über IP, um ihn zu betreuen, ohne davorzusitzen; eine Garantie, die den Dauerbetrieb abdeckt; und dass jemand ihn vor dem Versand 24 Stunden unter Volllast getestet hat.
Passende Hardware und Ratgeber
Häufige Fragen
Reichen 32 GB für einen KI-Assistenten?
Für ein kleines Team ja: Modelle bis etwa 19 GB passen hinein, beantworten Fragen zu Dokumenten gut und formulieren flüssig. Wenn Sie größere Modelle oder mehrere gleichzeitig wollen, ist der mit 64 GB der beste Kompromiss.
Kann ich den Speicher später erweitern?
Nein. Bei diesen Rechnern ist der Speicher auf dem Board verlötet, und genau das macht ihn so schnell. Erweitern lassen sich der Massenspeicher über einen zweiten M.2-Steckplatz und die Grafik mit einer dedizierten NVIDIA RTX PRO.
Mini-PC mit Unified Memory oder Tower mit einer RTX?
Der Mini-PC gewinnt, wenn das Modell groß ist und wenige Personen es nutzen: Er lädt, was nicht auf eine Karte mit 16 oder 24 GB passt. Der Tower mit RTX gewinnt beim Tempo und bei vielen gleichzeitigen Nutzern und ist nötig, um Modelle zu trainieren.
Wie viel Strom verbraucht er?
Einen Bruchteil dessen, was eine Workstation mit dedizierter Grafikkarte braucht: Er hat einen sparsamen Prozessor und ein 450-W-Netzteil, das weit unter seiner Grenze arbeitet. Deshalb eignet er sich auch für Installationen mit knapper Stromversorgung.
Wofür werden Sie ihn nutzen?
Sagen Sie uns, welche Modelle Sie betreiben wollen, wie viele Personen ihn nutzen und wo er arbeiten soll. Wir schlagen Ihnen den Kompaktrechner vor, mit oder ohne Profi-Grafikkarte, samt Preis innerhalb von 12 Arbeitsstunden.