Was Unified Memory ist
In einem klassischen Computer hat der Prozessor seinen Speicher und die Grafikkarte ihren eigenen, und ein Modell muss in den der Grafikkarte passen. Bei einem Prozessor mit Unified Memory teilen sich beide dieselben 64 oder 128 GB mit hoher Bandbreite: Die integrierte GPU kann fast den gesamten Speicher für das Modell nutzen. Das Ergebnis ist ein 10-Liter-Gerät, leise und sparsam, das Modelle ausführt, die nicht in eine Grafikkarte mit 16 oder 24 GB passen.
Wofür es taugt
Für private Assistenten, die die Dokumente des Unternehmens zusammenfassen, verfassen und durchsuchen; für quantisierte Sprachmodelle mit 30 bis 70 Milliarden Parametern, die in Lesegeschwindigkeit antworten; für Bild- und Sprachmodelle offline; und für Entwicklung und Tests vor dem Umzug auf einen Server. Alles, ohne dass Daten das Unternehmen verlassen, und mit dem Verbrauch eines großen Laptops.
Wofür es nicht taugt
Zum Trainieren von Modellen oder um viele Personen gleichzeitig zu bedienen: Dort zählen die Rechenleistung und die Bandbreite einer dedizierten GPU, und Unified Memory liegt um ein Mehrfaches zurück. Auch nicht, um Bilder oder Videos im Produktionstempo zu erzeugen. In diesen Fällen eine Workstation mit RTX PRO oder ein KI-Server.
Wie viel Speicher Sie brauchen
| Modell | Benötigter Speicher | Maschine |
|---|---|---|
| 7 bis 8 Milliarden Parameter | 6 bis 8 GB | Jedes Gerät mit 16 GB oder eine 8-GB-Grafikkarte |
| 14 bis 32 Milliarden | 10 bis 24 GB | 32 GB Unified Memory oder eine 24-GB-Grafikkarte |
| 70 Milliarden | 40 bis 48 GB | 64 GB Unified Memory |
| Mehrere Modelle gleichzeitig oder ein sehr langer Kontext | 64 bis 100 GB | 128 GB Unified Memory |
Lassen Sie Reserve: Das System, der Gesprächskontext und die geladenen Dokumente belegen ebenfalls Speicher.
Die Bauform: 10 Liter, leise und wo immer nötig
Ein Kompaktgerät mit Unified Memory passt auf einen Schreibtisch, in einen Schaltschrank an Bord oder in einen Empfangstresen, bei Bedarf mit 12 bis 24 V Stromversorgung und in der Industrieversion lüfterlos. Wir liefern es mit installiertem System und Inferenz-Engine, 24 Stunden getestet und mit den von Ihnen gewählten Modellen geladen. Der Preis wird nach Speicher und Bauform angeboten.
Passende Hardware und Ratgeber
Häufige Fragen
Ist es langsamer als eine dedizierte GPU?
Bei der Antwortgeschwindigkeit eines einzelnen Nutzers mit einem Modell, das in beide passt, ist die dedizierte GPU schneller. Der Vorteil von Unified Memory ist, dass es Modelle ausführt, die nicht in eine Karte mit 16 oder 24 GB passen, mit viel weniger Verbrauch und Geräusch.
Wie viele Personen können sie gleichzeitig nutzen?
Einige wenige. Es ist für ein kleines Team oder einen Arbeitsplatz gedacht, nicht um das ganze Unternehmen zu bedienen. Für Dutzende Nutzer ein KI-Server mit dedizierter GPU.
Welche Modelle kann ich ausführen?
Offene, quantisierte Sprach-, Bild- und Sprachmodelle: mit 64 GB Modelle bis 70 Milliarden Parameter; mit 128 GB mehrere gleichzeitig oder sehr lange Kontexte. Wir liefern sie geladen und getestet.
Kann es auf ein Boot oder in ein Fahrzeug?
Ja. Die Industrieversion ist lüfterlos, läuft mit 12 bis 24 V, ist vibrationsgeprüft und passt in Schränke mit wenig Tiefe.
Wo wird Ihr Computer arbeiten?
Nennen Sie uns den Ort, die vorhandene Stromversorgung und was er tun muss. Wir schlagen Ihnen das Kompaktgerät, mit Prüfungen und Preis, innerhalb von 12 Arbeitsstunden vor.