Startseite
Hardware
Konfigurator
Leistungen
OEM Ratgeber Über uns Garantie Kontakt
ESENDEFRITPT
Kompakt · Unified Memory

Kompaktcomputer mit Unified Memory: künstliche Intelligenz mit 64 oder 128 GB ohne dedizierte GPU

Bis vor Kurzem erforderte ein großes Sprachmodell vor Ort eine teure Grafikkarte mit viel Speicher. Prozessoren mit Unified Memory ändern die Rechnung: Das Modell passt in den Systemspeicher, und die integrierte GPU führt es aus. Dieser Leitfaden erklärt, wann das die beste Option ist und wann nicht.

Technisches Team von ACD&CO7. November 20266 Min. Lesezeit

Was Unified Memory ist

In einem klassischen Computer hat der Prozessor seinen Speicher und die Grafikkarte ihren eigenen, und ein Modell muss in den der Grafikkarte passen. Bei einem Prozessor mit Unified Memory teilen sich beide dieselben 64 oder 128 GB mit hoher Bandbreite: Die integrierte GPU kann fast den gesamten Speicher für das Modell nutzen. Das Ergebnis ist ein 10-Liter-Gerät, leise und sparsam, das Modelle ausführt, die nicht in eine Grafikkarte mit 16 oder 24 GB passen.

Wofür es taugt

Für private Assistenten, die die Dokumente des Unternehmens zusammenfassen, verfassen und durchsuchen; für quantisierte Sprachmodelle mit 30 bis 70 Milliarden Parametern, die in Lesegeschwindigkeit antworten; für Bild- und Sprachmodelle offline; und für Entwicklung und Tests vor dem Umzug auf einen Server. Alles, ohne dass Daten das Unternehmen verlassen, und mit dem Verbrauch eines großen Laptops.

Wofür es nicht taugt

Zum Trainieren von Modellen oder um viele Personen gleichzeitig zu bedienen: Dort zählen die Rechenleistung und die Bandbreite einer dedizierten GPU, und Unified Memory liegt um ein Mehrfaches zurück. Auch nicht, um Bilder oder Videos im Produktionstempo zu erzeugen. In diesen Fällen eine Workstation mit RTX PRO oder ein KI-Server.

Die Faustregel: Ist der Engpass, dass das Modell nicht passt, Unified Memory; ist der Engpass die Geschwindigkeit oder die Zahl der Nutzer, eine dedizierte GPU.

Wie viel Speicher Sie brauchen

Richtwert für den Speicher nach Modellgröße (auf 4 Bit quantisiert, mit Arbeitskontext)
ModellBenötigter SpeicherMaschine
7 bis 8 Milliarden Parameter6 bis 8 GBJedes Gerät mit 16 GB oder eine 8-GB-Grafikkarte
14 bis 32 Milliarden10 bis 24 GB32 GB Unified Memory oder eine 24-GB-Grafikkarte
70 Milliarden40 bis 48 GB64 GB Unified Memory
Mehrere Modelle gleichzeitig oder ein sehr langer Kontext64 bis 100 GB128 GB Unified Memory

Lassen Sie Reserve: Das System, der Gesprächskontext und die geladenen Dokumente belegen ebenfalls Speicher.

Die Bauform: 10 Liter, leise und wo immer nötig

Ein Kompaktgerät mit Unified Memory passt auf einen Schreibtisch, in einen Schaltschrank an Bord oder in einen Empfangstresen, bei Bedarf mit 12 bis 24 V Stromversorgung und in der Industrieversion lüfterlos. Wir liefern es mit installiertem System und Inferenz-Engine, 24 Stunden getestet und mit den von Ihnen gewählten Modellen geladen. Der Preis wird nach Speicher und Bauform angeboten.

Häufige Fragen

Ist es langsamer als eine dedizierte GPU?

Bei der Antwortgeschwindigkeit eines einzelnen Nutzers mit einem Modell, das in beide passt, ist die dedizierte GPU schneller. Der Vorteil von Unified Memory ist, dass es Modelle ausführt, die nicht in eine Karte mit 16 oder 24 GB passen, mit viel weniger Verbrauch und Geräusch.

Wie viele Personen können sie gleichzeitig nutzen?

Einige wenige. Es ist für ein kleines Team oder einen Arbeitsplatz gedacht, nicht um das ganze Unternehmen zu bedienen. Für Dutzende Nutzer ein KI-Server mit dedizierter GPU.

Welche Modelle kann ich ausführen?

Offene, quantisierte Sprach-, Bild- und Sprachmodelle: mit 64 GB Modelle bis 70 Milliarden Parameter; mit 128 GB mehrere gleichzeitig oder sehr lange Kontexte. Wir liefern sie geladen und getestet.

Kann es auf ein Boot oder in ein Fahrzeug?

Ja. Die Industrieversion ist lüfterlos, läuft mit 12 bis 24 V, ist vibrationsgeprüft und passt in Schränke mit wenig Tiefe.

Wo wird Ihr Computer arbeiten?

Nennen Sie uns den Ort, die vorhandene Stromversorgung und was er tun muss. Wir schlagen Ihnen das Kompaktgerät, mit Prüfungen und Preis, innerhalb von 12 Arbeitsstunden vor.

Angebot anfordern

Angebot innerhalb von 12 Arbeitsstunden

Sagen Sie uns, was Sie brauchen

Sagen Sie uns, wofür Sie den Rechner brauchen, und wir antworten mit einer Konfiguration und ihrem Preis. Wenn Sie bereits ein Angebot einer anderen Marke haben, senden Sie es uns und wir erstellen das Gegenstück.

  • Schriftliche Antwort innerhalb von 12 Arbeitsstunden
  • Ein einziger Ansprechpartner, vom Angebot bis zur Garantie
  • Unverbindlich: Wir nutzen Ihre Daten nur für die Antwort

+34 613 17 68 06info@acdcompany.es

Dieses Feld ist erforderlich.
Bitte E-Mail prüfen: Es fehlt etwas.

Oder rufen Sie an: +34 613 17 68 06