Zwei verschiedene Grenzen
Die erste betrifft die Nutzer: Das Modell passt und antwortet gut, aber bei vielen Personen gleichzeitig wächst die Warteschlange. Die zweite betrifft die Größe: Sie wollen ein größeres Modell oder schnellere Antworten vom selben, und der Speicher des Rechners gibt nicht mehr her.
Es lohnt sich zu wissen, welche der beiden Sie haben, bevor Sie etwas kaufen.
Was zusätzliche Kompaktrechner lösen
Mehrere identische Kompaktrechner, jeder mit seiner Kopie des Modells und einer vorgeschalteten Lastverteilung, bedienen mehr Personen gleichzeitig. Drei Rechner bedienen etwa dreimal so viele. Fällt einer aus, arbeiten die anderen weiter: Es gibt Redundanz, ohne einen doppelten Server zu bezahlen.
Man wächst schrittweise, kauft bei Bedarf einen weiteren identischen Rechner, und verteilt sie auf Standorte, wenn das Unternehmen mehrere hat.
Was es nicht löst
Mehr Rechner machen ein Modell nicht größer. Ein Modell lässt sich über das Netzwerk auf mehrere Rechner verteilen, und es passt, aber das Netzwerk ist viel langsamer als der Speicher, und die Antwort leidet. Für ein größeres Modell braucht man einen Rechner mit mehr Speicher, nicht mehr Rechner.
Wann ein Server mit Grafikkarten fällig ist
Ein Server mit NVIDIA-Grafikkarten bedient viele gleichzeitige Nutzer auf demselben Modell, weil er die Anfragen bündelt und gemeinsam verarbeitet. Er ist auch der Rechner, um Modelle mit Ihren Daten abzustimmen, und für Software, die CUDA verlangt. Dafür verbraucht er mehr, ist lauter und braucht einen Rackschrank oder einen eigenen Raum.
| Option | Was es bringt | Preis |
|---|---|---|
| 1 Compact AI 64 | Ein großes Modell für ein kleines Team | 2.940 € |
| 3 Compact AI 64 | Dreimal so viele Nutzer und Redundanz | 8.820 € |
| 1 Compact AI 128 | Größere Modelle oder mehrere Modelle gleichzeitig | 4.820 € |
| KI-Rack-Server, RTX PRO 4000 mit 24 GB | Viele Nutzer auf mittelgroßen Modellen, im Rack | 6.407 € |
| KI-Server Threadripper PRO, RTX PRO 6000 mit 96 GB | Große Modelle für das ganze Unternehmen, erweiterbar auf drei Karten | 32.578 € |
Wie man sich entscheidet
Wenn das Problem ist, dass Sie mehr geworden sind und das jetzige Modell genügt, fügen Sie Kompaktrechner hinzu. Wenn das Problem ist, dass das Modell zu klein wird, wechseln Sie zu dem mit 128 GB. Wenn Sie beides brauchen oder trainieren wollen, ist es Zeit für den Server.
In vielen Unternehmen arbeiten beide nebeneinander: der Server in der Zentrale und ein Kompaktrechner in jeder Niederlassung oder an Bord.
Passende Hardware und Ratgeber
Häufige Fragen
Kann ich mehrere Mini-PCs verbinden, um ein größeres Modell auszuführen?
Das geht, indem man das Modell über das Netzwerk verteilt, aber die Antwort ist viel langsamer als auf einem einzelnen Rechner mit genügend Speicher. Für ein größeres Modell ist ein Rechner mit mehr Speicher die bessere Wahl.
Wie viele Personen bedient ein Kompaktrechner?
Das hängt vom Modell ab und davon, wie viel sie ihn nutzen. Als Orientierung: Ein Kompaktrechner bedient ein kleines Team gut, das ihn zwischendurch befragt. Schreiben viele Personen gleichzeitig, wird die Wartezeit spürbar, und es lohnt sich, Rechner hinzuzufügen oder auf eine dedizierte Grafikkarte zu wechseln.
Was verbraucht mehr, drei Kompaktrechner oder ein Server?
In der Regel der Server mit Grafikkarten, vor allem unter Last. Die Kompaktrechner haben sparsame Prozessoren. Sind Energie oder Lärm ein Problem, spricht das für die Kompaktrechner.
Lassen sich Kompaktrechner und Server mischen?
Ja, und das ist üblich: der Server in der Zentrale für die großen Modelle und das Training, und Kompaktrechner in den Niederlassungen, auf der Baustelle oder an Bord, wo es weder Rack noch zuverlässige Verbindung gibt.
Wofür werden Sie ihn nutzen?
Sagen Sie uns, welche Modelle Sie betreiben wollen, wie viele Personen ihn nutzen und wo er arbeiten soll. Wir schlagen Ihnen den Kompaktrechner vor, mit oder ohne Profi-Grafikkarte, samt Preis innerhalb von 12 Arbeitsstunden.