Deux limites différentes
La première concerne les utilisateurs : le modèle tient et répond bien, mais avec beaucoup de personnes à la fois la file s’allonge. La seconde concerne la taille : vous voulez un modèle plus grand, ou des réponses plus rapides avec le même, et la mémoire de la machine ne donne pas plus.
Il vaut la peine de savoir laquelle des deux vous concerne avant d’acheter quoi que ce soit.
Ce que règle l’ajout de compacts
Plusieurs compacts identiques, chacun avec sa copie du modèle et une répartition des requêtes en amont, servent plus de personnes à la fois. Trois machines en servent à peu près trois fois plus. Et si l’une tombe en panne, les autres continuent : il y a de la redondance sans payer un serveur en double.
On grandit par étapes, en achetant une autre machine identique quand il le faut, et on peut les répartir entre les sites si l’entreprise en a plusieurs.
Ce que cela ne règle pas
Ajouter des machines ne rend pas un modèle plus grand. On peut répartir un modèle entre plusieurs ordinateurs par le réseau, et il tient, mais le réseau est beaucoup plus lent que la mémoire et la réponse s’en ressent. Pour un modèle plus grand, il faut une machine avec plus de mémoire, pas plus de machines.
Quand vient le moment d’un serveur à cartes graphiques
Un serveur à cartes graphiques NVIDIA sert beaucoup d’utilisateurs simultanés sur le même modèle, car il regroupe les requêtes et les traite ensemble. C’est aussi la machine pour ajuster des modèles avec vos données et pour les logiciels qui exigent CUDA. En échange, il consomme plus, fait plus de bruit et demande une baie ou une salle.
| Option | Ce que cela apporte | Prix |
|---|---|---|
| 1 Compact AI 64 | Un grand modèle pour une petite équipe | 2 940 € |
| 3 Compact AI 64 | Trois fois plus d’utilisateurs et de la redondance | 8 820 € |
| 1 Compact AI 128 | Des modèles plus grands ou plusieurs modèles à la fois | 4 820 € |
| Serveur IA Rack, RTX PRO 4000 de 24 Go | Beaucoup d’utilisateurs sur des modèles moyens, en baie | 6 407 € |
| Serveur IA Threadripper PRO, RTX PRO 6000 de 96 Go | De grands modèles pour toute l’entreprise, extensible à trois cartes | 32 578 € |
Comment décider
Si le problème est que vous êtes plus nombreux et que le modèle actuel vous convient, ajoutez des compacts. Si le problème est que le modèle devient trop petit, passez à celui de 128 Go. Si vous avez besoin des deux, ou d’entraîner, c’est le moment du serveur.
Dans beaucoup d’entreprises, ils cohabitent : le serveur au siège et un compact dans chaque agence ou à bord.
Matériel et guides associés
Questions fréquentes
Puis-je réunir plusieurs mini PC pour exécuter un modèle plus grand ?
C’est possible, en répartissant le modèle par le réseau, mais la réponse est bien plus lente que sur une seule machine avec assez de mémoire. Pour un modèle plus grand, mieux vaut une machine avec plus de mémoire.
Combien de personnes un compact peut-il servir ?
Cela dépend du modèle et de l’usage qu’ils en font. À titre indicatif, un compact sert bien une petite équipe qui l’interroge de temps en temps. Si beaucoup de personnes écrivent en même temps, l’attente se fait sentir et il vaut la peine d’ajouter des machines ou de passer à une carte graphique dédiée.
Qu’est-ce qui consomme le plus, trois compacts ou un serveur ?
En général le serveur à cartes graphiques, surtout en charge. Les compacts ont des processeurs sobres. Si l’énergie ou le bruit posent problème, cela pèse en faveur des compacts.
Peut-on mélanger compacts et serveur ?
Oui, et c’est courant : le serveur au siège pour les grands modèles et l’entraînement, et des compacts dans les agences, sur chantier ou à bord, là où il n’y a ni baie ni connexion fiable.
À quoi va-t-il vous servir ?
Dites-nous quels modèles vous voulez faire tourner, combien de personnes vont l’utiliser et où il va travailler. Nous vous proposons le compact, avec ou sans carte graphique professionnelle, et son prix sous 12 heures ouvrées.