La VRAM n’est pas la RAM système, et elle ne s’additionne pas automatiquement entre GPU
Chaque GPU conserve sa propre mémoire. Pour l’exécution ou l’entraînement, poids, activations, caches et tampons doivent être disponibles là où le calcul en a besoin. Une station à deux GPU peut être excellente pour des tâches correctement parallélisées, mais elle ne se comporte généralement pas comme un seul GPU doté de la somme de ses gigaoctets.
Les recommandations de NVIDIA sur les LLM offrent un point de départ utile : la mémoire des poids dépend du nombre de paramètres, des octets par paramètre et du parallélisme. Mais les projets réels demandent plus que les poids : cache de contexte, activations, tampons de communication, CUDA et marge de fonctionnement. Une estimation sérieuse inclut cette marge.
Définir d’abord ce que vous faites avec le modèle
Il y a une différence importante entre l’inférence occasionnelle, le développement, l’affinage par adaptateurs, l’entraînement à partir de zéro et le service à une équipe interne. La quantification peut réduire la mémoire des poids pour l’inférence locale ; l’affinage et l’entraînement ajoutent gradients, états de l’optimiseur et activations. En vision par ordinateur, la résolution, la taille de batch et l’architecture comptent autant que le nombre de classes.
Avant de choisir un GPU, nous demandons le framework et sa version, la famille de modèles, la précision visée, la longueur de contexte, le batch, le jeu de données, entraînement ou inférence, le nombre de GPU prévu et si le poste fera aussi du rendu ou de la CAO. Cette liste évite des propositions coûteuses qui échouent sur un détail de mémoire oublié.
Une carte raisonnable de la VRAM
16 Go conviennent au développement, à l’inférence de modèles compacts et à une vision bien dimensionnée ou un affinage modéré. 32 Go ouvrent nettement plus d’espace pour des modèles, jeux de données et contextes qui ne tiennent pas dans 16 Go. 96 Go sont pour les projets d’IA professionnels qui ont réellement besoin de cette capacité, de mémoire ECC et d’une plateforme plus large. Ce sont des points de départ à vérifier sur le profil exact, pas des niveaux marketing.
Si un besoin dépasse un GPU, c’est la conception de tout le système qui compte : une carte mère avec assez d’emplacements et de lignes PCIe, de la marge sur l’alimentation, le boîtier, les températures en charge continue, le logiciel de répartition et la façon dont les cartes communiquent. Les performances multi-GPU dépendent du logiciel et de la topologie ; aucune multiplication fixe ne devrait être promise.
CPU, RAM et stockage pèsent toujours sur le flux de travail
Le GPU exécute les kernels, mais le système doit alimenter les données, préparer les échantillons, écrire les checkpoints et rester stable. 64 Go de RAM sont une base pratique pour beaucoup de stations d’IA ; 128 Go ou plus peuvent être nécessaires pour de gros jeux de données, le prétraitement, plusieurs GPU ou des outils en parallèle. Un NVMe rapide aide pour les jeux de données actifs et les checkpoints, tandis qu’un second volume ou un stockage réseau peut régler la capacité et la sauvegarde.
Un CPU de bureau puissant suffit à de nombreux flux de travail à un seul GPU. Threadripper et Threadripper PRO se justifient quand il faut beaucoup de lignes PCIe, de la RDIMM ECC, plus de capacité et une plateforme conçue pour évoluer. Le bon choix n’est pas toujours le plus gros : c’est celui qui laisse de la marge pour la prochaine expérience sans payer une capacité inutilisée.
Configurations du catalogue pour lancer la discussion
| Scénario | Configuration | Base technique | Prix |
|---|---|---|---|
| Développement et inférence | ACD-006 Pro | RTX 5080 de 16 Go, 64 Go ECC et une plateforme évolutive. | 7 160 € |
| Affinage et LLM local | ACD-009 Advanced Pro | RTX 5090 de 32 Go, Threadripper et 128 Go ECC. | 22 670 € |
| IA professionnelle à grande mémoire | ACD-014 Enterprise Max | RTX PRO 6000 Blackwell de 96 Go ECC, Threadripper PRO et 256 Go ECC. | 55 480 € |
Estimer de façon reproductible
Partez d’un test reproductible : un modèle, une configuration, un batch, un contexte ou une résolution, et une consommation mesurée. Ajoutez ensuite une marge pour les itérations plutôt que d’arrondir à la limite. Si une mise en production est prévue, définissez aussi la simultanéité et la croissance attendue. C’est ce qui distingue une station de développement d’une machine censée tenir une charge soutenue.
Matériel et guides associés
Questions fréquentes
Puis-je exécuter un modèle qui demande plus de VRAM que mon GPU ?
Certains outils permettent la quantification, le déchargement ou la répartition, au prix de compromis sur la vitesse et la complexité. Il faut le valider avec le modèle et l’environnement exacts.
Deux GPU de 32 Go valent-ils un GPU de 64 Go ?
Pas en général. Chaque carte garde sa mémoire ; le logiciel doit répartir le travail et la mémoire de façon compatible.
Ai-je besoin d’ECC pour l’IA ?
Ce n’est pas obligatoire pour tout laboratoire ou projet de développement. Cela peut compter quand la capacité, la continuité et les charges de longue durée sont prioritaires, en particulier sur les plateformes professionnelles.
Vous voulez valider une charge de travail avant d’acheter ?
Indiquez-nous le modèle, la précision, le batch, le contexte et s’il s’agit d’entraînement ou d’inférence. Nous dimensionnerons la proposition autour de ce scénario.