Faire tourner un modèle n’est pas l’entraîner
Ce guide porte sur l’utilisation de modèles déjà entraînés, ce qu’on appelle l’inférence : discuter, résumer, chercher dans des documents ou rédiger. Entraîner ou affiner un modèle demande bien plus de mémoire ; nous le traitons dans le guide sur la VRAM pour entraîner une IA en local.
La règle qui décide de tout : le modèle doit tenir
Un modèle occupe à peu près son nombre de paramètres multiplié par la taille de chaque paramètre. Avec la quantification sur 4 bits, le choix habituel pour faire tourner des modèles en local avec une perte de qualité minime, chaque paramètre occupe un peu plus d’un demi-octet. À cela s’ajoute la mémoire de contexte : le texte que le modèle lit et écrit pour chaque requête.
| Modèle | Mémoire approximative | Où il tient |
|---|---|---|
| 8 milliards de paramètres (8B) | environ 5 Go | Tout GPU de 8 Go ou plus |
| gpt-oss-20b | environ 13 Go | Un GPU de 16 Go |
| 32 milliards (32B) | environ 20 Go | Un GPU de 24 ou 32 Go |
| 70 milliards (70B) | environ 40 Go | Deux GPU de 32 Go ou un GPU professionnel de 48 Go ou plus |
| gpt-oss-120b | environ 65 Go | Un GPU professionnel de 80 à 96 Go, ou une machine à mémoire unifiée de 128 Go |
GPU dédié ou mémoire unifiée
Avec une carte graphique dédiée, le modèle vit dans sa mémoire (VRAM) et répond très vite, mais la limite est stricte : s’il ne tient pas, il ne fonctionne pas bien. Les cartes grand public atteignent 32 Go ; les professionnelles, 96 Go.
Les machines à mémoire unifiée partagent une grande mémoire, jusqu’à 128 Go dans les machines compactes, entre le processeur et la partie graphique. Des modèles bien plus grands tiennent dans une machine petite et silencieuse, au prix d’une génération de texte plus lente qu’avec un GPU dédié haut de gamme. Pour une ou quelques personnes, c’est souvent un bon équilibre.
Combien de personnes et combien de texte
Une personne, ce n’est pas dix. Quand plusieurs requêtes se chevauchent, chacune a besoin de son propre espace de contexte et la machine répartit sa capacité. C’est pourquoi, pour une équipe, la mémoire compte autant que la puissance du GPU : avec de longs documents et plusieurs personnes à la fois, un GPU de 16 Go sature bien avant un GPU de 32 Go.
Configurations indicatives
| Scénario | Machine | Prix |
|---|---|---|
| Jusqu’à 5 personnes, modèles jusqu’à environ 20B | Ryzen 7 9700X · 32 Go · RTX 5060 Ti 16 Go | 2 917 € |
| Jusqu’à 15 personnes, modèles jusqu’à environ 20B | Ryzen 9 9900X · 64 Go · RTX 5070 Ti 16 Go | 4 913 € |
| Jusqu’à 30 personnes ou modèles d’environ 30B | Ryzen 9 9950X · 64 Go · 2× RTX 5070 Ti 16 Go | 6 661 € |
| Jusqu’à 60 personnes ou modèles 70B sur GPU | Ryzen 9 9950X · 128 Go · 2× RTX PRO 4000 Blackwell 24 Go | 11 895 € |
| Très grands modèles | ACD-014 Enterprise Max · RTX PRO 6000 Blackwell 96 Go | 55 480 € |
Prix HT ; les quatre premières viennent du configurateur. Si vous voulez le système déjà installé et configuré, avec la recherche dans vos documents et sans abonnement, consultez l’IA privée pour les entreprises.
Ce que nous devons savoir
Combien de personnes l’utiliseront et combien à la fois, quel type de documents et de quelle taille, si vous avez besoin d’un modèle précis et si la machine doit être posée sur un bureau ou dans une baie. Avec cela, nous vous proposons la machine par écrit.
Matériel et guides associés
Questions fréquentes
Puis-je utiliser un portable pour l’IA locale ?
Pour de petits modèles et des essais, oui. Pour le travail quotidien avec des documents, un ordinateur de bureau gère mieux la chaleur et l’usage continu, et accepte plus de mémoire.
Quel modèle ouvert choisir ?
Cela dépend de la langue, du type de tâche et de la mémoire disponible. Nous les testons avec des documents semblables aux vôtres avant d’en recommander un.
De combien de RAM système ai-je besoin ?
Avec un GPU dédié, au moins autant que la mémoire du GPU, et idéalement le double, pour charger modèles et documents confortablement. Dans les machines à mémoire unifiée, cette mémoire est celle du modèle.
On vous aide à choisir la machine ?
Dites-nous combien de personnes l’utiliseront et avec quels documents. Nous proposons la configuration par écrit.