Addestrare modelli di IA in locale: quanta VRAM ti serve davvero?

La VRAM non è la RAM di sistema e non si somma automaticamente tra più GPU

Ogni GPU mantiene la propria memoria. Per l’esecuzione o l’addestramento, pesi, attivazioni, cache e buffer devono essere disponibili dove il calcolo ne ha bisogno. Una workstation con due GPU può essere eccellente per lavori parallelizzati correttamente, ma in genere non equivale a una GPU con la semplice somma dei suoi gigabyte.

Le indicazioni di NVIDIA sugli LLM offrono un punto di partenza utile: la memoria dei pesi dipende dal numero di parametri, dai byte per parametro e dal parallelismo. Ma i progetti reali richiedono più dei pesi: cache del contesto, attivazioni, buffer di comunicazione, CUDA e margine operativo. Una stima seria include quel margine.

Prima definisci cosa fai con il modello

C’è una differenza sostanziale tra inferenza occasionale, sviluppo, fine-tuning con adapter, addestramento da zero e servizio a un team interno. La quantizzazione può ridurre la memoria dei pesi per l’inferenza locale; fine-tuning e addestramento aggiungono gradienti, stati dell’ottimizzatore e attivazioni. Nella computer vision, risoluzione, dimensione del batch e architettura contano quanto il numero di classi.

Prima di scegliere una GPU chiediamo framework e versione, famiglia del modello, precisione obiettivo, lunghezza del contesto, batch, dataset, addestramento o inferenza, numero di GPU previsto e se la postazione farà anche rendering o CAD. Questa lista evita proposte costose che falliscono per un dettaglio di memoria dimenticato.

Una mappa sensata della VRAM

16 GB bastano per sviluppo, inferenza di modelli compatti e visione ben dimensionata o fine-tuning moderato. 32 GB aprono molto più spazio per modelli, dataset e contesti che non stanno in 16 GB. 96 GB sono per progetti di IA professionali che richiedono davvero quella capacità, memoria ECC e una piattaforma più ampia. Sono punti di partenza da verificare sul profilo esatto, non livelli di marketing.

Se un requisito supera una GPU, conta il progetto dell’intero sistema: una scheda madre con slot e linee PCIe sufficienti, margine sull’alimentatore, case, temperature sostenute, software di distribuzione e il modo in cui comunicano le schede. Le prestazioni multi-GPU dipendono da software e topologia; non si dovrebbe promettere nessuna moltiplicazione fissa.

CPU, RAM e storage contano comunque nel flusso di lavoro

La GPU esegue i kernel, ma il sistema deve fornire i dati, preparare i campioni, scrivere i checkpoint e restare stabile. 64 GB di RAM sono una base pratica per molte workstation di IA; 128 GB o più possono servire per dataset grandi, preprocessing, più GPU o strumenti in parallelo. Un NVMe veloce aiuta con i dataset attivi e i checkpoint, mentre un secondo volume o uno storage di rete può risolvere capacità e backup.

Una CPU desktop potente basta per molti flussi di lavoro con una sola GPU. Threadripper e Threadripper PRO hanno senso quando servono molte linee PCIe, RDIMM ECC, più capacità e una piattaforma pensata per crescere. La scelta giusta non è sempre la più grande: è quella che lascia margine per il prossimo esperimento senza pagare capacità inutilizzata.

Configurazioni del catalogo per iniziare a parlarne

Stimare in modo riproducibile

Parti da un test ripetibile: un modello, una configurazione, batch, contesto o risoluzione, e consumo misurato. Poi aggiungi margine per le iterazioni invece di arrotondare al limite. Se è prevista la produzione, definisci anche concorrenza e crescita attesa. È ciò che distingue una workstation di sviluppo da una macchina che deve reggere un carico sostenuto.