Eseguire un modello non è addestrarlo
Questa guida riguarda l’uso di modelli già addestrati, la cosiddetta inferenza: chattare, riassumere, cercare nei documenti o redigere testi. Addestrare o fare il fine-tuning di un modello richiede molta più memoria; ne parliamo nella guida sulla VRAM per addestrare l’IA in locale.
La regola che decide tutto: il modello deve starci
Un modello occupa più o meno il suo numero di parametri moltiplicato per la dimensione di ciascun parametro. Con la quantizzazione a 4 bit, la scelta abituale per eseguire modelli in locale con una perdita di qualità minima, ogni parametro occupa poco più di mezzo byte. A questo si aggiunge la memoria di contesto: il testo che il modello legge e scrive per ogni richiesta.
| Modello | Memoria approssimativa | Dove entra |
|---|---|---|
| 8 miliardi di parametri (8B) | circa 5 GB | Qualsiasi GPU da 8 GB in su |
| gpt-oss-20b | circa 13 GB | Una GPU da 16 GB |
| 32 miliardi (32B) | circa 20 GB | Una GPU da 24 o 32 GB |
| 70 miliardi (70B) | circa 40 GB | Due GPU da 32 GB o una GPU professionale da 48 GB in su |
| gpt-oss-120b | circa 65 GB | Una GPU professionale da 80 a 96 GB, o una macchina con 128 GB di memoria unificata |
GPU dedicata o memoria unificata
Con una scheda grafica dedicata il modello vive nella sua memoria (VRAM) e risponde molto in fretta, ma il limite è rigido: se non ci sta, non funziona bene. Le schede consumer arrivano a 32 GB; quelle professionali a 96 GB.
Le macchine a memoria unificata condividono una memoria ampia, fino a 128 GB nelle macchine compatte, tra processore e grafica. Modelli molto più grandi entrano in una macchina piccola e silenziosa, al prezzo di generare testo più lentamente di una GPU dedicata di fascia alta. Per una o poche persone di solito è un buon equilibrio.
Quante persone e quanto testo
Una persona non è dieci. Quando più richieste si sovrappongono, ognuna ha bisogno del proprio spazio di contesto e la macchina ripartisce la sua capacità. Per questo, per un team, la memoria conta quanto la potenza della GPU: con documenti lunghi e diverse persone insieme, una GPU da 16 GB si esaurisce molto prima di una da 32 GB.
Configurazioni indicative
| Scenario | Macchina | Prezzo |
|---|---|---|
| Fino a 5 persone, modelli fino a circa 20B | Ryzen 7 9700X · 32 GB · RTX 5060 Ti 16 GB | 2.917 € |
| Fino a 15 persone, modelli fino a circa 20B | Ryzen 9 9900X · 64 GB · RTX 5070 Ti 16 GB | 4.913 € |
| Fino a 30 persone o modelli da circa 30B | Ryzen 9 9950X · 64 GB · 2× RTX 5070 Ti 16 GB | 6.661 € |
| Fino a 60 persone o modelli 70B su GPU | Ryzen 9 9950X · 128 GB · 2× RTX PRO 4000 Blackwell 24 GB | 11.895 € |
| Modelli molto grandi | ACD-014 Enterprise Max · RTX PRO 6000 Blackwell 96 GB | 55.480 € |
Prezzi IVA esclusa; le prime quattro vengono dal configuratore. Se vuoi il sistema già installato e configurato, con la ricerca nei tuoi documenti e senza canoni, guarda la IA privata per le aziende.
Cosa ci serve sapere
Quante persone lo useranno e quante insieme, che tipo di documenti e di che dimensioni, se ti serve un modello specifico e se la macchina deve stare su una scrivania o in un armadio. Con questo ti proponiamo la macchina per iscritto.
Hardware e guide correlati
Domande frequenti
Posso usare un portatile per l’IA locale?
Per modelli piccoli e prove, sì. Per il lavoro quotidiano con i documenti, un desktop gestisce meglio il calore e l’uso continuo, e accoglie più memoria.
Quale modello aperto scegliere?
Dipende dalla lingua, dal tipo di compito e dalla memoria disponibile. Li proviamo con documenti simili ai tuoi prima di consigliarne uno.
Quanta RAM di sistema mi serve?
Con una GPU dedicata, almeno quanta la memoria della GPU, e idealmente il doppio, per caricare modelli e documenti con comodità. Nelle macchine a memoria unificata, quella memoria è la memoria del modello.
Ti aiutiamo a scegliere la macchina?
Dicci quante persone lo useranno e con quali documenti. Ti proponiamo la configurazione per iscritto.