Cos’è la memoria unificata
In un computer classico il processore ha la sua memoria e la scheda grafica la sua, e un modello deve entrare in quella della scheda. In un processore con memoria unificata, i due condividono gli stessi 64 o 128 GB con una banda elevata: la GPU integrata può usare quasi tutta quella memoria per il modello. Il risultato è un’unità da 10 litri, silenziosa e a basso consumo, che esegue modelli che non entrano in una scheda da 16 o 24 GB.
A cosa serve
Per assistenti privati che riassumono, redigono e cercano nei documenti dell’azienda; per modelli di linguaggio da 30 a 70 miliardi di parametri, quantizzati, che rispondono a velocità di lettura; per modelli di visione e voce senza connessione; e per sviluppo e test prima di passare a un server. Tutto senza che i dati escano dall’azienda e con i consumi di un portatile grande.
A cosa non serve
Per addestrare modelli o servire molte persone alla volta: lì comandano la potenza di calcolo e la banda di una GPU dedicata, e la memoria unificata resta diverse volte indietro. Nemmeno per generare immagini o video a ritmo di produzione. In quei casi, una workstation con una RTX PRO o un server di IA.
Quanta memoria serve
| Modello | Memoria occupata | Macchina |
|---|---|---|
| Da 7 a 8 miliardi di parametri | da 6 a 8 GB | Qualsiasi macchina con 16 GB o una scheda grafica da 8 GB |
| Da 14 a 32 miliardi | da 10 a 24 GB | 32 GB unificati o una scheda grafica da 24 GB |
| 70 miliardi | da 40 a 48 GB | 64 GB unificati |
| Più modelli alla volta o un contesto molto lungo | da 64 a 100 GB | 128 GB unificati |
Lascia margine: il sistema, il contesto della conversazione e i documenti caricati occupano memoria anche loro.
Il formato: 10 litri, silenzioso e dove serve
Un’unità compatta con memoria unificata sta su una scrivania, in un armadio di bordo o in un bancone della reception, con alimentazione da 12 a 24 V se serve e, nella versione industriale, senza ventole. La consegniamo con il sistema e il motore di inferenza installati, provata 24 ore e con i modelli che scegliete caricati. Il prezzo si preventiva in base a memoria e formato.
Hardware e guide correlati
Domande frequenti
È più lento di una GPU dedicata?
In velocità di risposta di un solo utente con un modello che entra in entrambi, la GPU dedicata è più veloce. Il vantaggio della memoria unificata è che esegue modelli che non entrano in una scheda da 16 o 24 GB, con molto meno consumo e rumore.
Quante persone possono usarla insieme?
Poche. È pensata per un piccolo team o una postazione, non per servire tutta l’azienda. Per decine di utenti, un server di IA con GPU dedicata.
Quali modelli posso eseguire?
Modelli aperti di linguaggio, visione e voce, quantizzati: con 64 GB, modelli fino a 70 miliardi di parametri; con 128 GB, più modelli alla volta o contesti molto lunghi. Li lasciamo caricati e provati.
Può andare su una barca o in un veicolo?
Sì. La versione industriale è senza ventole, funziona a 12-24 V, è provata a vibrazione ed entra in armadi poco profondi.
Dove lavorerà il tuo computer?
Dicci il posto, l’alimentazione disponibile e cosa deve fare. Ti proponiamo l’unità compatta, con prove e prezzo, entro 12 ore lavorative.