Due limiti diversi
Il primo riguarda gli utenti: il modello ci sta e risponde bene, ma con molte persone insieme la coda cresce. Il secondo riguarda la dimensione: vuoi un modello più grande, o risposte più rapide con lo stesso, e la memoria della macchina non dà di più.
Conviene sapere quale dei due hai prima di comprare qualsiasi cosa.
Cosa risolve aggiungere compatti
Più compatti identici, ognuno con la sua copia del modello e un bilanciatore delle richieste davanti, servono più persone insieme. Tre macchine ne servono circa il triplo. E se una si guasta, le altre continuano: c’è ridondanza senza pagare un server doppio.
Si cresce a passi, comprando un’altra macchina identica quando serve, e le si distribuisce tra le sedi se l’azienda ne ha più di una.
Cosa non risolve
Aggiungere macchine non rende un modello più grande. Un modello si può dividere tra più computer attraverso la rete, e ci sta, ma la rete è molto più lenta della memoria e la risposta ne risente. Per un modello più grande serve una macchina con più memoria, non più macchine.
Quando è il momento di un server con schede grafiche
Un server con schede grafiche NVIDIA serve molti utenti contemporanei sullo stesso modello, perché raggruppa le richieste e le elabora insieme. È anche la macchina per mettere a punto modelli con i tuoi dati e per i programmi che richiedono CUDA. In cambio consuma di più, fa più rumore e richiede un armadio rack o una sala.
| Opzione | Cosa offre | Prezzo |
|---|---|---|
| 1 Compact AI 64 | Un modello grande per un piccolo gruppo | 2.940 € |
| 3 Compact AI 64 | Il triplo degli utenti e ridondanza | 8.820 € |
| 1 Compact AI 128 | Modelli più grandi o più modelli insieme | 4.820 € |
| Server IA Rack, RTX PRO 4000 da 24 GB | Molti utenti su modelli medi, nel rack | 6.407 € |
| Server IA Threadripper PRO, RTX PRO 6000 da 96 GB | Modelli grandi per tutta l’azienda, espandibile a tre schede | 32.578 € |
Come decidere
Se il problema è che siete di più e il modello attuale vi basta, aggiungi compatti. Se il problema è che il modello è diventato piccolo, passa a quello da 128 GB. Se vi servono entrambe le cose, o addestrare, è il momento del server.
In molte aziende convivono: il server in sede e un compatto in ogni filiale o a bordo.
Hardware e guide correlati
Domande frequenti
Posso unire più mini PC per eseguire un modello più grande?
Si può, dividendo il modello attraverso la rete, ma la risposta è molto più lenta che su una sola macchina con memoria sufficiente. Per un modello più grande conviene di più una macchina con più memoria.
Quante persone serve un compatto?
Dipende dal modello e da quanto lo usano. Come indicazione, un compatto serve bene un piccolo gruppo che lo consulta ogni tanto. Se molte persone scrivono insieme, l’attesa si fa sentire e conviene aggiungere macchine o passare a una scheda grafica dedicata.
Cosa consuma di più, tre compatti o un server?
Di norma il server con schede grafiche, soprattutto sotto carico. I compatti hanno processori a basso consumo. Se l’energia o il rumore sono un problema, questo pesa a favore dei compatti.
Si possono combinare compatti e server?
Sì, ed è frequente: il server in sede per i modelli grandi e l’addestramento, e compatti nelle filiali, in cantiere o a bordo, dove non c’è rack né connessione affidabile.
Per cosa lo userai?
Raccontaci quali modelli vuoi far girare, quante persone lo useranno e dove lavorerà. Ti proponiamo il compatto, con o senza scheda grafica professionale, e il suo prezzo entro 12 ore lavorative.