Le famiglie e cosa le distingue
I modelli aperti più usati vengono da poche famiglie: Llama, Mistral, Qwen, Gemma, DeepSeek e Phi. Ognuna pubblica più taglie dello stesso modello. All’interno di una famiglia, la taglia maggiore ragiona meglio e la minore risponde più in fretta.
La taglia si misura in miliardi di parametri. È il numero che decide la memoria, e quindi l’hardware.
La quantizzazione: lo stesso modello in meno memoria
Un modello si può salvare con meno precisione per ogni numero. Questo si chiama quantizzare. A 4 bit, un modello occupa circa un quarto dell’originale e perde pochissima qualità. È ciò che quasi tutti usano in locale.
La regola: a 4 bit, circa 0,6 GB per ogni miliardo di parametri, più un margine per la conversazione.
Che memoria e che hardware richiede ogni taglia
| Taglia del modello | Memoria occupata | A cosa serve | Hardware di partenza |
|---|---|---|---|
| Fino a 8 miliardi | Circa 5 GB | Classificare, estrarre dati, riassumere testi brevi | Qualsiasi scheda grafica da 8 GB |
| Da 12 a 32 miliardi | Da 8 a 20 GB | Assistente di lavoro, scrittura, documenti | Scheda grafica da 16 a 24 GB o Compact AI 32 |
| Circa 70 miliardi | Circa 42 GB | Ragionamento più fine, testi lunghi | Compact AI 64 o due schede grafiche da 24 GB |
| Più di 100 miliardi | Più di 65 GB | I modelli aperti più capaci | Compact AI 128 o una scheda grafica da 96 GB |
Un modello medio scelto bene risolve la maggior parte del lavoro d’ufficio. Quelli grandi convengono quando le domande sono complesse o i documenti molto lunghi.
Il contesto: quanto testo legge in una volta
Il contesto è il testo che il modello ha davanti: la domanda, i documenti e la conversazione. Un contesto più grande permette di leggere un contratto intero, ma occupa memoria in più oltre al modello. Per questo una macchina che carica il modello a filo diventa insufficiente appena le si passa un documento lungo.
La licenza: non tutti si possono usare allo stesso modo
«Aperto» non significa la stessa cosa in tutti i casi. Alcuni modelli sono pubblicati con licenze come Apache 2.0 o MIT, che permettono l’uso commerciale senza altro. Altri hanno condizioni proprie del produttore. Prima di costruire un prodotto su un modello, leggi la sua licenza.
Hardware e guide correlati
Domande frequenti
Qual è il miglior modello aperto?
Dipende dal lavoro e cambia ogni pochi mesi. Ciò che resta stabile è la taglia: un modello medio per il quotidiano e uno grande per le cose difficili. Con un hardware ben dimensionato, cambiare modello significa scaricare un altro file.
Un modello perde qualità a 4 bit?
Pochissimo nell’uso normale. Se il lavoro richiede la massima fedeltà, si usa a 8 bit, che occupa il doppio. Per questo conviene avere memoria in abbondanza.
Funzionano bene in italiano?
I modelli medi e grandi delle principali famiglie rispondono bene nelle maggiori lingue europee. I più piccoli sono più deboli. Conviene provarli con testi reali.
Posso usarli in un prodotto che vendo?
Con molti sì, ma dipende dalla licenza di ciascun modello. Le licenze Apache 2.0 e MIT lo permettono. Altre hanno condizioni che vanno lette.
Facciamo il conto con la tua azienda?
Dicci quante persone la useranno e con quali documenti. Ti rispondiamo con l’hardware, l’installazione e un prezzo chiuso entro 12 ore lavorative.