As famílias e o que as distingue
Os modelos abertos mais usados vêm de umas poucas famílias: Llama, Mistral, Qwen, Gemma, DeepSeek e Phi. Cada uma publica vários tamanhos do mesmo modelo. Dentro de uma família, o tamanho maior raciocina melhor e o menor responde mais depressa.
O tamanho mede-se em milhares de milhões de parâmetros. É o número que decide a memória e, portanto, o hardware.
A quantização: o mesmo modelo em menos memória
Um modelo pode ser guardado com menos precisão em cada número. A isso chama-se quantizar. A 4 bits, um modelo ocupa cerca de quatro vezes menos do que o original e perde muito pouca qualidade. É o que quase toda a gente usa em local.
A regra: a 4 bits, cerca de 0,6 GB por cada mil milhões de parâmetros, mais uma margem para a conversa.
Que memória e que hardware pede cada tamanho
| Tamanho do modelo | Memória que ocupa | Para que serve | Hardware de partida |
|---|---|---|---|
| Até 8 mil milhões | Cerca de 5 GB | Classificar, extrair dados, resumir textos curtos | Qualquer placa gráfica de 8 GB |
| De 12 a 32 mil milhões | De 8 a 20 GB | Assistente de trabalho, redação, documentos | Placa gráfica de 16 a 24 GB ou Compact AI 32 |
| Cerca de 70 mil milhões | Cerca de 42 GB | Raciocínio mais fino, textos longos | Compact AI 64 ou duas placas gráficas de 24 GB |
| Mais de 100 mil milhões | Mais de 65 GB | Os modelos abertos mais capazes | Compact AI 128 ou uma placa gráfica de 96 GB |
Um modelo médio bem escolhido resolve a maior parte do trabalho de escritório. Os grandes compensam quando as perguntas são complexas ou os documentos muito longos.
O contexto: quanto texto lê de uma vez
O contexto é o texto que o modelo tem à frente: a pergunta, os documentos e a conversa. Um contexto maior permite ler um contrato inteiro, mas ocupa memória além do modelo. Por isso uma máquina que carrega o modelo à justa fica curta assim que se lhe passa um documento longo.
A licença: nem todos se podem usar da mesma forma
«Aberto» não significa o mesmo em todos os casos. Alguns modelos são publicados com licenças como Apache 2.0 ou MIT, que permitem o uso comercial sem mais. Outros têm condições próprias do fabricante. Antes de construir um produto sobre um modelo, leia a sua licença.
Equipamento e guias relacionados
Perguntas frequentes
Qual é o melhor modelo aberto?
Depende do trabalho e muda a cada poucos meses. O que se mantém é o tamanho: um modelo médio para o dia a dia e um grande para o difícil. Com o hardware bem dimensionado, mudar de modelo é descarregar outro ficheiro.
Um modelo perde qualidade a 4 bits?
Muito pouca no uso normal. Se o trabalho exigir a máxima fidelidade, usa-se a 8 bits, que ocupa o dobro. Por isso convém ter memória de sobra.
Funcionam bem em português?
Os modelos médios e grandes das principais famílias respondem bem nas maiores línguas europeias. Os mais pequenos são mais fracos. Convém testá-los com textos reais.
Posso usá-los num produto que vendo?
Com muitos, sim, mas depende da licença de cada modelo. As licenças Apache 2.0 e MIT permitem-no. Outras têm condições que é preciso ler.
Fazemos a conta com a sua empresa?
Diga-nos quantas pessoas a vão usar e com que documentos. Respondemos com o equipamento, a instalação e um preço fechado em menos de 12 horas úteis.