Início
Equipamentos
Configurador
Serviços
OEM Guias Quem somos Garantia Contacto
ESENDEFRITPT
IA privada · Modelos

Modelos de IA abertos para usar em local: tamanhos, memória e o hardware que cada um pede

Há dezenas de modelos abertos e todos os meses sai algum novo. Para escolher o hardware não é preciso conhecê-los todos: basta saber de que tamanho é o que precisa. Este guia ordena os modelos por tamanho e diz quanta memória pede cada um.

Equipa técnica da ACD&CO10 de novembro de 20266 min de leitura

As famílias e o que as distingue

Os modelos abertos mais usados vêm de umas poucas famílias: Llama, Mistral, Qwen, Gemma, DeepSeek e Phi. Cada uma publica vários tamanhos do mesmo modelo. Dentro de uma família, o tamanho maior raciocina melhor e o menor responde mais depressa.

O tamanho mede-se em milhares de milhões de parâmetros. É o número que decide a memória e, portanto, o hardware.

A quantização: o mesmo modelo em menos memória

Um modelo pode ser guardado com menos precisão em cada número. A isso chama-se quantizar. A 4 bits, um modelo ocupa cerca de quatro vezes menos do que o original e perde muito pouca qualidade. É o que quase toda a gente usa em local.

A regra: a 4 bits, cerca de 0,6 GB por cada mil milhões de parâmetros, mais uma margem para a conversa.

Que memória e que hardware pede cada tamanho

Tamanhos de modelo, memória a 4 bits e hardware de partida
Tamanho do modeloMemória que ocupaPara que serveHardware de partida
Até 8 mil milhõesCerca de 5 GBClassificar, extrair dados, resumir textos curtosQualquer placa gráfica de 8 GB
De 12 a 32 mil milhõesDe 8 a 20 GBAssistente de trabalho, redação, documentosPlaca gráfica de 16 a 24 GB ou Compact AI 32
Cerca de 70 mil milhõesCerca de 42 GBRaciocínio mais fino, textos longosCompact AI 64 ou duas placas gráficas de 24 GB
Mais de 100 mil milhõesMais de 65 GBOs modelos abertos mais capazesCompact AI 128 ou uma placa gráfica de 96 GB

Um modelo médio bem escolhido resolve a maior parte do trabalho de escritório. Os grandes compensam quando as perguntas são complexas ou os documentos muito longos.

O contexto: quanto texto lê de uma vez

O contexto é o texto que o modelo tem à frente: a pergunta, os documentos e a conversa. Um contexto maior permite ler um contrato inteiro, mas ocupa memória além do modelo. Por isso uma máquina que carrega o modelo à justa fica curta assim que se lhe passa um documento longo.

A licença: nem todos se podem usar da mesma forma

«Aberto» não significa o mesmo em todos os casos. Alguns modelos são publicados com licenças como Apache 2.0 ou MIT, que permitem o uso comercial sem mais. Outros têm condições próprias do fabricante. Antes de construir um produto sobre um modelo, leia a sua licença.

Experimente dois ou três modelos com as suas próprias perguntas e na sua língua antes de decidir. As classificações gerais dizem pouco sobre como um modelo responde aos seus documentos.

Perguntas frequentes

Qual é o melhor modelo aberto?

Depende do trabalho e muda a cada poucos meses. O que se mantém é o tamanho: um modelo médio para o dia a dia e um grande para o difícil. Com o hardware bem dimensionado, mudar de modelo é descarregar outro ficheiro.

Um modelo perde qualidade a 4 bits?

Muito pouca no uso normal. Se o trabalho exigir a máxima fidelidade, usa-se a 8 bits, que ocupa o dobro. Por isso convém ter memória de sobra.

Funcionam bem em português?

Os modelos médios e grandes das principais famílias respondem bem nas maiores línguas europeias. Os mais pequenos são mais fracos. Convém testá-los com textos reais.

Posso usá-los num produto que vendo?

Com muitos, sim, mas depende da licença de cada modelo. As licenças Apache 2.0 e MIT permitem-no. Outras têm condições que é preciso ler.

Fazemos a conta com a sua empresa?

Diga-nos quantas pessoas a vão usar e com que documentos. Respondemos com o equipamento, a instalação e um preço fechado em menos de 12 horas úteis.

Pedir uma proposta

Proposta em menos de 12 horas úteis

Diga-nos o que precisa

Diga-nos para que o quer e respondemos com uma configuração e o seu preço. Se já tem um orçamento de outra marca, envie-o e preparamos o equivalente.

  • Resposta por escrito em menos de 12 horas úteis
  • Um único interlocutor, do orçamento à garantia
  • Sem compromisso: usamos os seus dados apenas para lhe responder

+34 613 17 68 06info@acdcompany.es

Este campo é obrigatório.
Verifique o email: falta alguma coisa.

Ou ligue-nos: +34 613 17 68 06