Correr um modelo não é treiná-lo
Este guia trata da utilização de modelos já treinados, aquilo a que se chama inferência: conversar, resumir, pesquisar documentos ou redigir. Treinar ou afinar um modelo exige muito mais memória; tratamos disso no guia sobre VRAM para treinar IA localmente.
A regra que decide tudo: o modelo tem de caber
Um modelo ocupa aproximadamente o seu número de parâmetros vezes o tamanho de cada parâmetro. Com quantização a 4 bits, a escolha habitual para correr modelos localmente com muito pouca perda de qualidade, cada parâmetro ocupa pouco mais de meio byte. A isso soma-se a memória de contexto: o texto que o modelo lê e escreve em cada consulta.
| Modelo | Memória aproximada | Onde cabe |
|---|---|---|
| 8 mil milhões de parâmetros (8B) | cerca de 5 GB | Qualquer GPU com 8 GB ou mais |
| gpt-oss-20b | cerca de 13 GB | Uma GPU de 16 GB |
| 32 mil milhões (32B) | cerca de 20 GB | Uma GPU de 24 ou 32 GB |
| 70 mil milhões (70B) | cerca de 40 GB | Duas GPU de 32 GB ou uma GPU profissional de 48 GB ou mais |
| gpt-oss-120b | cerca de 65 GB | Uma GPU profissional de 80 a 96 GB, ou um equipamento com 128 GB de memória unificada |
GPU dedicada ou memória unificada
Com uma placa gráfica dedicada, o modelo vive na memória dela (VRAM) e responde muito depressa, mas o limite é rígido: se não couber, não funciona bem. As placas de consumo chegam aos 32 GB; as profissionais, aos 96 GB.
Os equipamentos de memória unificada partilham uma memória grande, até 128 GB nos equipamentos compactos, entre o processador e a gráfica. Cabem modelos muito maiores num equipamento pequeno e silencioso, à custa de gerar texto mais devagar do que uma GPU dedicada topo de gama. Para uma ou poucas pessoas, costuma ser um bom equilíbrio.
Quantas pessoas e quanto texto
Uma pessoa não é dez. Quando várias consultas se sobrepõem, cada uma precisa do seu próprio espaço de contexto e o equipamento reparte a sua capacidade. Por isso, numa equipa, a memória conta tanto como a potência da GPU: com documentos longos e várias pessoas ao mesmo tempo, uma GPU de 16 GB esgota-se muito antes de uma de 32 GB.
Configurações indicativas
| Cenário | Equipamento | Preço |
|---|---|---|
| Até 5 pessoas, modelos até cerca de 20B | Ryzen 7 9700X · 32 GB · RTX 5060 Ti 16 GB | 2917 € |
| Até 15 pessoas, modelos até cerca de 20B | Ryzen 9 9900X · 64 GB · RTX 5070 Ti 16 GB | 4913 € |
| Até 30 pessoas ou modelos de cerca de 30B | Ryzen 9 9950X · 64 GB · 2× RTX 5070 Ti 16 GB | 6661 € |
| Até 60 pessoas ou modelos 70B em GPU | Ryzen 9 9950X · 128 GB · 2× RTX PRO 4000 Blackwell 24 GB | 11 895 € |
| Modelos muito grandes | ACD-014 Enterprise Max · RTX PRO 6000 Blackwell 96 GB | 55 480 € |
Preços sem IVA; as quatro primeiras vêm do configurador. Se o que quer é o sistema já instalado e configurado, com pesquisa nos seus documentos e sem mensalidades, veja a IA privada para empresas.
O que precisamos de saber
Quantas pessoas o vão usar e quantas ao mesmo tempo, que tipo de documentos e de que tamanho, se precisa de um modelo concreto e se o equipamento tem de ficar numa secretária ou num bastidor. Com isso, propomos-lhe o equipamento por escrito.
Equipamento e guias relacionados
Perguntas frequentes
Posso usar um portátil para IA local?
Para modelos pequenos e testes, sim. Para o trabalho diário com documentos, um computador de secretária lida melhor com o calor e o uso contínuo, e aceita mais memória.
Que modelo aberto devo escolher?
Depende da língua, do tipo de tarefa e da memória disponível. Testamo-los com documentos semelhantes aos seus antes de recomendar um.
De quanta RAM de sistema preciso?
Com uma GPU dedicada, pelo menos tanta como a memória da GPU, e idealmente o dobro, para carregar modelos e documentos à vontade. Nos equipamentos de memória unificada, essa memória é a memória do modelo.
Ajudamos a escolher o equipamento?
Diga-nos quantas pessoas o vão usar e com que documentos. Propomos a configuração por escrito.