Dois limites diferentes
O primeiro é de utilizadores: o modelo cabe e responde bem, mas com muitas pessoas ao mesmo tempo a fila cresce. O segundo é de tamanho: quer um modelo maior, ou respostas mais rápidas com o mesmo, e a memória da máquina não dá mais.
Convém saber qual dos dois tem antes de comprar o que quer que seja.
O que resolve somar compactos
Vários compactos iguais, cada um com a sua cópia do modelo e uma repartição de pedidos à frente, atendem mais pessoas ao mesmo tempo. Três máquinas atendem mais ou menos o triplo. E se uma falhar, as outras continuam: há redundância sem pagar um servidor duplicado.
Cresce-se por passos, comprando outra máquina igual quando é preciso, e repartem-se pelas sedes se a empresa tiver várias.
O que não resolve
Somar máquinas não torna um modelo maior. Pode repartir-se um modelo por vários computadores através da rede, e cabe, mas a rede é muito mais lenta do que a memória e a resposta ressente-se. Para um modelo maior é precisa uma máquina com mais memória, não mais máquinas.
Quando é a vez de um servidor com placas gráficas
Um servidor com placas gráficas NVIDIA atende muitos utilizadores em simultâneo sobre o mesmo modelo, porque agrupa os pedidos e processa-os em conjunto. É também a máquina para ajustar modelos com os seus dados e para os programas que exigem CUDA. Em troca, consome mais, faz mais ruído e pede um armário rack ou uma sala.
| Opção | O que dá | Preço |
|---|---|---|
| 1 Compact AI 64 | Um modelo grande para uma equipa pequena | 2940 € |
| 3 Compact AI 64 | O triplo dos utilizadores e redundância | 8820 € |
| 1 Compact AI 128 | Modelos maiores ou vários modelos ao mesmo tempo | 4820 € |
| Servidor IA Rack, RTX PRO 4000 de 24 GB | Muitos utilizadores sobre modelos médios, no rack | 6407 € |
| Servidor IA Threadripper PRO, RTX PRO 6000 de 96 GB | Modelos grandes para toda a empresa, ampliável a três placas | 32 578 € |
Como decidir
Se o problema é que são mais e o modelo atual serve, some compactos. Se o problema é que o modelo fica pequeno, passe para o de 128 GB. Se precisam das duas coisas, ou de treinar, é o momento do servidor.
Em muitas empresas convivem: o servidor na sede e um compacto em cada delegação ou a bordo.
Equipamento e guias relacionados
Perguntas frequentes
Posso juntar vários mini PC para correr um modelo maior?
Pode, repartindo o modelo pela rede, mas a resposta fica muito mais lenta do que numa só máquina com memória suficiente. Para um modelo maior compensa mais uma máquina com mais memória.
Quantas pessoas atende um compacto?
Depende do modelo e de quanto o usam. Como orientação, um compacto serve bem uma equipa pequena que o consulta de vez em quando. Se muitas pessoas escreverem ao mesmo tempo, nota-se a espera e convém somar máquinas ou passar para placa gráfica dedicada.
O que gasta mais, três compactos ou um servidor?
Normalmente o servidor com placas gráficas, sobretudo a trabalhar. Os compactos têm processadores de baixo consumo. Se a energia ou o ruído forem um problema, isso pesa a favor dos compactos.
Podem misturar-se compactos e servidor?
Sim, e é habitual: o servidor na sede para os modelos grandes e o treino, e compactos nas delegações, em obra ou a bordo, onde não há rack nem ligação fiável.
Para que o vai usar?
Diga-nos que modelos quer correr, quantas pessoas o vão usar e onde vai trabalhar. Propomos o compacto, com ou sem placa gráfica profissional, e o seu preço em menos de 12 horas úteis.