Porquê três nós
Um cluster precisa de maioria para decidir quem está vivo. Com dois nós, se um cair, o outro não sabe se o caído é ele. Com três, os dois que ficam continuam a ser maioria e arrancam as máquinas do terceiro.
O Ceph, o armazenamento distribuído, guarda por omissão três cópias de cada dado, uma em cada nó. Por isso três é o mínimo razoável.
A rede: a primeira coisa a ficar curta
O Ceph replica cada escrita pela rede. Com 1 GbE o cluster funciona, mas é lento e engasga-se ao reconstruir depois de uma avaria. O mínimo a sério é 10 GbE, e com discos NVMe convém 25 GbE.
Peça redes separadas: uma para o armazenamento, outra para as máquinas virtuais e uma ligação à parte, mesmo que de 1 GbE, para a comunicação interna do cluster. Com três nós, a rede de armazenamento pode ir em malha direta entre eles, sem switch.
Discos: SSD de servidor, sem RAID
O Ceph gere ele próprio os discos, pelo que não se usa controladora RAID: os discos vão ligados diretamente. E têm de ser SSD de classe empresarial com proteção contra cortes de corrente. Com SSD de consumo, o desempenho de escrita cai a pique e a vida do disco encurta-se.
Como há três cópias, a capacidade útil é mais ou menos um terço do total, e convém não passar dos 80 % de ocupação.
Memória e processador
Além da memória das máquinas virtuais, cada disco do Ceph reserva vários gigas de memória para o seu serviço. Com quatro discos por nó, conte com cerca de 16 a 32 GB só para o armazenamento. Sempre ECC.
No processador pesam os núcleos: os das máquinas virtuais mais um ou dois por disco. E lembre-se de que o cluster tem de aguentar com um nó a menos: os outros dois têm de dar conta de tudo.
Nós iguais
Os três nós devem ser idênticos: mesmo processador, mesma memória, mesmos discos. Assim as máquinas passam de um para outro sem surpresas e o armazenamento fica equilibrado. Montamo-los em série, com as mesmas peças e a mesma versão de firmware, e testamo-los em conjunto.
| Plataforma | Para que cluster | Desde |
|---|---|---|
| Servidor Ryzen | Cluster pequeno: poucas máquinas virtuais e 10 GbE | 1285 € |
| Servidor EPYC | De 16 a 64 núcleos por nó, memória em seis canais e IPMI | 3561 € |
| Servidor EPYC 9005 | Até 96 núcleos e 1,5 TB por nó, para dezenas de máquinas | 6152 € |
O preço de cada nó depende da memória, dos discos e das placas de rede. Damo-lo fechado com a configuração completa.
Se o orçamento não chega: dois nós e réplica
Para uma empresa pequena há uma opção mais simples: dois nós com réplica de ZFS de poucos em poucos minutos e uma terceira máquina mínima que só vota. Não é alta disponibilidade instantânea, porque se perdem os minutos desde a última réplica, mas custa muito menos e é fácil de manter.
Equipamento e guias relacionados
Perguntas frequentes
Posso montar um cluster com dois nós?
Sim, com uma terceira máquina pequena que faça de árbitro e réplica de ZFS em vez de Ceph. O Ceph precisa de três nós a sério para trabalhar com segurança.
Ceph ou ZFS?
O Ceph dá alta disponibilidade a sério: se cair um nó, as máquinas continuam com os dados em dia. Pede três nós, rede rápida e SSD de servidor. ZFS com réplica é mais simples e barato, e perde os últimos minutos se um nó cair.
Serve a rede de 1 GbE?
Para o armazenamento do Ceph, não em produção. Serve para a ligação interna do cluster e para a gestão. O armazenamento pede 10 GbE no mínimo.
Posso misturar servidores diferentes?
Funciona, mas complica o dia a dia: as máquinas nem sempre migram a quente entre processadores diferentes e o armazenamento fica desequilibrado. Três nós iguais poupam muitos problemas.
Dimensionamos o seu servidor?
Diga-nos quantas pessoas são, que programas usam e quantos dados têm. Propomos-lhe o servidor por escrito, com preço, em menos de 12 horas úteis.