Warum drei Knoten
Ein Cluster braucht eine Mehrheit, um zu entscheiden, wer noch läuft. Bei zwei Knoten weiß der eine nicht, ob er selbst der ausgefallene ist, wenn der andere wegfällt. Bei dreien bilden die zwei verbleibenden weiter die Mehrheit und starten die Maschinen des dritten.
Ceph, der verteilte Speicher, hält standardmäßig drei Kopien jedes Datums, eine auf jedem Knoten. Deshalb sind drei das vernünftige Minimum.
Das Netzwerk: das Erste, das nicht reicht
Ceph repliziert jeden Schreibvorgang über das Netzwerk. Mit 1 GbE funktioniert der Cluster, ist aber langsam und stockt beim Wiederaufbau nach einem Ausfall. Das ernsthafte Minimum sind 10 GbE, und bei NVMe-Laufwerken empfehlen sich 25 GbE.
Verlangen Sie getrennte Netze: eines für den Speicher, eines für die virtuellen Maschinen und eine eigene Verbindung, und sei es mit 1 GbE, für die interne Kommunikation des Clusters. Bei drei Knoten kann das Speichernetz als direkte Vermaschung zwischen ihnen laufen, ohne Switch.
Laufwerke: Server-SSDs, ohne RAID
Ceph verwaltet die Laufwerke selbst, also kommt kein RAID-Controller zum Einsatz: Die Laufwerke werden direkt angeschlossen. Und es müssen SSDs der Enterprise-Klasse mit Schutz bei Stromausfall sein. Mit Consumer-SSDs bricht die Schreibleistung ein, und die Lebensdauer verkürzt sich.
Da es drei Kopien gibt, beträgt die nutzbare Kapazität etwa ein Drittel der Summe, und man sollte nicht über 80 % Belegung gehen.
Speicher und Prozessor
Neben dem Speicher der virtuellen Maschinen reserviert jedes Ceph-Laufwerk mehrere Gigabyte Speicher für seinen Dienst. Bei vier Laufwerken pro Knoten rechnen Sie mit etwa 16 bis 32 GB allein für den Speicher. Immer ECC.
Beim Prozessor zählen die Kerne: die der virtuellen Maschinen plus ein oder zwei je Laufwerk. Und bedenken Sie, dass der Cluster mit einem Knoten weniger durchhalten muss: Die anderen zwei müssen alles tragen.
Gleiche Knoten
Die drei Knoten sollten identisch sein: gleicher Prozessor, gleicher Speicher, gleiche Laufwerke. So wechseln Maschinen ohne Überraschungen von einem zum anderen, und der Speicher bleibt ausgeglichen. Wir bauen sie in Serie, mit denselben Teilen und derselben Firmware-Version, und testen sie gemeinsam.
| Plattform | Für welchen Cluster | Ab |
|---|---|---|
| Ryzen-Server | Kleiner Cluster: wenige virtuelle Maschinen und 10 GbE | 1.285 € |
| EPYC-Server | 16 bis 64 Kerne pro Knoten, Speicher in sechs Kanälen und IPMI | 3.561 € |
| EPYC-9005-Server | Bis zu 96 Kerne und 1,5 TB pro Knoten, für Dutzende Maschinen | 6.152 € |
Der Preis jedes Knotens hängt von Speicher, Laufwerken und Netzwerkkarten ab. Wir nennen ihn Ihnen fest mit der vollständigen Konfiguration.
Wenn das Budget nicht reicht: zwei Knoten und Replikation
Für ein kleines Unternehmen gibt es eine einfachere Variante: zwei Knoten mit ZFS-Replikation alle paar Minuten und ein minimaler dritter Rechner, der nur abstimmt. Das ist keine sofortige Hochverfügbarkeit, weil die Minuten seit der letzten Replikation verloren gehen, kostet aber viel weniger und ist leicht zu warten.
Passende Hardware und Ratgeber
Häufige Fragen
Kann ich einen Cluster mit zwei Knoten aufbauen?
Ja, mit einem kleinen dritten Rechner als Schiedsrichter und ZFS-Replikation statt Ceph. Ceph braucht drei echte Knoten, um sicher zu arbeiten.
Ceph oder ZFS?
Ceph bietet echte Hochverfügbarkeit: Fällt ein Knoten aus, laufen die Maschinen mit aktuellen Daten weiter. Es braucht drei Knoten, ein schnelles Netz und Server-SSDs. ZFS mit Replikation ist einfacher und günstiger und verliert die letzten Minuten, wenn ein Knoten ausfällt.
Reicht ein Netz mit 1 GbE?
Für den Ceph-Speicher nicht im Produktivbetrieb. Es reicht für die interne Verbindung des Clusters und für die Verwaltung. Der Speicher braucht mindestens 10 GbE.
Kann ich verschiedene Server mischen?
Es funktioniert, erschwert aber den Alltag: Maschinen lassen sich nicht immer im laufenden Betrieb zwischen verschiedenen Prozessoren verschieben, und der Speicher gerät aus dem Gleichgewicht. Drei gleiche Knoten ersparen viel Ärger.
Dimensionieren wir Ihren Server?
Sagen Sie uns, wie viele Personen Sie sind, welche Software Sie nutzen und wie viele Daten Sie haben. Wir schlagen Ihnen den Server schriftlich, mit Preis, innerhalb von 12 Arbeitsstunden vor.