Um Verbesserungen an unserer Infrastruktur vorzunehmen, werden wir an den folgenden Terminen Wartungsarbeiten durchführen:
Dienstag, 17.04.2007, von 0 Uhr bis ca. 6 Uhr
Donnerstag, 19.04.2007, von 0 Uhr bis ca. 6 Uhr
Während dieser Zeit kann es zu kurzzeitigen Unterbrechungen kommen. Wir werden diese so kurz wie möglich halten. Während der Wartungsarbeiten stehen FTP und WebDAV nicht zur Verfügung.
In letzter Zeit gab es öfter Probleme mit dem von uns verwendeten Cluster-Dateisystem, GFS. Wir haben uns deshalb entschlossen, die Macbay-Server neu zu organisieren und werden alle Dienste auf zwei hochverfügbare Server umziehen, die das RAID-System direkt ansprechen können, ohne auf eine Cluster-Infrastruktur angewiesen zu sein. Beim Ausfall des primären/aktiven Servers springt der sekundäre/passive ein und übernimmt Dateisystem und die virtualisierten Dienste aus dem SAN. Dadurch ist bei einem Ausfall – und den sollte man immer einkalkulieren – zumindest gewährleistet, dass wir die Dienste schnell wieder auf Ersatzhardware ans Arbeiten bekommen.
Dadurch verlieren wir zwar etwas an Flexibilität, bekommen aber andererseits ein deutlich einfacheres Setup, das im Fehlerfall schnell wieder hergestellt werden kann. Ähnlich werden wir die Sync- und Kundendatenbanken (30 GByte je Maschine) in Kürze redundant in einem aktiv/passiv Replikationssetup vorhalten. Entgegen unserer bisherigen Philosophie ist das nun ein neuer, pragmatischerer Ansatz: Dienste fallen aus und auch das beste Dateisystem ist nicht sicher davor. Daher gehen wir einen Schritt zurück auf bewährte Systeme und können im Fall der Fälle gewährleisten, dass wir zumindest binnen weniger Minuten wieder online sind – und jeder unserer Mitarbeiter Wartungs- und Notfallarbeiten ohne (sehr) spezielles KnowHow durchführen.
Das Umstellen des Dateisystems wird in zwei Schritten nachts zwischen 1 und 6 Uhr morgens erfolgen. In der Theorie ist das keine größere Operation, aber wie sagte Murphy immer so schön…?
Kurzum: Die Umstellung sollte schmerzlos sein, das Setup danach einfacher zu warten und zuverlässiger, die Performance eher schneller als langsamer (bisher war das GFS-Dateisystem der Bottleneck, nicht das Netzwerk, RAM oder die CPU-Leistung).
Letzlich zeigt uns die Geschichte, dass uns bei solchen Probleme keiner helfen kann: Die meisten Systemhäuser oder Techniker haben von GFS keine Ahnung und empfehlen meist nur das was Sie kennen: Teure Hardware von IBM (N-Series oder gleich große T6000 etc.) oder NetApp sowie entsprechende Software (GPFS unter AIX) etc.
Nun haben wir unsere Erfahrungen selbst gemacht und stellen in der kommenden Woche auf das aus unserer Sicht beste Setup um. Für eure Geduld bei unserem Weg dahin bedankt sich das ganze Macbay-Team!
Marc Korthaus