English version
The incident was caused by an update of the virtualization software. The update was tested thoroughly in our test environment. The update was also monitored closely and being slowly rolled out. We did not observe any issues during the initial, closely monitored, rollout on clusters, so the rollout was approved for all capacity. The issue occurred soon after and the rollout was stopped immediately. The root cause was an internal error that caused the hypervisor to terminate servers. The error occurred in a special situation where a node ran into a limit and thus affected only a few nodes.
Steps have been taken to further analyze the error, increasing that limit and understanding why this happened, as it has never occurred before and did not occur during tests. Additionally, we will make sure to monitor updates even more closely, rollout in stages and automatically abort updates earlier.
Deutsche Version
Der Vorfall wurde durch ein Update der Virtualisierungssoftware verursacht. Das Update wurde zunächst in unserer Testumgebung gründlich getestet und genau überwacht, bevor es langsam ausgerollt wurde. Während des anfänglichen, genau überwachten Updates auf Clustern konnten wir keine Probleme feststellen, sodass das Update für die gesamte Kapazität genehmigt wurde. Das Problem trat kurz darauf auf und das Update wurde umgehend gestoppt. Die Ursache war ein interner Fehler, der dazu führte, dass der Hypervisor Server herunterfuhr. Der Fehler trat in einer besonderen Situation auf, in der ein Node an eine Grenze stieß, weshalb nur wenige Nodes davon betroffen waren.
Es wurden umgehend Maßnahmen ergriffen, um den Fehler weiter zu analysieren und diese Grenze zu erhöhen sowie zu verstehen, was genau dazu geführt hat, dass diese Grenze überschritten wurde, da dies zuvor noch nie aufgetreten ist, auch während der Tests nicht. Darüber hinaus werden wir dafür sorgen, dass Updates künftig noch genauer überwacht, schrittweise eingeführt und automatisch früher abgebrochen werden.
