Ein Leser hat uns informiert, dass murena.io, der Google-freie und DSGVO-konforme Arbeitsplatz von Murena seit einiger Zeit nicht mehr erreichbar ist. Wir haben recherchiert und im Forum der e Foundation eine Erklärung von CEO Gael Duval gefunden.
Infrastruktur überlastet
Demnach kam die Infrastruktur hinter der Murena-Cloud mit Diensten wie Drive Calendar, Notes und E-Mail mit der Zeit an ihre Grenzen, da die Zahl der aktiven Nutzer über die letzten zwei Jahre stark gestiegen sei. Noch bevor eine geplante Konsolidierung der Server-Infrastruktur umgesetzt werden konnte, kam es Anfang Oktober zu Ausfällen einiger Nodes. Am 6. Oktober kamen weitere Ausfälle hinzu, sodass die Infrastruktur in einen Wartungsmodus versetzt werden musste.
Von dem Vorfall betroffen waren neben der Cloud ursprünglich auch OTA-Updates von /e/OS und die App Lounge. Alle anderen Websites, einschließlich e.foundation, gitlab.e.foundation, community.e.foundation und murena.com funktionieren weiterhin. Während die Infrastruktur repariert und aufgestockt wird, gibt es fast täglich Status-Updates.
Bis Ende der Woche wieder online
Der E-Mail-Dienst ist mittlerweile für zahlende Kunden wiederhergestellt, der kostenfreie Dienst soll in den nächsten Tagen wieder aufgenommen werden, wenn die Last der aufgestauten Mails nachgelassen hat. Andere Dienste wie Kalender und Kontakte sollen bis Ende der Woche wieder zur Verfügung stehen. Unklar ist noch, wann Drive und die App Lounge wieder online gehen werden.
Heute haben wir den 11 Dezember und nichts ist in Ordnung.
Die Daten in der Cloud sind wohl verloren und für die User die ein schlechtes Backupsystem fahren, ist der Zug wohl abgefahren.
Es ist der Quasi Supergau der einen bei allen Anbietern einholen kann,
Ich finde es eigentlich ziemlich beängstigend das dieser Vorfall unter dem Radar gehalten fast keine Medienpräsenz erfährt.
Ich werde in den nächsten Tagen mit Gael Duval darüber sprechen.
LOL
Die “Erneuerung” der Infrastruktur ist immer noch nicht abgeschlossen. Ich erwarte, dass alle meine eDrive Daten einfach weg sind. Da sich das so lange hinzieht, muss das Backup auch im Arsch sein, weil mit neuer Hardware from Scratch anfangen, ginge schneller als fast schon 3 Monate rum zu hampeln und zu stammeln, dass der Wiederherstellungsprozess noch läuft und der externe Dienstleiter in 3 Tagen nochmal einen Versuch startet… WTF ist mit denen da los?!
Heute erreichte mich (als non Premium Kunde) folgende Nachricht:
Minimal murena.io Service Restored
Dear Murena customers,
We hope this message finds you well. We’re writing to address the recent service outage on murena.io, which we know has affected many of you in your use of Murena email and other services in our Workspace and on our phones. First and foremost, we apologize for the inconvenience and frustration this disruption has caused. We understand the importance of reliable service and regret any impact it may have had on your day-to-day activities.
We’re happy to inform you that your email is now working again, as well as contact, calendar, password and webmail. Our team is still working tirelessly to get all other services back, including tasks/notes synchronization and synchronization of your files and images. The timeline for getting these services back online is updated regularly on our community post about this outage.
The recent outage on murena.io was caused by our storage system, which couldn’t keep up with the significant growth in users we have had in the past year. We had plans to upgrade and strengthen our infrastructure, but this outage hit us just before we had a chance to. As a result of the outage, we first went into a reduced mode (this is normal operating procedure). But then a second additional issue arose, prompting us to place the whole system into maintenance mode.
Please, rest assured that we will learn from this episode and will make it a priority that our infrastructure in the future is more growth-resilient.
We would like to take this opportunity to thank all users that have reached out to us over the past weeks with messages wishing us the best of luck in this period. We take full responsibility for this outage and will do everything in our power to ensure that Murena Workspace is restored better than ever before and that an outage like this will never happen again. Your support in doing so has meant a lot to the team — thank you.
Please, also know that we are currently considering the best ways to compensate our premium users of Murena Workspace for this outage.
Thank you once again for your continued support and trust in Murena and our mission. If you have any further questions or concerns, don’t hesitate to reach out to us on the Forum (https://community.e.foundation/), in the Telegram channels or at our Helpdesk.
Warm regards,
The Murena Team
My 2 Cents als betroffener und als ITler:
Das ist ein katastrophaler Komplettausfall und die sehr gutwillige Überschrift trifft die Problematik nicht ganz 😀
Also man muss da nochmal hervorheben, dass die Nextcloud Instanz + Email Server über eine Woche nicht erreichbar waren, bzw. es noch nicht mal einen ETA für die Online-Speicher Funktionalität gibt. Da hat es einige User ganz böse erwischt, wenn der Murena Account die primäre Mail war und/oder man auf Funktionen wie Nextcloud Passwords sich verlassen hat.
Da ist im Backend gehörig was falsch gelaufen und der verantwortliche Manager hat groben Unfug bei der Planung der Redundancy und des Recovery Prozesses gemacht. So lange, wie das dauert und wie spärlich da die Informationen raus fallen, ist da technisch komplett auf Kante genäht worden ohne Leistungsreserve, so dass ein Ausfall eines storage nodes die Kapazität der restlichen nodes überlastet hat. (Spekulation)
So was ist planbar und kommt vor. So wie das jetzt dauert, werden da Bandsicherungen eingespielt, anders kann ich es mir nicht erklären, warum das alles so lange dauert. Und das ist so die letzte Verteidigungslinie, da hab ich ohne ein hervorragendes Post Mortem ein ganz schlechtes Gefühl und hoffe auf eine transparente Aufarbeitung, weil das ist trotz der schönen Ziele des Murena Projektes nicht akzeptabel ist.
Ganz so einfach können sie sich das nicht machen denn das Upgrade der Infrastruktur hat nicht funktioniert und der Ausfall betrifft nicht nur die Mail Eigenschaft sondern über die Zeit auch alle anderen Dienste. Web Cloud, Kalender, Kontakte usw. sind davon betroffen und das seit 6.Oktober resp. schon davor. Der Nextcloud Client strauchelte schon seit geraumer Zeit auf allen unsere Rechner.
Es ist auch nicht so das die das erste mal auftrat und nun ist der Punkt erreicht den Dienst aufzugeben, denn das Service ist absolut unprofessionell egal aus welche Sichtweise betrachtet.
Ich schau mir das noch ein wenig an, wie sich das mit dem Onlinespeicher entwickelt, aber Kontakt/Kalender Sync + Email hab ich jetzt auch auf andere Anbieter ausgelagert. Gerade der Account-Sync war auch vor dem Ausfall mit häufigen Verbindungsfehlern recht wackelig. Hab jetzt seit Beginn des Ausfalls meine Daten zu Posteo gerettet und hatte da auf meinem Handy nicht einen Sync Error. Ist ja eigentlich auch eine gute Sache, sich nicht einen single point of failure für alles anzuschaffen.
Ah, deshalb hat mein Betterbird heute morgen diesen Hinweis zu meinem e.email-Konto gebracht.
Schönen Dank für den Artikel, dann kann ich ja die Fehlersuche sparen.
Gruß Kai