Wir möchten den längeren Ausfall von openbiblio.social transparent erklären.
-
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
Am 26.12.2025 wurde die Instanz zunächst träge, kurz darauf war kein Zugriff mehr möglich. Ein regulärer Neustart ließ sich nicht mehr durchführen. Noch am selben Tag informierte uns der Hoster, dass unser Server aus „Stabilitätsgründen“ kurzfristig auf ein anderes Wirtssystem migriert werden müsse – mit sehr kurzer Vorlaufzeit und mitten an Weihnachten. 2/9
-
Am 26.12.2025 wurde die Instanz zunächst träge, kurz darauf war kein Zugriff mehr möglich. Ein regulärer Neustart ließ sich nicht mehr durchführen. Noch am selben Tag informierte uns der Hoster, dass unser Server aus „Stabilitätsgründen“ kurzfristig auf ein anderes Wirtssystem migriert werden müsse – mit sehr kurzer Vorlaufzeit und mitten an Weihnachten. 2/9
Nach der Migration ließ sich der Server nicht mehr ordnungsgemäß starten. Es traten massive Dateisystem-Fehler auf, Speicheroptimierungen brachen ab. In den folgenden Tagen zeigte sich das Ausmaß: defekte Blöcke, Inode-Probleme und eine schwer beschädigte PostgreSQL-Datenbank. Unsere Backup-Dateien waren allesamt davon betroffen, ein System-Snapshot ist vorab vom Hoster gelöscht worden. 3/9
-
Nach der Migration ließ sich der Server nicht mehr ordnungsgemäß starten. Es traten massive Dateisystem-Fehler auf, Speicheroptimierungen brachen ab. In den folgenden Tagen zeigte sich das Ausmaß: defekte Blöcke, Inode-Probleme und eine schwer beschädigte PostgreSQL-Datenbank. Unsere Backup-Dateien waren allesamt davon betroffen, ein System-Snapshot ist vorab vom Hoster gelöscht worden. 3/9
Ein regulärer Dump aus der produktiven Datenbank war ebenfalls nicht mehr möglich, mehrere Tabellen enthielten beschädigte Heaps. Reindexing schlug fehl, Reparaturen hätten massiven Datenverlust bedeutet. Parallel baten wir den Hoster um Hilfe, insbesondere um Snapshots vor der Migration. Die ernüchternde Antwort: Es existierte kein nutzbares Backup mehr. 4/9
-
Ein regulärer Dump aus der produktiven Datenbank war ebenfalls nicht mehr möglich, mehrere Tabellen enthielten beschädigte Heaps. Reindexing schlug fehl, Reparaturen hätten massiven Datenverlust bedeutet. Parallel baten wir den Hoster um Hilfe, insbesondere um Snapshots vor der Migration. Die ernüchternde Antwort: Es existierte kein nutzbares Backup mehr. 4/9
Hier ist uns eine klare Einordnung wichtig: Der kurzfristige Serverumzug an Feiertagen ist aus unserer Sicht inakzeptabel. Gleichzeitig trifft uns selbst eine erhebliche Mitschuld: Wir hatten kein externes, unabhängig gelagertes Backup. Diese Kombination hat die Situation eskalieren lassen. 5/9
-
Hier ist uns eine klare Einordnung wichtig: Der kurzfristige Serverumzug an Feiertagen ist aus unserer Sicht inakzeptabel. Gleichzeitig trifft uns selbst eine erhebliche Mitschuld: Wir hatten kein externes, unabhängig gelagertes Backup. Diese Kombination hat die Situation eskalieren lassen. 5/9
Nach vielen Versuchen fanden wir noch eine alte PostgreSQL-13-Instanz, die im Zuge einer Migration auf PG15 am 19.11. abgeschaltet worden war. Auch diese war beschädigt, aber noch erreichbar. In aufwändiger Kleinstarbeit wurden Fehler in rund 100.000.000 Tabellenzeilen behoben, bis ein konsistenter Dump erzeugt werden konnte. 6/9
-
Nach vielen Versuchen fanden wir noch eine alte PostgreSQL-13-Instanz, die im Zuge einer Migration auf PG15 am 19.11. abgeschaltet worden war. Auch diese war beschädigt, aber noch erreichbar. In aufwändiger Kleinstarbeit wurden Fehler in rund 100.000.000 Tabellenzeilen behoben, bis ein konsistenter Dump erzeugt werden konnte. 6/9
Dieser Dump wurde auf einen neuen Server übertragen, dort migriert und in eine frische Mastodon-Instanz eingespielt. Bei der finalen Inbetriebnahme hatten wir Unterstützung durch einen externen Dienstleister. Trotz aller Bemühungen ließ sich ein Datenverlust nicht vollständig vermeiden – das tut uns sehr leid. 7/9
-
Dieser Dump wurde auf einen neuen Server übertragen, dort migriert und in eine frische Mastodon-Instanz eingespielt. Bei der finalen Inbetriebnahme hatten wir Unterstützung durch einen externen Dienstleister. Trotz aller Bemühungen ließ sich ein Datenverlust nicht vollständig vermeiden – das tut uns sehr leid. 7/9
Wichtig ist uns ein Punkt ausdrücklich: Dieses Szenario ist nicht repräsentativ für die Infrastruktur der @stabi_berlin. Unsere anderen Dienste laufen im eigenen Rechenzentrum – dort wären Recovery-Zeiten von Stunden, nicht Wochen, realistisch gewesen. Auch der Datenverlust wäre ausgeblieben. 8/9
-
Wichtig ist uns ein Punkt ausdrücklich: Dieses Szenario ist nicht repräsentativ für die Infrastruktur der @stabi_berlin. Unsere anderen Dienste laufen im eigenen Rechenzentrum – dort wären Recovery-Zeiten von Stunden, nicht Wochen, realistisch gewesen. Auch der Datenverlust wäre ausgeblieben. 8/9
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
-
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine Danke für euren Einsatz!
-
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine Vielen Dank für Euer Dranbleiben. Ich weiß für mich, dass ich mit Mastodon vermutlich nicht nochmal angefangen hätte. Social Media hat für mich durch die Nichtnutzbarkeit von X eben ihren hohen Stellenwert verloren.
-
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine Vielen Dank für euren Einsatz! Es ist schön, wieder hier zu sein
-
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine Vielen Dank für euren Einsatz und eure Transparenz. Schön, dass wir wieder hier sein können. 🥰 🥳
-
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
@literarymachine @rstockm @mari @EzellaGarnie danke für eure Arbeit und diese Darstellung.
-
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
@literarymachine @rstockm @mari @EzellaGarnie Herzlichen Dank für Eure Mühen. Wie schön, dass der Dienst wieder da.
Mir war vorher gar nicht so bewußt, wie zentral er für mich ist: für die Kommunikation und für Nachrichten aus der Bibliohekswelt. Danke! -
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine Vielen Dank für eure Arbeit und die Transparenz
Ich schätze openbiblio.social sehr und bin froh, dass ihr wieder zurück seid! -
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
@literarymachine @rstockm @mari @EzellaGarnie Auch von mir ganz herzlichen Dank für die Arbeit, ausgerechnet über die Feiertage
Ich drücke die Daumen für die nächsten Schritte 
-
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
ans openbiblio.social Admin-Team!
FYI bzgl der Fragen nach dem Hoster: Werft doch (bitte) dazu selber mal das IP lookup Tool eurer Wahl an …
PS: 1 (IMHO) richtige Vermutung hab ich schon gelesen …
-
Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9
@literarymachine
Danke für die Details! Schön zu hören, dass ihr bald mehr Ruhe habt, was den openbiblio.social-Betrieb angeht. -
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
@literarymachine @rstockm @mari @EzellaGarnie Ich hatte openbiblio.social richtig vermisst. Seit einigen Jahren ist diese Instanz mittlerweile ganz klar das Zentrum meiner täglichen Social-Media-Welt. Vielen vielen Dank dafür, dass dieses Angebot überhaupt existiert und läuft! Und besonderen Danke für euer Engagement und eure Transparenz bezüglich dieses Weihnachts-GAUs.
-
Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc @rstockm @mari @EzellaGarnie 1/9
@literarymachine @rstockm @mari @EzellaGarnie Vielen Dank für eure Mühen und die großartige Arbeit – vor, während und nach dem Malheur!
