Backup che si fanno da soli.
Il problema
Una ventina di server, ognuno con il suo script di backup scritto in momenti diversi. Nessuno sapeva con certezza cosa veniva salvato, dove, e se l'ultimo backup era andato a buon fine.
L'intervento
Un software interno: un server centrale assegna i lavori di backup ad agenti ridondanti, con metodi diversi (incrementali, dump dei database, archivi completi) e più destinazioni.
Il risultato
Un solo posto per vedere cosa è salvato, dove e quando. Se un backup non parte o fallisce, arriva un avviso invece di scoprirlo il giorno in cui serve.
Il racconto
Il problema non era l'assenza di backup, ma il contrario: ce n'erano troppi e tutti diversi. Script cron aggiunti negli anni, destinazioni scelte caso per caso, nessun riepilogo. Per sapere se un server era coperto bisognava entrarci e leggere il codice.
Un server centrale tiene l'elenco di cosa salvare e assegna i lavori agli agenti; gli agenti sono ridondanti, così se uno è fermo il lavoro passa a un altro. Ogni lavoro può usare il metodo più adatto e finire su più destinazioni. Un esempio tipico per un server: ogni giorno un backup incrementale dei file con BorgBackup, ogni giorno un dump del database, e ogni sette giorni un backup completo in archivio normale, leggibile anche senza strumenti particolari.
Ho migrato un server alla volta, lasciando attivi i vecchi script finché il nuovo backup non era verificato con un ripristino di prova. Quando tutto era coperto, gli script sono stati spenti.