backup: eigen databasekopie per backup server, kopieën één voor één
Twee backup servers die tegelijk een manifest ophaalden vervingen elkaars snapshot (sha256-mismatch) en VACUUM INTO liep soms gelijktijdig (disk I/O error). Gevonden door de integratietest met meerdere backup servers.
@@ -75,7 +75,7 @@ data/releases/… release-assets (zonder .incoming)
75
75
data/artifacts/… CI-artifacts
76
76
```
77
77
78
Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
78
Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. Elke backup server krijgt bij `GET /api/v1/backup/manifest` een eigen databasekopie (`<state>/.backup/snapshot-<id>.db`); kopieën worden één voor één gemaakt, zodat twee servers die tegelijk synchroniseren elkaars kopie niet vervangen. Verwijderen van een server ruimt zijn kopie op. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
79
79
80
80
## Terugzetten
81
81
@@ -75,7 +75,7 @@ data/releases/… release-assets (zonder .incoming)75
data/artifacts/… CI-artifacts75
data/artifacts/… CI-artifacts76
```76
```77
77
78
Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.78
Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. Elke backup server krijgt bij `GET /api/v1/backup/manifest` een eigen databasekopie (`<state>/.backup/snapshot-<id>.db`); kopieën worden één voor één gemaakt, zodat twee servers die tegelijk synchroniseren elkaars kopie niet vervangen. Verwijderen van een server ruimt zijn kopie op. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.79
79
80
## Terugzetten80
## Terugzetten81
81
@@ -4,10 +4,15 @@ import (
4
4
"archive/tar"
5
5
"bytes"
6
6
"compress/gzip"
7
"crypto/sha256"
8
"encoding/hex"
9
"errors"
10
"fmt"
7
11
"net/http"
8
12
"os"
9
13
"path/filepath"
10
14
"strings"
15
"sync"
11
16
"testing"
12
17
"time"
13
18
)
@@ -325,3 +330,72 @@ func TestSignatureVector(t *testing.T) {
325
330
t.Fatalf("handtekening %s", got)
326
331
}
327
332
}
333
334
// Twee backup servers die tegelijk een manifest ophalen krijgen elk hun
335
// eigen databasekopie; de ene vervangt de kopie van de andere niet.
336
func TestSnapshotPerConnection(t *testing.T) {
337
base := fakeTree(t)
338
var mu sync.Mutex
339
busy := 0
340
n := 0
341
base.Snapshot = func(dst string) error {
342
mu.Lock()
343
busy++
344
n++
345
if busy > 1 {
346
mu.Unlock()
347
return errors.New("twee kopieën tegelijk")
348
}
349
body := fmt.Sprintf("snapshot-%d", n)
350
mu.Unlock()
351
time.Sleep(5 * time.Millisecond)
352
err := os.WriteFile(dst, []byte(body), 0o600)
353
mu.Lock()
354
busy--
355
mu.Unlock()
356
return err
357
}
358
a, b := base, base
359
a.Conn, b.Conn = "aaa", "bbb"
360
var wg sync.WaitGroup
361
errs := make(chan error, 20)
362
for i := 0; i < 10; i++ {
363
for _, tr := range []Tree{a, b} {
364
wg.Add(1)
365
go func(tr Tree) {
366
defer wg.Done()
367
if _, err := tr.Build("inst"); err != nil {
368
errs <- err
369
}
370
}(tr)
371
}
372
}
373
wg.Wait()
374
close(errs)
375
for err := range errs {
376
t.Fatal(err)
377
}
378
ma, err := a.Build("inst")
379
if err != nil {
380
t.Fatal(err)
381
}
382
if _, err := b.Build("inst"); err != nil {
383
t.Fatal(err)
384
}
385
// De kopie van a is niet veranderd door de build van b.
386
p, _ := a.Resolve(DBPath)
387
raw, _ := os.ReadFile(p)
388
sum := sha256.Sum256(raw)
389
for _, e := range ma.Files {
390
if e.Path == DBPath && e.SHA256 != hex.EncodeToString(sum[:]) {
391
t.Fatal("kopie van a is overschreven door b")
392
}
393
}
394
a.RemoveSnapshot()
395
if _, err := a.Resolve(DBPath); err == nil {
396
t.Fatal("kopie niet opgeruimd")
397
}
398
if _, err := b.Resolve(DBPath); err != nil {
399
t.Fatal("kopie van b is mee opgeruimd")
400
}
401
}
@@ -4,10 +4,15 @@ import (4
"archive/tar"4
"archive/tar"5
"bytes"5
"bytes"6
"compress/gzip"6
"compress/gzip"7
"crypto/sha256"8
"encoding/hex"9
"errors"10
"fmt"7
"net/http"11
"net/http"8
"os"12
"os"9
"path/filepath"13
"path/filepath"10
"strings"14
"strings"15
"sync"11
"testing"16
"testing"12
"time"17
"time"13
)18
)@@ -325,3 +330,72 @@ func TestSignatureVector(t *testing.T) {325
t.Fatalf("handtekening %s", got)330
t.Fatalf("handtekening %s", got)326
}331
}327
}332
}333
334
// Twee backup servers die tegelijk een manifest ophalen krijgen elk hun335
// eigen databasekopie; de ene vervangt de kopie van de andere niet.336
func TestSnapshotPerConnection(t *testing.T) {337
base := fakeTree(t)338
var mu sync.Mutex339
busy := 0340
n := 0341
base.Snapshot = func(dst string) error {342
mu.Lock()343
busy++344
n++345
if busy > 1 {346
mu.Unlock()347
return errors.New("twee kopieën tegelijk")348
}349
body := fmt.Sprintf("snapshot-%d", n)350
mu.Unlock()351
time.Sleep(5 * time.Millisecond)352
err := os.WriteFile(dst, []byte(body), 0o600)353
mu.Lock()354
busy--355
mu.Unlock()356
return err357
}358
a, b := base, base359
a.Conn, b.Conn = "aaa", "bbb"360
var wg sync.WaitGroup361
errs := make(chan error, 20)362
for i := 0; i < 10; i++ {363
for _, tr := range []Tree{a, b} {364
wg.Add(1)365
go func(tr Tree) {366
defer wg.Done()367
if _, err := tr.Build("inst"); err != nil {368
errs <- err369
}370
}(tr)371
}372
}373
wg.Wait()374
close(errs)375
for err := range errs {376
t.Fatal(err)377
}378
ma, err := a.Build("inst")379
if err != nil {380
t.Fatal(err)381
}382
if _, err := b.Build("inst"); err != nil {383
t.Fatal(err)384
}385
// De kopie van a is niet veranderd door de build van b.386
p, _ := a.Resolve(DBPath)387
raw, _ := os.ReadFile(p)388
sum := sha256.Sum256(raw)389
for _, e := range ma.Files {390
if e.Path == DBPath && e.SHA256 != hex.EncodeToString(sum[:]) {391
t.Fatal("kopie van a is overschreven door b")392
}393
}394
a.RemoveSnapshot()395
if _, err := a.Resolve(DBPath); err == nil {396
t.Fatal("kopie niet opgeruimd")397
}398
if _, err := b.Resolve(DBPath); err != nil {399
t.Fatal("kopie van b is mee opgeruimd")400
}401
}@@ -15,6 +15,7 @@ import (
15
15
"path/filepath"
16
16
"sort"
17
17
"strings"
18
"sync"
18
19
"time"
19
20
)
20
21
@@ -63,9 +64,35 @@ type Tree struct {
63
64
DataDir string // leeg als er geen datadisk is
64
65
// Snapshot schrijft een consistente kopie van de database naar pad.
65
66
Snapshot func(dst string) error
67
// Conn is de koppeling waarvoor de kopie is. Elke backup server krijgt
68
// een eigen databasekopie, zodat twee servers die tegelijk een
69
// manifest ophalen elkaars kopie niet vervangen.
70
Conn string
66
71
}
67
72
68
func (t Tree) snapshotPath() string { return filepath.Join(t.StateDir, ".backup", "snapshot.db") }
73
// snapshotMu zorgt dat er maar één databasekopie tegelijk gemaakt wordt.
74
var snapshotMu sync.Mutex
75
76
func (t Tree) snapshotPath() string {
77
name := "snapshot.db"
78
if t.Conn != "" {
79
name = "snapshot-" + safeName(t.Conn) + ".db"
80
}
81
return filepath.Join(t.StateDir, ".backup", name)
82
}
83
84
// RemoveSnapshot ruimt de databasekopie van een koppeling op.
85
func (t Tree) RemoveSnapshot() { _ = os.Remove(t.snapshotPath()) }
86
87
func safeName(s string) string {
88
var b strings.Builder
89
for _, r := range s {
90
if r >= 'a' && r <= 'z' || r >= 'A' && r <= 'Z' || r >= '0' && r <= '9' || r == '-' || r == '_' {
91
b.WriteRune(r)
92
}
93
}
94
return b.String()
95
}
69
96
70
97
// Build maakt een nieuwe databasekopie en loopt alle bestanden af.
71
98
func (t Tree) Build(instance string) (Manifest, error) {
@@ -76,11 +103,16 @@ func (t Tree) Build(instance string) (Manifest, error) {
76
103
return m, err
77
104
}
78
105
tmp := snap + ".new"
106
snapshotMu.Lock()
79
107
_ = os.Remove(tmp)
80
if err := t.Snapshot(tmp); err != nil {
81
return m, fmt.Errorf("databasekopie: %w", err)
108
err := t.Snapshot(tmp)
109
if err == nil {
110
err = os.Rename(tmp, snap)
111
} else {
112
err = fmt.Errorf("databasekopie: %w", err)
82
113
}
83
if err := os.Rename(tmp, snap); err != nil {
114
snapshotMu.Unlock()
115
if err != nil {
84
116
return m, err
85
117
}
86
118
e, err := entryOf(DBPath, snap, true)
@@ -15,6 +15,7 @@ import (15
"path/filepath"15
"path/filepath"16
"sort"16
"sort"17
"strings"17
"strings"18
"sync"18
"time"19
"time"19
)20
)20
21
@@ -63,9 +64,35 @@ type Tree struct {63
DataDir string // leeg als er geen datadisk is64
DataDir string // leeg als er geen datadisk is64
// Snapshot schrijft een consistente kopie van de database naar pad.65
// Snapshot schrijft een consistente kopie van de database naar pad.65
Snapshot func(dst string) error66
Snapshot func(dst string) error67
// Conn is de koppeling waarvoor de kopie is. Elke backup server krijgt68
// een eigen databasekopie, zodat twee servers die tegelijk een69
// manifest ophalen elkaars kopie niet vervangen.70
Conn string66
}71
}67
72
68
func (t Tree) snapshotPath() string { return filepath.Join(t.StateDir, ".backup", "snapshot.db") }73
// snapshotMu zorgt dat er maar één databasekopie tegelijk gemaakt wordt.74
var snapshotMu sync.Mutex75
76
func (t Tree) snapshotPath() string {77
name := "snapshot.db"78
if t.Conn != "" {79
name = "snapshot-" + safeName(t.Conn) + ".db"80
}81
return filepath.Join(t.StateDir, ".backup", name)82
}83
84
// RemoveSnapshot ruimt de databasekopie van een koppeling op.85
func (t Tree) RemoveSnapshot() { _ = os.Remove(t.snapshotPath()) }86
87
func safeName(s string) string {88
var b strings.Builder89
for _, r := range s {90
if r >= 'a' && r <= 'z' || r >= 'A' && r <= 'Z' || r >= '0' && r <= '9' || r == '-' || r == '_' {91
b.WriteRune(r)92
}93
}94
return b.String()95
}69
96
70
// Build maakt een nieuwe databasekopie en loopt alle bestanden af.97
// Build maakt een nieuwe databasekopie en loopt alle bestanden af.71
func (t Tree) Build(instance string) (Manifest, error) {98
func (t Tree) Build(instance string) (Manifest, error) {@@ -76,11 +103,16 @@ func (t Tree) Build(instance string) (Manifest, error) {76
return m, err103
return m, err77
}104
}78
tmp := snap + ".new"105
tmp := snap + ".new"106
snapshotMu.Lock()79
_ = os.Remove(tmp)107
_ = os.Remove(tmp)80
if err := t.Snapshot(tmp); err != nil {108
err := t.Snapshot(tmp)81
return m, fmt.Errorf("databasekopie: %w", err)109
if err == nil {110
err = os.Rename(tmp, snap)111
} else {112
err = fmt.Errorf("databasekopie: %w", err)82
}113
}83
if err := os.Rename(tmp, snap); err != nil {114
snapshotMu.Unlock()115
if err != nil {84
return m, err116
return m, err85
}117
}86
e, err := entryOf(DBPath, snap, true)118
e, err := entryOf(DBPath, snap, true)@@ -78,9 +78,9 @@ func (s *Server) BackupChanged() {
78
78
s.backupNote.Changed()
79
79
}
80
80
81
func (s *Server) backupTree() backup.Tree {
81
func (s *Server) backupTree(conn string) backup.Tree {
82
82
return backup.Tree{
83
StateDir: s.StateDir, DataDir: s.StoragePath(),
83
StateDir: s.StateDir, DataDir: s.StoragePath(), Conn: conn,
84
84
Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },
85
85
}
86
86
}
@@ -202,7 +202,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
202
202
backupErr(w, 500, err.Error())
203
203
return
204
204
}
205
m, err := s.backupTree().Build(id)
205
m, err := s.backupTree(backupConnOf(r).ID).Build(id)
206
206
if err != nil {
207
207
backupErr(w, 500, err.Error())
208
208
return
@@ -211,7 +211,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
211
211
}
212
212
213
213
func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {
214
real, err := s.backupTree().Resolve(r.URL.Query().Get("path"))
214
real, err := s.backupTree(backupConnOf(r).ID).Resolve(r.URL.Query().Get("path"))
215
215
if err != nil {
216
216
backupErr(w, http.StatusNotFound, "bestand niet gevonden")
217
217
return
@@ -242,7 +242,7 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {
242
242
}
243
243
defer s.restoring.Unlock()
244
244
restoreBusy.Store(true)
245
n, err := s.backupTree().Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
245
n, err := s.backupTree("").Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
246
246
if err != nil {
247
247
restoreBusy.Store(false)
248
248
if s.Log != nil {
@@ -431,6 +431,7 @@ func (s *Server) removeBackupServer(ctx context.Context, by string, conn backup.
431
431
if err := s.backupMgr.Remove(conn.ID); err != nil {
432
432
return err
433
433
}
434
s.backupTree(conn.ID).RemoveSnapshot()
434
435
s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)
435
436
return nil
436
437
}
@@ -78,9 +78,9 @@ func (s *Server) BackupChanged() {78
s.backupNote.Changed()78
s.backupNote.Changed()79
}79
}80
80
81
func (s *Server) backupTree() backup.Tree {81
func (s *Server) backupTree(conn string) backup.Tree {82
return backup.Tree{82
return backup.Tree{83
StateDir: s.StateDir, DataDir: s.StoragePath(),83
StateDir: s.StateDir, DataDir: s.StoragePath(), Conn: conn,84
Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },84
Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },85
}85
}86
}86
}@@ -202,7 +202,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {202
backupErr(w, 500, err.Error())202
backupErr(w, 500, err.Error())203
return203
return204
}204
}205
m, err := s.backupTree().Build(id)205
m, err := s.backupTree(backupConnOf(r).ID).Build(id)206
if err != nil {206
if err != nil {207
backupErr(w, 500, err.Error())207
backupErr(w, 500, err.Error())208
return208
return@@ -211,7 +211,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {211
}211
}212
212
213
func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {213
func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {214
real, err := s.backupTree().Resolve(r.URL.Query().Get("path"))214
real, err := s.backupTree(backupConnOf(r).ID).Resolve(r.URL.Query().Get("path"))215
if err != nil {215
if err != nil {216
backupErr(w, http.StatusNotFound, "bestand niet gevonden")216
backupErr(w, http.StatusNotFound, "bestand niet gevonden")217
return217
return@@ -242,7 +242,7 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {242
}242
}243
defer s.restoring.Unlock()243
defer s.restoring.Unlock()244
restoreBusy.Store(true)244
restoreBusy.Store(true)245
n, err := s.backupTree().Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))245
n, err := s.backupTree("").Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))246
if err != nil {246
if err != nil {247
restoreBusy.Store(false)247
restoreBusy.Store(false)248
if s.Log != nil {248
if s.Log != nil {@@ -431,6 +431,7 @@ func (s *Server) removeBackupServer(ctx context.Context, by string, conn backup.431
if err := s.backupMgr.Remove(conn.ID); err != nil {431
if err := s.backupMgr.Remove(conn.ID); err != nil {432
return err432
return err433
}433
}434
s.backupTree(conn.ID).RemoveSnapshot()434
s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)435
s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)435
return nil436
return nil436
}437
}