BlueGit

timfa bluegit

backup: eigen databasekopie per backup server, kopieën één voor één

Twee backup servers die tegelijk een manifest ophaalden vervingen elkaars
snapshot (sha256-mismatch) en VACUUM INTO liep soms gelijktijdig (disk I/O
error). Gevonden door de integratietest met meerdere backup servers.

timfa Grok Bot · pushed by timfa

Authored 2026-11-15 · 2 days ago

Hash
1aa5e4d0ad8683ae0371b584b77a47dbb92e8bc7
Parent
e66db786
Pipeline
Passed
4 files changed +117 −10
docs/BACKUP.md +1 −1
@@ -75,7 +75,7 @@ data/releases/… release-assets (zonder .incoming)
75 75 data/artifacts/… CI-artifacts
76 76 ```
77 77
78 Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
78 Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. Elke backup server krijgt bij `GET /api/v1/backup/manifest` een eigen databasekopie (`<state>/.backup/snapshot-<id>.db`); kopieën worden één voor één gemaakt, zodat twee servers die tegelijk synchroniseren elkaars kopie niet vervangen. Verwijderen van een server ruimt zijn kopie op. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
79 79
80 80 ## Terugzetten
81 81
@@ -75,7 +75,7 @@ data/releases/… release-assets (zonder .incoming)
75data/artifacts/… CI-artifacts
75data/artifacts/… CI-artifacts
76```
76```
77
77
78Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
78Niet mee: `config.yml`, `storage_path`, `cache.json`, `backup.json` en `instance_id` (horen bij deze installatie), `data/work`, `*.lock` en symlinks. Elke backup server krijgt bij `GET /api/v1/backup/manifest` een eigen databasekopie (`<state>/.backup/snapshot-<id>.db`); kopieën worden één voor één gemaakt, zodat twee servers die tegelijk synchroniseren elkaars kopie niet vervangen. Verwijderen van een server ruimt zijn kopie op. De koppelingen staan in `<state>/backup.json` (0600, per server alleen de hash van de key) en niet in de database, zodat een rollback naar een oud archief de koppeling niet terugdraait.
79
79
80## Terugzetten
80## Terugzetten
81
81
internal/backup/backup_test.go +74 −0
@@ -4,10 +4,15 @@ import (
4 4 "archive/tar"
5 5 "bytes"
6 6 "compress/gzip"
7 "crypto/sha256"
8 "encoding/hex"
9 "errors"
10 "fmt"
7 11 "net/http"
8 12 "os"
9 13 "path/filepath"
10 14 "strings"
15 "sync"
11 16 "testing"
12 17 "time"
13 18 )
@@ -325,3 +330,72 @@ func TestSignatureVector(t *testing.T) {
325 330 t.Fatalf("handtekening %s", got)
326 331 }
327 332 }
333
334 // Twee backup servers die tegelijk een manifest ophalen krijgen elk hun
335 // eigen databasekopie; de ene vervangt de kopie van de andere niet.
336 func TestSnapshotPerConnection(t *testing.T) {
337 base := fakeTree(t)
338 var mu sync.Mutex
339 busy := 0
340 n := 0
341 base.Snapshot = func(dst string) error {
342 mu.Lock()
343 busy++
344 n++
345 if busy > 1 {
346 mu.Unlock()
347 return errors.New("twee kopieën tegelijk")
348 }
349 body := fmt.Sprintf("snapshot-%d", n)
350 mu.Unlock()
351 time.Sleep(5 * time.Millisecond)
352 err := os.WriteFile(dst, []byte(body), 0o600)
353 mu.Lock()
354 busy--
355 mu.Unlock()
356 return err
357 }
358 a, b := base, base
359 a.Conn, b.Conn = "aaa", "bbb"
360 var wg sync.WaitGroup
361 errs := make(chan error, 20)
362 for i := 0; i < 10; i++ {
363 for _, tr := range []Tree{a, b} {
364 wg.Add(1)
365 go func(tr Tree) {
366 defer wg.Done()
367 if _, err := tr.Build("inst"); err != nil {
368 errs <- err
369 }
370 }(tr)
371 }
372 }
373 wg.Wait()
374 close(errs)
375 for err := range errs {
376 t.Fatal(err)
377 }
378 ma, err := a.Build("inst")
379 if err != nil {
380 t.Fatal(err)
381 }
382 if _, err := b.Build("inst"); err != nil {
383 t.Fatal(err)
384 }
385 // De kopie van a is niet veranderd door de build van b.
386 p, _ := a.Resolve(DBPath)
387 raw, _ := os.ReadFile(p)
388 sum := sha256.Sum256(raw)
389 for _, e := range ma.Files {
390 if e.Path == DBPath && e.SHA256 != hex.EncodeToString(sum[:]) {
391 t.Fatal("kopie van a is overschreven door b")
392 }
393 }
394 a.RemoveSnapshot()
395 if _, err := a.Resolve(DBPath); err == nil {
396 t.Fatal("kopie niet opgeruimd")
397 }
398 if _, err := b.Resolve(DBPath); err != nil {
399 t.Fatal("kopie van b is mee opgeruimd")
400 }
401 }
@@ -4,10 +4,15 @@ import (
4 "archive/tar"
4 "archive/tar"
5 "bytes"
5 "bytes"
6 "compress/gzip"
6 "compress/gzip"
7 "crypto/sha256"
8 "encoding/hex"
9 "errors"
10 "fmt"
7 "net/http"
11 "net/http"
8 "os"
12 "os"
9 "path/filepath"
13 "path/filepath"
10 "strings"
14 "strings"
15 "sync"
11 "testing"
16 "testing"
12 "time"
17 "time"
13)
18)
@@ -325,3 +330,72 @@ func TestSignatureVector(t *testing.T) {
325 t.Fatalf("handtekening %s", got)
330 t.Fatalf("handtekening %s", got)
326 }
331 }
327}
332}
333
334// Twee backup servers die tegelijk een manifest ophalen krijgen elk hun
335// eigen databasekopie; de ene vervangt de kopie van de andere niet.
336func TestSnapshotPerConnection(t *testing.T) {
337 base := fakeTree(t)
338 var mu sync.Mutex
339 busy := 0
340 n := 0
341 base.Snapshot = func(dst string) error {
342 mu.Lock()
343 busy++
344 n++
345 if busy > 1 {
346 mu.Unlock()
347 return errors.New("twee kopieën tegelijk")
348 }
349 body := fmt.Sprintf("snapshot-%d", n)
350 mu.Unlock()
351 time.Sleep(5 * time.Millisecond)
352 err := os.WriteFile(dst, []byte(body), 0o600)
353 mu.Lock()
354 busy--
355 mu.Unlock()
356 return err
357 }
358 a, b := base, base
359 a.Conn, b.Conn = "aaa", "bbb"
360 var wg sync.WaitGroup
361 errs := make(chan error, 20)
362 for i := 0; i < 10; i++ {
363 for _, tr := range []Tree{a, b} {
364 wg.Add(1)
365 go func(tr Tree) {
366 defer wg.Done()
367 if _, err := tr.Build("inst"); err != nil {
368 errs <- err
369 }
370 }(tr)
371 }
372 }
373 wg.Wait()
374 close(errs)
375 for err := range errs {
376 t.Fatal(err)
377 }
378 ma, err := a.Build("inst")
379 if err != nil {
380 t.Fatal(err)
381 }
382 if _, err := b.Build("inst"); err != nil {
383 t.Fatal(err)
384 }
385 // De kopie van a is niet veranderd door de build van b.
386 p, _ := a.Resolve(DBPath)
387 raw, _ := os.ReadFile(p)
388 sum := sha256.Sum256(raw)
389 for _, e := range ma.Files {
390 if e.Path == DBPath && e.SHA256 != hex.EncodeToString(sum[:]) {
391 t.Fatal("kopie van a is overschreven door b")
392 }
393 }
394 a.RemoveSnapshot()
395 if _, err := a.Resolve(DBPath); err == nil {
396 t.Fatal("kopie niet opgeruimd")
397 }
398 if _, err := b.Resolve(DBPath); err != nil {
399 t.Fatal("kopie van b is mee opgeruimd")
400 }
401}
internal/backup/tree.go +36 −4
@@ -15,6 +15,7 @@ import (
15 15 "path/filepath"
16 16 "sort"
17 17 "strings"
18 "sync"
18 19 "time"
19 20 )
20 21
@@ -63,9 +64,35 @@ type Tree struct {
63 64 DataDir string // leeg als er geen datadisk is
64 65 // Snapshot schrijft een consistente kopie van de database naar pad.
65 66 Snapshot func(dst string) error
67 // Conn is de koppeling waarvoor de kopie is. Elke backup server krijgt
68 // een eigen databasekopie, zodat twee servers die tegelijk een
69 // manifest ophalen elkaars kopie niet vervangen.
70 Conn string
66 71 }
67 72
68 func (t Tree) snapshotPath() string { return filepath.Join(t.StateDir, ".backup", "snapshot.db") }
73 // snapshotMu zorgt dat er maar één databasekopie tegelijk gemaakt wordt.
74 var snapshotMu sync.Mutex
75
76 func (t Tree) snapshotPath() string {
77 name := "snapshot.db"
78 if t.Conn != "" {
79 name = "snapshot-" + safeName(t.Conn) + ".db"
80 }
81 return filepath.Join(t.StateDir, ".backup", name)
82 }
83
84 // RemoveSnapshot ruimt de databasekopie van een koppeling op.
85 func (t Tree) RemoveSnapshot() { _ = os.Remove(t.snapshotPath()) }
86
87 func safeName(s string) string {
88 var b strings.Builder
89 for _, r := range s {
90 if r >= 'a' && r <= 'z' || r >= 'A' && r <= 'Z' || r >= '0' && r <= '9' || r == '-' || r == '_' {
91 b.WriteRune(r)
92 }
93 }
94 return b.String()
95 }
69 96
70 97 // Build maakt een nieuwe databasekopie en loopt alle bestanden af.
71 98 func (t Tree) Build(instance string) (Manifest, error) {
@@ -76,11 +103,16 @@ func (t Tree) Build(instance string) (Manifest, error) {
76 103 return m, err
77 104 }
78 105 tmp := snap + ".new"
106 snapshotMu.Lock()
79 107 _ = os.Remove(tmp)
80 if err := t.Snapshot(tmp); err != nil {
81 return m, fmt.Errorf("databasekopie: %w", err)
108 err := t.Snapshot(tmp)
109 if err == nil {
110 err = os.Rename(tmp, snap)
111 } else {
112 err = fmt.Errorf("databasekopie: %w", err)
82 113 }
83 if err := os.Rename(tmp, snap); err != nil {
114 snapshotMu.Unlock()
115 if err != nil {
84 116 return m, err
85 117 }
86 118 e, err := entryOf(DBPath, snap, true)
@@ -15,6 +15,7 @@ import (
15 "path/filepath"
15 "path/filepath"
16 "sort"
16 "sort"
17 "strings"
17 "strings"
18 "sync"
18 "time"
19 "time"
19)
20)
20
21
@@ -63,9 +64,35 @@ type Tree struct {
63 DataDir string // leeg als er geen datadisk is
64 DataDir string // leeg als er geen datadisk is
64 // Snapshot schrijft een consistente kopie van de database naar pad.
65 // Snapshot schrijft een consistente kopie van de database naar pad.
65 Snapshot func(dst string) error
66 Snapshot func(dst string) error
67 // Conn is de koppeling waarvoor de kopie is. Elke backup server krijgt
68 // een eigen databasekopie, zodat twee servers die tegelijk een
69 // manifest ophalen elkaars kopie niet vervangen.
70 Conn string
66}
71}
67
72
68func (t Tree) snapshotPath() string { return filepath.Join(t.StateDir, ".backup", "snapshot.db") }
73// snapshotMu zorgt dat er maar één databasekopie tegelijk gemaakt wordt.
74var snapshotMu sync.Mutex
75
76func (t Tree) snapshotPath() string {
77 name := "snapshot.db"
78 if t.Conn != "" {
79 name = "snapshot-" + safeName(t.Conn) + ".db"
80 }
81 return filepath.Join(t.StateDir, ".backup", name)
82}
83
84// RemoveSnapshot ruimt de databasekopie van een koppeling op.
85func (t Tree) RemoveSnapshot() { _ = os.Remove(t.snapshotPath()) }
86
87func safeName(s string) string {
88 var b strings.Builder
89 for _, r := range s {
90 if r >= 'a' && r <= 'z' || r >= 'A' && r <= 'Z' || r >= '0' && r <= '9' || r == '-' || r == '_' {
91 b.WriteRune(r)
92 }
93 }
94 return b.String()
95}
69
96
70// Build maakt een nieuwe databasekopie en loopt alle bestanden af.
97// Build maakt een nieuwe databasekopie en loopt alle bestanden af.
71func (t Tree) Build(instance string) (Manifest, error) {
98func (t Tree) Build(instance string) (Manifest, error) {
@@ -76,11 +103,16 @@ func (t Tree) Build(instance string) (Manifest, error) {
76 return m, err
103 return m, err
77 }
104 }
78 tmp := snap + ".new"
105 tmp := snap + ".new"
106 snapshotMu.Lock()
79 _ = os.Remove(tmp)
107 _ = os.Remove(tmp)
80 if err := t.Snapshot(tmp); err != nil {
108 err := t.Snapshot(tmp)
81 return m, fmt.Errorf("databasekopie: %w", err)
109 if err == nil {
110 err = os.Rename(tmp, snap)
111 } else {
112 err = fmt.Errorf("databasekopie: %w", err)
82 }
113 }
83 if err := os.Rename(tmp, snap); err != nil {
114 snapshotMu.Unlock()
115 if err != nil {
84 return m, err
116 return m, err
85 }
117 }
86 e, err := entryOf(DBPath, snap, true)
118 e, err := entryOf(DBPath, snap, true)
internal/server/backup.go +6 −5
@@ -78,9 +78,9 @@ func (s *Server) BackupChanged() {
78 78 s.backupNote.Changed()
79 79 }
80 80
81 func (s *Server) backupTree() backup.Tree {
81 func (s *Server) backupTree(conn string) backup.Tree {
82 82 return backup.Tree{
83 StateDir: s.StateDir, DataDir: s.StoragePath(),
83 StateDir: s.StateDir, DataDir: s.StoragePath(), Conn: conn,
84 84 Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },
85 85 }
86 86 }
@@ -202,7 +202,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
202 202 backupErr(w, 500, err.Error())
203 203 return
204 204 }
205 m, err := s.backupTree().Build(id)
205 m, err := s.backupTree(backupConnOf(r).ID).Build(id)
206 206 if err != nil {
207 207 backupErr(w, 500, err.Error())
208 208 return
@@ -211,7 +211,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
211 211 }
212 212
213 213 func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {
214 real, err := s.backupTree().Resolve(r.URL.Query().Get("path"))
214 real, err := s.backupTree(backupConnOf(r).ID).Resolve(r.URL.Query().Get("path"))
215 215 if err != nil {
216 216 backupErr(w, http.StatusNotFound, "bestand niet gevonden")
217 217 return
@@ -242,7 +242,7 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {
242 242 }
243 243 defer s.restoring.Unlock()
244 244 restoreBusy.Store(true)
245 n, err := s.backupTree().Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
245 n, err := s.backupTree("").Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
246 246 if err != nil {
247 247 restoreBusy.Store(false)
248 248 if s.Log != nil {
@@ -431,6 +431,7 @@ func (s *Server) removeBackupServer(ctx context.Context, by string, conn backup.
431 431 if err := s.backupMgr.Remove(conn.ID); err != nil {
432 432 return err
433 433 }
434 s.backupTree(conn.ID).RemoveSnapshot()
434 435 s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)
435 436 return nil
436 437 }
@@ -78,9 +78,9 @@ func (s *Server) BackupChanged() {
78 s.backupNote.Changed()
78 s.backupNote.Changed()
79}
79}
80
80
81func (s *Server) backupTree() backup.Tree {
81func (s *Server) backupTree(conn string) backup.Tree {
82 return backup.Tree{
82 return backup.Tree{
83 StateDir: s.StateDir, DataDir: s.StoragePath(),
83 StateDir: s.StateDir, DataDir: s.StoragePath(), Conn: conn,
84 Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },
84 Snapshot: func(dst string) error { return s.Store.Snapshot(context.Background(), dst) },
85 }
85 }
86}
86}
@@ -202,7 +202,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
202 backupErr(w, 500, err.Error())
202 backupErr(w, 500, err.Error())
203 return
203 return
204 }
204 }
205 m, err := s.backupTree().Build(id)
205 m, err := s.backupTree(backupConnOf(r).ID).Build(id)
206 if err != nil {
206 if err != nil {
207 backupErr(w, 500, err.Error())
207 backupErr(w, 500, err.Error())
208 return
208 return
@@ -211,7 +211,7 @@ func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
211}
211}
212
212
213func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {
213func (s *Server) backupFile(w http.ResponseWriter, r *http.Request) {
214 real, err := s.backupTree().Resolve(r.URL.Query().Get("path"))
214 real, err := s.backupTree(backupConnOf(r).ID).Resolve(r.URL.Query().Get("path"))
215 if err != nil {
215 if err != nil {
216 backupErr(w, http.StatusNotFound, "bestand niet gevonden")
216 backupErr(w, http.StatusNotFound, "bestand niet gevonden")
217 return
217 return
@@ -242,7 +242,7 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {
242 }
242 }
243 defer s.restoring.Unlock()
243 defer s.restoring.Unlock()
244 restoreBusy.Store(true)
244 restoreBusy.Store(true)
245 n, err := s.backupTree().Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
245 n, err := s.backupTree("").Stage(http.MaxBytesReader(w, r.Body, maxRestoreBytes))
246 if err != nil {
246 if err != nil {
247 restoreBusy.Store(false)
247 restoreBusy.Store(false)
248 if s.Log != nil {
248 if s.Log != nil {
@@ -431,6 +431,7 @@ func (s *Server) removeBackupServer(ctx context.Context, by string, conn backup.
431 if err := s.backupMgr.Remove(conn.ID); err != nil {
431 if err := s.backupMgr.Remove(conn.ID); err != nil {
432 return err
432 return err
433 }
433 }
434 s.backupTree(conn.ID).RemoveSnapshot()
434 s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)
435 s.backupAudit("remove", by, "id", conn.ID, "name", conn.Name)
435 return nil
436 return nil
436}
437}