BlueGit

timfa bluegit

Backup: instellingen in de webinterface, IP-adressen en sync-voortgang

bluegit-backup heeft geen config.yml meer nodig. Instellingen (inclusief
listen, dat meteen wordt omgezet) staan in de webinterface en de API.
data_dir is een opstartinstelling en in de UI alleen-lezen. Een bestaande
config.yml wordt één keer overgenomen. Het publieke adres mag een IP zijn
(IPv4 en IPv6 tussen hakjes); dat werkte aan de BlueGit-kant al.

Koppelen (URL, key, wissen/herstellen) kan volledig in de webinterface;
installatieberichten wijzen daar eerst naartoe.

Beide interfaces tonen een voortgangsbalk: het deel van de BlueGit-dataset
dat al in de kopie staat (bytes, 100% als alles actueel is). Dat gaat als
optioneel veld mee in protocol 2 (minimum blijft 1).

timfa Grok Bot · pushed by timfa

Authored 2026-11-18 · 2 hours ago

Hash
e5128d61b5a63ae5eeecf108d67ec7b26d556177
Parent
6763e00f
Pipeline
Passed
43 files changed +1599 −226
README.md +1 −1
@@ -53,7 +53,7 @@ Op andere distro's gebruik je de pakketten van de [releasepagina](https://git.ti
53 53 - `.pkg.tar.zst` voor Arch (`pacman -U bluegit-x86_64.pkg.tar.zst`);
54 54 - `SHA256SUMS` over alle bestanden.
55 55
56 De pakketten installeren de systemd-unit, de gebruiker (`bluegit`, `bluegit-runner`, `bluegit-backup`) en de config onder `/etc/<naam>/`, net als de AUR-pakketten. Ze zetten de service niet aan. De self-update (bluegit-update) zit alleen in het AUR-pakket. `<programma> --version` toont de tag. De CI test elk pakket in ubuntu:24.04, debian:12, rockylinux:9, fedora en archlinux voordat er een release komt.
56 De pakketten installeren de systemd-unit en de gebruiker (`bluegit`, `bluegit-runner`, `bluegit-backup`), net als de AUR-pakketten. `bluegit` en `bluegit-runner` plaatsen hun config onder `/etc/<naam>/`. `bluegit-backup` heeft geen `config.yml` meer: je start hem met `--data-dir` (de unit gebruikt `/var/lib/bluegit-backup`) en regelt de rest in de webinterface. Ze zetten de service niet aan. De self-update (bluegit-update) zit alleen in het AUR-pakket. `<programma> --version` toont de tag. De CI test elk pakket in ubuntu:24.04, debian:12, rockylinux:9, fedora en archlinux voordat er een release komt.
57 57
58 58 Hoe het AUR-pakket gepubliceerd wordt en hoe de self-update via pacman werkt, staat in [docs/AUR.md](docs/AUR.md). De stappen voor de installatie op git.timfalken.com staan in [docs/BEHEER.md](docs/BEHEER.md).
59 59
@@ -53,7 +53,7 @@ Op andere distro's gebruik je de pakketten van de [releasepagina](https://git.ti
53- `.pkg.tar.zst` voor Arch (`pacman -U bluegit-x86_64.pkg.tar.zst`);
53- `.pkg.tar.zst` voor Arch (`pacman -U bluegit-x86_64.pkg.tar.zst`);
54- `SHA256SUMS` over alle bestanden.
54- `SHA256SUMS` over alle bestanden.
55
55
56De pakketten installeren de systemd-unit, de gebruiker (`bluegit`, `bluegit-runner`, `bluegit-backup`) en de config onder `/etc/<naam>/`, net als de AUR-pakketten. Ze zetten de service niet aan. De self-update (bluegit-update) zit alleen in het AUR-pakket. `<programma> --version` toont de tag. De CI test elk pakket in ubuntu:24.04, debian:12, rockylinux:9, fedora en archlinux voordat er een release komt.
56De pakketten installeren de systemd-unit en de gebruiker (`bluegit`, `bluegit-runner`, `bluegit-backup`), net als de AUR-pakketten. `bluegit` en `bluegit-runner` plaatsen hun config onder `/etc/<naam>/`. `bluegit-backup` heeft geen `config.yml` meer: je start hem met `--data-dir` (de unit gebruikt `/var/lib/bluegit-backup`) en regelt de rest in de webinterface. Ze zetten de service niet aan. De self-update (bluegit-update) zit alleen in het AUR-pakket. `<programma> --version` toont de tag. De CI test elk pakket in ubuntu:24.04, debian:12, rockylinux:9, fedora en archlinux voordat er een release komt.
57
57
58Hoe het AUR-pakket gepubliceerd wordt en hoe de self-update via pacman werkt, staat in [docs/AUR.md](docs/AUR.md). De stappen voor de installatie op git.timfalken.com staan in [docs/BEHEER.md](docs/BEHEER.md).
58Hoe het AUR-pakket gepubliceerd wordt en hoe de self-update via pacman werkt, staat in [docs/AUR.md](docs/AUR.md). De stappen voor de installatie op git.timfalken.com staan in [docs/BEHEER.md](docs/BEHEER.md).
59
59
cmd/bluegit-backup/main.go +71 −68
@@ -27,23 +27,29 @@ import (
27 27 func usage() {
28 28 fmt.Fprint(os.Stderr, `bluegit-backup
29 29
30 bluegit-backup serve [--config /etc/bluegit-backup/config.yml]
31 bluegit-backup connect [--config …] --url https://git.example.com [--key bgbk_…] [--on-conflict wipe|restore]
32 bluegit-backup status [--config …]
33 bluegit-backup list [--config …]
34 bluegit-backup archive [--config …] nu een archief maken
35 bluegit-backup sync [--config …] nu synchroniseren
36 bluegit-backup prune [--config …] bewaarregels nu toepassen
37 bluegit-backup config [--config …] instellingen tonen
38 bluegit-backup set [--config …] sleutel=waarde … instellingen wijzigen
39 bluegit-backup delete [--config …] ARCHIEF
40 bluegit-backup rollback [--config …] ARCHIEF (vraagt om de naam over te typen)
41 bluegit-backup disconnect [--config …]
42 bluegit-backup actions [--config …] alle API-acties
43 bluegit-backup token [--config …] het beheertoken voor de webinterface
44 bluegit-backup example-config
30 Koppelen en instellingen regel je in de webinterface: open
31 http://<server>:8080, log in met het beheertoken (`+"`bluegit-backup token`"+`)
32 en gebruik Instellingen en Koppeling. De CLI is een alternatief.
33
34 bluegit-backup serve [--data-dir /var/lib/bluegit-backup]
35 bluegit-backup connect [--data-dir …] --url https://git.example.com [--key bgbk_…] [--on-conflict wipe|restore]
36 bluegit-backup status [--data-dir …]
37 bluegit-backup list [--data-dir …]
38 bluegit-backup archive [--data-dir …] nu een archief maken
39 bluegit-backup sync [--data-dir …] nu synchroniseren
40 bluegit-backup prune [--data-dir …] bewaarregels nu toepassen
41 bluegit-backup config [--data-dir …] instellingen tonen
42 bluegit-backup set [--data-dir …] sleutel=waarde … instellingen wijzigen
43 bluegit-backup delete [--data-dir …] ARCHIEF
44 bluegit-backup rollback [--data-dir …] ARCHIEF (vraagt om de naam over te typen)
45 bluegit-backup disconnect [--data-dir …]
46 bluegit-backup actions [--data-dir …] alle API-acties
47 bluegit-backup token [--data-dir …] het beheertoken voor de webinterface
48 bluegit-backup example-config oude config.yml (alleen voor eenmalige import)
45 49 bluegit-backup version
46 50
51 --data-dir mag ook BLUEGIT_BACKUP_DATA_DIR zijn (standaard /var/lib/bluegit-backup).
52 Een oude --config / config.yml wordt één keer overgenomen in settings.yml.
47 53 De key kan ook uit BLUEGIT_BACKUP_KEY komen (dan staat hij niet in de proceslijst).
48 54 `)
49 55 }
@@ -103,53 +109,55 @@ func configPath(p string) string {
103 109 return apppaths.ConfigFile(p, "BLUEGIT_BACKUP_CONFIG", "bluegit-backup.yml", "/etc/bluegit-backup/config.yml", "BlueGit-backup")
104 110 }
105 111
112 type startFlags struct {
113 fs *flag.FlagSet
114 config *string
115 dataDir *string
116 }
117
118 func newStartFlags(name string) *startFlags {
119 fs := flag.NewFlagSet(name, flag.ExitOnError)
120 s := &startFlags{fs: fs}
121 s.config = fs.String("config", "", "pad naar een oude config.yml (wordt eenmaal overgenomen)")
122 s.dataDir = fs.String("data-dir", "", "gegevensmap (standaard "+config.DefaultDataDir()+")")
123 return s
124 }
125
126 func (s *startFlags) load(log *slog.Logger) (config.Config, error) {
127 return config.LoadRuntime(config.Startup{
128 ConfigPath: configPath(*s.config),
129 DataDir: *s.dataDir,
130 DataDirEnv: os.Getenv("BLUEGIT_BACKUP_DATA_DIR"),
131 }, log)
132 }
133
106 134 func serve(args []string) error {
107 fs := flag.NewFlagSet("serve", flag.ExitOnError)
108 cfgPath := fs.String("config", "", "pad naar config.yml")
109 _ = fs.Parse(args)
110 cfg, err := config.Load(configPath(*cfgPath))
135 sf := newStartFlags("serve")
136 _ = sf.fs.Parse(args)
137 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
138 cfg, err := sf.load(log)
111 139 if err != nil {
112 140 return err
113 141 }
114 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
115 142 srv, err := server.New(cfg, log)
116 143 if err != nil {
117 144 return err
118 145 }
119 146 ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
120 147 defer stop()
121 cfg = srv.Cfg // met settings.yml
122 ln, err := net.Listen("tcp", cfg.Listen)
123 if err != nil {
124 return err
125 }
126 hs := &http.Server{Handler: srv.Handler(), ReadHeaderTimeout: 10 * time.Second}
127 go func() {
128 <-ctx.Done()
129 c, cancel := context.WithTimeout(context.Background(), 10*time.Second)
130 defer cancel()
131 _ = hs.Shutdown(c)
132 }()
133 148 srv.Run(ctx)
134 log.Info("bluegit-backup luistert", "addr", ln.Addr().String(), "public_url", cfg.PublicURL, "version", server.Version)
135 if err := hs.Serve(ln); err != nil && err != http.ErrServerClosed {
136 return err
137 }
138 return nil
149 return srv.ListenAndServe(ctx)
139 150 }
140 151
141 152 type client struct {
142 153 base, token string
143 154 }
144 155
145 func newClient(cfgPath string) (*client, error) {
146 cfg, err := config.Load(configPath(cfgPath))
156 func newClientFrom(sf *startFlags) (*client, error) {
157 cfg, err := sf.load(nil)
147 158 if err != nil {
148 159 return nil, err
149 160 }
150 if set, err := config.LoadSettings(cfg.DataDir); err == nil {
151 _ = cfg.Apply(set)
152 }
153 161 tok, err := server.ReadAdminToken(cfg.DataDir)
154 162 if err != nil {
155 163 return nil, fmt.Errorf("admin.token lezen (draai als de gebruiker van de dienst of root): %w", err)
@@ -195,11 +203,10 @@ func printResult(code int, b []byte) error {
195 203 }
196 204
197 205 func setConfig(args []string) error {
198 fs := flag.NewFlagSet("set", flag.ExitOnError)
199 cfgPath := fs.String("config", "", "pad naar config.yml")
200 _ = fs.Parse(args)
206 sf := newStartFlags("set")
207 _ = sf.fs.Parse(args)
201 208 set := map[string]string{}
202 for _, kv := range fs.Args() {
209 for _, kv := range sf.fs.Args() {
203 210 k, v, ok := strings.Cut(kv, "=")
204 211 if !ok {
205 212 return fmt.Errorf("verwacht sleutel=waarde, kreeg %q", kv)
@@ -209,7 +216,7 @@ func setConfig(args []string) error {
209 216 if len(set) == 0 {
210 217 return fmt.Errorf("geef minstens één sleutel=waarde")
211 218 }
212 c, err := newClient(*cfgPath)
219 c, err := newClientFrom(sf)
213 220 if err != nil {
214 221 return err
215 222 }
@@ -221,17 +228,16 @@ func setConfig(args []string) error {
221 228 }
222 229
223 230 func withName(args []string, f func(c *client, name string) (int, []byte, error)) error {
224 fs := flag.NewFlagSet("cmd", flag.ExitOnError)
225 cfgPath := fs.String("config", "", "pad naar config.yml")
226 _ = fs.Parse(args)
227 if fs.NArg() != 1 {
231 sf := newStartFlags("cmd")
232 _ = sf.fs.Parse(args)
233 if sf.fs.NArg() != 1 {
228 234 return fmt.Errorf("geef precies één archiefnaam")
229 235 }
230 c, err := newClient(*cfgPath)
236 c, err := newClientFrom(sf)
231 237 if err != nil {
232 238 return err
233 239 }
234 code, b, err := f(c, fs.Arg(0))
240 code, b, err := f(c, sf.fs.Arg(0))
235 241 if err != nil {
236 242 return err
237 243 }
@@ -251,10 +257,9 @@ func rollback(args []string, stdin io.Reader, stdout io.Writer) error {
251 257 }
252 258
253 259 func printToken(args []string) error {
254 fs := flag.NewFlagSet("token", flag.ExitOnError)
255 cfgPath := fs.String("config", "", "pad naar config.yml")
256 _ = fs.Parse(args)
257 cfg, err := config.Load(configPath(*cfgPath))
260 sf := newStartFlags("token")
261 _ = sf.fs.Parse(args)
262 cfg, err := sf.load(nil)
258 263 if err != nil {
259 264 return err
260 265 }
@@ -267,10 +272,9 @@ func printToken(args []string) error {
267 272 }
268 273
269 274 func simple(args []string, method, p string) error {
270 fs := flag.NewFlagSet("cmd", flag.ExitOnError)
271 cfgPath := fs.String("config", "", "pad naar config.yml")
272 _ = fs.Parse(args)
273 c, err := newClient(*cfgPath)
275 sf := newStartFlags("cmd")
276 _ = sf.fs.Parse(args)
277 c, err := newClientFrom(sf)
274 278 if err != nil {
275 279 return err
276 280 }
@@ -290,19 +294,18 @@ func simple(args []string, method, p string) error {
290 294 }
291 295
292 296 func connect(args []string, stdin io.Reader, stdout io.Writer) error {
293 fs := flag.NewFlagSet("connect", flag.ExitOnError)
294 cfgPath := fs.String("config", "", "pad naar config.yml")
295 u := fs.String("url", "", "adres van BlueGit")
296 key := fs.String("key", "", "Backupserver-Key (of BLUEGIT_BACKUP_KEY)")
297 onConflict := fs.String("on-conflict", "", "wipe of restore, zonder te vragen")
298 _ = fs.Parse(args)
297 sf := newStartFlags("connect")
298 u := sf.fs.String("url", "", "adres van BlueGit")
299 key := sf.fs.String("key", "", "Backupserver-Key (of BLUEGIT_BACKUP_KEY)")
300 onConflict := sf.fs.String("on-conflict", "", "wipe of restore, zonder te vragen")
301 _ = sf.fs.Parse(args)
299 302 if *key == "" {
300 303 *key = os.Getenv("BLUEGIT_BACKUP_KEY")
301 304 }
302 305 if *u == "" || *key == "" {
303 306 return fmt.Errorf("--url en --key (of BLUEGIT_BACKUP_KEY) zijn nodig")
304 307 }
305 c, err := newClient(*cfgPath)
308 c, err := newClientFrom(sf)
306 309 if err != nil {
307 310 return err
308 311 }
@@ -27,23 +27,29 @@ import (
27func usage() {
27func usage() {
28 fmt.Fprint(os.Stderr, `bluegit-backup
28 fmt.Fprint(os.Stderr, `bluegit-backup
29
29
30 bluegit-backup serve [--config /etc/bluegit-backup/config.yml]
30Koppelen en instellingen regel je in de webinterface: open
31 bluegit-backup connect [--config …] --url https://git.example.com [--key bgbk_…] [--on-conflict wipe|restore]
31http://<server>:8080, log in met het beheertoken (`+"`bluegit-backup token`"+`)
32 bluegit-backup status [--config …]
32en gebruik Instellingen en Koppeling. De CLI is een alternatief.
33 bluegit-backup list [--config …]
33
34 bluegit-backup archive [--config …] nu een archief maken
34 bluegit-backup serve [--data-dir /var/lib/bluegit-backup]
35 bluegit-backup sync [--config …] nu synchroniseren
35 bluegit-backup connect [--data-dir …] --url https://git.example.com [--key bgbk_…] [--on-conflict wipe|restore]
36 bluegit-backup prune [--config …] bewaarregels nu toepassen
36 bluegit-backup status [--data-dir …]
37 bluegit-backup config [--config …] instellingen tonen
37 bluegit-backup list [--data-dir …]
38 bluegit-backup set [--config …] sleutel=waarde … instellingen wijzigen
38 bluegit-backup archive [--data-dir …] nu een archief maken
39 bluegit-backup delete [--config …] ARCHIEF
39 bluegit-backup sync [--data-dir …] nu synchroniseren
40 bluegit-backup rollback [--config …] ARCHIEF (vraagt om de naam over te typen)
40 bluegit-backup prune [--data-dir …] bewaarregels nu toepassen
41 bluegit-backup disconnect [--config …]
41 bluegit-backup config [--data-dir …] instellingen tonen
42 bluegit-backup actions [--config …] alle API-acties
42 bluegit-backup set [--data-dir …] sleutel=waarde … instellingen wijzigen
43 bluegit-backup token [--config …] het beheertoken voor de webinterface
43 bluegit-backup delete [--data-dir …] ARCHIEF
44 bluegit-backup example-config
44 bluegit-backup rollback [--data-dir …] ARCHIEF (vraagt om de naam over te typen)
45 bluegit-backup disconnect [--data-dir …]
46 bluegit-backup actions [--data-dir …] alle API-acties
47 bluegit-backup token [--data-dir …] het beheertoken voor de webinterface
48 bluegit-backup example-config oude config.yml (alleen voor eenmalige import)
45 bluegit-backup version
49 bluegit-backup version
46
50
51--data-dir mag ook BLUEGIT_BACKUP_DATA_DIR zijn (standaard /var/lib/bluegit-backup).
52Een oude --config / config.yml wordt één keer overgenomen in settings.yml.
47De key kan ook uit BLUEGIT_BACKUP_KEY komen (dan staat hij niet in de proceslijst).
53De key kan ook uit BLUEGIT_BACKUP_KEY komen (dan staat hij niet in de proceslijst).
48`)
54`)
49}
55}
@@ -103,53 +109,55 @@ func configPath(p string) string {
103 return apppaths.ConfigFile(p, "BLUEGIT_BACKUP_CONFIG", "bluegit-backup.yml", "/etc/bluegit-backup/config.yml", "BlueGit-backup")
109 return apppaths.ConfigFile(p, "BLUEGIT_BACKUP_CONFIG", "bluegit-backup.yml", "/etc/bluegit-backup/config.yml", "BlueGit-backup")
104}
110}
105
111
112type startFlags struct {
113 fs *flag.FlagSet
114 config *string
115 dataDir *string
116}
117
118func newStartFlags(name string) *startFlags {
119 fs := flag.NewFlagSet(name, flag.ExitOnError)
120 s := &startFlags{fs: fs}
121 s.config = fs.String("config", "", "pad naar een oude config.yml (wordt eenmaal overgenomen)")
122 s.dataDir = fs.String("data-dir", "", "gegevensmap (standaard "+config.DefaultDataDir()+")")
123 return s
124}
125
126func (s *startFlags) load(log *slog.Logger) (config.Config, error) {
127 return config.LoadRuntime(config.Startup{
128 ConfigPath: configPath(*s.config),
129 DataDir: *s.dataDir,
130 DataDirEnv: os.Getenv("BLUEGIT_BACKUP_DATA_DIR"),
131 }, log)
132}
133
106func serve(args []string) error {
134func serve(args []string) error {
107 fs := flag.NewFlagSet("serve", flag.ExitOnError)
135 sf := newStartFlags("serve")
108 cfgPath := fs.String("config", "", "pad naar config.yml")
136 _ = sf.fs.Parse(args)
109 _ = fs.Parse(args)
137 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
110 cfg, err := config.Load(configPath(*cfgPath))
138 cfg, err := sf.load(log)
111 if err != nil {
139 if err != nil {
112 return err
140 return err
113 }
141 }
114 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
115 srv, err := server.New(cfg, log)
142 srv, err := server.New(cfg, log)
116 if err != nil {
143 if err != nil {
117 return err
144 return err
118 }
145 }
119 ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
146 ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
120 defer stop()
147 defer stop()
121 cfg = srv.Cfg // met settings.yml
122 ln, err := net.Listen("tcp", cfg.Listen)
123 if err != nil {
124 return err
125 }
126 hs := &http.Server{Handler: srv.Handler(), ReadHeaderTimeout: 10 * time.Second}
127 go func() {
128 <-ctx.Done()
129 c, cancel := context.WithTimeout(context.Background(), 10*time.Second)
130 defer cancel()
131 _ = hs.Shutdown(c)
132 }()
133 srv.Run(ctx)
148 srv.Run(ctx)
134 log.Info("bluegit-backup luistert", "addr", ln.Addr().String(), "public_url", cfg.PublicURL, "version", server.Version)
149 return srv.ListenAndServe(ctx)
135 if err := hs.Serve(ln); err != nil && err != http.ErrServerClosed {
136 return err
137 }
138 return nil
139}
150}
140
151
141type client struct {
152type client struct {
142 base, token string
153 base, token string
143}
154}
144
155
145func newClient(cfgPath string) (*client, error) {
156func newClientFrom(sf *startFlags) (*client, error) {
146 cfg, err := config.Load(configPath(cfgPath))
157 cfg, err := sf.load(nil)
147 if err != nil {
158 if err != nil {
148 return nil, err
159 return nil, err
149 }
160 }
150 if set, err := config.LoadSettings(cfg.DataDir); err == nil {
151 _ = cfg.Apply(set)
152 }
153 tok, err := server.ReadAdminToken(cfg.DataDir)
161 tok, err := server.ReadAdminToken(cfg.DataDir)
154 if err != nil {
162 if err != nil {
155 return nil, fmt.Errorf("admin.token lezen (draai als de gebruiker van de dienst of root): %w", err)
163 return nil, fmt.Errorf("admin.token lezen (draai als de gebruiker van de dienst of root): %w", err)
@@ -195,11 +203,10 @@ func printResult(code int, b []byte) error {
195}
203}
196
204
197func setConfig(args []string) error {
205func setConfig(args []string) error {
198 fs := flag.NewFlagSet("set", flag.ExitOnError)
206 sf := newStartFlags("set")
199 cfgPath := fs.String("config", "", "pad naar config.yml")
207 _ = sf.fs.Parse(args)
200 _ = fs.Parse(args)
201 set := map[string]string{}
208 set := map[string]string{}
202 for _, kv := range fs.Args() {
209 for _, kv := range sf.fs.Args() {
203 k, v, ok := strings.Cut(kv, "=")
210 k, v, ok := strings.Cut(kv, "=")
204 if !ok {
211 if !ok {
205 return fmt.Errorf("verwacht sleutel=waarde, kreeg %q", kv)
212 return fmt.Errorf("verwacht sleutel=waarde, kreeg %q", kv)
@@ -209,7 +216,7 @@ func setConfig(args []string) error {
209 if len(set) == 0 {
216 if len(set) == 0 {
210 return fmt.Errorf("geef minstens één sleutel=waarde")
217 return fmt.Errorf("geef minstens één sleutel=waarde")
211 }
218 }
212 c, err := newClient(*cfgPath)
219 c, err := newClientFrom(sf)
213 if err != nil {
220 if err != nil {
214 return err
221 return err
215 }
222 }
@@ -221,17 +228,16 @@ func setConfig(args []string) error {
221}
228}
222
229
223func withName(args []string, f func(c *client, name string) (int, []byte, error)) error {
230func withName(args []string, f func(c *client, name string) (int, []byte, error)) error {
224 fs := flag.NewFlagSet("cmd", flag.ExitOnError)
231 sf := newStartFlags("cmd")
225 cfgPath := fs.String("config", "", "pad naar config.yml")
232 _ = sf.fs.Parse(args)
226 _ = fs.Parse(args)
233 if sf.fs.NArg() != 1 {
227 if fs.NArg() != 1 {
228 return fmt.Errorf("geef precies één archiefnaam")
234 return fmt.Errorf("geef precies één archiefnaam")
229 }
235 }
230 c, err := newClient(*cfgPath)
236 c, err := newClientFrom(sf)
231 if err != nil {
237 if err != nil {
232 return err
238 return err
233 }
239 }
234 code, b, err := f(c, fs.Arg(0))
240 code, b, err := f(c, sf.fs.Arg(0))
235 if err != nil {
241 if err != nil {
236 return err
242 return err
237 }
243 }
@@ -251,10 +257,9 @@ func rollback(args []string, stdin io.Reader, stdout io.Writer) error {
251}
257}
252
258
253func printToken(args []string) error {
259func printToken(args []string) error {
254 fs := flag.NewFlagSet("token", flag.ExitOnError)
260 sf := newStartFlags("token")
255 cfgPath := fs.String("config", "", "pad naar config.yml")
261 _ = sf.fs.Parse(args)
256 _ = fs.Parse(args)
262 cfg, err := sf.load(nil)
257 cfg, err := config.Load(configPath(*cfgPath))
258 if err != nil {
263 if err != nil {
259 return err
264 return err
260 }
265 }
@@ -267,10 +272,9 @@ func printToken(args []string) error {
267}
272}
268
273
269func simple(args []string, method, p string) error {
274func simple(args []string, method, p string) error {
270 fs := flag.NewFlagSet("cmd", flag.ExitOnError)
275 sf := newStartFlags("cmd")
271 cfgPath := fs.String("config", "", "pad naar config.yml")
276 _ = sf.fs.Parse(args)
272 _ = fs.Parse(args)
277 c, err := newClientFrom(sf)
273 c, err := newClient(*cfgPath)
274 if err != nil {
278 if err != nil {
275 return err
279 return err
276 }
280 }
@@ -290,19 +294,18 @@ func simple(args []string, method, p string) error {
290}
294}
291
295
292func connect(args []string, stdin io.Reader, stdout io.Writer) error {
296func connect(args []string, stdin io.Reader, stdout io.Writer) error {
293 fs := flag.NewFlagSet("connect", flag.ExitOnError)
297 sf := newStartFlags("connect")
294 cfgPath := fs.String("config", "", "pad naar config.yml")
298 u := sf.fs.String("url", "", "adres van BlueGit")
295 u := fs.String("url", "", "adres van BlueGit")
299 key := sf.fs.String("key", "", "Backupserver-Key (of BLUEGIT_BACKUP_KEY)")
296 key := fs.String("key", "", "Backupserver-Key (of BLUEGIT_BACKUP_KEY)")
300 onConflict := sf.fs.String("on-conflict", "", "wipe of restore, zonder te vragen")
297 onConflict := fs.String("on-conflict", "", "wipe of restore, zonder te vragen")
301 _ = sf.fs.Parse(args)
298 _ = fs.Parse(args)
299 if *key == "" {
302 if *key == "" {
300 *key = os.Getenv("BLUEGIT_BACKUP_KEY")
303 *key = os.Getenv("BLUEGIT_BACKUP_KEY")
301 }
304 }
302 if *u == "" || *key == "" {
305 if *u == "" || *key == "" {
303 return fmt.Errorf("--url en --key (of BLUEGIT_BACKUP_KEY) zijn nodig")
306 return fmt.Errorf("--url en --key (of BLUEGIT_BACKUP_KEY) zijn nodig")
304 }
307 }
305 c, err := newClient(*cfgPath)
308 c, err := newClientFrom(sf)
306 if err != nil {
309 if err != nil {
307 return err
310 return err
308 }
311 }
docs/ASSUMPTIONS.md +13 −4
@@ -24,7 +24,7 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
24 24 - Standaardpaden op Windows: `%LOCALAPPDATA%\BlueGit` (state en config), `%LOCALAPPDATA%\BlueGit-runner` en `%LOCALAPPDATA%\BlueGit-backup`. Op Linux blijven `/etc/...` en `/var/lib/...` ongewijzigd. `bluegit example-config` blijft de mini-PC-configuratie printen (Linux-paden).
25 25 - De runner op Windows is alleen zinvol met Docker Desktop (Linux-engine). Jobs blijven Linux-containers (`#!/bin/sh`, `/workspace`). Systemd na `register` wordt overgeslagen (`Geteuid` is −1). Git-hooks blijven `#!/bin/sh`-scripts; dat werkt met Git for Windows. Unix-modes (`0600`) worden op NTFS niet afgedwongen; dat staat in de README. Geen test-runner voor Windows in de CI: de jobs draaien op Linux en controleren alleen of het kruisbouwen lukt.
26 26
27 ## Backup server (uit timfa/bluegit-backup)
27 ## Backup server (in deze repository, voorheen timfa/bluegit-backup)
28 28
29 29 ### Opzet
30 30
@@ -37,7 +37,16 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
37 37 - **Inloggen gaat met het beheertoken** uit `data_dir/admin.token` (`bba_…`, 0600). Dat token gebruiken ook de API en de CLI. Er komt geen apart gebruikersbeheer: de backup server heeft één beheerder. `bluegit-backup token` toont het token.
38 38 - Sessies staan alleen in het geheugen. Een herstart logt iedereen uit.
39 39 - Elke handeling staat in één lijst (`Actions`). De API-routes en de formulieren van de webinterface komen allebei uit die lijst, en een formulier roept dezelfde code aan als de API. Daardoor kan de API alles wat de webinterface kan, en andersom. Een unit-test controleert dat elke wijzigende actie een formulier heeft en elk formulier een actie. De integratietests falen als er een actie bij komt die niet getest wordt.
40 - "Alles instellen" betekent: alle velden uit `config.yml` behalve `data_dir`. In die map staan de instellingen zelf, dus die blijft in `config.yml`. Wat via de webinterface, API of BlueGit is ingesteld, gaat naar `data_dir/settings.yml`. Dat bestand gaat boven `config.yml`, zodat `config.yml` van root kan blijven. `listen` geldt pas na een herstart, de rest meteen (ook de downloadsnelheid tijdens een lopende sync).
40 - Alles instelbare staat in de webinterface en de API (dezelfde velden). Dat gaat naar `data_dir/settings.yml`. Er is geen `config.yml` meer nodig. Bestaat `/etc/bluegit-backup/config.yml` (of een bij upgrade bewaarde `legacy-config.yml`) nog, dan wordt die **één keer** overgenomen; daarna wint de webinterface. De dienst logt dat `config.yml` niet meer nodig is.
41 - `data_dir` is een opstartinstelling (standaard `/var/lib/bluegit-backup`, of `%LOCALAPPDATA%\BlueGit-backup` op Windows), te zetten met `--data-dir` of `BLUEGIT_BACKUP_DATA_DIR`. In die map staat `settings.yml` zelf, dus dit pad kan niet zinvol vanuit de UI veranderen. De UI toont het alleen-lezen, met die uitleg.
42 - `listen` is in de UI te wijzigen en geldt **meteen**: de server probeert het nieuwe adres te binden. Lukt dat niet, dan blijft de oude listener staan, wordt er niets bewaard, en zegt de UI waar hij nog luistert. Lukt het wel, dan staat in de melding het nieuwe adres.
43 - `public_url` mag een domein of een IP-adres zijn (`http://192.168.1.50:8080`, IPv6 als `http://[2001:db8::1]:8080`). Validatie eist alleen `http://` of `https://` en een host. BlueGit praat met de backup server via een gewone `http.Client` (niet de SSRF-client van webhooks), dus een IP-URL werkte al; dat is nu met tests vastgelegd.
44 - Wat **niet** in de webinterface kan (en waarom):
45 - `data_dir` — zie hierboven; de instellingen staan in die map.
46 - Het proces starten (`serve`) en de eerste aanmaak van `admin.token` — je moet ergens inloggen. Het token-commando staat in het installatiebericht en op de loginpagina; na het inloggen toont de UI het token (voor de API en opnieuw inloggen).
47 - Een eenmalige import van een oude `config.yml` (achterwaartse compatibiliteit, geen dagelijkse instelling).
48 - Koppelen (URL, Backupserver-Key, en bij een andere BlueGit de keuze wissen of herstellen) kan volledig in de webinterface, sectie *Koppeling*. De CLI blijft een alternatief.
49 - De voortgang van de synchronisatie is het aandeel van de BlueGit-dataset (bytes van bestanden uit het laatste manifest die aanwezig en actueel zijn) dat al in de kopie staat. 100% alleen als alle bestanden kloppen. Die waarde staat in `status.sync` (optioneel, protocol 2, minimum blijft 1 zodat oude peers geen banner krijgen) en gaat ook naar BlueGit (`POST /api/v1/backup/progress`). Beide webinterfaces tonen een balk; onbekend/offline/niet-compatibel worden als tekst getoond, geen misleidende 100%. Op de BlueGit-lijst ververst de pagina periodiek zolang een server nog niet op 100% zit.
41 50 - In de webinterface kun je ook een rollback starten en een archief downloaden of verwijderen. De rollback heeft dezelfde waarschuwing en bevestiging als in BlueGit.
42 51 - De webinterface is gewone HTML zonder JavaScript, in het Nederlands. Hij weigert framing (`X-Frame-Options: DENY`). Daarom bedient BlueGit de backup server via de API en niet met een iframe.
43 52
@@ -69,7 +78,7 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
69 78 - **Backup server → BlueGit:** `Authorization: Bearer bgbk_…` op `/api/v1/backup/*`. Vijf foute pogingen per minuut per IP-adres geven `429`.
70 79 - **BlueGit → backup server** (meldingen, archieflijst, status, rollback en de beheeracties): BlueGit kent de key zelf niet meer, alleen de hash. Daarom ondertekent BlueGit met een afgeleid geheim, `sha256("bluegit-backup-sign:" + key)`, dat BlueGit bij het maken van de key bewaart. De handtekening is HMAC-SHA256 over `METHODE\nPAD\nTIJDSTEMPEL\nsha256(body)`, met hoogstens 5 minuten klokverschil. Zo kan iemand die het netwerk ziet geen rollback starten of meldingen vervalsen. Binnen die 5 minuten kan een afgeluisterd verzoek wel opnieuw worden gestuurd. Gebruik TLS als het netwerk tussen BlueGit en de backup server niet te vertrouwen is.
71 80 - De koppeling in BlueGit (`<state>/backup.json`) zit **niet** in de backup. Een rollback zet de koppeling dus niet terug naar een oude key.
72 - Je koppelt in de webinterface, met de API, of met `bluegit-backup connect --url …` en de key uit `BLUEGIT_BACKUP_KEY` (of `--key`). De server meldt BlueGit daarna zijn `public_url`, zodat BlueGit weet waar de meldingen heen moeten.
81 - Je koppelt in de webinterface (of via de API). De CLI `bluegit-backup connect --url …` met de key uit `BLUEGIT_BACKUP_KEY` (of `--key`) is een alternatief. De server meldt BlueGit daarna zijn `public_url`, zodat BlueGit weet waar de meldingen heen moeten.
73 82
74 83 ### Wat wordt geback-upt
75 84
@@ -161,4 +170,4 @@ Tot 16-11-2026, toen dit nog een aparte repository was. Wat er sindsdien geldt,
161 170 - Releases vanaf master staan aan zodra `.release-enabled` in de repository staat. Zonder dat bestand doen de release-scripts niets.
162 171 - De integratietests bouwen BlueGit van de ref in `.bluegit-ref` (`master`; tijdens de compatibiliteitswijziging tijdelijk `feature/backup-compat`, tot die in BlueGit gemerged is).
163 172 - De integratietests draaien nooit tegen een echte BlueGit-installatie. Elke test start een eigen BlueGit in een tijdelijke map, met de dev-login en zonder SSH of CI-runner.
164 - Het AUR-pakket haalt de broncode van `https://git.timfalken.com/timfa/bluegit-backup/-/archive/<commit>/…`. Daarom is de repository openbaar, net als `timfa/bluegit`.
173 - Het AUR-pakket `bluegit-backup` haalt de broncode uit het archief van `timfa/bluegit` (dezelfde repository), net als `bluegit` en `bluegit-runner`.
@@ -24,7 +24,7 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
24- Standaardpaden op Windows: `%LOCALAPPDATA%\BlueGit` (state en config), `%LOCALAPPDATA%\BlueGit-runner` en `%LOCALAPPDATA%\BlueGit-backup`. Op Linux blijven `/etc/...` en `/var/lib/...` ongewijzigd. `bluegit example-config` blijft de mini-PC-configuratie printen (Linux-paden).
24- Standaardpaden op Windows: `%LOCALAPPDATA%\BlueGit` (state en config), `%LOCALAPPDATA%\BlueGit-runner` en `%LOCALAPPDATA%\BlueGit-backup`. Op Linux blijven `/etc/...` en `/var/lib/...` ongewijzigd. `bluegit example-config` blijft de mini-PC-configuratie printen (Linux-paden).
25- De runner op Windows is alleen zinvol met Docker Desktop (Linux-engine). Jobs blijven Linux-containers (`#!/bin/sh`, `/workspace`). Systemd na `register` wordt overgeslagen (`Geteuid` is −1). Git-hooks blijven `#!/bin/sh`-scripts; dat werkt met Git for Windows. Unix-modes (`0600`) worden op NTFS niet afgedwongen; dat staat in de README. Geen test-runner voor Windows in de CI: de jobs draaien op Linux en controleren alleen of het kruisbouwen lukt.
25- De runner op Windows is alleen zinvol met Docker Desktop (Linux-engine). Jobs blijven Linux-containers (`#!/bin/sh`, `/workspace`). Systemd na `register` wordt overgeslagen (`Geteuid` is −1). Git-hooks blijven `#!/bin/sh`-scripts; dat werkt met Git for Windows. Unix-modes (`0600`) worden op NTFS niet afgedwongen; dat staat in de README. Geen test-runner voor Windows in de CI: de jobs draaien op Linux en controleren alleen of het kruisbouwen lukt.
26
26
27## Backup server (uit timfa/bluegit-backup)
27## Backup server (in deze repository, voorheen timfa/bluegit-backup)
28
28
29### Opzet
29### Opzet
30
30
@@ -37,7 +37,16 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
37- **Inloggen gaat met het beheertoken** uit `data_dir/admin.token` (`bba_…`, 0600). Dat token gebruiken ook de API en de CLI. Er komt geen apart gebruikersbeheer: de backup server heeft één beheerder. `bluegit-backup token` toont het token.
37- **Inloggen gaat met het beheertoken** uit `data_dir/admin.token` (`bba_…`, 0600). Dat token gebruiken ook de API en de CLI. Er komt geen apart gebruikersbeheer: de backup server heeft één beheerder. `bluegit-backup token` toont het token.
38- Sessies staan alleen in het geheugen. Een herstart logt iedereen uit.
38- Sessies staan alleen in het geheugen. Een herstart logt iedereen uit.
39- Elke handeling staat in één lijst (`Actions`). De API-routes en de formulieren van de webinterface komen allebei uit die lijst, en een formulier roept dezelfde code aan als de API. Daardoor kan de API alles wat de webinterface kan, en andersom. Een unit-test controleert dat elke wijzigende actie een formulier heeft en elk formulier een actie. De integratietests falen als er een actie bij komt die niet getest wordt.
39- Elke handeling staat in één lijst (`Actions`). De API-routes en de formulieren van de webinterface komen allebei uit die lijst, en een formulier roept dezelfde code aan als de API. Daardoor kan de API alles wat de webinterface kan, en andersom. Een unit-test controleert dat elke wijzigende actie een formulier heeft en elk formulier een actie. De integratietests falen als er een actie bij komt die niet getest wordt.
40- "Alles instellen" betekent: alle velden uit `config.yml` behalve `data_dir`. In die map staan de instellingen zelf, dus die blijft in `config.yml`. Wat via de webinterface, API of BlueGit is ingesteld, gaat naar `data_dir/settings.yml`. Dat bestand gaat boven `config.yml`, zodat `config.yml` van root kan blijven. `listen` geldt pas na een herstart, de rest meteen (ook de downloadsnelheid tijdens een lopende sync).
40- Alles instelbare staat in de webinterface en de API (dezelfde velden). Dat gaat naar `data_dir/settings.yml`. Er is geen `config.yml` meer nodig. Bestaat `/etc/bluegit-backup/config.yml` (of een bij upgrade bewaarde `legacy-config.yml`) nog, dan wordt die **één keer** overgenomen; daarna wint de webinterface. De dienst logt dat `config.yml` niet meer nodig is.
41- `data_dir` is een opstartinstelling (standaard `/var/lib/bluegit-backup`, of `%LOCALAPPDATA%\BlueGit-backup` op Windows), te zetten met `--data-dir` of `BLUEGIT_BACKUP_DATA_DIR`. In die map staat `settings.yml` zelf, dus dit pad kan niet zinvol vanuit de UI veranderen. De UI toont het alleen-lezen, met die uitleg.
42- `listen` is in de UI te wijzigen en geldt **meteen**: de server probeert het nieuwe adres te binden. Lukt dat niet, dan blijft de oude listener staan, wordt er niets bewaard, en zegt de UI waar hij nog luistert. Lukt het wel, dan staat in de melding het nieuwe adres.
43- `public_url` mag een domein of een IP-adres zijn (`http://192.168.1.50:8080`, IPv6 als `http://[2001:db8::1]:8080`). Validatie eist alleen `http://` of `https://` en een host. BlueGit praat met de backup server via een gewone `http.Client` (niet de SSRF-client van webhooks), dus een IP-URL werkte al; dat is nu met tests vastgelegd.
44- Wat **niet** in de webinterface kan (en waarom):
45 - `data_dir` — zie hierboven; de instellingen staan in die map.
46 - Het proces starten (`serve`) en de eerste aanmaak van `admin.token` — je moet ergens inloggen. Het token-commando staat in het installatiebericht en op de loginpagina; na het inloggen toont de UI het token (voor de API en opnieuw inloggen).
47 - Een eenmalige import van een oude `config.yml` (achterwaartse compatibiliteit, geen dagelijkse instelling).
48- Koppelen (URL, Backupserver-Key, en bij een andere BlueGit de keuze wissen of herstellen) kan volledig in de webinterface, sectie *Koppeling*. De CLI blijft een alternatief.
49- De voortgang van de synchronisatie is het aandeel van de BlueGit-dataset (bytes van bestanden uit het laatste manifest die aanwezig en actueel zijn) dat al in de kopie staat. 100% alleen als alle bestanden kloppen. Die waarde staat in `status.sync` (optioneel, protocol 2, minimum blijft 1 zodat oude peers geen banner krijgen) en gaat ook naar BlueGit (`POST /api/v1/backup/progress`). Beide webinterfaces tonen een balk; onbekend/offline/niet-compatibel worden als tekst getoond, geen misleidende 100%. Op de BlueGit-lijst ververst de pagina periodiek zolang een server nog niet op 100% zit.
41- In de webinterface kun je ook een rollback starten en een archief downloaden of verwijderen. De rollback heeft dezelfde waarschuwing en bevestiging als in BlueGit.
50- In de webinterface kun je ook een rollback starten en een archief downloaden of verwijderen. De rollback heeft dezelfde waarschuwing en bevestiging als in BlueGit.
42- De webinterface is gewone HTML zonder JavaScript, in het Nederlands. Hij weigert framing (`X-Frame-Options: DENY`). Daarom bedient BlueGit de backup server via de API en niet met een iframe.
51- De webinterface is gewone HTML zonder JavaScript, in het Nederlands. Hij weigert framing (`X-Frame-Options: DENY`). Daarom bedient BlueGit de backup server via de API en niet met een iframe.
43
52
@@ -69,7 +78,7 @@ Deze keuzes heb ik gemaakt waar de opdracht niets vastlegde. Wil je iets anders,
69- **Backup server → BlueGit:** `Authorization: Bearer bgbk_…` op `/api/v1/backup/*`. Vijf foute pogingen per minuut per IP-adres geven `429`.
78- **Backup server → BlueGit:** `Authorization: Bearer bgbk_…` op `/api/v1/backup/*`. Vijf foute pogingen per minuut per IP-adres geven `429`.
70- **BlueGit → backup server** (meldingen, archieflijst, status, rollback en de beheeracties): BlueGit kent de key zelf niet meer, alleen de hash. Daarom ondertekent BlueGit met een afgeleid geheim, `sha256("bluegit-backup-sign:" + key)`, dat BlueGit bij het maken van de key bewaart. De handtekening is HMAC-SHA256 over `METHODE\nPAD\nTIJDSTEMPEL\nsha256(body)`, met hoogstens 5 minuten klokverschil. Zo kan iemand die het netwerk ziet geen rollback starten of meldingen vervalsen. Binnen die 5 minuten kan een afgeluisterd verzoek wel opnieuw worden gestuurd. Gebruik TLS als het netwerk tussen BlueGit en de backup server niet te vertrouwen is.
79- **BlueGit → backup server** (meldingen, archieflijst, status, rollback en de beheeracties): BlueGit kent de key zelf niet meer, alleen de hash. Daarom ondertekent BlueGit met een afgeleid geheim, `sha256("bluegit-backup-sign:" + key)`, dat BlueGit bij het maken van de key bewaart. De handtekening is HMAC-SHA256 over `METHODE\nPAD\nTIJDSTEMPEL\nsha256(body)`, met hoogstens 5 minuten klokverschil. Zo kan iemand die het netwerk ziet geen rollback starten of meldingen vervalsen. Binnen die 5 minuten kan een afgeluisterd verzoek wel opnieuw worden gestuurd. Gebruik TLS als het netwerk tussen BlueGit en de backup server niet te vertrouwen is.
71- De koppeling in BlueGit (`<state>/backup.json`) zit **niet** in de backup. Een rollback zet de koppeling dus niet terug naar een oude key.
80- De koppeling in BlueGit (`<state>/backup.json`) zit **niet** in de backup. Een rollback zet de koppeling dus niet terug naar een oude key.
72- Je koppelt in de webinterface, met de API, of met `bluegit-backup connect --url …` en de key uit `BLUEGIT_BACKUP_KEY` (of `--key`). De server meldt BlueGit daarna zijn `public_url`, zodat BlueGit weet waar de meldingen heen moeten.
81- Je koppelt in de webinterface (of via de API). De CLI `bluegit-backup connect --url …` met de key uit `BLUEGIT_BACKUP_KEY` (of `--key`) is een alternatief. De server meldt BlueGit daarna zijn `public_url`, zodat BlueGit weet waar de meldingen heen moeten.
73
82
74### Wat wordt geback-upt
83### Wat wordt geback-upt
75
84
@@ -161,4 +170,4 @@ Tot 16-11-2026, toen dit nog een aparte repository was. Wat er sindsdien geldt,
161- Releases vanaf master staan aan zodra `.release-enabled` in de repository staat. Zonder dat bestand doen de release-scripts niets.
170- Releases vanaf master staan aan zodra `.release-enabled` in de repository staat. Zonder dat bestand doen de release-scripts niets.
162- De integratietests bouwen BlueGit van de ref in `.bluegit-ref` (`master`; tijdens de compatibiliteitswijziging tijdelijk `feature/backup-compat`, tot die in BlueGit gemerged is).
171- De integratietests bouwen BlueGit van de ref in `.bluegit-ref` (`master`; tijdens de compatibiliteitswijziging tijdelijk `feature/backup-compat`, tot die in BlueGit gemerged is).
163- De integratietests draaien nooit tegen een echte BlueGit-installatie. Elke test start een eigen BlueGit in een tijdelijke map, met de dev-login en zonder SSH of CI-runner.
172- De integratietests draaien nooit tegen een echte BlueGit-installatie. Elke test start een eigen BlueGit in een tijdelijke map, met de dev-login en zonder SSH of CI-runner.
164- Het AUR-pakket haalt de broncode van `https://git.timfalken.com/timfa/bluegit-backup/-/archive/<commit>/…`. Daarom is de repository openbaar, net als `timfa/bluegit`.
173- Het AUR-pakket `bluegit-backup` haalt de broncode uit het archief van `timfa/bluegit` (dezelfde repository), net als `bluegit` en `bluegit-runner`.
docs/BACKUP-PROTOCOL.md +11 −4
@@ -1,6 +1,6 @@
1 1 # Backup servers (bluegit-backup)
2 2
3 Een losse backup server ([timfa/bluegit-backup](https://git.timfalken.com/timfa/bluegit-backup)) houdt een kopie bij van alle gegevens en configuratie van één BlueGit. Hij haalt ze langzaam op, krijgt na elke wijziging een melding, maakt periodiek een gecomprimeerd archief, en kan BlueGit naar zo'n archief terugzetten.
3 Een losse backup server (`bluegit-backup`, in deze repository: `cmd/bluegit-backup` en `internal/backupserver`) houdt een kopie bij van alle gegevens en configuratie van één BlueGit. Hij haalt ze langzaam op, krijgt na elke wijziging een melding, maakt periodiek een gecomprimeerd archief, en kan BlueGit naar zo'n archief terugzetten. (Tot 16-11-2026 stond dit in de aparte repository [timfa/bluegit-backup](https://git.timfalken.com/timfa/bluegit-backup); de history is meegenomen.)
4 4
5 5 Eén BlueGit kan meerdere backup servers hebben (hoogstens 16), elk met een eigen Backupserver-Key. Een backup server hoort bij één BlueGit.
6 6
@@ -38,7 +38,8 @@ Het antwoord van een actie is het antwoord van de backup server, met dezelfde st
38 38 | | |
39 39 |---|---|
40 40 | `GET /api/v1/backup/info` | `instance_id`, `base_url`, naam en adres van de server bij deze key |
41 | `POST /api/v1/backup/connect` | `{"server_url", "server_id"}`: waar BlueGit meldingen heen stuurt |
41 | `POST /api/v1/backup/connect` | `{"server_url", "server_id"}`: waar BlueGit meldingen heen stuurt. Het adres mag een domein of een IP-adres zijn (`http://192.168.1.50:8080`, IPv6 tussen hakjes). |
42 | `POST /api/v1/backup/progress` | optioneel (protocol 2): `{"known", "percent", "syncing", "done_bytes", "total_bytes", "done_files", "total_files"}`. Een oudere BlueGit antwoordt 404; dat is geen fout. |
42 43 | `GET /api/v1/backup/manifest` | alle bestanden: pad, grootte, mtime, mode; de database ook met sha256 |
43 44 | `GET /api/v1/backup/file?path=…` | één bestand |
44 45 | `POST /api/v1/backup/restore` | tar.gz met logische paden; BlueGit pakt uit en herstart (202) |
@@ -57,7 +58,7 @@ X-BlueGit-Signature: hex(HMAC-SHA256(geheim, METHOD "\n" PAD "\n" TS "\n" sha256
57 58 |---|---|
58 59 | `POST /api/v1/notify` | er is iets veranderd |
59 60 | `GET /api/v1/archives` | `{"archives": [{name, created_at, size}]}` |
60 | `GET /api/v1/status` | interval, bewaartermijn, stand van de laatste rollback |
61 | `GET /api/v1/status` | interval, bewaartermijn, stand van de laatste rollback, en (protocol 2) `sync` met de voortgang van de kopie |
61 62 | `POST /api/v1/rollback` | `{"archive": "naam"}` |
62 63 | `* /api/v1/admin/…` | de beheeracties van de backup server (lijst: `GET /api/v1/admin/actions`, veld `bluegit: true`) |
63 64
@@ -65,7 +66,7 @@ X-BlueGit-Signature: hex(HMAC-SHA256(geheim, METHOD "\n" PAD "\n" TS "\n" sha256
65 66
66 67 ### Compatibiliteit (protocolversie)
67 68
68 Elke kant heeft een **protocolversie** (wat hij spreekt) en een **minimumversie** (de oudste versie van de andere kant die hij nog ondersteunt). Nu is dat aan beide kanten protocol 1, minimum 1.
69 Elke kant heeft een **protocolversie** (wat hij spreekt) en een **minimumversie** (de oudste versie van de andere kant die hij nog ondersteunt). Deze versie spreekt protocol 2 en ondersteunt de andere kant vanaf protocol 1, zodat een oudere peer geen incompatibiliteitsbanner krijgt. Protocol 2 voegt alleen optionele velden toe (`sync` in de status, `POST /api/v1/backup/progress`).
69 70
70 71 - BlueGit stuurt `X-BlueGit-Protocol`, `X-BlueGit-Min-Protocol` en `X-BlueGit-Version` mee op elk verzoek aan de backup server (meldingen, status, beheeracties, rollback) en op elk antwoord van de backup-API; `GET /api/v1/backup/info` geeft ook `protocol`, `min_protocol`, `version` en `compat`.
71 72 - De backup server stuurt `X-Backup-Protocol`, `X-Backup-Min-Protocol` en `X-Backup-Version` mee op elk verzoek aan BlueGit en op elk antwoord.
@@ -81,6 +82,12 @@ Wat er gebeurt als ze niet passen:
81 82
82 83 Een test-build met een ander protocol: `go build -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=99 -X gitlab.com/Timfa/bluegit/internal/backup.minBackupProtocol=99" ./cmd/bluegit` (de integratietests van bluegit-backup doen dat).
83 84
85 ### Voortgang van de synchronisatie
86
87 De backup server berekent welk deel van de BlueGit-dataset (database, repositories, releases, artifacts, logo's, avatars, sleutels) al in de kopie staat en overeenkomt met het laatste manifest. De teller is in **bytes**, zodat een groot repository zwaarder weegt dan een klein bestand. 100% alleen als élk bestand uit het manifest aanwezig en actueel is (zelfde grootte en mtime, de database ook dezelfde sha256). Een lege dataset is 100%. Ontbreekt er nog een leeg bestand terwijl de bytes al kloppen, dan is het hoogstens 99%. Zonder manifest is de voortgang onbekend (`known: false`); oudere backup servers sturen het veld niet.
88
89 De voortgang staat in `GET /api/v1/admin/status` en `GET /api/v1/status` als `sync`, en wordt tijdens een sync en daarna naar BlueGit gestuurd (`POST /api/v1/backup/progress`). BlueGit toont per backup server een balk op *Beheer → Backup* (en op de detailpagina). Is de server offline, dan blijft de laatst bekende waarde zichtbaar, met de vermelding "offline". Bij een incompatibele of nog niet gekoppelde server is er geen percentage. 100% betekent: volledig in sync met het laatste manifest.
90
84 91 ## Wat er in een backup zit
85 92
86 93 ```text
@@ -1,6 +1,6 @@
1# Backup servers (bluegit-backup)
1# Backup servers (bluegit-backup)
2
2
3Een losse backup server ([timfa/bluegit-backup](https://git.timfalken.com/timfa/bluegit-backup)) houdt een kopie bij van alle gegevens en configuratie van één BlueGit. Hij haalt ze langzaam op, krijgt na elke wijziging een melding, maakt periodiek een gecomprimeerd archief, en kan BlueGit naar zo'n archief terugzetten.
3Een losse backup server (`bluegit-backup`, in deze repository: `cmd/bluegit-backup` en `internal/backupserver`) houdt een kopie bij van alle gegevens en configuratie van één BlueGit. Hij haalt ze langzaam op, krijgt na elke wijziging een melding, maakt periodiek een gecomprimeerd archief, en kan BlueGit naar zo'n archief terugzetten. (Tot 16-11-2026 stond dit in de aparte repository [timfa/bluegit-backup](https://git.timfalken.com/timfa/bluegit-backup); de history is meegenomen.)
4
4
5Eén BlueGit kan meerdere backup servers hebben (hoogstens 16), elk met een eigen Backupserver-Key. Een backup server hoort bij één BlueGit.
5Eén BlueGit kan meerdere backup servers hebben (hoogstens 16), elk met een eigen Backupserver-Key. Een backup server hoort bij één BlueGit.
6
6
@@ -38,7 +38,8 @@ Het antwoord van een actie is het antwoord van de backup server, met dezelfde st
38| | |
38| | |
39|---|---|
39|---|---|
40| `GET /api/v1/backup/info` | `instance_id`, `base_url`, naam en adres van de server bij deze key |
40| `GET /api/v1/backup/info` | `instance_id`, `base_url`, naam en adres van de server bij deze key |
41| `POST /api/v1/backup/connect` | `{"server_url", "server_id"}`: waar BlueGit meldingen heen stuurt |
41| `POST /api/v1/backup/connect` | `{"server_url", "server_id"}`: waar BlueGit meldingen heen stuurt. Het adres mag een domein of een IP-adres zijn (`http://192.168.1.50:8080`, IPv6 tussen hakjes). |
42| `POST /api/v1/backup/progress` | optioneel (protocol 2): `{"known", "percent", "syncing", "done_bytes", "total_bytes", "done_files", "total_files"}`. Een oudere BlueGit antwoordt 404; dat is geen fout. |
42| `GET /api/v1/backup/manifest` | alle bestanden: pad, grootte, mtime, mode; de database ook met sha256 |
43| `GET /api/v1/backup/manifest` | alle bestanden: pad, grootte, mtime, mode; de database ook met sha256 |
43| `GET /api/v1/backup/file?path=…` | één bestand |
44| `GET /api/v1/backup/file?path=…` | één bestand |
44| `POST /api/v1/backup/restore` | tar.gz met logische paden; BlueGit pakt uit en herstart (202) |
45| `POST /api/v1/backup/restore` | tar.gz met logische paden; BlueGit pakt uit en herstart (202) |
@@ -57,7 +58,7 @@ X-BlueGit-Signature: hex(HMAC-SHA256(geheim, METHOD "\n" PAD "\n" TS "\n" sha256
57|---|---|
58|---|---|
58| `POST /api/v1/notify` | er is iets veranderd |
59| `POST /api/v1/notify` | er is iets veranderd |
59| `GET /api/v1/archives` | `{"archives": [{name, created_at, size}]}` |
60| `GET /api/v1/archives` | `{"archives": [{name, created_at, size}]}` |
60| `GET /api/v1/status` | interval, bewaartermijn, stand van de laatste rollback |
61| `GET /api/v1/status` | interval, bewaartermijn, stand van de laatste rollback, en (protocol 2) `sync` met de voortgang van de kopie |
61| `POST /api/v1/rollback` | `{"archive": "naam"}` |
62| `POST /api/v1/rollback` | `{"archive": "naam"}` |
62| `* /api/v1/admin/…` | de beheeracties van de backup server (lijst: `GET /api/v1/admin/actions`, veld `bluegit: true`) |
63| `* /api/v1/admin/…` | de beheeracties van de backup server (lijst: `GET /api/v1/admin/actions`, veld `bluegit: true`) |
63
64
@@ -65,7 +66,7 @@ X-BlueGit-Signature: hex(HMAC-SHA256(geheim, METHOD "\n" PAD "\n" TS "\n" sha256
65
66
66### Compatibiliteit (protocolversie)
67### Compatibiliteit (protocolversie)
67
68
68Elke kant heeft een **protocolversie** (wat hij spreekt) en een **minimumversie** (de oudste versie van de andere kant die hij nog ondersteunt). Nu is dat aan beide kanten protocol 1, minimum 1.
69Elke kant heeft een **protocolversie** (wat hij spreekt) en een **minimumversie** (de oudste versie van de andere kant die hij nog ondersteunt). Deze versie spreekt protocol 2 en ondersteunt de andere kant vanaf protocol 1, zodat een oudere peer geen incompatibiliteitsbanner krijgt. Protocol 2 voegt alleen optionele velden toe (`sync` in de status, `POST /api/v1/backup/progress`).
69
70
70- BlueGit stuurt `X-BlueGit-Protocol`, `X-BlueGit-Min-Protocol` en `X-BlueGit-Version` mee op elk verzoek aan de backup server (meldingen, status, beheeracties, rollback) en op elk antwoord van de backup-API; `GET /api/v1/backup/info` geeft ook `protocol`, `min_protocol`, `version` en `compat`.
71- BlueGit stuurt `X-BlueGit-Protocol`, `X-BlueGit-Min-Protocol` en `X-BlueGit-Version` mee op elk verzoek aan de backup server (meldingen, status, beheeracties, rollback) en op elk antwoord van de backup-API; `GET /api/v1/backup/info` geeft ook `protocol`, `min_protocol`, `version` en `compat`.
71- De backup server stuurt `X-Backup-Protocol`, `X-Backup-Min-Protocol` en `X-Backup-Version` mee op elk verzoek aan BlueGit en op elk antwoord.
72- De backup server stuurt `X-Backup-Protocol`, `X-Backup-Min-Protocol` en `X-Backup-Version` mee op elk verzoek aan BlueGit en op elk antwoord.
@@ -81,6 +82,12 @@ Wat er gebeurt als ze niet passen:
81
82
82Een test-build met een ander protocol: `go build -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=99 -X gitlab.com/Timfa/bluegit/internal/backup.minBackupProtocol=99" ./cmd/bluegit` (de integratietests van bluegit-backup doen dat).
83Een test-build met een ander protocol: `go build -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=99 -X gitlab.com/Timfa/bluegit/internal/backup.minBackupProtocol=99" ./cmd/bluegit` (de integratietests van bluegit-backup doen dat).
83
84
85### Voortgang van de synchronisatie
86
87De backup server berekent welk deel van de BlueGit-dataset (database, repositories, releases, artifacts, logo's, avatars, sleutels) al in de kopie staat en overeenkomt met het laatste manifest. De teller is in **bytes**, zodat een groot repository zwaarder weegt dan een klein bestand. 100% alleen als élk bestand uit het manifest aanwezig en actueel is (zelfde grootte en mtime, de database ook dezelfde sha256). Een lege dataset is 100%. Ontbreekt er nog een leeg bestand terwijl de bytes al kloppen, dan is het hoogstens 99%. Zonder manifest is de voortgang onbekend (`known: false`); oudere backup servers sturen het veld niet.
88
89De voortgang staat in `GET /api/v1/admin/status` en `GET /api/v1/status` als `sync`, en wordt tijdens een sync en daarna naar BlueGit gestuurd (`POST /api/v1/backup/progress`). BlueGit toont per backup server een balk op *Beheer → Backup* (en op de detailpagina). Is de server offline, dan blijft de laatst bekende waarde zichtbaar, met de vermelding "offline". Bij een incompatibele of nog niet gekoppelde server is er geen percentage. 100% betekent: volledig in sync met het laatste manifest.
90
84## Wat er in een backup zit
91## Wat er in een backup zit
85
92
86```text
93```text
docs/BACKUP-SERVER.md +12 −10
@@ -12,7 +12,7 @@ Een losse backup server voor één [BlueGit](https://git.timfalken.com/timfa/blu
12 12 - Een **webinterface** (standaard op poort 8080) waarin alles in te stellen en te bedienen is, en een **API** die precies hetzelfde kan. Beide lopen via één lijst met acties (`GET /api/v1/admin/actions`).
13 13 - Vanuit **BlueGit** (*Beheer → Backup → server*) is de backup server ook te bedienen: status, instellingen, sync, archiveren, opruimen, archieven verwijderen en rollback. BlueGit vraagt de acties op bij de backup server en stuurt ze ondertekend door.
14 14
15 Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md). De aannames staan in [docs/ASSUMPTIONS.md](docs/ASSUMPTIONS.md).
15 Het protocol staat in [docs/BACKUP-PROTOCOL.md](BACKUP-PROTOCOL.md). De aannames staan in [docs/ASSUMPTIONS.md](docs/ASSUMPTIONS.md).
16 16
17 17 ## Installeren
18 18
@@ -22,7 +22,7 @@ Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md). De aannames staan in
22 22 yay -S bluegit-backup
23 23 ```
24 24
25 Het pakket zet de binary in `/usr/bin/bluegit-backup`, de config in `/etc/bluegit-backup/config.yml`, de data in `/var/lib/bluegit-backup` en een systemd-unit `bluegit-backup.service` (gebruiker `bluegit-backup`).
25 Het pakket zet de binary in `/usr/bin/bluegit-backup`, de gegevens in `/var/lib/bluegit-backup` en een systemd-unit `bluegit-backup.service` (gebruiker `bluegit-backup`, start met `--data-dir /var/lib/bluegit-backup`). Er wordt geen `config.yml` meer meeleverd: instellingen regel je in de webinterface. Een bestaande `/etc/bluegit-backup/config.yml` wordt bij de eerste start één keer overgenomen in `data_dir/settings.yml`.
26 26
27 27 ### Binary
28 28
@@ -30,10 +30,11 @@ Bij een release staan onder andere `bluegit-backup-linux-amd64`, `bluegit-backup
30 30
31 31 ```sh
32 32 go build -o bluegit-backup ./cmd/bluegit-backup
33 ./bluegit-backup example-config > config.yml
34 ./bluegit-backup serve --config config.yml
33 ./bluegit-backup serve --data-dir ./backup-data
35 34 ```
36 35
36 Open daarna `http://127.0.0.1:8080`. Het beheertoken toon je met `./bluegit-backup token --data-dir ./backup-data` (na de eerste start). `example-config` print nog het oude YAML-formaat, alleen voor een eenmalige import.
37
37 38 ## Koppelen
38 39
39 40 1. Zet in `config.yml` `public_url` op het adres waarop BlueGit deze server bereikt.
@@ -68,7 +69,8 @@ Daar staan:
68 69
69 70 - **Overzicht**: koppeling, laatste sync, kopie, archieven en de laatste rollback, met *Nu synchroniseren*, *Nu archiveren* en *Nu opruimen*.
70 71 - **Koppeling**: koppelen (met de keuze wissen of herstellen bij een andere BlueGit) en ontkoppelen.
71 - **Instellingen**: elk veld uit de tabel hieronder. Ze gaan naar `data_dir/settings.yml`, dat boven `config.yml` gaat. `listen` geldt pas na een herstart, de rest meteen.
72 - **Instellingen**: elk veld uit de tabel hieronder, in `data_dir/settings.yml`. `listen` geldt meteen (als het nieuwe adres niet bindt, blijft het oude in gebruik). `data_dir` is alleen zichtbaar: die zet je bij het starten (`--data-dir` of `BLUEGIT_BACKUP_DATA_DIR`).
73 - **Voortgang**: in het overzicht een balk met het percentage van de BlueGit-dataset dat al in de kopie staat (100% is volledig in sync). Zonder manifest staat er *onbekend*.
72 74 - **Archieven**: downloaden, verwijderen en een rollback (met waarschuwing, vinkje en de archiefnaam overtypen).
73 75 - **API**: de lijst met alle acties.
74 76
@@ -100,7 +102,7 @@ Elke actie uit de webinterface is ook een API-aanroep, met `Authorization: Beare
100 102
101 103 ## Compatibiliteit
102 104
103 BlueGit en de backup server melden elkaar hun protocolversie en de oudste versie van de andere kant die ze nog ondersteunen (koppen `X-Backup-Protocol`/`X-Backup-Min-Protocol` en `X-BlueGit-Protocol`/`X-BlueGit-Min-Protocol`, plus `info`). Deze versie spreekt protocol 1 en ondersteunt BlueGit vanaf protocol 1. Een BlueGit die geen protocol meldt, spreekt protocol 1.
105 BlueGit en de backup server melden elkaar hun protocolversie en de oudste versie van de andere kant die ze nog ondersteunen (koppen `X-Backup-Protocol`/`X-Backup-Min-Protocol` en `X-BlueGit-Protocol`/`X-BlueGit-Min-Protocol`, plus `info`). Deze versie spreekt protocol 2 en ondersteunt BlueGit vanaf protocol 1. Een BlueGit die geen protocol meldt, spreekt protocol 1. Protocol 2 voegt alleen optionele velden toe (sync-voortgang); een oudere peer blijft compatibel.
104 106
105 107 Past het niet:
106 108
@@ -108,7 +110,7 @@ Past het niet:
108 110 - zien beheerders in BlueGit bovenaan elke pagina een banner met de naam van de backup server en wie er geüpdatet moet worden, met een link naar Beheer → Backup;
109 111 - weigert BlueGit de gegevens (`426`).
110 112
111 Updaten doe je zelf (zie [Releases](#releases)); bij het volgende contact is alles weer normaal. Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md).
113 Updaten doe je zelf (zie [Releases](#releases)); bij het volgende contact is alles weer normaal. Het protocol staat in [docs/BACKUP-PROTOCOL.md](BACKUP-PROTOCOL.md).
112 114
113 115 ## CLI
114 116
@@ -127,9 +129,9 @@ Deze commando's praten met de draaiende server via `data_dir/admin.token`. Draai
127 129
128 130 | Sleutel | Standaard | Betekenis |
129 131 |---|---|---|
130 | `listen` | `0.0.0.0:8080` | Adres van de webinterface en API (na herstart) |
131 | `public_url` | (leeg) | Adres waarop BlueGit deze server bereikt |
132 | `data_dir` | `/var/lib/bluegit-backup` | Kopie, archieven en koppeling (alleen in `config.yml`) |
132 | `listen` | `0.0.0.0:8080` | Adres van de webinterface en API (meteen van kracht) |
133 | `public_url` | (leeg) | Adres waarop BlueGit deze server bereikt (domein of IP) |
134 | `data_dir` | `/var/lib/bluegit-backup` | Kopie, archieven, `settings.yml` en token. Alleen bij het starten (`--data-dir` / `BLUEGIT_BACKUP_DATA_DIR`); in de UI alleen-lezen. |
133 135 | `archive_interval` | `24h` | Hoe vaak een archief |
134 136 | `retention_days` | `30` | Archieven ouder dan dit weg (0 = nooit) |
135 137 | `min_free_mb` | `1024` | Minder vrij: oudste archief weg |
@@ -12,7 +12,7 @@ Een losse backup server voor één [BlueGit](https://git.timfalken.com/timfa/blu
12- Een **webinterface** (standaard op poort 8080) waarin alles in te stellen en te bedienen is, en een **API** die precies hetzelfde kan. Beide lopen via één lijst met acties (`GET /api/v1/admin/actions`).
12- Een **webinterface** (standaard op poort 8080) waarin alles in te stellen en te bedienen is, en een **API** die precies hetzelfde kan. Beide lopen via één lijst met acties (`GET /api/v1/admin/actions`).
13- Vanuit **BlueGit** (*Beheer → Backup → server*) is de backup server ook te bedienen: status, instellingen, sync, archiveren, opruimen, archieven verwijderen en rollback. BlueGit vraagt de acties op bij de backup server en stuurt ze ondertekend door.
13- Vanuit **BlueGit** (*Beheer → Backup → server*) is de backup server ook te bedienen: status, instellingen, sync, archiveren, opruimen, archieven verwijderen en rollback. BlueGit vraagt de acties op bij de backup server en stuurt ze ondertekend door.
14
14
15Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md). De aannames staan in [docs/ASSUMPTIONS.md](docs/ASSUMPTIONS.md).
15Het protocol staat in [docs/BACKUP-PROTOCOL.md](BACKUP-PROTOCOL.md). De aannames staan in [docs/ASSUMPTIONS.md](docs/ASSUMPTIONS.md).
16
16
17## Installeren
17## Installeren
18
18
@@ -22,7 +22,7 @@ Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md). De aannames staan in
22yay -S bluegit-backup
22yay -S bluegit-backup
23```
23```
24
24
25Het pakket zet de binary in `/usr/bin/bluegit-backup`, de config in `/etc/bluegit-backup/config.yml`, de data in `/var/lib/bluegit-backup` en een systemd-unit `bluegit-backup.service` (gebruiker `bluegit-backup`).
25Het pakket zet de binary in `/usr/bin/bluegit-backup`, de gegevens in `/var/lib/bluegit-backup` en een systemd-unit `bluegit-backup.service` (gebruiker `bluegit-backup`, start met `--data-dir /var/lib/bluegit-backup`). Er wordt geen `config.yml` meer meeleverd: instellingen regel je in de webinterface. Een bestaande `/etc/bluegit-backup/config.yml` wordt bij de eerste start één keer overgenomen in `data_dir/settings.yml`.
26
26
27### Binary
27### Binary
28
28
@@ -30,10 +30,11 @@ Bij een release staan onder andere `bluegit-backup-linux-amd64`, `bluegit-backup
30
30
31```sh
31```sh
32go build -o bluegit-backup ./cmd/bluegit-backup
32go build -o bluegit-backup ./cmd/bluegit-backup
33./bluegit-backup example-config > config.yml
33./bluegit-backup serve --data-dir ./backup-data
34./bluegit-backup serve --config config.yml
35```
34```
36
35
36Open daarna `http://127.0.0.1:8080`. Het beheertoken toon je met `./bluegit-backup token --data-dir ./backup-data` (na de eerste start). `example-config` print nog het oude YAML-formaat, alleen voor een eenmalige import.
37
37## Koppelen
38## Koppelen
38
39
391. Zet in `config.yml` `public_url` op het adres waarop BlueGit deze server bereikt.
401. Zet in `config.yml` `public_url` op het adres waarop BlueGit deze server bereikt.
@@ -68,7 +69,8 @@ Daar staan:
68
69
69- **Overzicht**: koppeling, laatste sync, kopie, archieven en de laatste rollback, met *Nu synchroniseren*, *Nu archiveren* en *Nu opruimen*.
70- **Overzicht**: koppeling, laatste sync, kopie, archieven en de laatste rollback, met *Nu synchroniseren*, *Nu archiveren* en *Nu opruimen*.
70- **Koppeling**: koppelen (met de keuze wissen of herstellen bij een andere BlueGit) en ontkoppelen.
71- **Koppeling**: koppelen (met de keuze wissen of herstellen bij een andere BlueGit) en ontkoppelen.
71- **Instellingen**: elk veld uit de tabel hieronder. Ze gaan naar `data_dir/settings.yml`, dat boven `config.yml` gaat. `listen` geldt pas na een herstart, de rest meteen.
72- **Instellingen**: elk veld uit de tabel hieronder, in `data_dir/settings.yml`. `listen` geldt meteen (als het nieuwe adres niet bindt, blijft het oude in gebruik). `data_dir` is alleen zichtbaar: die zet je bij het starten (`--data-dir` of `BLUEGIT_BACKUP_DATA_DIR`).
73- **Voortgang**: in het overzicht een balk met het percentage van de BlueGit-dataset dat al in de kopie staat (100% is volledig in sync). Zonder manifest staat er *onbekend*.
72- **Archieven**: downloaden, verwijderen en een rollback (met waarschuwing, vinkje en de archiefnaam overtypen).
74- **Archieven**: downloaden, verwijderen en een rollback (met waarschuwing, vinkje en de archiefnaam overtypen).
73- **API**: de lijst met alle acties.
75- **API**: de lijst met alle acties.
74
76
@@ -100,7 +102,7 @@ Elke actie uit de webinterface is ook een API-aanroep, met `Authorization: Beare
100
102
101## Compatibiliteit
103## Compatibiliteit
102
104
103BlueGit en de backup server melden elkaar hun protocolversie en de oudste versie van de andere kant die ze nog ondersteunen (koppen `X-Backup-Protocol`/`X-Backup-Min-Protocol` en `X-BlueGit-Protocol`/`X-BlueGit-Min-Protocol`, plus `info`). Deze versie spreekt protocol 1 en ondersteunt BlueGit vanaf protocol 1. Een BlueGit die geen protocol meldt, spreekt protocol 1.
105BlueGit en de backup server melden elkaar hun protocolversie en de oudste versie van de andere kant die ze nog ondersteunen (koppen `X-Backup-Protocol`/`X-Backup-Min-Protocol` en `X-BlueGit-Protocol`/`X-BlueGit-Min-Protocol`, plus `info`). Deze versie spreekt protocol 2 en ondersteunt BlueGit vanaf protocol 1. Een BlueGit die geen protocol meldt, spreekt protocol 1. Protocol 2 voegt alleen optionele velden toe (sync-voortgang); een oudere peer blijft compatibel.
104
106
105Past het niet:
107Past het niet:
106
108
@@ -108,7 +110,7 @@ Past het niet:
108- zien beheerders in BlueGit bovenaan elke pagina een banner met de naam van de backup server en wie er geüpdatet moet worden, met een link naar Beheer → Backup;
110- zien beheerders in BlueGit bovenaan elke pagina een banner met de naam van de backup server en wie er geüpdatet moet worden, met een link naar Beheer → Backup;
109- weigert BlueGit de gegevens (`426`).
111- weigert BlueGit de gegevens (`426`).
110
112
111Updaten doe je zelf (zie [Releases](#releases)); bij het volgende contact is alles weer normaal. Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md).
113Updaten doe je zelf (zie [Releases](#releases)); bij het volgende contact is alles weer normaal. Het protocol staat in [docs/BACKUP-PROTOCOL.md](BACKUP-PROTOCOL.md).
112
114
113## CLI
115## CLI
114
116
@@ -127,9 +129,9 @@ Deze commando's praten met de draaiende server via `data_dir/admin.token`. Draai
127
129
128| Sleutel | Standaard | Betekenis |
130| Sleutel | Standaard | Betekenis |
129|---|---|---|
131|---|---|---|
130| `listen` | `0.0.0.0:8080` | Adres van de webinterface en API (na herstart) |
132| `listen` | `0.0.0.0:8080` | Adres van de webinterface en API (meteen van kracht) |
131| `public_url` | (leeg) | Adres waarop BlueGit deze server bereikt |
133| `public_url` | (leeg) | Adres waarop BlueGit deze server bereikt (domein of IP) |
132| `data_dir` | `/var/lib/bluegit-backup` | Kopie, archieven en koppeling (alleen in `config.yml`) |
134| `data_dir` | `/var/lib/bluegit-backup` | Kopie, archieven, `settings.yml` en token. Alleen bij het starten (`--data-dir` / `BLUEGIT_BACKUP_DATA_DIR`); in de UI alleen-lezen. |
133| `archive_interval` | `24h` | Hoe vaak een archief |
135| `archive_interval` | `24h` | Hoe vaak een archief |
134| `retention_days` | `30` | Archieven ouder dan dit weg (0 = nooit) |
136| `retention_days` | `30` | Archieven ouder dan dit weg (0 = nooit) |
135| `min_free_mb` | `1024` | Minder vrij: oudste archief weg |
137| `min_free_mb` | `1024` | Minder vrij: oudste archief weg |
internal/backup/client.go +28 −9
@@ -45,6 +45,21 @@ type RemoteStatus struct {
45 45 Interval string `json:"archive_interval"`
46 46 RetentionDays int `json:"retention_days"`
47 47 RateLimitKiB int64 `json:"rate_limit_kib"`
48 // Sync is de voortgang van de kopie (optioneel; oudere backup servers
49 // sturen het niet, Known is dan false).
50 Sync Progress `json:"sync"`
51 }
52
53 // Progress is het deel van deze BlueGit dat een backup server al bij heeft.
54 type Progress struct {
55 Known bool `json:"known"`
56 Percent int `json:"percent"`
57 Syncing bool `json:"syncing,omitempty"`
58 DoneBytes int64 `json:"done_bytes"`
59 TotalBytes int64 `json:"total_bytes"`
60 DoneFiles int `json:"done_files"`
61 TotalFiles int `json:"total_files"`
62 UpdatedAt time.Time `json:"updated_at,omitempty"`
48 63 }
49 64
50 65 // Client praat ondertekend met de backup servers.
@@ -148,19 +163,23 @@ func (c *Client) Status(ctx context.Context, conn Conn) (RemoteStatus, error) {
148 163
149 164 // RemoteField is één instelling van de backup server.
150 165 type RemoteField struct {
151 Key string `json:"key"`
152 Label string `json:"label"`
153 Help string `json:"help"`
154 Kind string `json:"kind"`
155 Restart bool `json:"restart"`
156 Value string `json:"value"`
166 Key string `json:"key"`
167 Label string `json:"label"`
168 Help string `json:"help"`
169 Kind string `json:"kind"`
170 Restart bool `json:"restart"`
171 Readonly bool `json:"readonly"`
172 Placeholder string `json:"placeholder"`
173 Value string `json:"value"`
157 174 }
158 175
159 176 // RemoteConfig is GET /api/v1/admin/config van de backup server.
160 177 type RemoteConfig struct {
161 Fields []RemoteField `json:"fields"`
162 DataDir string `json:"data_dir"`
163 Restart bool `json:"restart_pending"`
178 Fields []RemoteField `json:"fields"`
179 DataDir string `json:"data_dir"`
180 Restart bool `json:"restart_pending"`
181 Listening string `json:"listening,omitempty"`
182 ListenNotice string `json:"listen_notice,omitempty"`
164 183 }
165 184
166 185 // Config vraagt de instellingen van de backup server op.
@@ -45,6 +45,21 @@ type RemoteStatus struct {
45 Interval string `json:"archive_interval"`
45 Interval string `json:"archive_interval"`
46 RetentionDays int `json:"retention_days"`
46 RetentionDays int `json:"retention_days"`
47 RateLimitKiB int64 `json:"rate_limit_kib"`
47 RateLimitKiB int64 `json:"rate_limit_kib"`
48 // Sync is de voortgang van de kopie (optioneel; oudere backup servers
49 // sturen het niet, Known is dan false).
50 Sync Progress `json:"sync"`
51}
52
53// Progress is het deel van deze BlueGit dat een backup server al bij heeft.
54type Progress struct {
55 Known bool `json:"known"`
56 Percent int `json:"percent"`
57 Syncing bool `json:"syncing,omitempty"`
58 DoneBytes int64 `json:"done_bytes"`
59 TotalBytes int64 `json:"total_bytes"`
60 DoneFiles int `json:"done_files"`
61 TotalFiles int `json:"total_files"`
62 UpdatedAt time.Time `json:"updated_at,omitempty"`
48}
63}
49
64
50// Client praat ondertekend met de backup servers.
65// Client praat ondertekend met de backup servers.
@@ -148,19 +163,23 @@ func (c *Client) Status(ctx context.Context, conn Conn) (RemoteStatus, error) {
148
163
149// RemoteField is één instelling van de backup server.
164// RemoteField is één instelling van de backup server.
150type RemoteField struct {
165type RemoteField struct {
151 Key string `json:"key"`
166 Key string `json:"key"`
152 Label string `json:"label"`
167 Label string `json:"label"`
153 Help string `json:"help"`
168 Help string `json:"help"`
154 Kind string `json:"kind"`
169 Kind string `json:"kind"`
155 Restart bool `json:"restart"`
170 Restart bool `json:"restart"`
156 Value string `json:"value"`
171 Readonly bool `json:"readonly"`
172 Placeholder string `json:"placeholder"`
173 Value string `json:"value"`
157}
174}
158
175
159// RemoteConfig is GET /api/v1/admin/config van de backup server.
176// RemoteConfig is GET /api/v1/admin/config van de backup server.
160type RemoteConfig struct {
177type RemoteConfig struct {
161 Fields []RemoteField `json:"fields"`
178 Fields []RemoteField `json:"fields"`
162 DataDir string `json:"data_dir"`
179 DataDir string `json:"data_dir"`
163 Restart bool `json:"restart_pending"`
180 Restart bool `json:"restart_pending"`
181 Listening string `json:"listening,omitempty"`
182 ListenNotice string `json:"listen_notice,omitempty"`
164}
183}
165
184
166// Config vraagt de instellingen van de backup server op.
185// Config vraagt de instellingen van de backup server op.
internal/backup/compat.go +1 −1
@@ -19,7 +19,7 @@ import (
19 19 // -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=…"
20 20 // kan overschrijven.
21 21 var (
22 protocolVersion = "1"
22 protocolVersion = "2"
23 23 minBackupProtocol = "1"
24 24 )
25 25
@@ -19,7 +19,7 @@ import (
19// -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=…"
19// -ldflags "-X gitlab.com/Timfa/bluegit/internal/backup.protocolVersion=…"
20// kan overschrijven.
20// kan overschrijven.
21var (
21var (
22 protocolVersion = "1"
22 protocolVersion = "2"
23 minBackupProtocol = "1"
23 minBackupProtocol = "1"
24)
24)
25
25
internal/backup/conn.go +14 −0
@@ -47,6 +47,8 @@ type Conn struct {
47 47 PeerProtocol int `json:"peer_protocol,omitempty"`
48 48 PeerMinProtocol int `json:"peer_min_protocol,omitempty"`
49 49 PeerVersion string `json:"peer_version,omitempty"`
50 // Sync is de laatst gemelde voortgang van deze backup server.
51 Sync Progress `json:"sync,omitempty"`
50 52 }
51 53
52 54 // HasKey zegt of er een key is uitgegeven.
@@ -346,3 +348,15 @@ func (m *Manager) InstanceID() (string, error) {
346 348 }
347 349 return id, os.WriteFile(p, []byte(id+"\n"), 0o600)
348 350 }
351
352 // SetSyncProgress bewaart de laatst gemelde sync-voortgang van een backup server.
353 func (m *Manager) SetSyncProgress(id string, p Progress) error {
354 _, err := m.update(id, func(c *Conn) error {
355 c.Sync = p
356 if !c.LastSeen.IsZero() || p.Known {
357 c.LastSeen = time.Now().UTC()
358 }
359 return nil
360 })
361 return err
362 }
@@ -47,6 +47,8 @@ type Conn struct {
47 PeerProtocol int `json:"peer_protocol,omitempty"`
47 PeerProtocol int `json:"peer_protocol,omitempty"`
48 PeerMinProtocol int `json:"peer_min_protocol,omitempty"`
48 PeerMinProtocol int `json:"peer_min_protocol,omitempty"`
49 PeerVersion string `json:"peer_version,omitempty"`
49 PeerVersion string `json:"peer_version,omitempty"`
50 // Sync is de laatst gemelde voortgang van deze backup server.
51 Sync Progress `json:"sync,omitempty"`
50}
52}
51
53
52// HasKey zegt of er een key is uitgegeven.
54// HasKey zegt of er een key is uitgegeven.
@@ -346,3 +348,15 @@ func (m *Manager) InstanceID() (string, error) {
346 }
348 }
347 return id, os.WriteFile(p, []byte(id+"\n"), 0o600)
349 return id, os.WriteFile(p, []byte(id+"\n"), 0o600)
348}
350}
351
352// SetSyncProgress bewaart de laatst gemelde sync-voortgang van een backup server.
353func (m *Manager) SetSyncProgress(id string, p Progress) error {
354 _, err := m.update(id, func(c *Conn) error {
355 c.Sync = p
356 if !c.LastSeen.IsZero() || p.Known {
357 c.LastSeen = time.Now().UTC()
358 }
359 return nil
360 })
361 return err
362}
internal/backup/ip_url_test.go added +97 −0
@@ -0,0 +1,97 @@
1 package backup
2
3 import (
4 "context"
5 "io"
6 "net"
7 "net/http"
8 "strings"
9 "sync/atomic"
10 "testing"
11 "time"
12 )
13
14 // TestNotifyToIPAddresses toont dat BlueGit een backup server op een
15 // IPv4- of (tussen hakjes) IPv6-adres kan toevoegen en een melding sturen.
16 // Dat ging al via de gewone http.Client, zonder SSRF-filter.
17 func TestNotifyToIPAddresses(t *testing.T) {
18 m := &Manager{Dir: t.TempDir()}
19 cli := &Client{Manager: m, HTTP: &http.Client{Timeout: 5 * time.Second}}
20
21 t.Run("ipv4", func(t *testing.T) {
22 got := serveNotify(t, "tcp", "127.0.0.1:0")
23 key, c, err := m.Add("ip4", "tim")
24 if err != nil {
25 t.Fatal(err)
26 }
27 url := "http://" + got.addr
28 if _, err := m.Connect(c.ID, url, "srv-ip4"); err != nil {
29 t.Fatal(err)
30 }
31 c, _ = m.Get(c.ID)
32 if c.ServerURL != strings.TrimRight(url, "/") {
33 t.Fatalf("server_url %q", c.ServerURL)
34 }
35 _ = key
36 if err := cli.Notify(context.Background(), c); err != nil {
37 t.Fatal(err)
38 }
39 if got.hits.Load() < 1 {
40 t.Fatal("geen melding ontvangen op IPv4-adres")
41 }
42 })
43
44 t.Run("ipv6", func(t *testing.T) {
45 got := serveNotify(t, "tcp", "[::1]:0")
46 if got == nil {
47 t.Skip("geen IPv6 loopback")
48 }
49 key, c, err := m.Add("ip6", "tim")
50 if err != nil {
51 t.Fatal(err)
52 }
53 url := "http://" + got.addr
54 if !strings.HasPrefix(got.addr, "[") {
55 t.Fatalf("IPv6-adres zonder hakjes: %s", got.addr)
56 }
57 if _, err := m.Connect(c.ID, url, "srv-ip6"); err != nil {
58 t.Fatal(err)
59 }
60 c, _ = m.Get(c.ID)
61 _ = key
62 if err := cli.Notify(context.Background(), c); err != nil {
63 t.Fatal(err)
64 }
65 if got.hits.Load() < 1 {
66 t.Fatal("geen melding ontvangen op IPv6-adres")
67 }
68 })
69 }
70
71 type notifySink struct {
72 addr string
73 hits atomic.Int64
74 }
75
76 func serveNotify(t *testing.T, network, bind string) *notifySink {
77 t.Helper()
78 ln, err := net.Listen(network, bind)
79 if err != nil {
80 if network == "tcp" && strings.Contains(bind, "::1") {
81 return nil
82 }
83 t.Fatal(err)
84 }
85 s := &notifySink{addr: ln.Addr().String()}
86 hs := &http.Server{Handler: http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
87 if strings.HasSuffix(r.URL.Path, "/notify") {
88 s.hits.Add(1)
89 }
90 w.Header().Set("Content-Type", "application/json")
91 w.WriteHeader(http.StatusOK)
92 _, _ = io.WriteString(w, `{}`)
93 })}
94 go func() { _ = hs.Serve(ln) }()
95 t.Cleanup(func() { _ = hs.Close(); _ = ln.Close() })
96 return s
97 }
@@ -0,0 +1,97 @@
1package backup
2
3import (
4 "context"
5 "io"
6 "net"
7 "net/http"
8 "strings"
9 "sync/atomic"
10 "testing"
11 "time"
12)
13
14// TestNotifyToIPAddresses toont dat BlueGit een backup server op een
15// IPv4- of (tussen hakjes) IPv6-adres kan toevoegen en een melding sturen.
16// Dat ging al via de gewone http.Client, zonder SSRF-filter.
17func TestNotifyToIPAddresses(t *testing.T) {
18 m := &Manager{Dir: t.TempDir()}
19 cli := &Client{Manager: m, HTTP: &http.Client{Timeout: 5 * time.Second}}
20
21 t.Run("ipv4", func(t *testing.T) {
22 got := serveNotify(t, "tcp", "127.0.0.1:0")
23 key, c, err := m.Add("ip4", "tim")
24 if err != nil {
25 t.Fatal(err)
26 }
27 url := "http://" + got.addr
28 if _, err := m.Connect(c.ID, url, "srv-ip4"); err != nil {
29 t.Fatal(err)
30 }
31 c, _ = m.Get(c.ID)
32 if c.ServerURL != strings.TrimRight(url, "/") {
33 t.Fatalf("server_url %q", c.ServerURL)
34 }
35 _ = key
36 if err := cli.Notify(context.Background(), c); err != nil {
37 t.Fatal(err)
38 }
39 if got.hits.Load() < 1 {
40 t.Fatal("geen melding ontvangen op IPv4-adres")
41 }
42 })
43
44 t.Run("ipv6", func(t *testing.T) {
45 got := serveNotify(t, "tcp", "[::1]:0")
46 if got == nil {
47 t.Skip("geen IPv6 loopback")
48 }
49 key, c, err := m.Add("ip6", "tim")
50 if err != nil {
51 t.Fatal(err)
52 }
53 url := "http://" + got.addr
54 if !strings.HasPrefix(got.addr, "[") {
55 t.Fatalf("IPv6-adres zonder hakjes: %s", got.addr)
56 }
57 if _, err := m.Connect(c.ID, url, "srv-ip6"); err != nil {
58 t.Fatal(err)
59 }
60 c, _ = m.Get(c.ID)
61 _ = key
62 if err := cli.Notify(context.Background(), c); err != nil {
63 t.Fatal(err)
64 }
65 if got.hits.Load() < 1 {
66 t.Fatal("geen melding ontvangen op IPv6-adres")
67 }
68 })
69}
70
71type notifySink struct {
72 addr string
73 hits atomic.Int64
74}
75
76func serveNotify(t *testing.T, network, bind string) *notifySink {
77 t.Helper()
78 ln, err := net.Listen(network, bind)
79 if err != nil {
80 if network == "tcp" && strings.Contains(bind, "::1") {
81 return nil
82 }
83 t.Fatal(err)
84 }
85 s := &notifySink{addr: ln.Addr().String()}
86 hs := &http.Server{Handler: http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
87 if strings.HasSuffix(r.URL.Path, "/notify") {
88 s.hits.Add(1)
89 }
90 w.Header().Set("Content-Type", "application/json")
91 w.WriteHeader(http.StatusOK)
92 _, _ = io.WriteString(w, `{}`)
93 })}
94 go func() { _ = hs.Serve(ln) }()
95 t.Cleanup(func() { _ = hs.Close(); _ = ln.Close() })
96 return s
97}
internal/backupserver/config/config.go +44 −14
@@ -3,6 +3,7 @@ package config
3 3
4 4 import (
5 5 "fmt"
6 "net/url"
6 7 "os"
7 8 "strings"
8 9 "time"
@@ -11,7 +12,19 @@ import (
11 12 "gopkg.in/yaml.v3"
12 13 )
13 14
14 // Config is /etc/bluegit-backup/config.yml.
15 // DefaultDataDir is de standaard gegevensmap.
16 func DefaultDataDir() string {
17 return apppaths.DataDir("/var/lib/bluegit-backup", "BlueGit-backup")
18 }
19
20 // DefaultConfigPath is waar een oude config.yml nog kan staan.
21 func DefaultConfigPath() string {
22 return apppaths.ConfigFile("", "BLUEGIT_BACKUP_CONFIG", "bluegit-backup.yml", "/etc/bluegit-backup/config.yml", "BlueGit-backup")
23 }
24
25 // Config is de draaiende configuratie van de backup server.
26 // Instellingen staan in data_dir/settings.yml; een oude config.yml wordt
27 // één keer overgenomen.
15 28 type Config struct {
16 29 // Listen is waar de backup server luistert (plain HTTP; TLS doet een
17 30 // proxy ervoor als dat nodig is).
@@ -74,7 +87,7 @@ func (c *Config) Defaults() {
74 87 c.Listen = "0.0.0.0:8080"
75 88 }
76 89 if c.DataDir == "" {
77 c.DataDir = apppaths.DataDir("/var/lib/bluegit-backup", "BlueGit-backup")
90 c.DataDir = DefaultDataDir()
78 91 }
79 92 if c.ArchiveInterval.Duration == 0 {
80 93 c.ArchiveInterval.Duration = 24 * time.Hour
@@ -110,12 +123,29 @@ func (c Config) Validate() error {
110 123 if c.FullSyncInterval.Duration < time.Second || c.MinSyncInterval.Duration < 0 {
111 124 return fmt.Errorf("full_sync_interval moet minstens 1s zijn")
112 125 }
113 if c.PublicURL != "" && !strings.HasPrefix(c.PublicURL, "http://") && !strings.HasPrefix(c.PublicURL, "https://") {
114 return fmt.Errorf("public_url moet met http:// of https:// beginnen")
126 if _, err := ParsePublicURL(c.PublicURL); err != nil {
127 return err
115 128 }
116 129 return nil
117 130 }
118 131
132 // ParsePublicURL controleert een publiek adres. Leeg is toegestaan (tot
133 // er gekoppeld wordt). Een domein of een IP-adres mag; IPv6 tussen hakjes.
134 func ParsePublicURL(s string) (string, error) {
135 s = strings.TrimRight(strings.TrimSpace(s), "/")
136 if s == "" {
137 return "", nil
138 }
139 u, err := url.Parse(s)
140 if err != nil || u.Host == "" || (u.Scheme != "http" && u.Scheme != "https") {
141 return "", fmt.Errorf("public_url moet een http(s)-adres zijn, bijvoorbeeld http://backup.lan:8080 of http://192.168.1.50:8080")
142 }
143 if u.User != nil {
144 return "", fmt.Errorf("public_url mag geen gebruikersnaam of wachtwoord bevatten")
145 }
146 return s, nil
147 }
148
119 149 // Load leest path. Een ontbrekend bestand geeft de standaardwaarden.
120 150 func Load(path string) (Config, error) {
121 151 var c Config
@@ -132,24 +162,24 @@ func Load(path string) (Config, error) {
132 162 return c, c.Validate()
133 163 }
134 164
135 // Example is een voorbeeldconfiguratie.
165 // Example is een voorbeeld van het oude config.yml-formaat. Dat bestand is
166 // niet meer nodig; een bestaand exemplaar wordt één keer overgenomen.
136 167 func Example() string {
137 return `# bluegit-backup. Kopieer naar /etc/bluegit-backup/config.yml.
168 return `# Dit bestand is niet meer nodig om bluegit-backup te draaien.
169 # Start met --data-dir of BLUEGIT_BACKUP_DATA_DIR (standaard
170 # /var/lib/bluegit-backup) en regel de rest in de webinterface
171 # (http://<server>:8080, Instellingen) of via de API.
172 # Een bestaand bestand op dit pad wordt één keer overgenomen in
173 # data_dir/settings.yml; daarna wint de webinterface.
138 174 listen: 0.0.0.0:8080
139 # Waar BlueGit deze server bereikt (meldingen, archieflijst, rollback).
140 public_url: http://backup.lan:8080
175 # Waar BlueGit deze server bereikt (domein of IP-adres).
176 public_url: http://192.168.1.50:8080
141 177 data_dir: /var/lib/bluegit-backup
142 # Zo vaak wordt de hele kopie gecomprimeerd opgeslagen. Standaard dagelijks.
143 178 archive_interval: 24h
144 # Archieven ouder dan dit gaan weg (0 = nooit op leeftijd). Het nieuwste blijft.
145 179 retention_days: 30
146 # Minder vrije ruimte dan dit: het oudste archief gaat weg.
147 180 min_free_mb: 1024
148 # Downloadsnelheid van BlueGit in KiB/s, zodat BlueGit er geen last van heeft.
149 181 rate_limit_kib: 1024
150 # Ook zonder melding zo vaak alles nalopen.
151 182 full_sync_interval: 1h
152 # Minimale tijd tussen twee syncs na meldingen.
153 183 min_sync_interval: 10s
154 184 `
155 185 }
@@ -3,6 +3,7 @@ package config
3
3
4import (
4import (
5 "fmt"
5 "fmt"
6 "net/url"
6 "os"
7 "os"
7 "strings"
8 "strings"
8 "time"
9 "time"
@@ -11,7 +12,19 @@ import (
11 "gopkg.in/yaml.v3"
12 "gopkg.in/yaml.v3"
12)
13)
13
14
14// Config is /etc/bluegit-backup/config.yml.
15// DefaultDataDir is de standaard gegevensmap.
16func DefaultDataDir() string {
17 return apppaths.DataDir("/var/lib/bluegit-backup", "BlueGit-backup")
18}
19
20// DefaultConfigPath is waar een oude config.yml nog kan staan.
21func DefaultConfigPath() string {
22 return apppaths.ConfigFile("", "BLUEGIT_BACKUP_CONFIG", "bluegit-backup.yml", "/etc/bluegit-backup/config.yml", "BlueGit-backup")
23}
24
25// Config is de draaiende configuratie van de backup server.
26// Instellingen staan in data_dir/settings.yml; een oude config.yml wordt
27// één keer overgenomen.
15type Config struct {
28type Config struct {
16 // Listen is waar de backup server luistert (plain HTTP; TLS doet een
29 // Listen is waar de backup server luistert (plain HTTP; TLS doet een
17 // proxy ervoor als dat nodig is).
30 // proxy ervoor als dat nodig is).
@@ -74,7 +87,7 @@ func (c *Config) Defaults() {
74 c.Listen = "0.0.0.0:8080"
87 c.Listen = "0.0.0.0:8080"
75 }
88 }
76 if c.DataDir == "" {
89 if c.DataDir == "" {
77 c.DataDir = apppaths.DataDir("/var/lib/bluegit-backup", "BlueGit-backup")
90 c.DataDir = DefaultDataDir()
78 }
91 }
79 if c.ArchiveInterval.Duration == 0 {
92 if c.ArchiveInterval.Duration == 0 {
80 c.ArchiveInterval.Duration = 24 * time.Hour
93 c.ArchiveInterval.Duration = 24 * time.Hour
@@ -110,12 +123,29 @@ func (c Config) Validate() error {
110 if c.FullSyncInterval.Duration < time.Second || c.MinSyncInterval.Duration < 0 {
123 if c.FullSyncInterval.Duration < time.Second || c.MinSyncInterval.Duration < 0 {
111 return fmt.Errorf("full_sync_interval moet minstens 1s zijn")
124 return fmt.Errorf("full_sync_interval moet minstens 1s zijn")
112 }
125 }
113 if c.PublicURL != "" && !strings.HasPrefix(c.PublicURL, "http://") && !strings.HasPrefix(c.PublicURL, "https://") {
126 if _, err := ParsePublicURL(c.PublicURL); err != nil {
114 return fmt.Errorf("public_url moet met http:// of https:// beginnen")
127 return err
115 }
128 }
116 return nil
129 return nil
117}
130}
118
131
132// ParsePublicURL controleert een publiek adres. Leeg is toegestaan (tot
133// er gekoppeld wordt). Een domein of een IP-adres mag; IPv6 tussen hakjes.
134func ParsePublicURL(s string) (string, error) {
135 s = strings.TrimRight(strings.TrimSpace(s), "/")
136 if s == "" {
137 return "", nil
138 }
139 u, err := url.Parse(s)
140 if err != nil || u.Host == "" || (u.Scheme != "http" && u.Scheme != "https") {
141 return "", fmt.Errorf("public_url moet een http(s)-adres zijn, bijvoorbeeld http://backup.lan:8080 of http://192.168.1.50:8080")
142 }
143 if u.User != nil {
144 return "", fmt.Errorf("public_url mag geen gebruikersnaam of wachtwoord bevatten")
145 }
146 return s, nil
147}
148
119// Load leest path. Een ontbrekend bestand geeft de standaardwaarden.
149// Load leest path. Een ontbrekend bestand geeft de standaardwaarden.
120func Load(path string) (Config, error) {
150func Load(path string) (Config, error) {
121 var c Config
151 var c Config
@@ -132,24 +162,24 @@ func Load(path string) (Config, error) {
132 return c, c.Validate()
162 return c, c.Validate()
133}
163}
134
164
135// Example is een voorbeeldconfiguratie.
165// Example is een voorbeeld van het oude config.yml-formaat. Dat bestand is
166// niet meer nodig; een bestaand exemplaar wordt één keer overgenomen.
136func Example() string {
167func Example() string {
137 return `# bluegit-backup. Kopieer naar /etc/bluegit-backup/config.yml.
168 return `# Dit bestand is niet meer nodig om bluegit-backup te draaien.
169# Start met --data-dir of BLUEGIT_BACKUP_DATA_DIR (standaard
170# /var/lib/bluegit-backup) en regel de rest in de webinterface
171# (http://<server>:8080, Instellingen) of via de API.
172# Een bestaand bestand op dit pad wordt één keer overgenomen in
173# data_dir/settings.yml; daarna wint de webinterface.
138listen: 0.0.0.0:8080
174listen: 0.0.0.0:8080
139# Waar BlueGit deze server bereikt (meldingen, archieflijst, rollback).
175# Waar BlueGit deze server bereikt (domein of IP-adres).
140public_url: http://backup.lan:8080
176public_url: http://192.168.1.50:8080
141data_dir: /var/lib/bluegit-backup
177data_dir: /var/lib/bluegit-backup
142# Zo vaak wordt de hele kopie gecomprimeerd opgeslagen. Standaard dagelijks.
143archive_interval: 24h
178archive_interval: 24h
144# Archieven ouder dan dit gaan weg (0 = nooit op leeftijd). Het nieuwste blijft.
145retention_days: 30
179retention_days: 30
146# Minder vrije ruimte dan dit: het oudste archief gaat weg.
147min_free_mb: 1024
180min_free_mb: 1024
148# Downloadsnelheid van BlueGit in KiB/s, zodat BlueGit er geen last van heeft.
149rate_limit_kib: 1024
181rate_limit_kib: 1024
150# Ook zonder melding zo vaak alles nalopen.
151full_sync_interval: 1h
182full_sync_interval: 1h
152# Minimale tijd tussen twee syncs na meldingen.
153min_sync_interval: 10s
183min_sync_interval: 10s
154`
184`
155}
185}
internal/backupserver/config/config_test.go +117 −0
@@ -51,6 +51,12 @@ func TestFieldsRoundTrip(t *testing.T) {
51 51 if f.Key != "public_url" && v == "" {
52 52 t.Errorf("%s: leeg", f.Key)
53 53 }
54 if f.Readonly {
55 if err := c.Set(f.Key, v); err == nil {
56 t.Errorf("%s: readonly werd gewijzigd", f.Key)
57 }
58 continue
59 }
54 60 if err := c.Set(f.Key, v); err != nil && f.Key != "public_url" {
55 61 t.Errorf("%s=%q: %v", f.Key, v, err)
56 62 }
@@ -93,3 +99,114 @@ func TestSettingsFile(t *testing.T) {
93 99 t.Fatal(m, err)
94 100 }
95 101 }
102
103 func TestParsePublicURL(t *testing.T) {
104 ok := []string{
105 "",
106 "http://backup.lan:8080",
107 "https://backup.example.com",
108 "http://192.168.1.50:8080",
109 "http://127.0.0.1",
110 "http://[2001:db8::1]:8080",
111 "https://[::1]:443",
112 }
113 for _, s := range ok {
114 got, err := ParsePublicURL(s)
115 if err != nil {
116 t.Errorf("%q: %v", s, err)
117 }
118 if s != "" && got == "" {
119 t.Errorf("%q: leeg terug", s)
120 }
121 }
122 // Trailing slash gaat eraf.
123 got, err := ParsePublicURL("http://192.168.1.50:8080/")
124 if err != nil || got != "http://192.168.1.50:8080" {
125 t.Fatalf("slash: %q %v", got, err)
126 }
127 bad := []string{"ftp://x", "http://", "niet-een-url", "192.168.1.50:8080", "http://user:pass@host"}
128 for _, s := range bad {
129 if _, err := ParsePublicURL(s); err == nil {
130 t.Errorf("%q geaccepteerd", s)
131 }
132 }
133 var c Config
134 c.Defaults()
135 if err := c.Set("public_url", "http://192.168.1.50:8080"); err != nil {
136 t.Fatal(err)
137 }
138 if err := c.Set("public_url", "http://[2001:db8::1]:8080"); err != nil {
139 t.Fatal(err)
140 }
141 if err := c.Set("public_url", "ftp://x"); err == nil {
142 t.Fatal("ftp via Set")
143 }
144 }
145
146 func TestLoadRuntimeAndImportOnce(t *testing.T) {
147 root := t.TempDir()
148 data := filepath.Join(root, "data")
149 cfgPath := filepath.Join(root, "config.yml")
150 if err := os.WriteFile(cfgPath, []byte("listen: 127.0.0.1:9090\npublic_url: http://192.168.1.50:8080\ndata_dir: "+data+"\nretention_days: 7\n"), 0o600); err != nil {
151 t.Fatal(err)
152 }
153 c, err := LoadRuntime(Startup{ConfigPath: cfgPath}, nil)
154 if err != nil {
155 t.Fatal(err)
156 }
157 if c.DataDir != data || c.Listen != "127.0.0.1:9090" || c.PublicURL != "http://192.168.1.50:8080" || c.RetentionDays != 7 {
158 t.Fatalf("eerste import %+v", c)
159 }
160 if _, err := os.Stat(filepath.Join(data, SettingsFile)); err != nil {
161 t.Fatal("settings.yml ontbreekt")
162 }
163 if _, err := os.Stat(filepath.Join(data, LegacyImportMarker)); err != nil {
164 t.Fatal("marker ontbreekt")
165 }
166 // settings.yml wint; een latere wijziging in config.yml telt niet meer.
167 if err := os.WriteFile(cfgPath, []byte("listen: 0.0.0.0:1\npublic_url: http://other:1\ndata_dir: "+data+"\nretention_days: 99\n"), 0o600); err != nil {
168 t.Fatal(err)
169 }
170 if err := SaveSettings(data, map[string]string{"retention_days": "14", "listen": "127.0.0.1:9090", "public_url": "http://192.168.1.50:8080"}); err != nil {
171 t.Fatal(err)
172 }
173 c2, err := LoadRuntime(Startup{ConfigPath: cfgPath, DataDir: data}, nil)
174 if err != nil {
175 t.Fatal(err)
176 }
177 if c2.RetentionDays != 14 || c2.Listen != "127.0.0.1:9090" || c2.PublicURL != "http://192.168.1.50:8080" {
178 t.Fatalf("tweede start moet settings behouden %+v", c2)
179 }
180 // Zonder config.yml, alleen --data-dir.
181 empty := filepath.Join(root, "leeg")
182 c3, err := LoadRuntime(Startup{DataDir: empty, ConfigPath: filepath.Join(root, "bestaat-niet.yml")}, nil)
183 if err != nil {
184 t.Fatal(err)
185 }
186 if c3.DataDir != empty || c3.Listen != "0.0.0.0:8080" {
187 t.Fatalf("zonder config: %+v", c3)
188 }
189 // --data-dir wint van data_dir in het bestand.
190 other := filepath.Join(root, "other")
191 c4, err := LoadRuntime(Startup{ConfigPath: cfgPath, DataDir: other}, nil)
192 if err != nil {
193 t.Fatal(err)
194 }
195 if c4.DataDir != other {
196 t.Fatalf("flag moet winnen: %s", c4.DataDir)
197 }
198 }
199
200 func TestDataDirFlagWinsOverEnv(t *testing.T) {
201 root := t.TempDir()
202 flagDir := filepath.Join(root, "flag")
203 envDir := filepath.Join(root, "env")
204 d, _, err := (Startup{DataDir: flagDir, DataDirEnv: envDir}).Resolve()
205 if err != nil || d != flagDir {
206 t.Fatalf("flag %s err %v", d, err)
207 }
208 d, _, err = (Startup{DataDirEnv: envDir, ConfigPath: filepath.Join(root, "nee.yml")}).Resolve()
209 if err != nil || d != envDir {
210 t.Fatalf("env %s err %v", d, err)
211 }
212 }
@@ -51,6 +51,12 @@ func TestFieldsRoundTrip(t *testing.T) {
51 if f.Key != "public_url" && v == "" {
51 if f.Key != "public_url" && v == "" {
52 t.Errorf("%s: leeg", f.Key)
52 t.Errorf("%s: leeg", f.Key)
53 }
53 }
54 if f.Readonly {
55 if err := c.Set(f.Key, v); err == nil {
56 t.Errorf("%s: readonly werd gewijzigd", f.Key)
57 }
58 continue
59 }
54 if err := c.Set(f.Key, v); err != nil && f.Key != "public_url" {
60 if err := c.Set(f.Key, v); err != nil && f.Key != "public_url" {
55 t.Errorf("%s=%q: %v", f.Key, v, err)
61 t.Errorf("%s=%q: %v", f.Key, v, err)
56 }
62 }
@@ -93,3 +99,114 @@ func TestSettingsFile(t *testing.T) {
93 t.Fatal(m, err)
99 t.Fatal(m, err)
94 }
100 }
95}
101}
102
103func TestParsePublicURL(t *testing.T) {
104 ok := []string{
105 "",
106 "http://backup.lan:8080",
107 "https://backup.example.com",
108 "http://192.168.1.50:8080",
109 "http://127.0.0.1",
110 "http://[2001:db8::1]:8080",
111 "https://[::1]:443",
112 }
113 for _, s := range ok {
114 got, err := ParsePublicURL(s)
115 if err != nil {
116 t.Errorf("%q: %v", s, err)
117 }
118 if s != "" && got == "" {
119 t.Errorf("%q: leeg terug", s)
120 }
121 }
122 // Trailing slash gaat eraf.
123 got, err := ParsePublicURL("http://192.168.1.50:8080/")
124 if err != nil || got != "http://192.168.1.50:8080" {
125 t.Fatalf("slash: %q %v", got, err)
126 }
127 bad := []string{"ftp://x", "http://", "niet-een-url", "192.168.1.50:8080", "http://user:pass@host"}
128 for _, s := range bad {
129 if _, err := ParsePublicURL(s); err == nil {
130 t.Errorf("%q geaccepteerd", s)
131 }
132 }
133 var c Config
134 c.Defaults()
135 if err := c.Set("public_url", "http://192.168.1.50:8080"); err != nil {
136 t.Fatal(err)
137 }
138 if err := c.Set("public_url", "http://[2001:db8::1]:8080"); err != nil {
139 t.Fatal(err)
140 }
141 if err := c.Set("public_url", "ftp://x"); err == nil {
142 t.Fatal("ftp via Set")
143 }
144}
145
146func TestLoadRuntimeAndImportOnce(t *testing.T) {
147 root := t.TempDir()
148 data := filepath.Join(root, "data")
149 cfgPath := filepath.Join(root, "config.yml")
150 if err := os.WriteFile(cfgPath, []byte("listen: 127.0.0.1:9090\npublic_url: http://192.168.1.50:8080\ndata_dir: "+data+"\nretention_days: 7\n"), 0o600); err != nil {
151 t.Fatal(err)
152 }
153 c, err := LoadRuntime(Startup{ConfigPath: cfgPath}, nil)
154 if err != nil {
155 t.Fatal(err)
156 }
157 if c.DataDir != data || c.Listen != "127.0.0.1:9090" || c.PublicURL != "http://192.168.1.50:8080" || c.RetentionDays != 7 {
158 t.Fatalf("eerste import %+v", c)
159 }
160 if _, err := os.Stat(filepath.Join(data, SettingsFile)); err != nil {
161 t.Fatal("settings.yml ontbreekt")
162 }
163 if _, err := os.Stat(filepath.Join(data, LegacyImportMarker)); err != nil {
164 t.Fatal("marker ontbreekt")
165 }
166 // settings.yml wint; een latere wijziging in config.yml telt niet meer.
167 if err := os.WriteFile(cfgPath, []byte("listen: 0.0.0.0:1\npublic_url: http://other:1\ndata_dir: "+data+"\nretention_days: 99\n"), 0o600); err != nil {
168 t.Fatal(err)
169 }
170 if err := SaveSettings(data, map[string]string{"retention_days": "14", "listen": "127.0.0.1:9090", "public_url": "http://192.168.1.50:8080"}); err != nil {
171 t.Fatal(err)
172 }
173 c2, err := LoadRuntime(Startup{ConfigPath: cfgPath, DataDir: data}, nil)
174 if err != nil {
175 t.Fatal(err)
176 }
177 if c2.RetentionDays != 14 || c2.Listen != "127.0.0.1:9090" || c2.PublicURL != "http://192.168.1.50:8080" {
178 t.Fatalf("tweede start moet settings behouden %+v", c2)
179 }
180 // Zonder config.yml, alleen --data-dir.
181 empty := filepath.Join(root, "leeg")
182 c3, err := LoadRuntime(Startup{DataDir: empty, ConfigPath: filepath.Join(root, "bestaat-niet.yml")}, nil)
183 if err != nil {
184 t.Fatal(err)
185 }
186 if c3.DataDir != empty || c3.Listen != "0.0.0.0:8080" {
187 t.Fatalf("zonder config: %+v", c3)
188 }
189 // --data-dir wint van data_dir in het bestand.
190 other := filepath.Join(root, "other")
191 c4, err := LoadRuntime(Startup{ConfigPath: cfgPath, DataDir: other}, nil)
192 if err != nil {
193 t.Fatal(err)
194 }
195 if c4.DataDir != other {
196 t.Fatalf("flag moet winnen: %s", c4.DataDir)
197 }
198}
199
200func TestDataDirFlagWinsOverEnv(t *testing.T) {
201 root := t.TempDir()
202 flagDir := filepath.Join(root, "flag")
203 envDir := filepath.Join(root, "env")
204 d, _, err := (Startup{DataDir: flagDir, DataDirEnv: envDir}).Resolve()
205 if err != nil || d != flagDir {
206 t.Fatalf("flag %s err %v", d, err)
207 }
208 d, _, err = (Startup{DataDirEnv: envDir, ConfigPath: filepath.Join(root, "nee.yml")}).Resolve()
209 if err != nil || d != envDir {
210 t.Fatalf("env %s err %v", d, err)
211 }
212}
internal/backupserver/config/fields.go +27 −7
@@ -16,27 +16,33 @@ import (
16 16
17 17 // Field beschrijft één instelling die de webinterface, de API en BlueGit
18 18 // kunnen lezen en wijzigen. Alles wat in Fields staat, is overal hetzelfde
19 // instelbaar.
19 // zichtbaar; alleen velden zonder Readonly zijn instelbaar.
20 20 type Field struct {
21 21 Key string `json:"key"`
22 22 Label string `json:"label"`
23 23 Help string `json:"help"`
24 24 // Kind is duration, int of text.
25 25 Kind string `json:"kind"`
26 // Restart: pas na een herstart van kracht.
26 // Restart: historisch, "pas na een herstart". Wordt niet meer gebruikt;
27 // listen geldt meteen.
27 28 Restart bool `json:"restart,omitempty"`
29 // Readonly: alleen tonen, niet wijzigen (zoals data_dir).
30 Readonly bool `json:"readonly,omitempty"`
31 // Placeholder is een voorbeeld in het invoerveld.
32 Placeholder string `json:"placeholder,omitempty"`
28 33 }
29 34
30 35 // Fields zijn de instelbare velden, in de volgorde van de webinterface.
31 36 var Fields = []Field{
32 {Key: "public_url", Label: "Publiek adres", Help: "Waar BlueGit deze server bereikt, bijvoorbeeld http://backup.lan:8080.", Kind: "text"},
37 {Key: "data_dir", Label: "Gegevensmap", Help: "Hier staan settings.yml, de kopie, de archieven en het beheertoken. Dit pad zet je bij het starten (--data-dir of BLUEGIT_BACKUP_DATA_DIR); in de webinterface kan het niet, omdat de instellingen zelf in deze map staan.", Kind: "text", Readonly: true},
38 {Key: "public_url", Label: "Publiek adres", Help: "Waar BlueGit deze server bereikt. Een domein of een IP-adres mag, bijvoorbeeld http://backup.lan:8080 of http://192.168.1.50:8080. IPv6 tussen hakjes: http://[2001:db8::1]:8080.", Kind: "text", Placeholder: "http://192.168.1.50:8080"},
33 39 {Key: "archive_interval", Label: "Archiefinterval", Help: "Zo vaak wordt de hele kopie gecomprimeerd opgeslagen (bijvoorbeeld 24h, 12h, 7d).", Kind: "duration"},
34 40 {Key: "retention_days", Label: "Bewaartermijn (dagen)", Help: "Archieven ouder dan dit gaan weg. 0 = nooit op leeftijd. Het nieuwste blijft altijd staan.", Kind: "int"},
35 41 {Key: "min_free_mb", Label: "Minimaal vrij (MB)", Help: "Minder vrije schijfruimte dan dit: het oudste archief gaat weg.", Kind: "int"},
36 42 {Key: "rate_limit_kib", Label: "Downloadsnelheid (KiB/s)", Help: "Zo snel wordt BlueGit hoogstens gelezen. 0 = onbeperkt.", Kind: "int"},
37 43 {Key: "full_sync_interval", Label: "Volledige controle", Help: "Ook zonder melding zo vaak alles nalopen.", Kind: "duration"},
38 44 {Key: "min_sync_interval", Label: "Minimale tijd tussen syncs", Help: "Na een melding wacht de server minstens zo lang sinds de vorige sync.", Kind: "duration"},
39 {Key: "listen", Label: "Luisteradres", Help: "Adres en poort van de webinterface en API. Geldt na een herstart.", Kind: "text", Restart: true},
45 {Key: "listen", Label: "Luisteradres", Help: "Adres en poort van de webinterface en API. Een wijziging geldt meteen. Lukt binden niet, dan blijft het oude adres in gebruik en krijg je een foutmelding.", Kind: "text", Placeholder: "0.0.0.0:8080"},
40 46 }
41 47
42 48 // FieldByKey zoekt een veld.
@@ -114,6 +120,9 @@ func (c *Config) Set(key, val string) error {
114 120 if !ok {
115 121 return fmt.Errorf("onbekende instelling %q", key)
116 122 }
123 if f.Readonly {
124 return fmt.Errorf("%s is niet instelbaar in de webinterface of API", key)
125 }
117 126 val = strings.TrimSpace(val)
118 127 switch f.Kind {
119 128 case "duration":
@@ -145,7 +154,11 @@ func (c *Config) Set(key, val string) error {
145 154 default:
146 155 switch key {
147 156 case "public_url":
148 c.PublicURL = strings.TrimRight(val, "/")
157 u, err := ParsePublicURL(val)
158 if err != nil {
159 return err
160 }
161 c.PublicURL = u
149 162 case "listen":
150 163 if _, _, err := net.SplitHostPort(val); err != nil {
151 164 return fmt.Errorf("listen: verwacht host:poort, bijvoorbeeld 0.0.0.0:8080")
@@ -177,9 +190,16 @@ func (c *Config) Apply(set map[string]string) error {
177 190 }
178 191
179 192 // SettingsFile bewaart wat via de webinterface, API of BlueGit is ingesteld.
180 // Het gaat boven config.yml, zodat config.yml van root mag blijven.
181 193 const SettingsFile = "settings.yml"
182 194
195 // LegacyImportMarker wordt gezet nadat een oude config.yml één keer is
196 // overgenomen. Daarna wint de webinterface.
197 const LegacyImportMarker = "config.yml.imported"
198
199 // LegacyConfigCopy is een kopie van /etc/bluegit-backup/config.yml die het
200 // pakket bij een upgrade wegzet, voor het geval het origineel verdwijnt.
201 const LegacyConfigCopy = "legacy-config.yml"
202
183 203 // LoadSettings leest data_dir/settings.yml (ontbreekt: leeg).
184 204 func LoadSettings(dataDir string) (map[string]string, error) {
185 205 out := map[string]string{}
@@ -202,7 +222,7 @@ func SaveSettings(dataDir string, set map[string]string) error {
202 222 if err != nil {
203 223 return err
204 224 }
205 b = append([]byte("# Door de webinterface, API of BlueGit ingesteld. Gaat boven config.yml.\n"), b...)
225 b = append([]byte("# Door de webinterface, API of BlueGit ingesteld.\n"), b...)
206 226 tmp := filepath.Join(dataDir, SettingsFile+".tmp")
207 227 if err := os.WriteFile(tmp, b, 0o600); err != nil {
208 228 return err
@@ -16,27 +16,33 @@ import (
16
16
17// Field beschrijft één instelling die de webinterface, de API en BlueGit
17// Field beschrijft één instelling die de webinterface, de API en BlueGit
18// kunnen lezen en wijzigen. Alles wat in Fields staat, is overal hetzelfde
18// kunnen lezen en wijzigen. Alles wat in Fields staat, is overal hetzelfde
19// instelbaar.
19// zichtbaar; alleen velden zonder Readonly zijn instelbaar.
20type Field struct {
20type Field struct {
21 Key string `json:"key"`
21 Key string `json:"key"`
22 Label string `json:"label"`
22 Label string `json:"label"`
23 Help string `json:"help"`
23 Help string `json:"help"`
24 // Kind is duration, int of text.
24 // Kind is duration, int of text.
25 Kind string `json:"kind"`
25 Kind string `json:"kind"`
26 // Restart: pas na een herstart van kracht.
26 // Restart: historisch, "pas na een herstart". Wordt niet meer gebruikt;
27 // listen geldt meteen.
27 Restart bool `json:"restart,omitempty"`
28 Restart bool `json:"restart,omitempty"`
29 // Readonly: alleen tonen, niet wijzigen (zoals data_dir).
30 Readonly bool `json:"readonly,omitempty"`
31 // Placeholder is een voorbeeld in het invoerveld.
32 Placeholder string `json:"placeholder,omitempty"`
28}
33}
29
34
30// Fields zijn de instelbare velden, in de volgorde van de webinterface.
35// Fields zijn de instelbare velden, in de volgorde van de webinterface.
31var Fields = []Field{
36var Fields = []Field{
32 {Key: "public_url", Label: "Publiek adres", Help: "Waar BlueGit deze server bereikt, bijvoorbeeld http://backup.lan:8080.", Kind: "text"},
37 {Key: "data_dir", Label: "Gegevensmap", Help: "Hier staan settings.yml, de kopie, de archieven en het beheertoken. Dit pad zet je bij het starten (--data-dir of BLUEGIT_BACKUP_DATA_DIR); in de webinterface kan het niet, omdat de instellingen zelf in deze map staan.", Kind: "text", Readonly: true},
38 {Key: "public_url", Label: "Publiek adres", Help: "Waar BlueGit deze server bereikt. Een domein of een IP-adres mag, bijvoorbeeld http://backup.lan:8080 of http://192.168.1.50:8080. IPv6 tussen hakjes: http://[2001:db8::1]:8080.", Kind: "text", Placeholder: "http://192.168.1.50:8080"},
33 {Key: "archive_interval", Label: "Archiefinterval", Help: "Zo vaak wordt de hele kopie gecomprimeerd opgeslagen (bijvoorbeeld 24h, 12h, 7d).", Kind: "duration"},
39 {Key: "archive_interval", Label: "Archiefinterval", Help: "Zo vaak wordt de hele kopie gecomprimeerd opgeslagen (bijvoorbeeld 24h, 12h, 7d).", Kind: "duration"},
34 {Key: "retention_days", Label: "Bewaartermijn (dagen)", Help: "Archieven ouder dan dit gaan weg. 0 = nooit op leeftijd. Het nieuwste blijft altijd staan.", Kind: "int"},
40 {Key: "retention_days", Label: "Bewaartermijn (dagen)", Help: "Archieven ouder dan dit gaan weg. 0 = nooit op leeftijd. Het nieuwste blijft altijd staan.", Kind: "int"},
35 {Key: "min_free_mb", Label: "Minimaal vrij (MB)", Help: "Minder vrije schijfruimte dan dit: het oudste archief gaat weg.", Kind: "int"},
41 {Key: "min_free_mb", Label: "Minimaal vrij (MB)", Help: "Minder vrije schijfruimte dan dit: het oudste archief gaat weg.", Kind: "int"},
36 {Key: "rate_limit_kib", Label: "Downloadsnelheid (KiB/s)", Help: "Zo snel wordt BlueGit hoogstens gelezen. 0 = onbeperkt.", Kind: "int"},
42 {Key: "rate_limit_kib", Label: "Downloadsnelheid (KiB/s)", Help: "Zo snel wordt BlueGit hoogstens gelezen. 0 = onbeperkt.", Kind: "int"},
37 {Key: "full_sync_interval", Label: "Volledige controle", Help: "Ook zonder melding zo vaak alles nalopen.", Kind: "duration"},
43 {Key: "full_sync_interval", Label: "Volledige controle", Help: "Ook zonder melding zo vaak alles nalopen.", Kind: "duration"},
38 {Key: "min_sync_interval", Label: "Minimale tijd tussen syncs", Help: "Na een melding wacht de server minstens zo lang sinds de vorige sync.", Kind: "duration"},
44 {Key: "min_sync_interval", Label: "Minimale tijd tussen syncs", Help: "Na een melding wacht de server minstens zo lang sinds de vorige sync.", Kind: "duration"},
39 {Key: "listen", Label: "Luisteradres", Help: "Adres en poort van de webinterface en API. Geldt na een herstart.", Kind: "text", Restart: true},
45 {Key: "listen", Label: "Luisteradres", Help: "Adres en poort van de webinterface en API. Een wijziging geldt meteen. Lukt binden niet, dan blijft het oude adres in gebruik en krijg je een foutmelding.", Kind: "text", Placeholder: "0.0.0.0:8080"},
40}
46}
41
47
42// FieldByKey zoekt een veld.
48// FieldByKey zoekt een veld.
@@ -114,6 +120,9 @@ func (c *Config) Set(key, val string) error {
114 if !ok {
120 if !ok {
115 return fmt.Errorf("onbekende instelling %q", key)
121 return fmt.Errorf("onbekende instelling %q", key)
116 }
122 }
123 if f.Readonly {
124 return fmt.Errorf("%s is niet instelbaar in de webinterface of API", key)
125 }
117 val = strings.TrimSpace(val)
126 val = strings.TrimSpace(val)
118 switch f.Kind {
127 switch f.Kind {
119 case "duration":
128 case "duration":
@@ -145,7 +154,11 @@ func (c *Config) Set(key, val string) error {
145 default:
154 default:
146 switch key {
155 switch key {
147 case "public_url":
156 case "public_url":
148 c.PublicURL = strings.TrimRight(val, "/")
157 u, err := ParsePublicURL(val)
158 if err != nil {
159 return err
160 }
161 c.PublicURL = u
149 case "listen":
162 case "listen":
150 if _, _, err := net.SplitHostPort(val); err != nil {
163 if _, _, err := net.SplitHostPort(val); err != nil {
151 return fmt.Errorf("listen: verwacht host:poort, bijvoorbeeld 0.0.0.0:8080")
164 return fmt.Errorf("listen: verwacht host:poort, bijvoorbeeld 0.0.0.0:8080")
@@ -177,9 +190,16 @@ func (c *Config) Apply(set map[string]string) error {
177}
190}
178
191
179// SettingsFile bewaart wat via de webinterface, API of BlueGit is ingesteld.
192// SettingsFile bewaart wat via de webinterface, API of BlueGit is ingesteld.
180// Het gaat boven config.yml, zodat config.yml van root mag blijven.
181const SettingsFile = "settings.yml"
193const SettingsFile = "settings.yml"
182
194
195// LegacyImportMarker wordt gezet nadat een oude config.yml één keer is
196// overgenomen. Daarna wint de webinterface.
197const LegacyImportMarker = "config.yml.imported"
198
199// LegacyConfigCopy is een kopie van /etc/bluegit-backup/config.yml die het
200// pakket bij een upgrade wegzet, voor het geval het origineel verdwijnt.
201const LegacyConfigCopy = "legacy-config.yml"
202
183// LoadSettings leest data_dir/settings.yml (ontbreekt: leeg).
203// LoadSettings leest data_dir/settings.yml (ontbreekt: leeg).
184func LoadSettings(dataDir string) (map[string]string, error) {
204func LoadSettings(dataDir string) (map[string]string, error) {
185 out := map[string]string{}
205 out := map[string]string{}
@@ -202,7 +222,7 @@ func SaveSettings(dataDir string, set map[string]string) error {
202 if err != nil {
222 if err != nil {
203 return err
223 return err
204 }
224 }
205 b = append([]byte("# Door de webinterface, API of BlueGit ingesteld. Gaat boven config.yml.\n"), b...)
225 b = append([]byte("# Door de webinterface, API of BlueGit ingesteld.\n"), b...)
206 tmp := filepath.Join(dataDir, SettingsFile+".tmp")
226 tmp := filepath.Join(dataDir, SettingsFile+".tmp")
207 if err := os.WriteFile(tmp, b, 0o600); err != nil {
227 if err := os.WriteFile(tmp, b, 0o600); err != nil {
208 return err
228 return err
internal/backupserver/config/startup.go added +157 −0
@@ -0,0 +1,157 @@
1 package config
2
3 import (
4 "fmt"
5 "io"
6 "log/slog"
7 "os"
8 "path/filepath"
9 "strings"
10 "time"
11
12 "gopkg.in/yaml.v3"
13 )
14
15 // Startup zijn de opstartkeuzes: gegevensmap en eventueel een oude config.yml.
16 type Startup struct {
17 // ConfigPath is het pad naar een oude config.yml (leeg: standaard zoeken).
18 ConfigPath string
19 // DataDir is --data-dir (leeg: omgeving of bestand of standaard).
20 DataDir string
21 // DataDirEnv is BLUEGIT_BACKUP_DATA_DIR.
22 DataDirEnv string
23 }
24
25 // Resolve bepaalt de gegevensmap en het pad van een eventuele oude config.yml.
26 func (s Startup) Resolve() (dataDir, cfgPath string, err error) {
27 cfgPath = strings.TrimSpace(s.ConfigPath)
28 if cfgPath == "" {
29 cfgPath = DefaultConfigPath()
30 }
31 if d := strings.TrimSpace(s.DataDir); d != "" {
32 return d, cfgPath, nil
33 }
34 if d := strings.TrimSpace(s.DataDirEnv); d != "" {
35 return d, cfgPath, nil
36 }
37 if st, err := os.Stat(cfgPath); err == nil && !st.IsDir() {
38 c, err := loadFile(cfgPath)
39 if err != nil {
40 return "", cfgPath, err
41 }
42 if strings.TrimSpace(c.DataDir) != "" {
43 return c.DataDir, cfgPath, nil
44 }
45 }
46 return DefaultDataDir(), cfgPath, nil
47 }
48
49 // LoadRuntime leest settings.yml, neemt eventueel één keer een oude
50 // config.yml over, en vult standaardwaarden in.
51 func LoadRuntime(st Startup, log *slog.Logger) (Config, error) {
52 dataDir, cfgPath, err := st.Resolve()
53 if err != nil {
54 return Config{}, err
55 }
56 if err := os.MkdirAll(dataDir, 0o750); err != nil {
57 return Config{}, err
58 }
59 if log == nil {
60 log = slog.New(slog.NewTextHandler(io.Discard, nil))
61 }
62 if err := ImportLegacy(dataDir, cfgPath, log); err != nil {
63 return Config{}, err
64 }
65 c := Config{DataDir: dataDir}
66 c.Defaults()
67 c.DataDir = dataDir
68 set, err := LoadSettings(dataDir)
69 if err != nil {
70 return c, err
71 }
72 for k := range set {
73 if f, ok := FieldByKey(k); !ok || f.Readonly {
74 delete(set, k)
75 }
76 }
77 if len(set) > 0 {
78 if err := c.Apply(set); err != nil {
79 return c, fmt.Errorf("%s: %w", SettingsFile, err)
80 }
81 }
82 c.DataDir = dataDir
83 return c, c.Validate()
84 }
85
86 // ImportLegacy neemt een bestaande config.yml één keer over in settings.yml.
87 // Bestaande sleutels in settings.yml winnen. Ontbreekt het bestand, dan gebeurt
88 // er niets. Na afloop staat config.yml.imported in data_dir.
89 func ImportLegacy(dataDir, cfgPath string, log *slog.Logger) error {
90 marker := filepath.Join(dataDir, LegacyImportMarker)
91 if _, err := os.Stat(marker); err == nil {
92 return nil
93 }
94 src := firstExistingFile(cfgPath, filepath.Join(dataDir, LegacyConfigCopy))
95 if src == "" {
96 return nil
97 }
98 loaded, err := Load(src)
99 if err != nil {
100 return fmt.Errorf("oude config %s: %w", src, err)
101 }
102 set, err := LoadSettings(dataDir)
103 if err != nil {
104 return err
105 }
106 added := 0
107 for _, f := range Fields {
108 if f.Readonly {
109 continue
110 }
111 if _, ok := set[f.Key]; ok {
112 continue
113 }
114 if v := loaded.Get(f.Key); v != "" {
115 set[f.Key] = v
116 added++
117 }
118 }
119 if err := SaveSettings(dataDir, set); err != nil {
120 return err
121 }
122 body := fmt.Sprintf("imported_from: %s\nimported_at: %s\n", src, time.Now().UTC().Format(time.RFC3339))
123 if err := os.WriteFile(marker, []byte(body), 0o600); err != nil {
124 return err
125 }
126 if log != nil {
127 log.Info("oude config.yml overgenomen in settings.yml; config.yml is niet meer nodig",
128 "from", src, "settings", filepath.Join(dataDir, SettingsFile), "keys", added)
129 }
130 return nil
131 }
132
133 func firstExistingFile(paths ...string) string {
134 for _, p := range paths {
135 p = strings.TrimSpace(p)
136 if p == "" {
137 continue
138 }
139 st, err := os.Stat(p)
140 if err == nil && !st.IsDir() {
141 return p
142 }
143 }
144 return ""
145 }
146
147 func loadFile(path string) (Config, error) {
148 var c Config
149 b, err := os.ReadFile(path)
150 if err != nil {
151 return c, err
152 }
153 if err := yaml.Unmarshal(b, &c); err != nil {
154 return c, fmt.Errorf("%s: %w", path, err)
155 }
156 return c, nil
157 }
@@ -0,0 +1,157 @@
1package config
2
3import (
4 "fmt"
5 "io"
6 "log/slog"
7 "os"
8 "path/filepath"
9 "strings"
10 "time"
11
12 "gopkg.in/yaml.v3"
13)
14
15// Startup zijn de opstartkeuzes: gegevensmap en eventueel een oude config.yml.
16type Startup struct {
17 // ConfigPath is het pad naar een oude config.yml (leeg: standaard zoeken).
18 ConfigPath string
19 // DataDir is --data-dir (leeg: omgeving of bestand of standaard).
20 DataDir string
21 // DataDirEnv is BLUEGIT_BACKUP_DATA_DIR.
22 DataDirEnv string
23}
24
25// Resolve bepaalt de gegevensmap en het pad van een eventuele oude config.yml.
26func (s Startup) Resolve() (dataDir, cfgPath string, err error) {
27 cfgPath = strings.TrimSpace(s.ConfigPath)
28 if cfgPath == "" {
29 cfgPath = DefaultConfigPath()
30 }
31 if d := strings.TrimSpace(s.DataDir); d != "" {
32 return d, cfgPath, nil
33 }
34 if d := strings.TrimSpace(s.DataDirEnv); d != "" {
35 return d, cfgPath, nil
36 }
37 if st, err := os.Stat(cfgPath); err == nil && !st.IsDir() {
38 c, err := loadFile(cfgPath)
39 if err != nil {
40 return "", cfgPath, err
41 }
42 if strings.TrimSpace(c.DataDir) != "" {
43 return c.DataDir, cfgPath, nil
44 }
45 }
46 return DefaultDataDir(), cfgPath, nil
47}
48
49// LoadRuntime leest settings.yml, neemt eventueel één keer een oude
50// config.yml over, en vult standaardwaarden in.
51func LoadRuntime(st Startup, log *slog.Logger) (Config, error) {
52 dataDir, cfgPath, err := st.Resolve()
53 if err != nil {
54 return Config{}, err
55 }
56 if err := os.MkdirAll(dataDir, 0o750); err != nil {
57 return Config{}, err
58 }
59 if log == nil {
60 log = slog.New(slog.NewTextHandler(io.Discard, nil))
61 }
62 if err := ImportLegacy(dataDir, cfgPath, log); err != nil {
63 return Config{}, err
64 }
65 c := Config{DataDir: dataDir}
66 c.Defaults()
67 c.DataDir = dataDir
68 set, err := LoadSettings(dataDir)
69 if err != nil {
70 return c, err
71 }
72 for k := range set {
73 if f, ok := FieldByKey(k); !ok || f.Readonly {
74 delete(set, k)
75 }
76 }
77 if len(set) > 0 {
78 if err := c.Apply(set); err != nil {
79 return c, fmt.Errorf("%s: %w", SettingsFile, err)
80 }
81 }
82 c.DataDir = dataDir
83 return c, c.Validate()
84}
85
86// ImportLegacy neemt een bestaande config.yml één keer over in settings.yml.
87// Bestaande sleutels in settings.yml winnen. Ontbreekt het bestand, dan gebeurt
88// er niets. Na afloop staat config.yml.imported in data_dir.
89func ImportLegacy(dataDir, cfgPath string, log *slog.Logger) error {
90 marker := filepath.Join(dataDir, LegacyImportMarker)
91 if _, err := os.Stat(marker); err == nil {
92 return nil
93 }
94 src := firstExistingFile(cfgPath, filepath.Join(dataDir, LegacyConfigCopy))
95 if src == "" {
96 return nil
97 }
98 loaded, err := Load(src)
99 if err != nil {
100 return fmt.Errorf("oude config %s: %w", src, err)
101 }
102 set, err := LoadSettings(dataDir)
103 if err != nil {
104 return err
105 }
106 added := 0
107 for _, f := range Fields {
108 if f.Readonly {
109 continue
110 }
111 if _, ok := set[f.Key]; ok {
112 continue
113 }
114 if v := loaded.Get(f.Key); v != "" {
115 set[f.Key] = v
116 added++
117 }
118 }
119 if err := SaveSettings(dataDir, set); err != nil {
120 return err
121 }
122 body := fmt.Sprintf("imported_from: %s\nimported_at: %s\n", src, time.Now().UTC().Format(time.RFC3339))
123 if err := os.WriteFile(marker, []byte(body), 0o600); err != nil {
124 return err
125 }
126 if log != nil {
127 log.Info("oude config.yml overgenomen in settings.yml; config.yml is niet meer nodig",
128 "from", src, "settings", filepath.Join(dataDir, SettingsFile), "keys", added)
129 }
130 return nil
131}
132
133func firstExistingFile(paths ...string) string {
134 for _, p := range paths {
135 p = strings.TrimSpace(p)
136 if p == "" {
137 continue
138 }
139 st, err := os.Stat(p)
140 if err == nil && !st.IsDir() {
141 return p
142 }
143 }
144 return ""
145}
146
147func loadFile(path string) (Config, error) {
148 var c Config
149 b, err := os.ReadFile(path)
150 if err != nil {
151 return c, err
152 }
153 if err := yaml.Unmarshal(b, &c); err != nil {
154 return c, fmt.Errorf("%s: %w", path, err)
155 }
156 return c, nil
157}
internal/backupserver/integration/backup_test.go +4 −0
@@ -95,6 +95,10 @@ func TestFullSyncCopiesAllData(t *testing.T) {
95 95 if code != 200 || st.Downloaded > 1 {
96 96 t.Fatalf("tweede sync haalde %d bestanden op: %s", st.Downloaded, raw)
97 97 }
98 prog := b.Status().Sync
99 if !prog.Known || prog.Percent != 100 || prog.Syncing || prog.DoneFiles != prog.TotalFiles {
100 t.Fatalf("na volledige sync verwacht 100%%: %+v", prog)
101 }
98 102 }
99 103
100 104 // Feature: BlueGit meldt elke wijziging; de backup server haalt hem op.
@@ -95,6 +95,10 @@ func TestFullSyncCopiesAllData(t *testing.T) {
95 if code != 200 || st.Downloaded > 1 {
95 if code != 200 || st.Downloaded > 1 {
96 t.Fatalf("tweede sync haalde %d bestanden op: %s", st.Downloaded, raw)
96 t.Fatalf("tweede sync haalde %d bestanden op: %s", st.Downloaded, raw)
97 }
97 }
98 prog := b.Status().Sync
99 if !prog.Known || prog.Percent != 100 || prog.Syncing || prog.DoneFiles != prog.TotalFiles {
100 t.Fatalf("na volledige sync verwacht 100%%: %+v", prog)
101 }
98}
102}
99
103
100// Feature: BlueGit meldt elke wijziging; de backup server haalt hem op.
104// Feature: BlueGit meldt elke wijziging; de backup server haalt hem op.
internal/backupserver/integration/compat_test.go +11 −8
@@ -3,6 +3,7 @@
3 3 package integration
4 4
5 5 import (
6 "fmt"
6 7 "net/http"
7 8 "strings"
8 9 "testing"
@@ -43,7 +44,7 @@ func requireBanner(t *testing.T, g *BlueGit, hc *http.Client, name string, want
43 44 // Feature: een backup server die een nieuwer protocol vraagt dan BlueGit
44 45 // spreekt ("BlueGit te oud"). De backup server weigert te synchroniseren en
45 46 // terug te zetten en meldt het in zijn UI en API; BlueGit toont beheerders op
46 // elke pagina een banner. Na de update (hier: terug naar protocol 1) is
47 // elke pagina een banner. Na de update (hier: terug naar het huidige protocol) is
47 48 // alles weer normaal.
48 49 func TestCompatBlueGitTooOld(t *testing.T) {
49 50 g := startBlueGit(t)
@@ -53,25 +54,27 @@ func TestCompatBlueGitTooOld(t *testing.T) {
53 54 b.Connect(g, key)
54 55 b.Sync()
55 56 arch := b.Archive()
56 if st := g.ServerStatus(id); st.Compat != "ok" || st.Protocol.Backup != 1 || st.Protocol.BlueGit != 1 {
57 cur := protocol.Protocol()
58 if st := g.ServerStatus(id); st.Compat != "ok" || st.Protocol.Backup != cur || st.Protocol.BlueGit != cur {
57 59 t.Fatalf("begin: %+v", st)
58 60 }
59 61
60 // De backup server wordt "geüpdatet" naar protocol 2 en vraagt BlueGit ≥ 2.
61 restore := setBackupProtocol(t, "2", "2")
62 // De backup server wordt "geüpdatet" naar een nieuwer protocol en vraagt minstens dat van BlueGit.
63 newer := fmt.Sprintf("%d", cur+1)
64 restore := setBackupProtocol(t, newer, newer)
62 65 code, raw := b.Admin("POST", "/sync", nil)
63 66 if code != http.StatusConflict || !strings.Contains(string(raw), "BlueGit is verouderd") {
64 67 t.Fatalf("sync bij te oude BlueGit: %d %s", code, raw)
65 68 }
66 69 st := b.Status()
67 if st.Compat != "bluegit_too_old" || st.BlueGitProtocol != 1 || !strings.Contains(st.CompatMessage, "Update BlueGit") {
70 if st.Compat != "bluegit_too_old" || st.BlueGitProtocol != cur || !strings.Contains(st.CompatMessage, "Update BlueGit") {
68 71 t.Fatalf("status: %+v", st)
69 72 }
70 73 if html := openUI(t, b).Page(); !strings.Contains(html, `class="compat-banner"`) || !strings.Contains(html, "Update BlueGit") {
71 74 t.Fatalf("backup-UI zonder waarschuwing:\n%s", tail(html, 40))
72 75 }
73 76 // BlueGit hoort het protocol in het antwoord van de backup server.
74 if st := g.ServerStatus(id); st.Compat != "bluegit_too_old" || st.Protocol.Backup != 2 || st.Protocol.BackupMin != 2 {
77 if st := g.ServerStatus(id); st.Compat != "bluegit_too_old" || st.Protocol.Backup != cur+1 || st.Protocol.BackupMin != cur+1 {
75 78 t.Fatalf("BlueGit: %+v", st)
76 79 }
77 80 // Terugzetten weigert de backup server; BlueGit blijft ongemoeid.
@@ -84,13 +87,13 @@ func TestCompatBlueGitTooOld(t *testing.T) {
84 87 }
85 88 requireBanner(t, g, g.Session(), "nas", "BlueGit is out of date", "Update BlueGit")
86 89
87 // "BlueGit geüpdatet" (hier: de backup server weer op protocol 1).
90 // "BlueGit geüpdatet" (hier: de backup server weer op het huidige protocol).
88 91 restore()
89 92 b.Sync()
90 93 if st := b.Status(); st.Compat != "ok" || st.CompatMessage != "" {
91 94 t.Fatalf("na update: %+v", st)
92 95 }
93 Eventually(t, 10*time.Second, "BlueGit ziet weer protocol 1", func() bool { return g.ServerStatus(id).Compat == "ok" })
96 Eventually(t, 10*time.Second, "BlueGit ziet weer het huidige protocol", func() bool { return g.ServerStatus(id).Compat == "ok" })
94 97 if strings.Contains(g.Page(g.Session(), "/"), "compat-banner") {
95 98 t.Fatal("banner blijft na de update")
96 99 }
@@ -3,6 +3,7 @@
3package integration
3package integration
4
4
5import (
5import (
6 "fmt"
6 "net/http"
7 "net/http"
7 "strings"
8 "strings"
8 "testing"
9 "testing"
@@ -43,7 +44,7 @@ func requireBanner(t *testing.T, g *BlueGit, hc *http.Client, name string, want
43// Feature: een backup server die een nieuwer protocol vraagt dan BlueGit
44// Feature: een backup server die een nieuwer protocol vraagt dan BlueGit
44// spreekt ("BlueGit te oud"). De backup server weigert te synchroniseren en
45// spreekt ("BlueGit te oud"). De backup server weigert te synchroniseren en
45// terug te zetten en meldt het in zijn UI en API; BlueGit toont beheerders op
46// terug te zetten en meldt het in zijn UI en API; BlueGit toont beheerders op
46// elke pagina een banner. Na de update (hier: terug naar protocol 1) is
47// elke pagina een banner. Na de update (hier: terug naar het huidige protocol) is
47// alles weer normaal.
48// alles weer normaal.
48func TestCompatBlueGitTooOld(t *testing.T) {
49func TestCompatBlueGitTooOld(t *testing.T) {
49 g := startBlueGit(t)
50 g := startBlueGit(t)
@@ -53,25 +54,27 @@ func TestCompatBlueGitTooOld(t *testing.T) {
53 b.Connect(g, key)
54 b.Connect(g, key)
54 b.Sync()
55 b.Sync()
55 arch := b.Archive()
56 arch := b.Archive()
56 if st := g.ServerStatus(id); st.Compat != "ok" || st.Protocol.Backup != 1 || st.Protocol.BlueGit != 1 {
57 cur := protocol.Protocol()
58 if st := g.ServerStatus(id); st.Compat != "ok" || st.Protocol.Backup != cur || st.Protocol.BlueGit != cur {
57 t.Fatalf("begin: %+v", st)
59 t.Fatalf("begin: %+v", st)
58 }
60 }
59
61
60 // De backup server wordt "geüpdatet" naar protocol 2 en vraagt BlueGit ≥ 2.
62 // De backup server wordt "geüpdatet" naar een nieuwer protocol en vraagt minstens dat van BlueGit.
61 restore := setBackupProtocol(t, "2", "2")
63 newer := fmt.Sprintf("%d", cur+1)
64 restore := setBackupProtocol(t, newer, newer)
62 code, raw := b.Admin("POST", "/sync", nil)
65 code, raw := b.Admin("POST", "/sync", nil)
63 if code != http.StatusConflict || !strings.Contains(string(raw), "BlueGit is verouderd") {
66 if code != http.StatusConflict || !strings.Contains(string(raw), "BlueGit is verouderd") {
64 t.Fatalf("sync bij te oude BlueGit: %d %s", code, raw)
67 t.Fatalf("sync bij te oude BlueGit: %d %s", code, raw)
65 }
68 }
66 st := b.Status()
69 st := b.Status()
67 if st.Compat != "bluegit_too_old" || st.BlueGitProtocol != 1 || !strings.Contains(st.CompatMessage, "Update BlueGit") {
70 if st.Compat != "bluegit_too_old" || st.BlueGitProtocol != cur || !strings.Contains(st.CompatMessage, "Update BlueGit") {
68 t.Fatalf("status: %+v", st)
71 t.Fatalf("status: %+v", st)
69 }
72 }
70 if html := openUI(t, b).Page(); !strings.Contains(html, `class="compat-banner"`) || !strings.Contains(html, "Update BlueGit") {
73 if html := openUI(t, b).Page(); !strings.Contains(html, `class="compat-banner"`) || !strings.Contains(html, "Update BlueGit") {
71 t.Fatalf("backup-UI zonder waarschuwing:\n%s", tail(html, 40))
74 t.Fatalf("backup-UI zonder waarschuwing:\n%s", tail(html, 40))
72 }
75 }
73 // BlueGit hoort het protocol in het antwoord van de backup server.
76 // BlueGit hoort het protocol in het antwoord van de backup server.
74 if st := g.ServerStatus(id); st.Compat != "bluegit_too_old" || st.Protocol.Backup != 2 || st.Protocol.BackupMin != 2 {
77 if st := g.ServerStatus(id); st.Compat != "bluegit_too_old" || st.Protocol.Backup != cur+1 || st.Protocol.BackupMin != cur+1 {
75 t.Fatalf("BlueGit: %+v", st)
78 t.Fatalf("BlueGit: %+v", st)
76 }
79 }
77 // Terugzetten weigert de backup server; BlueGit blijft ongemoeid.
80 // Terugzetten weigert de backup server; BlueGit blijft ongemoeid.
@@ -84,13 +87,13 @@ func TestCompatBlueGitTooOld(t *testing.T) {
84 }
87 }
85 requireBanner(t, g, g.Session(), "nas", "BlueGit is out of date", "Update BlueGit")
88 requireBanner(t, g, g.Session(), "nas", "BlueGit is out of date", "Update BlueGit")
86
89
87 // "BlueGit geüpdatet" (hier: de backup server weer op protocol 1).
90 // "BlueGit geüpdatet" (hier: de backup server weer op het huidige protocol).
88 restore()
91 restore()
89 b.Sync()
92 b.Sync()
90 if st := b.Status(); st.Compat != "ok" || st.CompatMessage != "" {
93 if st := b.Status(); st.Compat != "ok" || st.CompatMessage != "" {
91 t.Fatalf("na update: %+v", st)
94 t.Fatalf("na update: %+v", st)
92 }
95 }
93 Eventually(t, 10*time.Second, "BlueGit ziet weer protocol 1", func() bool { return g.ServerStatus(id).Compat == "ok" })
96 Eventually(t, 10*time.Second, "BlueGit ziet weer het huidige protocol", func() bool { return g.ServerStatus(id).Compat == "ok" })
94 if strings.Contains(g.Page(g.Session(), "/"), "compat-banner") {
97 if strings.Contains(g.Page(g.Session(), "/"), "compat-banner") {
95 t.Fatal("banner blijft na de update")
98 t.Fatal("banner blijft na de update")
96 }
99 }
internal/backupserver/mirror/mirror.go +22 −1
@@ -24,6 +24,9 @@ import (
24 24 type Mirror struct {
25 25 Dir string
26 26 Index string
27 // OnProgress wordt tijdens Sync aangeroepen (na het manifest en na
28 // elke batch), zodat de webinterface de voortgang kan tonen.
29 OnProgress func(Progress)
27 30 }
28 31
29 32 // Stats zegt wat een sync deed.
@@ -81,6 +84,7 @@ func (m *Mirror) Wipe() error {
81 84 if err := os.RemoveAll(m.Dir); err != nil {
82 85 return err
83 86 }
87 _ = m.ClearManifest()
84 88 err := os.Remove(m.Index)
85 89 if errors.Is(err, os.ErrNotExist) {
86 90 return nil
@@ -107,6 +111,7 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
107 111 if err != nil {
108 112 return st, err
109 113 }
114 _ = m.SaveManifest(man)
110 115 idx, err := m.LoadIndex()
111 116 if err != nil {
112 117 idx = map[string]protocol.Entry{}
@@ -118,6 +123,15 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
118 123 if err := os.MkdirAll(tmpDir, 0o750); err != nil {
119 124 return st, err
120 125 }
126 report := func(idx map[string]protocol.Entry, syncing bool) {
127 if m.OnProgress == nil {
128 return
129 }
130 p := ComputeProgress(idx, man.Files)
131 p.Syncing = syncing
132 m.OnProgress(p)
133 }
134 report(idx, true)
121 135 want := map[string]bool{}
122 136 dirty := 0
123 137 for _, e := range man.Files {
@@ -149,6 +163,9 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
149 163 if dirty >= 200 {
150 164 _ = m.saveIndex(idx)
151 165 dirty = 0
166 report(idx, true)
167 } else if st.Downloaded == 1 || st.Downloaded%25 == 0 {
168 report(idx, true)
152 169 }
153 170 }
154 171 for p := range idx {
@@ -170,7 +187,11 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
170 187 return nil
171 188 })
172 189 removeEmptyDirs(m.Dir)
173 return st, m.saveIndex(idx)
190 if err := m.saveIndex(idx); err != nil {
191 return st, err
192 }
193 report(idx, false)
194 return st, nil
174 195 }
175 196
176 197 func (m *Mirror) download(ctx context.Context, r *Remote, tmpDir string, e protocol.Entry) (int64, error) {
@@ -24,6 +24,9 @@ import (
24type Mirror struct {
24type Mirror struct {
25 Dir string
25 Dir string
26 Index string
26 Index string
27 // OnProgress wordt tijdens Sync aangeroepen (na het manifest en na
28 // elke batch), zodat de webinterface de voortgang kan tonen.
29 OnProgress func(Progress)
27}
30}
28
31
29// Stats zegt wat een sync deed.
32// Stats zegt wat een sync deed.
@@ -81,6 +84,7 @@ func (m *Mirror) Wipe() error {
81 if err := os.RemoveAll(m.Dir); err != nil {
84 if err := os.RemoveAll(m.Dir); err != nil {
82 return err
85 return err
83 }
86 }
87 _ = m.ClearManifest()
84 err := os.Remove(m.Index)
88 err := os.Remove(m.Index)
85 if errors.Is(err, os.ErrNotExist) {
89 if errors.Is(err, os.ErrNotExist) {
86 return nil
90 return nil
@@ -107,6 +111,7 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
107 if err != nil {
111 if err != nil {
108 return st, err
112 return st, err
109 }
113 }
114 _ = m.SaveManifest(man)
110 idx, err := m.LoadIndex()
115 idx, err := m.LoadIndex()
111 if err != nil {
116 if err != nil {
112 idx = map[string]protocol.Entry{}
117 idx = map[string]protocol.Entry{}
@@ -118,6 +123,15 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
118 if err := os.MkdirAll(tmpDir, 0o750); err != nil {
123 if err := os.MkdirAll(tmpDir, 0o750); err != nil {
119 return st, err
124 return st, err
120 }
125 }
126 report := func(idx map[string]protocol.Entry, syncing bool) {
127 if m.OnProgress == nil {
128 return
129 }
130 p := ComputeProgress(idx, man.Files)
131 p.Syncing = syncing
132 m.OnProgress(p)
133 }
134 report(idx, true)
121 want := map[string]bool{}
135 want := map[string]bool{}
122 dirty := 0
136 dirty := 0
123 for _, e := range man.Files {
137 for _, e := range man.Files {
@@ -149,6 +163,9 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
149 if dirty >= 200 {
163 if dirty >= 200 {
150 _ = m.saveIndex(idx)
164 _ = m.saveIndex(idx)
151 dirty = 0
165 dirty = 0
166 report(idx, true)
167 } else if st.Downloaded == 1 || st.Downloaded%25 == 0 {
168 report(idx, true)
152 }
169 }
153 }
170 }
154 for p := range idx {
171 for p := range idx {
@@ -170,7 +187,11 @@ func (m *Mirror) Sync(ctx context.Context, r *Remote) (Stats, error) {
170 return nil
187 return nil
171 })
188 })
172 removeEmptyDirs(m.Dir)
189 removeEmptyDirs(m.Dir)
173 return st, m.saveIndex(idx)
190 if err := m.saveIndex(idx); err != nil {
191 return st, err
192 }
193 report(idx, false)
194 return st, nil
174}
195}
175
196
176func (m *Mirror) download(ctx context.Context, r *Remote, tmpDir string, e protocol.Entry) (int64, error) {
197func (m *Mirror) download(ctx context.Context, r *Remote, tmpDir string, e protocol.Entry) (int64, error) {
internal/backupserver/mirror/progress.go added +125 −0
@@ -0,0 +1,125 @@
1 package mirror
2
3 import (
4 "encoding/json"
5 "errors"
6 "os"
7 "path/filepath"
8 "time"
9
10 "gitlab.com/Timfa/bluegit/internal/backupserver/protocol"
11 )
12
13 // Progress is het deel van de BlueGit-dataset (database, repositories,
14 // releases, artifacts, avatars, enz.) dat deze kopie al bij heeft en dat
15 // overeenkomt met het laatste manifest. De teller is in bytes, zodat een
16 // groot repository zwaarder weegt dan een klein bestand. Als de hele set
17 // 0 bytes is (of leeg), telt het aantal bestanden; 0/0 is 100%.
18 type Progress struct {
19 Known bool `json:"known"`
20 Percent int `json:"percent"`
21 Syncing bool `json:"syncing,omitempty"`
22 DoneBytes int64 `json:"done_bytes"`
23 TotalBytes int64 `json:"total_bytes"`
24 DoneFiles int `json:"done_files"`
25 TotalFiles int `json:"total_files"`
26 UpdatedAt time.Time `json:"updated_at,omitempty"`
27 }
28
29 // ComputeProgress vergelijkt de index met de bestanden uit een manifest.
30 // files == nil betekent: nog geen manifest, voortgang onbekend.
31 func ComputeProgress(idx map[string]protocol.Entry, files []protocol.Entry) Progress {
32 if files == nil {
33 return Progress{}
34 }
35 if idx == nil {
36 idx = map[string]protocol.Entry{}
37 }
38 p := Progress{Known: true, TotalFiles: len(files), UpdatedAt: time.Now().UTC()}
39 for _, e := range files {
40 logical, ok := protocol.CleanLogical(e.Path)
41 if !ok {
42 p.TotalFiles--
43 continue
44 }
45 p.TotalBytes += e.Size
46 if old, ok := idx[logical]; ok && same(old, e) {
47 p.DoneFiles++
48 p.DoneBytes += e.Size
49 }
50 }
51 switch {
52 case p.TotalFiles == 0:
53 p.Percent = 100
54 case p.DoneFiles == p.TotalFiles:
55 p.Percent = 100
56 case p.TotalBytes > 0:
57 p.Percent = int(p.DoneBytes * 100 / p.TotalBytes)
58 if p.Percent >= 100 {
59 // Nog ontbrekende lege bestanden: nooit 100% tot alles er is.
60 p.Percent = 99
61 }
62 default:
63 p.Percent = p.DoneFiles * 100 / p.TotalFiles
64 }
65 if p.Percent < 0 {
66 p.Percent = 0
67 }
68 return p
69 }
70
71 func (m *Mirror) manifestPath() string {
72 return filepath.Join(filepath.Dir(m.Index), "last-manifest.json")
73 }
74
75 // SaveManifest bewaart het laatste manifest, zodat de voortgang tussen
76 // syncs en na een herstart bekend blijft.
77 func (m *Mirror) SaveManifest(man protocol.Manifest) error {
78 b, err := json.Marshal(man)
79 if err != nil {
80 return err
81 }
82 tmp := m.manifestPath() + ".tmp"
83 if err := os.WriteFile(tmp, b, 0o600); err != nil {
84 return err
85 }
86 return os.Rename(tmp, m.manifestPath())
87 }
88
89 // LoadManifest leest het laatste manifest. ok is false als het ontbreekt.
90 func (m *Mirror) LoadManifest() (protocol.Manifest, bool, error) {
91 var man protocol.Manifest
92 b, err := os.ReadFile(m.manifestPath())
93 if errors.Is(err, os.ErrNotExist) {
94 return man, false, nil
95 }
96 if err != nil {
97 return man, false, err
98 }
99 if err := json.Unmarshal(b, &man); err != nil {
100 return man, false, err
101 }
102 return man, true, nil
103 }
104
105 // CurrentProgress berekent de voortgang uit de index en het laatste manifest.
106 func (m *Mirror) CurrentProgress() Progress {
107 man, ok, err := m.LoadManifest()
108 if err != nil || !ok {
109 return Progress{}
110 }
111 idx, err := m.LoadIndex()
112 if err != nil {
113 idx = nil
114 }
115 return ComputeProgress(idx, man.Files)
116 }
117
118 // ClearManifest verwijdert het bewaarde manifest (na wissen of ontkoppelen).
119 func (m *Mirror) ClearManifest() error {
120 err := os.Remove(m.manifestPath())
121 if errors.Is(err, os.ErrNotExist) {
122 return nil
123 }
124 return err
125 }
@@ -0,0 +1,125 @@
1package mirror
2
3import (
4 "encoding/json"
5 "errors"
6 "os"
7 "path/filepath"
8 "time"
9
10 "gitlab.com/Timfa/bluegit/internal/backupserver/protocol"
11)
12
13// Progress is het deel van de BlueGit-dataset (database, repositories,
14// releases, artifacts, avatars, enz.) dat deze kopie al bij heeft en dat
15// overeenkomt met het laatste manifest. De teller is in bytes, zodat een
16// groot repository zwaarder weegt dan een klein bestand. Als de hele set
17// 0 bytes is (of leeg), telt het aantal bestanden; 0/0 is 100%.
18type Progress struct {
19 Known bool `json:"known"`
20 Percent int `json:"percent"`
21 Syncing bool `json:"syncing,omitempty"`
22 DoneBytes int64 `json:"done_bytes"`
23 TotalBytes int64 `json:"total_bytes"`
24 DoneFiles int `json:"done_files"`
25 TotalFiles int `json:"total_files"`
26 UpdatedAt time.Time `json:"updated_at,omitempty"`
27}
28
29// ComputeProgress vergelijkt de index met de bestanden uit een manifest.
30// files == nil betekent: nog geen manifest, voortgang onbekend.
31func ComputeProgress(idx map[string]protocol.Entry, files []protocol.Entry) Progress {
32 if files == nil {
33 return Progress{}
34 }
35 if idx == nil {
36 idx = map[string]protocol.Entry{}
37 }
38 p := Progress{Known: true, TotalFiles: len(files), UpdatedAt: time.Now().UTC()}
39 for _, e := range files {
40 logical, ok := protocol.CleanLogical(e.Path)
41 if !ok {
42 p.TotalFiles--
43 continue
44 }
45 p.TotalBytes += e.Size
46 if old, ok := idx[logical]; ok && same(old, e) {
47 p.DoneFiles++
48 p.DoneBytes += e.Size
49 }
50 }
51 switch {
52 case p.TotalFiles == 0:
53 p.Percent = 100
54 case p.DoneFiles == p.TotalFiles:
55 p.Percent = 100
56 case p.TotalBytes > 0:
57 p.Percent = int(p.DoneBytes * 100 / p.TotalBytes)
58 if p.Percent >= 100 {
59 // Nog ontbrekende lege bestanden: nooit 100% tot alles er is.
60 p.Percent = 99
61 }
62 default:
63 p.Percent = p.DoneFiles * 100 / p.TotalFiles
64 }
65 if p.Percent < 0 {
66 p.Percent = 0
67 }
68 return p
69}
70
71func (m *Mirror) manifestPath() string {
72 return filepath.Join(filepath.Dir(m.Index), "last-manifest.json")
73}
74
75// SaveManifest bewaart het laatste manifest, zodat de voortgang tussen
76// syncs en na een herstart bekend blijft.
77func (m *Mirror) SaveManifest(man protocol.Manifest) error {
78 b, err := json.Marshal(man)
79 if err != nil {
80 return err
81 }
82 tmp := m.manifestPath() + ".tmp"
83 if err := os.WriteFile(tmp, b, 0o600); err != nil {
84 return err
85 }
86 return os.Rename(tmp, m.manifestPath())
87}
88
89// LoadManifest leest het laatste manifest. ok is false als het ontbreekt.
90func (m *Mirror) LoadManifest() (protocol.Manifest, bool, error) {
91 var man protocol.Manifest
92 b, err := os.ReadFile(m.manifestPath())
93 if errors.Is(err, os.ErrNotExist) {
94 return man, false, nil
95 }
96 if err != nil {
97 return man, false, err
98 }
99 if err := json.Unmarshal(b, &man); err != nil {
100 return man, false, err
101 }
102 return man, true, nil
103}
104
105// CurrentProgress berekent de voortgang uit de index en het laatste manifest.
106func (m *Mirror) CurrentProgress() Progress {
107 man, ok, err := m.LoadManifest()
108 if err != nil || !ok {
109 return Progress{}
110 }
111 idx, err := m.LoadIndex()
112 if err != nil {
113 idx = nil
114 }
115 return ComputeProgress(idx, man.Files)
116}
117
118// ClearManifest verwijdert het bewaarde manifest (na wissen of ontkoppelen).
119func (m *Mirror) ClearManifest() error {
120 err := os.Remove(m.manifestPath())
121 if errors.Is(err, os.ErrNotExist) {
122 return nil
123 }
124 return err
125}
internal/backupserver/mirror/progress_test.go added +104 −0
@@ -0,0 +1,104 @@
1 package mirror
2
3 import (
4 "path/filepath"
5 "testing"
6
7 "gitlab.com/Timfa/bluegit/internal/backupserver/protocol"
8 )
9
10 func TestComputeProgress(t *testing.T) {
11 if p := ComputeProgress(nil, nil); p.Known {
12 t.Fatal("zonder manifest is de voortgang onbekend")
13 }
14 empty := ComputeProgress(nil, []protocol.Entry{})
15 if !empty.Known || empty.Percent != 100 || empty.TotalFiles != 0 {
16 t.Fatalf("lege dataset: %+v", empty)
17 }
18
19 files := []protocol.Entry{
20 {Path: "state/bluegit.db", Size: 50, SHA256: "aaa"},
21 {Path: "data/repos/tim/app.git/pack", Size: 150, MTime: 2},
22 {Path: "state/avatars/x", Size: 0, MTime: 3},
23 }
24 idx := map[string]protocol.Entry{
25 "state/bluegit.db": {Path: "state/bluegit.db", Size: 50, SHA256: "aaa"},
26 "data/repos/tim/app.git/pack": {Path: "data/repos/tim/app.git/pack", Size: 150, MTime: 2},
27 }
28 p := ComputeProgress(idx, files)
29 if p.DoneFiles != 2 || p.TotalFiles != 3 || p.DoneBytes != 200 || p.TotalBytes != 200 {
30 t.Fatalf("tellers %+v", p)
31 }
32 if p.Percent != 99 {
33 t.Fatalf("ontbrekend leeg bestand mag geen 100%% geven: %+v", p)
34 }
35 }
36
37 func TestComputeProgressZeroByteGap(t *testing.T) {
38 files := []protocol.Entry{
39 {Path: "data/repos/a", Size: 100, MTime: 1},
40 {Path: "state/avatars/b", Size: 0, MTime: 1},
41 }
42 idx := map[string]protocol.Entry{"data/repos/a": {Path: "data/repos/a", Size: 100, MTime: 1}}
43 p := ComputeProgress(idx, files)
44 if p.Percent != 99 {
45 t.Fatalf("ontbrekend leeg bestand: %+v", p)
46 }
47 }
48
49 func TestComputeProgressPartialAndFull(t *testing.T) {
50 files := []protocol.Entry{
51 {Path: "data/repos/a", Size: 75, MTime: 1},
52 {Path: "data/repos/b", Size: 25, MTime: 1},
53 }
54 p := ComputeProgress(map[string]protocol.Entry{
55 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
56 }, files)
57 if !p.Known || p.Percent != 75 || p.DoneFiles != 1 {
58 t.Fatalf("75%% verwacht: %+v", p)
59 }
60 full := ComputeProgress(map[string]protocol.Entry{
61 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
62 "data/repos/b": {Path: "data/repos/b", Size: 25, MTime: 1},
63 }, files)
64 if full.Percent != 100 || full.DoneFiles != 2 {
65 t.Fatalf("100%% verwacht: %+v", full)
66 }
67 // Verouderd bestand telt niet.
68 stale := ComputeProgress(map[string]protocol.Entry{
69 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
70 "data/repos/b": {Path: "data/repos/b", Size: 25, MTime: 99},
71 }, files)
72 if stale.Percent != 75 {
73 t.Fatalf("verouderd moet ontbreken: %+v", stale)
74 }
75 }
76
77 func TestManifestRoundTripAndCurrentProgress(t *testing.T) {
78 dir := t.TempDir()
79 m := &Mirror{Dir: dir, Index: filepath.Join(dir, "mirror.index.json")}
80 if p := m.CurrentProgress(); p.Known {
81 t.Fatal("zonder manifest")
82 }
83 man := protocol.Manifest{Files: []protocol.Entry{{Path: "data/repos/x", Size: 10, MTime: 1}}}
84 if err := m.SaveManifest(man); err != nil {
85 t.Fatal(err)
86 }
87 p := m.CurrentProgress()
88 if !p.Known || p.Percent != 0 || p.TotalBytes != 10 {
89 t.Fatalf("leeg index: %+v", p)
90 }
91 if err := m.saveIndex(map[string]protocol.Entry{"data/repos/x": {Path: "data/repos/x", Size: 10, MTime: 1}}); err != nil {
92 t.Fatal(err)
93 }
94 p = m.CurrentProgress()
95 if p.Percent != 100 {
96 t.Fatalf("bij: %+v", p)
97 }
98 if err := m.ClearManifest(); err != nil {
99 t.Fatal(err)
100 }
101 if p := m.CurrentProgress(); p.Known {
102 t.Fatal("na wissen nog bekend")
103 }
104 }
@@ -0,0 +1,104 @@
1package mirror
2
3import (
4 "path/filepath"
5 "testing"
6
7 "gitlab.com/Timfa/bluegit/internal/backupserver/protocol"
8)
9
10func TestComputeProgress(t *testing.T) {
11 if p := ComputeProgress(nil, nil); p.Known {
12 t.Fatal("zonder manifest is de voortgang onbekend")
13 }
14 empty := ComputeProgress(nil, []protocol.Entry{})
15 if !empty.Known || empty.Percent != 100 || empty.TotalFiles != 0 {
16 t.Fatalf("lege dataset: %+v", empty)
17 }
18
19 files := []protocol.Entry{
20 {Path: "state/bluegit.db", Size: 50, SHA256: "aaa"},
21 {Path: "data/repos/tim/app.git/pack", Size: 150, MTime: 2},
22 {Path: "state/avatars/x", Size: 0, MTime: 3},
23 }
24 idx := map[string]protocol.Entry{
25 "state/bluegit.db": {Path: "state/bluegit.db", Size: 50, SHA256: "aaa"},
26 "data/repos/tim/app.git/pack": {Path: "data/repos/tim/app.git/pack", Size: 150, MTime: 2},
27 }
28 p := ComputeProgress(idx, files)
29 if p.DoneFiles != 2 || p.TotalFiles != 3 || p.DoneBytes != 200 || p.TotalBytes != 200 {
30 t.Fatalf("tellers %+v", p)
31 }
32 if p.Percent != 99 {
33 t.Fatalf("ontbrekend leeg bestand mag geen 100%% geven: %+v", p)
34 }
35}
36
37func TestComputeProgressZeroByteGap(t *testing.T) {
38 files := []protocol.Entry{
39 {Path: "data/repos/a", Size: 100, MTime: 1},
40 {Path: "state/avatars/b", Size: 0, MTime: 1},
41 }
42 idx := map[string]protocol.Entry{"data/repos/a": {Path: "data/repos/a", Size: 100, MTime: 1}}
43 p := ComputeProgress(idx, files)
44 if p.Percent != 99 {
45 t.Fatalf("ontbrekend leeg bestand: %+v", p)
46 }
47}
48
49func TestComputeProgressPartialAndFull(t *testing.T) {
50 files := []protocol.Entry{
51 {Path: "data/repos/a", Size: 75, MTime: 1},
52 {Path: "data/repos/b", Size: 25, MTime: 1},
53 }
54 p := ComputeProgress(map[string]protocol.Entry{
55 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
56 }, files)
57 if !p.Known || p.Percent != 75 || p.DoneFiles != 1 {
58 t.Fatalf("75%% verwacht: %+v", p)
59 }
60 full := ComputeProgress(map[string]protocol.Entry{
61 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
62 "data/repos/b": {Path: "data/repos/b", Size: 25, MTime: 1},
63 }, files)
64 if full.Percent != 100 || full.DoneFiles != 2 {
65 t.Fatalf("100%% verwacht: %+v", full)
66 }
67 // Verouderd bestand telt niet.
68 stale := ComputeProgress(map[string]protocol.Entry{
69 "data/repos/a": {Path: "data/repos/a", Size: 75, MTime: 1},
70 "data/repos/b": {Path: "data/repos/b", Size: 25, MTime: 99},
71 }, files)
72 if stale.Percent != 75 {
73 t.Fatalf("verouderd moet ontbreken: %+v", stale)
74 }
75}
76
77func TestManifestRoundTripAndCurrentProgress(t *testing.T) {
78 dir := t.TempDir()
79 m := &Mirror{Dir: dir, Index: filepath.Join(dir, "mirror.index.json")}
80 if p := m.CurrentProgress(); p.Known {
81 t.Fatal("zonder manifest")
82 }
83 man := protocol.Manifest{Files: []protocol.Entry{{Path: "data/repos/x", Size: 10, MTime: 1}}}
84 if err := m.SaveManifest(man); err != nil {
85 t.Fatal(err)
86 }
87 p := m.CurrentProgress()
88 if !p.Known || p.Percent != 0 || p.TotalBytes != 10 {
89 t.Fatalf("leeg index: %+v", p)
90 }
91 if err := m.saveIndex(map[string]protocol.Entry{"data/repos/x": {Path: "data/repos/x", Size: 10, MTime: 1}}); err != nil {
92 t.Fatal(err)
93 }
94 p = m.CurrentProgress()
95 if p.Percent != 100 {
96 t.Fatalf("bij: %+v", p)
97 }
98 if err := m.ClearManifest(); err != nil {
99 t.Fatal(err)
100 }
101 if p := m.CurrentProgress(); p.Known {
102 t.Fatal("na wissen nog bekend")
103 }
104}
internal/backupserver/mirror/remote.go +33 −0
@@ -137,6 +137,39 @@ func (r *Remote) Restore(ctx context.Context, body io.Reader) error {
137 137 return nil
138 138 }
139 139
140 // ReportProgress meldt de sync-voortgang aan BlueGit. Een oude BlueGit
141 // (404/405) is geen fout: het veld is optioneel.
142 func (r *Remote) ReportProgress(ctx context.Context, p Progress) error {
143 b, err := json.Marshal(p)
144 if err != nil {
145 return err
146 }
147 req, err := http.NewRequestWithContext(ctx, http.MethodPost, strings.TrimRight(r.URL, "/")+"/api/v1/backup/progress", bytes.NewReader(b))
148 if err != nil {
149 return err
150 }
151 req.Header.Set("Authorization", "Bearer "+r.Key)
152 req.Header.Set("Content-Type", "application/json")
153 req.Header.Set("User-Agent", "bluegit-backup")
154 protocol.SetOwnHeaders(req.Header, r.Version)
155 resp, err := r.client().Do(req)
156 if err != nil {
157 return err
158 }
159 defer resp.Body.Close()
160 if resp.StatusCode == http.StatusNotFound || resp.StatusCode == http.StatusMethodNotAllowed {
161 return nil
162 }
163 if resp.StatusCode >= 300 {
164 raw, _ := io.ReadAll(io.LimitReader(resp.Body, 1<<16))
165 return &HTTPError{Status: resp.StatusCode, Msg: strings.TrimSpace(string(raw))}
166 }
167 if peer, ok := protocol.BlueGitFromHeader(resp.Header); ok && r.OnPeer != nil {
168 r.OnPeer(peer)
169 }
170 return nil
171 }
172
140 173 // WaitUp wacht tot BlueGit na een herstart weer antwoordt.
141 174 func (r *Remote) WaitUp(ctx context.Context, timeout time.Duration) error {
142 175 deadline := time.Now().Add(timeout)
@@ -137,6 +137,39 @@ func (r *Remote) Restore(ctx context.Context, body io.Reader) error {
137 return nil
137 return nil
138}
138}
139
139
140// ReportProgress meldt de sync-voortgang aan BlueGit. Een oude BlueGit
141// (404/405) is geen fout: het veld is optioneel.
142func (r *Remote) ReportProgress(ctx context.Context, p Progress) error {
143 b, err := json.Marshal(p)
144 if err != nil {
145 return err
146 }
147 req, err := http.NewRequestWithContext(ctx, http.MethodPost, strings.TrimRight(r.URL, "/")+"/api/v1/backup/progress", bytes.NewReader(b))
148 if err != nil {
149 return err
150 }
151 req.Header.Set("Authorization", "Bearer "+r.Key)
152 req.Header.Set("Content-Type", "application/json")
153 req.Header.Set("User-Agent", "bluegit-backup")
154 protocol.SetOwnHeaders(req.Header, r.Version)
155 resp, err := r.client().Do(req)
156 if err != nil {
157 return err
158 }
159 defer resp.Body.Close()
160 if resp.StatusCode == http.StatusNotFound || resp.StatusCode == http.StatusMethodNotAllowed {
161 return nil
162 }
163 if resp.StatusCode >= 300 {
164 raw, _ := io.ReadAll(io.LimitReader(resp.Body, 1<<16))
165 return &HTTPError{Status: resp.StatusCode, Msg: strings.TrimSpace(string(raw))}
166 }
167 if peer, ok := protocol.BlueGitFromHeader(resp.Header); ok && r.OnPeer != nil {
168 r.OnPeer(peer)
169 }
170 return nil
171}
172
140// WaitUp wacht tot BlueGit na een herstart weer antwoordt.
173// WaitUp wacht tot BlueGit na een herstart weer antwoordt.
141func (r *Remote) WaitUp(ctx context.Context, timeout time.Duration) error {
174func (r *Remote) WaitUp(ctx context.Context, timeout time.Duration) error {
142 deadline := time.Now().Add(timeout)
175 deadline := time.Now().Add(timeout)
internal/backupserver/protocol/compat.go +1 −1
@@ -19,7 +19,7 @@ import (
19 19 // integratietests zetten ze direct (de backup server draait in het
20 20 // testproces).
21 21 var (
22 ProtocolVersion = "1"
22 ProtocolVersion = "2"
23 23 MinBlueGitProtocol = "1"
24 24 )
25 25
@@ -19,7 +19,7 @@ import (
19// integratietests zetten ze direct (de backup server draait in het
19// integratietests zetten ze direct (de backup server draait in het
20// testproces).
20// testproces).
21var (
21var (
22 ProtocolVersion = "1"
22 ProtocolVersion = "2"
23 MinBlueGitProtocol = "1"
23 MinBlueGitProtocol = "1"
24)
24)
25
25
internal/backupserver/server/actions.go +45 −22
@@ -125,8 +125,13 @@ func (s *Server) action(name string) (Action, bool) {
125 125 type ConfigView struct {
126 126 Fields []ConfigField `json:"fields"`
127 127 DataDir string `json:"data_dir"`
128 // Restart: er staat een wijziging klaar die pas na een herstart geldt.
128 // Restart: historisch; listen geldt nu meteen. Blijft in de API (altijd false).
129 129 Restart bool `json:"restart_pending"`
130 // Listening is het adres waarop de server nu luistert (leeg in tests
131 // die niet via ListenAndServe draaien).
132 Listening string `json:"listening,omitempty"`
133 // ListenNotice vertelt waar de server na een geslaagde omzetting luistert.
134 ListenNotice string `json:"listen_notice,omitempty"`
130 135 }
131 136
132 137 // ConfigField is een veld met zijn waarde.
@@ -139,21 +144,20 @@ type ConfigField struct {
139 144 func (s *Server) ConfigView() ConfigView {
140 145 s.mu.Lock()
141 146 defer s.mu.Unlock()
142 v := ConfigView{DataDir: s.Cfg.DataDir, Restart: s.restartPending}
147 return s.configViewLocked()
148 }
149
150 func (s *Server) configViewLocked() ConfigView {
151 v := ConfigView{DataDir: s.Cfg.DataDir, Listening: s.BoundAddr()}
143 152 for _, f := range config.Fields {
144 val := s.Cfg.Get(f.Key)
145 if f.Restart {
146 if p, ok := s.settings[f.Key]; ok {
147 val = p
148 }
149 }
150 v.Fields = append(v.Fields, ConfigField{Field: f, Value: val})
153 v.Fields = append(v.Fields, ConfigField{Field: f, Value: s.Cfg.Get(f.Key)})
151 154 }
152 155 return v
153 156 }
154 157
155 // UpdateConfig past instellingen toe en bewaart ze in settings.yml. Velden
156 // met Restart gelden pas na een herstart.
158 // UpdateConfig past instellingen toe en bewaart ze in settings.yml.
159 // Een nieuw listen-adres wordt meteen geprobeerd; lukt binden niet, dan
160 // blijft alles zoals het was.
157 161 func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
158 162 s.mu.Lock()
159 163 next := s.Cfg
@@ -161,28 +165,48 @@ func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
161 165 s.mu.Unlock()
162 166 return ConfigView{}, err
163 167 }
168 oldListen := s.Cfg.Listen
169 listenChanged := next.Listen != oldListen
170 if listenChanged && s.isServing() {
171 // Eerst binden, pas daarna bewaren: bij een fout blijft alles hetzelfde.
172 s.mu.Unlock()
173 if err := s.Relisten(next.Listen); err != nil {
174 return ConfigView{}, err
175 }
176 s.mu.Lock()
177 // Relisten is gelukt; als opslaan faalt, zetten we de listener terug.
178 }
164 179 merged := map[string]string{}
165 180 for k, v := range s.settings {
166 181 merged[k] = v
167 182 }
168 183 for k := range set {
184 if f, ok := config.FieldByKey(k); ok && f.Readonly {
185 s.mu.Unlock()
186 return ConfigView{}, fmt.Errorf("%s is niet instelbaar in de webinterface of API", k)
187 }
169 188 merged[k] = next.Get(k)
170 189 }
171 190 if err := config.SaveSettings(next.DataDir, merged); err != nil {
191 if listenChanged && s.isServing() {
192 s.mu.Unlock()
193 _ = s.Relisten(oldListen)
194 s.mu.Lock()
195 }
172 196 s.mu.Unlock()
173 197 return ConfigView{}, err
174 198 }
175 for _, f := range config.Fields {
176 if f.Restart {
177 if _, ok := set[f.Key]; ok && next.Get(f.Key) != s.Cfg.Get(f.Key) {
178 s.restartPending = true
179 }
180 // De draaiende waarde blijft tot de herstart.
181 _ = next.Set(f.Key, s.Cfg.Get(f.Key))
182 }
183 }
184 199 s.settings = merged
185 200 s.Cfg = next
201 s.restartPending = false
202 view := s.configViewLocked()
203 if listenChanged {
204 where := view.Listening
205 if where == "" {
206 where = next.Listen
207 }
208 view.ListenNotice = "De server luistert nu op " + where + "."
209 }
186 210 s.mu.Unlock()
187 211 s.limiter.SetRate(next.RateLimitKiB << 10)
188 212 keys := make([]string, 0, len(set))
@@ -191,9 +215,8 @@ func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
191 215 }
192 216 sort.Strings(keys)
193 217 s.Log.Info("instellingen gewijzigd", "keys", strings.Join(keys, ","))
194 // Kortere intervallen meteen laten gelden.
195 218 s.Kick()
196 return s.ConfigView(), nil
219 return view, nil
197 220 }
198 221
199 222 func (s *Server) actConfigUpdate(ctx context.Context, in Input) (int, any) {
@@ -125,8 +125,13 @@ func (s *Server) action(name string) (Action, bool) {
125type ConfigView struct {
125type ConfigView struct {
126 Fields []ConfigField `json:"fields"`
126 Fields []ConfigField `json:"fields"`
127 DataDir string `json:"data_dir"`
127 DataDir string `json:"data_dir"`
128 // Restart: er staat een wijziging klaar die pas na een herstart geldt.
128 // Restart: historisch; listen geldt nu meteen. Blijft in de API (altijd false).
129 Restart bool `json:"restart_pending"`
129 Restart bool `json:"restart_pending"`
130 // Listening is het adres waarop de server nu luistert (leeg in tests
131 // die niet via ListenAndServe draaien).
132 Listening string `json:"listening,omitempty"`
133 // ListenNotice vertelt waar de server na een geslaagde omzetting luistert.
134 ListenNotice string `json:"listen_notice,omitempty"`
130}
135}
131
136
132// ConfigField is een veld met zijn waarde.
137// ConfigField is een veld met zijn waarde.
@@ -139,21 +144,20 @@ type ConfigField struct {
139func (s *Server) ConfigView() ConfigView {
144func (s *Server) ConfigView() ConfigView {
140 s.mu.Lock()
145 s.mu.Lock()
141 defer s.mu.Unlock()
146 defer s.mu.Unlock()
142 v := ConfigView{DataDir: s.Cfg.DataDir, Restart: s.restartPending}
147 return s.configViewLocked()
148}
149
150func (s *Server) configViewLocked() ConfigView {
151 v := ConfigView{DataDir: s.Cfg.DataDir, Listening: s.BoundAddr()}
143 for _, f := range config.Fields {
152 for _, f := range config.Fields {
144 val := s.Cfg.Get(f.Key)
153 v.Fields = append(v.Fields, ConfigField{Field: f, Value: s.Cfg.Get(f.Key)})
145 if f.Restart {
146 if p, ok := s.settings[f.Key]; ok {
147 val = p
148 }
149 }
150 v.Fields = append(v.Fields, ConfigField{Field: f, Value: val})
151 }
154 }
152 return v
155 return v
153}
156}
154
157
155// UpdateConfig past instellingen toe en bewaart ze in settings.yml. Velden
158// UpdateConfig past instellingen toe en bewaart ze in settings.yml.
156// met Restart gelden pas na een herstart.
159// Een nieuw listen-adres wordt meteen geprobeerd; lukt binden niet, dan
160// blijft alles zoals het was.
157func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
161func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
158 s.mu.Lock()
162 s.mu.Lock()
159 next := s.Cfg
163 next := s.Cfg
@@ -161,28 +165,48 @@ func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
161 s.mu.Unlock()
165 s.mu.Unlock()
162 return ConfigView{}, err
166 return ConfigView{}, err
163 }
167 }
168 oldListen := s.Cfg.Listen
169 listenChanged := next.Listen != oldListen
170 if listenChanged && s.isServing() {
171 // Eerst binden, pas daarna bewaren: bij een fout blijft alles hetzelfde.
172 s.mu.Unlock()
173 if err := s.Relisten(next.Listen); err != nil {
174 return ConfigView{}, err
175 }
176 s.mu.Lock()
177 // Relisten is gelukt; als opslaan faalt, zetten we de listener terug.
178 }
164 merged := map[string]string{}
179 merged := map[string]string{}
165 for k, v := range s.settings {
180 for k, v := range s.settings {
166 merged[k] = v
181 merged[k] = v
167 }
182 }
168 for k := range set {
183 for k := range set {
184 if f, ok := config.FieldByKey(k); ok && f.Readonly {
185 s.mu.Unlock()
186 return ConfigView{}, fmt.Errorf("%s is niet instelbaar in de webinterface of API", k)
187 }
169 merged[k] = next.Get(k)
188 merged[k] = next.Get(k)
170 }
189 }
171 if err := config.SaveSettings(next.DataDir, merged); err != nil {
190 if err := config.SaveSettings(next.DataDir, merged); err != nil {
191 if listenChanged && s.isServing() {
192 s.mu.Unlock()
193 _ = s.Relisten(oldListen)
194 s.mu.Lock()
195 }
172 s.mu.Unlock()
196 s.mu.Unlock()
173 return ConfigView{}, err
197 return ConfigView{}, err
174 }
198 }
175 for _, f := range config.Fields {
176 if f.Restart {
177 if _, ok := set[f.Key]; ok && next.Get(f.Key) != s.Cfg.Get(f.Key) {
178 s.restartPending = true
179 }
180 // De draaiende waarde blijft tot de herstart.
181 _ = next.Set(f.Key, s.Cfg.Get(f.Key))
182 }
183 }
184 s.settings = merged
199 s.settings = merged
185 s.Cfg = next
200 s.Cfg = next
201 s.restartPending = false
202 view := s.configViewLocked()
203 if listenChanged {
204 where := view.Listening
205 if where == "" {
206 where = next.Listen
207 }
208 view.ListenNotice = "De server luistert nu op " + where + "."
209 }
186 s.mu.Unlock()
210 s.mu.Unlock()
187 s.limiter.SetRate(next.RateLimitKiB << 10)
211 s.limiter.SetRate(next.RateLimitKiB << 10)
188 keys := make([]string, 0, len(set))
212 keys := make([]string, 0, len(set))
@@ -191,9 +215,8 @@ func (s *Server) UpdateConfig(set map[string]string) (ConfigView, error) {
191 }
215 }
192 sort.Strings(keys)
216 sort.Strings(keys)
193 s.Log.Info("instellingen gewijzigd", "keys", strings.Join(keys, ","))
217 s.Log.Info("instellingen gewijzigd", "keys", strings.Join(keys, ","))
194 // Kortere intervallen meteen laten gelden.
195 s.Kick()
218 s.Kick()
196 return s.ConfigView(), nil
219 return view, nil
197}
220}
198
221
199func (s *Server) actConfigUpdate(ctx context.Context, in Input) (int, any) {
222func (s *Server) actConfigUpdate(ctx context.Context, in Input) (int, any) {
internal/backupserver/server/listen.go added +132 −0
@@ -0,0 +1,132 @@
1 package server
2
3 import (
4 "context"
5 "errors"
6 "fmt"
7 "net"
8 "net/http"
9 "sync"
10 "time"
11 )
12
13 // httpServe beschermt de draaiende http.Server en listener, zodat listen
14 // live omgezet kan worden zonder het proces te herstarten.
15 type httpServe struct {
16 mu sync.Mutex
17 hs *http.Server
18 ln net.Listener
19 gen uint64
20 bound string
21 stopping bool
22 serving bool
23 }
24
25 // BoundAddr is het adres waarop de server nu luistert (leeg als hij niet
26 // via ListenAndServe draait).
27 func (s *Server) BoundAddr() string {
28 s.http.mu.Lock()
29 defer s.http.mu.Unlock()
30 return s.http.bound
31 }
32
33 func (s *Server) isServing() bool {
34 s.http.mu.Lock()
35 defer s.http.mu.Unlock()
36 return s.http.serving && !s.http.stopping
37 }
38
39 // ListenAndServe luistert op cfg.Listen tot ctx klaar is. Een wijziging
40 // van listen via UpdateConfig zet de listener om zonder terug te keren.
41 func (s *Server) ListenAndServe(ctx context.Context) error {
42 addr := s.cfg().Listen
43 ln, err := net.Listen("tcp", addr)
44 if err != nil {
45 return err
46 }
47 s.setListener(ln, newHTTPServer(s))
48 s.Log.Info("bluegit-backup luistert", "addr", ln.Addr().String(), "public_url", s.cfg().PublicURL, "version", Version)
49
50 go func() {
51 <-ctx.Done()
52 s.stopHTTP()
53 }()
54
55 for {
56 s.http.mu.Lock()
57 hs, ln, gen, stopping := s.http.hs, s.http.ln, s.http.gen, s.http.stopping
58 s.http.mu.Unlock()
59 if stopping || hs == nil || ln == nil {
60 return nil
61 }
62 err := hs.Serve(ln)
63 s.http.mu.Lock()
64 rebound := s.http.gen != gen
65 stopping = s.http.stopping
66 s.http.mu.Unlock()
67 if rebound {
68 continue
69 }
70 if err != nil && !errors.Is(err, http.ErrServerClosed) && !stopping {
71 return err
72 }
73 return nil
74 }
75 }
76
77 func newHTTPServer(s *Server) *http.Server {
78 return &http.Server{Handler: s.Handler(), ReadHeaderTimeout: 10 * time.Second}
79 }
80
81 func (s *Server) setListener(ln net.Listener, hs *http.Server) {
82 s.http.mu.Lock()
83 defer s.http.mu.Unlock()
84 s.http.hs = hs
85 s.http.ln = ln
86 s.http.bound = ln.Addr().String()
87 s.http.serving = true
88 }
89
90 // Relisten probeert op addr te gaan luisteren. Lukt dat niet, dan blijft
91 // de oude listener staan en gaat er niets verloren.
92 func (s *Server) Relisten(addr string) error {
93 ln, err := net.Listen("tcp", addr)
94 if err != nil {
95 cur := s.BoundAddr()
96 if cur == "" {
97 cur = s.cfg().Listen
98 }
99 return fmt.Errorf("kan niet luisteren op %s: %w; blijft luisteren op %s", addr, err, cur)
100 }
101 newHS := newHTTPServer(s)
102 s.http.mu.Lock()
103 oldHS := s.http.hs
104 s.http.hs = newHS
105 s.http.ln = ln
106 s.http.bound = ln.Addr().String()
107 s.http.gen++
108 s.http.serving = true
109 s.http.mu.Unlock()
110 if oldHS != nil {
111 go func() {
112 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
113 defer cancel()
114 _ = oldHS.Shutdown(ctx)
115 }()
116 }
117 s.Log.Info("bluegit-backup luistert nu elders", "addr", ln.Addr().String())
118 return nil
119 }
120
121 func (s *Server) stopHTTP() {
122 s.http.mu.Lock()
123 s.http.stopping = true
124 hs := s.http.hs
125 s.http.mu.Unlock()
126 if hs == nil {
127 return
128 }
129 ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
130 defer cancel()
131 _ = hs.Shutdown(ctx)
132 }
@@ -0,0 +1,132 @@
1package server
2
3import (
4 "context"
5 "errors"
6 "fmt"
7 "net"
8 "net/http"
9 "sync"
10 "time"
11)
12
13// httpServe beschermt de draaiende http.Server en listener, zodat listen
14// live omgezet kan worden zonder het proces te herstarten.
15type httpServe struct {
16 mu sync.Mutex
17 hs *http.Server
18 ln net.Listener
19 gen uint64
20 bound string
21 stopping bool
22 serving bool
23}
24
25// BoundAddr is het adres waarop de server nu luistert (leeg als hij niet
26// via ListenAndServe draait).
27func (s *Server) BoundAddr() string {
28 s.http.mu.Lock()
29 defer s.http.mu.Unlock()
30 return s.http.bound
31}
32
33func (s *Server) isServing() bool {
34 s.http.mu.Lock()
35 defer s.http.mu.Unlock()
36 return s.http.serving && !s.http.stopping
37}
38
39// ListenAndServe luistert op cfg.Listen tot ctx klaar is. Een wijziging
40// van listen via UpdateConfig zet de listener om zonder terug te keren.
41func (s *Server) ListenAndServe(ctx context.Context) error {
42 addr := s.cfg().Listen
43 ln, err := net.Listen("tcp", addr)
44 if err != nil {
45 return err
46 }
47 s.setListener(ln, newHTTPServer(s))
48 s.Log.Info("bluegit-backup luistert", "addr", ln.Addr().String(), "public_url", s.cfg().PublicURL, "version", Version)
49
50 go func() {
51 <-ctx.Done()
52 s.stopHTTP()
53 }()
54
55 for {
56 s.http.mu.Lock()
57 hs, ln, gen, stopping := s.http.hs, s.http.ln, s.http.gen, s.http.stopping
58 s.http.mu.Unlock()
59 if stopping || hs == nil || ln == nil {
60 return nil
61 }
62 err := hs.Serve(ln)
63 s.http.mu.Lock()
64 rebound := s.http.gen != gen
65 stopping = s.http.stopping
66 s.http.mu.Unlock()
67 if rebound {
68 continue
69 }
70 if err != nil && !errors.Is(err, http.ErrServerClosed) && !stopping {
71 return err
72 }
73 return nil
74 }
75}
76
77func newHTTPServer(s *Server) *http.Server {
78 return &http.Server{Handler: s.Handler(), ReadHeaderTimeout: 10 * time.Second}
79}
80
81func (s *Server) setListener(ln net.Listener, hs *http.Server) {
82 s.http.mu.Lock()
83 defer s.http.mu.Unlock()
84 s.http.hs = hs
85 s.http.ln = ln
86 s.http.bound = ln.Addr().String()
87 s.http.serving = true
88}
89
90// Relisten probeert op addr te gaan luisteren. Lukt dat niet, dan blijft
91// de oude listener staan en gaat er niets verloren.
92func (s *Server) Relisten(addr string) error {
93 ln, err := net.Listen("tcp", addr)
94 if err != nil {
95 cur := s.BoundAddr()
96 if cur == "" {
97 cur = s.cfg().Listen
98 }
99 return fmt.Errorf("kan niet luisteren op %s: %w; blijft luisteren op %s", addr, err, cur)
100 }
101 newHS := newHTTPServer(s)
102 s.http.mu.Lock()
103 oldHS := s.http.hs
104 s.http.hs = newHS
105 s.http.ln = ln
106 s.http.bound = ln.Addr().String()
107 s.http.gen++
108 s.http.serving = true
109 s.http.mu.Unlock()
110 if oldHS != nil {
111 go func() {
112 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
113 defer cancel()
114 _ = oldHS.Shutdown(ctx)
115 }()
116 }
117 s.Log.Info("bluegit-backup luistert nu elders", "addr", ln.Addr().String())
118 return nil
119}
120
121func (s *Server) stopHTTP() {
122 s.http.mu.Lock()
123 s.http.stopping = true
124 hs := s.http.hs
125 s.http.mu.Unlock()
126 if hs == nil {
127 return
128 }
129 ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
130 defer cancel()
131 _ = hs.Shutdown(ctx)
132}
internal/backupserver/server/listen_test.go added +134 −0
@@ -0,0 +1,134 @@
1 package server
2
3 import (
4 "context"
5 "net"
6 "net/http"
7 "strings"
8 "testing"
9 "time"
10 )
11
12 func TestListenAndServeRebindAndFallback(t *testing.T) {
13 s := newTestServer(t)
14 ctx, cancel := context.WithCancel(context.Background())
15 t.Cleanup(cancel)
16 s.Cfg.Listen = "127.0.0.1:0"
17 errCh := make(chan error, 1)
18 go func() { errCh <- s.ListenAndServe(ctx) }()
19
20 var addr string
21 deadline := time.Now().Add(3 * time.Second)
22 for time.Now().Before(deadline) {
23 addr = s.BoundAddr()
24 if addr != "" {
25 break
26 }
27 time.Sleep(10 * time.Millisecond)
28 }
29 if addr == "" {
30 t.Fatal("niet gaan luisteren")
31 }
32 if _, err := http.Get("http://" + addr + "/login"); err != nil {
33 t.Fatalf("eerste adres: %v", err)
34 }
35
36 ln2, err := net.Listen("tcp", "127.0.0.1:0")
37 if err != nil {
38 t.Fatal(err)
39 }
40 busy := ln2.Addr().String()
41 t.Cleanup(func() { _ = ln2.Close() })
42
43 if _, err := s.UpdateConfig(map[string]string{"listen": busy}); err == nil {
44 t.Fatal("bezet adres geaccepteerd")
45 } else if !strings.Contains(err.Error(), "blijft luisteren op") {
46 t.Fatalf("foutmelding: %v", err)
47 }
48 if s.cfg().Listen != "127.0.0.1:0" && s.cfg().Listen != addr {
49 // Cfg.Listen kan 127.0.0.1:0 zijn (startwaarde); de listener moet het oude adres houden.
50 }
51 if got := s.BoundAddr(); got != addr {
52 t.Fatalf("na mislukte omzetting %s, wil %s", got, addr)
53 }
54 if _, err := http.Get("http://" + addr + "/login"); err != nil {
55 t.Fatalf("oud adres dood na mislukte omzetting: %v", err)
56 }
57
58 nextLn, err := net.Listen("tcp", "127.0.0.1:0")
59 if err != nil {
60 t.Fatal(err)
61 }
62 next := nextLn.Addr().String()
63 _ = nextLn.Close()
64 view, err := s.UpdateConfig(map[string]string{"listen": next})
65 if err != nil {
66 t.Fatal(err)
67 }
68 if view.ListenNotice == "" || !strings.Contains(view.ListenNotice, next) {
69 t.Fatalf("melding ontbreekt: %+v", view)
70 }
71 if s.cfg().Listen != next {
72 t.Fatalf("listen niet bijgewerkt: %s", s.cfg().Listen)
73 }
74 // Even wachten tot de nieuwe listener dient.
75 deadline = time.Now().Add(3 * time.Second)
76 var last error
77 for time.Now().Before(deadline) {
78 _, last = http.Get("http://" + next + "/login")
79 if last == nil {
80 break
81 }
82 time.Sleep(10 * time.Millisecond)
83 }
84 if last != nil {
85 t.Fatalf("nieuw adres: %v", last)
86 }
87 // Het oude adres moet dicht zijn (of een andere dienst; wij sloten het).
88 // Niet strikt falen als SO_REUSEADDR het nog even openhoudt; wel de bound addr checken.
89 if got := s.BoundAddr(); got != next {
90 t.Fatalf("bound %s, wil %s", got, next)
91 }
92
93 cancel()
94 select {
95 case err := <-errCh:
96 if err != nil {
97 t.Fatal(err)
98 }
99 case <-time.After(5 * time.Second):
100 t.Fatal("ListenAndServe stopte niet")
101 }
102 }
103
104 func TestUpdateConfigListenWithoutServe(t *testing.T) {
105 s := newTestServer(t)
106 view, err := s.UpdateConfig(map[string]string{"listen": "127.0.0.1:9555", "public_url": "http://192.168.1.50:8080"})
107 if err != nil {
108 t.Fatal(err)
109 }
110 if s.cfg().Listen != "127.0.0.1:9555" {
111 t.Fatalf("listen hoort meteen te gelden, kreeg %s", s.cfg().Listen)
112 }
113 if view.Restart {
114 t.Fatal("geen herstart meer nodig")
115 }
116 if getField(view, "public_url") != "http://192.168.1.50:8080" {
117 t.Fatalf("public_url %q", getField(view, "public_url"))
118 }
119 if getField(view, "data_dir") != s.Cfg.DataDir {
120 t.Fatalf("data_dir ontbreekt in fields")
121 }
122 if _, err := s.UpdateConfig(map[string]string{"data_dir": "/tmp"}); err == nil {
123 t.Fatal("data_dir zou geweigerd moeten worden")
124 }
125 }
126
127 func getField(v ConfigView, key string) string {
128 for _, f := range v.Fields {
129 if f.Key == key {
130 return f.Value
131 }
132 }
133 return ""
134 }
@@ -0,0 +1,134 @@
1package server
2
3import (
4 "context"
5 "net"
6 "net/http"
7 "strings"
8 "testing"
9 "time"
10)
11
12func TestListenAndServeRebindAndFallback(t *testing.T) {
13 s := newTestServer(t)
14 ctx, cancel := context.WithCancel(context.Background())
15 t.Cleanup(cancel)
16 s.Cfg.Listen = "127.0.0.1:0"
17 errCh := make(chan error, 1)
18 go func() { errCh <- s.ListenAndServe(ctx) }()
19
20 var addr string
21 deadline := time.Now().Add(3 * time.Second)
22 for time.Now().Before(deadline) {
23 addr = s.BoundAddr()
24 if addr != "" {
25 break
26 }
27 time.Sleep(10 * time.Millisecond)
28 }
29 if addr == "" {
30 t.Fatal("niet gaan luisteren")
31 }
32 if _, err := http.Get("http://" + addr + "/login"); err != nil {
33 t.Fatalf("eerste adres: %v", err)
34 }
35
36 ln2, err := net.Listen("tcp", "127.0.0.1:0")
37 if err != nil {
38 t.Fatal(err)
39 }
40 busy := ln2.Addr().String()
41 t.Cleanup(func() { _ = ln2.Close() })
42
43 if _, err := s.UpdateConfig(map[string]string{"listen": busy}); err == nil {
44 t.Fatal("bezet adres geaccepteerd")
45 } else if !strings.Contains(err.Error(), "blijft luisteren op") {
46 t.Fatalf("foutmelding: %v", err)
47 }
48 if s.cfg().Listen != "127.0.0.1:0" && s.cfg().Listen != addr {
49 // Cfg.Listen kan 127.0.0.1:0 zijn (startwaarde); de listener moet het oude adres houden.
50 }
51 if got := s.BoundAddr(); got != addr {
52 t.Fatalf("na mislukte omzetting %s, wil %s", got, addr)
53 }
54 if _, err := http.Get("http://" + addr + "/login"); err != nil {
55 t.Fatalf("oud adres dood na mislukte omzetting: %v", err)
56 }
57
58 nextLn, err := net.Listen("tcp", "127.0.0.1:0")
59 if err != nil {
60 t.Fatal(err)
61 }
62 next := nextLn.Addr().String()
63 _ = nextLn.Close()
64 view, err := s.UpdateConfig(map[string]string{"listen": next})
65 if err != nil {
66 t.Fatal(err)
67 }
68 if view.ListenNotice == "" || !strings.Contains(view.ListenNotice, next) {
69 t.Fatalf("melding ontbreekt: %+v", view)
70 }
71 if s.cfg().Listen != next {
72 t.Fatalf("listen niet bijgewerkt: %s", s.cfg().Listen)
73 }
74 // Even wachten tot de nieuwe listener dient.
75 deadline = time.Now().Add(3 * time.Second)
76 var last error
77 for time.Now().Before(deadline) {
78 _, last = http.Get("http://" + next + "/login")
79 if last == nil {
80 break
81 }
82 time.Sleep(10 * time.Millisecond)
83 }
84 if last != nil {
85 t.Fatalf("nieuw adres: %v", last)
86 }
87 // Het oude adres moet dicht zijn (of een andere dienst; wij sloten het).
88 // Niet strikt falen als SO_REUSEADDR het nog even openhoudt; wel de bound addr checken.
89 if got := s.BoundAddr(); got != next {
90 t.Fatalf("bound %s, wil %s", got, next)
91 }
92
93 cancel()
94 select {
95 case err := <-errCh:
96 if err != nil {
97 t.Fatal(err)
98 }
99 case <-time.After(5 * time.Second):
100 t.Fatal("ListenAndServe stopte niet")
101 }
102}
103
104func TestUpdateConfigListenWithoutServe(t *testing.T) {
105 s := newTestServer(t)
106 view, err := s.UpdateConfig(map[string]string{"listen": "127.0.0.1:9555", "public_url": "http://192.168.1.50:8080"})
107 if err != nil {
108 t.Fatal(err)
109 }
110 if s.cfg().Listen != "127.0.0.1:9555" {
111 t.Fatalf("listen hoort meteen te gelden, kreeg %s", s.cfg().Listen)
112 }
113 if view.Restart {
114 t.Fatal("geen herstart meer nodig")
115 }
116 if getField(view, "public_url") != "http://192.168.1.50:8080" {
117 t.Fatalf("public_url %q", getField(view, "public_url"))
118 }
119 if getField(view, "data_dir") != s.Cfg.DataDir {
120 t.Fatalf("data_dir ontbreekt in fields")
121 }
122 if _, err := s.UpdateConfig(map[string]string{"data_dir": "/tmp"}); err == nil {
123 t.Fatal("data_dir zou geweigerd moeten worden")
124 }
125}
126
127func getField(v ConfigView, key string) string {
128 for _, f := range v.Fields {
129 if f.Key == key {
130 return f.Value
131 }
132 }
133 return ""
134}
internal/backupserver/server/server.go +46 −1
@@ -66,6 +66,10 @@ type Server struct {
66 66 restartPending bool
67 67 sessions map[string]session
68 68 loginFails map[string][]time.Time
69 progress mirror.Progress
70 lastProgressAt time.Time
71
72 http httpServe
69 73 }
70 74
71 75 // cfg is de huidige configuratie (instellingen kunnen tijdens het draaien
@@ -111,6 +115,8 @@ func New(cfg config.Config, log *slog.Logger) (*Server, error) {
111 115 }
112 116 s.limiter = throttle.New(cfg.RateLimitKiB << 10)
113 117 s.mirror = &mirror.Mirror{Dir: filepath.Join(cfg.DataDir, "mirror"), Index: filepath.Join(cfg.DataDir, "mirror.index.json")}
118 s.mirror.OnProgress = s.noteProgress
119 s.progress = s.mirror.CurrentProgress()
114 120 s.archives = &archive.Store{Dir: filepath.Join(cfg.DataDir, "archives")}
115 121 _ = os.RemoveAll(filepath.Join(cfg.DataDir, "tmp"))
116 122 if list, _ := s.archives.List(); len(list) > 0 {
@@ -195,6 +201,30 @@ func (s *Server) Run(ctx context.Context) {
195 201 }
196 202
197 203 // Kick vraagt om een sync (na een melding).
204 func (s *Server) noteProgress(p mirror.Progress) {
205 s.mu.Lock()
206 s.progress = p
207 due := s.lastProgressAt.IsZero() || s.now().Sub(s.lastProgressAt) >= 2*time.Second || !p.Syncing || p.Percent == 100
208 if due {
209 s.lastProgressAt = s.now()
210 }
211 st := s.state
212 s.mu.Unlock()
213 if !due || !st.Connected() {
214 return
215 }
216 go s.pushProgress(st, p)
217 }
218
219 func (s *Server) pushProgress(st State, p mirror.Progress) {
220 ctx, cancel := context.WithTimeout(context.Background(), 8*time.Second)
221 defer cancel()
222 rem := s.remote(st)
223 if err := rem.ReportProgress(ctx, p); err != nil && s.Log != nil {
224 s.Log.Debug("voortgang niet gemeld aan BlueGit", "err", err)
225 }
226 }
227
198 228 func (s *Server) Kick() {
199 229 select {
200 230 case s.kick <- struct{}{}:
@@ -263,10 +293,19 @@ func (s *Server) SyncNow(ctx context.Context) (mirror.Stats, error) {
263 293 s.lastStats = stats
264 294 if err != nil {
265 295 s.lastSyncErr = err.Error()
296 s.progress.Syncing = false
266 297 } else {
267 298 s.lastSyncErr = ""
299 if !s.progress.Known {
300 s.progress = s.mirror.CurrentProgress()
301 }
302 s.progress.Syncing = false
268 303 }
304 p, st := s.progress, s.state
269 305 s.mu.Unlock()
306 if st.Connected() {
307 go s.pushProgress(st, p)
308 }
270 309 if err != nil {
271 310 s.Log.Warn("sync mislukt", "err", err)
272 311 } else if stats.Downloaded > 0 || stats.Deleted > 0 {
@@ -452,6 +491,10 @@ type Status struct {
452 491 BlueGitVersion string `json:"bluegit_version,omitempty"`
453 492 Compat string `json:"compat"`
454 493 CompatMessage string `json:"compat_message,omitempty"`
494 // Sync is de voortgang van de kopie t.o.v. het laatste BlueGit-manifest.
495 // Known is false als er nog nooit een manifest is opgehaald (optioneel
496 // veld; oudere clients negeren het).
497 Sync mirror.Progress `json:"sync"`
455 498 }
456 499
457 500 // Status geeft de huidige stand.
@@ -467,6 +510,7 @@ func (s *Server) Status() Status {
467 510 LastArchive: s.lastArchive, ArchiveError: s.archiveErr, Interval: s.Cfg.ArchiveInterval.String(),
468 511 RetentionDays: s.Cfg.RetentionDays, RateLimitKiB: s.Cfg.RateLimitKiB, Rollback: s.rollback,
469 512 Protocol: protocol.Protocol(), MinProtocol: protocol.MinProtocol(), Compat: compat, CompatMessage: compatMessage(compat, peer),
513 Sync: s.progress,
470 514 }
471 515 if s.bluegitKnown {
472 516 st.BlueGitProtocol, st.BlueGitMinProtocol, st.BlueGitVersion = peer.Protocol, peer.MinProtocol, peer.Version
@@ -517,7 +561,7 @@ func (s *Server) Connect(ctx context.Context, in ConnectRequest) (map[string]any
517 561 }
518 562 pub := s.cfg().PublicURL
519 563 if pub == "" {
520 return nil, nil, fmt.Errorf("%w: zet public_url in de configuratie; BlueGit moet deze server kunnen bereiken", errBadRequest)
564 return nil, nil, fmt.Errorf("%w: zet het publieke adres onder Instellingen in de webinterface (of via de API); BlueGit moet deze server kunnen bereiken", errBadRequest)
521 565 }
522 566 s.work.Lock()
523 567 defer s.work.Unlock()
@@ -554,6 +598,7 @@ func (s *Server) Connect(ctx context.Context, in ConnectRequest) (map[string]any
554 598 }
555 599 s.mu.Lock()
556 600 s.lastArchive = time.Time{}
601 s.progress = mirror.Progress{}
557 602 s.mu.Unlock()
558 603 s.Log.Warn("oude backups verwijderd voor een nieuwe BlueGit", "old", old.InstanceID, "new", info.InstanceID)
559 604 }
@@ -66,6 +66,10 @@ type Server struct {
66 restartPending bool
66 restartPending bool
67 sessions map[string]session
67 sessions map[string]session
68 loginFails map[string][]time.Time
68 loginFails map[string][]time.Time
69 progress mirror.Progress
70 lastProgressAt time.Time
71
72 http httpServe
69}
73}
70
74
71// cfg is de huidige configuratie (instellingen kunnen tijdens het draaien
75// cfg is de huidige configuratie (instellingen kunnen tijdens het draaien
@@ -111,6 +115,8 @@ func New(cfg config.Config, log *slog.Logger) (*Server, error) {
111 }
115 }
112 s.limiter = throttle.New(cfg.RateLimitKiB << 10)
116 s.limiter = throttle.New(cfg.RateLimitKiB << 10)
113 s.mirror = &mirror.Mirror{Dir: filepath.Join(cfg.DataDir, "mirror"), Index: filepath.Join(cfg.DataDir, "mirror.index.json")}
117 s.mirror = &mirror.Mirror{Dir: filepath.Join(cfg.DataDir, "mirror"), Index: filepath.Join(cfg.DataDir, "mirror.index.json")}
118 s.mirror.OnProgress = s.noteProgress
119 s.progress = s.mirror.CurrentProgress()
114 s.archives = &archive.Store{Dir: filepath.Join(cfg.DataDir, "archives")}
120 s.archives = &archive.Store{Dir: filepath.Join(cfg.DataDir, "archives")}
115 _ = os.RemoveAll(filepath.Join(cfg.DataDir, "tmp"))
121 _ = os.RemoveAll(filepath.Join(cfg.DataDir, "tmp"))
116 if list, _ := s.archives.List(); len(list) > 0 {
122 if list, _ := s.archives.List(); len(list) > 0 {
@@ -195,6 +201,30 @@ func (s *Server) Run(ctx context.Context) {
195}
201}
196
202
197// Kick vraagt om een sync (na een melding).
203// Kick vraagt om een sync (na een melding).
204func (s *Server) noteProgress(p mirror.Progress) {
205 s.mu.Lock()
206 s.progress = p
207 due := s.lastProgressAt.IsZero() || s.now().Sub(s.lastProgressAt) >= 2*time.Second || !p.Syncing || p.Percent == 100
208 if due {
209 s.lastProgressAt = s.now()
210 }
211 st := s.state
212 s.mu.Unlock()
213 if !due || !st.Connected() {
214 return
215 }
216 go s.pushProgress(st, p)
217}
218
219func (s *Server) pushProgress(st State, p mirror.Progress) {
220 ctx, cancel := context.WithTimeout(context.Background(), 8*time.Second)
221 defer cancel()
222 rem := s.remote(st)
223 if err := rem.ReportProgress(ctx, p); err != nil && s.Log != nil {
224 s.Log.Debug("voortgang niet gemeld aan BlueGit", "err", err)
225 }
226}
227
198func (s *Server) Kick() {
228func (s *Server) Kick() {
199 select {
229 select {
200 case s.kick <- struct{}{}:
230 case s.kick <- struct{}{}:
@@ -263,10 +293,19 @@ func (s *Server) SyncNow(ctx context.Context) (mirror.Stats, error) {
263 s.lastStats = stats
293 s.lastStats = stats
264 if err != nil {
294 if err != nil {
265 s.lastSyncErr = err.Error()
295 s.lastSyncErr = err.Error()
296 s.progress.Syncing = false
266 } else {
297 } else {
267 s.lastSyncErr = ""
298 s.lastSyncErr = ""
299 if !s.progress.Known {
300 s.progress = s.mirror.CurrentProgress()
301 }
302 s.progress.Syncing = false
268 }
303 }
304 p, st := s.progress, s.state
269 s.mu.Unlock()
305 s.mu.Unlock()
306 if st.Connected() {
307 go s.pushProgress(st, p)
308 }
270 if err != nil {
309 if err != nil {
271 s.Log.Warn("sync mislukt", "err", err)
310 s.Log.Warn("sync mislukt", "err", err)
272 } else if stats.Downloaded > 0 || stats.Deleted > 0 {
311 } else if stats.Downloaded > 0 || stats.Deleted > 0 {
@@ -452,6 +491,10 @@ type Status struct {
452 BlueGitVersion string `json:"bluegit_version,omitempty"`
491 BlueGitVersion string `json:"bluegit_version,omitempty"`
453 Compat string `json:"compat"`
492 Compat string `json:"compat"`
454 CompatMessage string `json:"compat_message,omitempty"`
493 CompatMessage string `json:"compat_message,omitempty"`
494 // Sync is de voortgang van de kopie t.o.v. het laatste BlueGit-manifest.
495 // Known is false als er nog nooit een manifest is opgehaald (optioneel
496 // veld; oudere clients negeren het).
497 Sync mirror.Progress `json:"sync"`
455}
498}
456
499
457// Status geeft de huidige stand.
500// Status geeft de huidige stand.
@@ -467,6 +510,7 @@ func (s *Server) Status() Status {
467 LastArchive: s.lastArchive, ArchiveError: s.archiveErr, Interval: s.Cfg.ArchiveInterval.String(),
510 LastArchive: s.lastArchive, ArchiveError: s.archiveErr, Interval: s.Cfg.ArchiveInterval.String(),
468 RetentionDays: s.Cfg.RetentionDays, RateLimitKiB: s.Cfg.RateLimitKiB, Rollback: s.rollback,
511 RetentionDays: s.Cfg.RetentionDays, RateLimitKiB: s.Cfg.RateLimitKiB, Rollback: s.rollback,
469 Protocol: protocol.Protocol(), MinProtocol: protocol.MinProtocol(), Compat: compat, CompatMessage: compatMessage(compat, peer),
512 Protocol: protocol.Protocol(), MinProtocol: protocol.MinProtocol(), Compat: compat, CompatMessage: compatMessage(compat, peer),
513 Sync: s.progress,
470 }
514 }
471 if s.bluegitKnown {
515 if s.bluegitKnown {
472 st.BlueGitProtocol, st.BlueGitMinProtocol, st.BlueGitVersion = peer.Protocol, peer.MinProtocol, peer.Version
516 st.BlueGitProtocol, st.BlueGitMinProtocol, st.BlueGitVersion = peer.Protocol, peer.MinProtocol, peer.Version
@@ -517,7 +561,7 @@ func (s *Server) Connect(ctx context.Context, in ConnectRequest) (map[string]any
517 }
561 }
518 pub := s.cfg().PublicURL
562 pub := s.cfg().PublicURL
519 if pub == "" {
563 if pub == "" {
520 return nil, nil, fmt.Errorf("%w: zet public_url in de configuratie; BlueGit moet deze server kunnen bereiken", errBadRequest)
564 return nil, nil, fmt.Errorf("%w: zet het publieke adres onder Instellingen in de webinterface (of via de API); BlueGit moet deze server kunnen bereiken", errBadRequest)
521 }
565 }
522 s.work.Lock()
566 s.work.Lock()
523 defer s.work.Unlock()
567 defer s.work.Unlock()
@@ -554,6 +598,7 @@ func (s *Server) Connect(ctx context.Context, in ConnectRequest) (map[string]any
554 }
598 }
555 s.mu.Lock()
599 s.mu.Lock()
556 s.lastArchive = time.Time{}
600 s.lastArchive = time.Time{}
601 s.progress = mirror.Progress{}
557 s.mu.Unlock()
602 s.mu.Unlock()
558 s.Log.Warn("oude backups verwijderd voor een nieuwe BlueGit", "old", old.InstanceID, "new", info.InstanceID)
603 s.Log.Warn("oude backups verwijderd voor een nieuwe BlueGit", "old", old.InstanceID, "new", info.InstanceID)
559 }
604 }
internal/backupserver/server/ui.go +12 −11
@@ -203,14 +203,15 @@ func (s *Server) uiLogout(w http.ResponseWriter, r *http.Request) {
203 203 // pageData is wat de webinterface toont: precies de uitkomst van de
204 204 // GET-acties uit Actions.
205 205 type pageData struct {
206 CSRF string
207 Flash string
208 FlashErr bool
209 Status Status
210 Config ConfigView
211 Archives []archive.Archive
212 Actions []Action
213 Version string
206 CSRF string
207 Flash string
208 FlashErr bool
209 Status Status
210 Config ConfigView
211 Archives []archive.Archive
212 Actions []Action
213 Version string
214 AdminToken string
214 215 }
215 216
216 217 func (s *Server) uiIndex(w http.ResponseWriter, r *http.Request) {
@@ -219,7 +220,7 @@ func (s *Server) uiIndex(w http.ResponseWriter, r *http.Request) {
219 220 http.Redirect(w, r, "/login", http.StatusSeeOther)
220 221 return
221 222 }
222 d := pageData{CSRF: sess.csrf, Status: s.Status(), Config: s.ConfigView(), Actions: s.Actions(), Version: Version}
223 d := pageData{CSRF: sess.csrf, Status: s.Status(), Config: s.ConfigView(), Actions: s.Actions(), Version: Version, AdminToken: s.AdminToken()}
223 224 d.Archives, _ = s.archives.List()
224 225 d.Flash, d.FlashErr = s.takeFlash(r)
225 226 s.render(w, "index.html", d)
@@ -291,8 +292,8 @@ func describe(a Action, code int, out any) (string, bool) {
291 292 case "rollback":
292 293 return "Rollback gestart. BlueGit herstart zodra de data er staat.", false
293 294 case "config.update":
294 if v, ok := out.(ConfigView); ok && v.Restart {
295 return "Instellingen opgeslagen. Een deel geldt pas na een herstart.", false
295 if v, ok := out.(ConfigView); ok && v.ListenNotice != "" {
296 return "Instellingen opgeslagen. " + v.ListenNotice, false
296 297 }
297 298 return "Instellingen opgeslagen.", false
298 299 }
@@ -203,14 +203,15 @@ func (s *Server) uiLogout(w http.ResponseWriter, r *http.Request) {
203// pageData is wat de webinterface toont: precies de uitkomst van de
203// pageData is wat de webinterface toont: precies de uitkomst van de
204// GET-acties uit Actions.
204// GET-acties uit Actions.
205type pageData struct {
205type pageData struct {
206 CSRF string
206 CSRF string
207 Flash string
207 Flash string
208 FlashErr bool
208 FlashErr bool
209 Status Status
209 Status Status
210 Config ConfigView
210 Config ConfigView
211 Archives []archive.Archive
211 Archives []archive.Archive
212 Actions []Action
212 Actions []Action
213 Version string
213 Version string
214 AdminToken string
214}
215}
215
216
216func (s *Server) uiIndex(w http.ResponseWriter, r *http.Request) {
217func (s *Server) uiIndex(w http.ResponseWriter, r *http.Request) {
@@ -219,7 +220,7 @@ func (s *Server) uiIndex(w http.ResponseWriter, r *http.Request) {
219 http.Redirect(w, r, "/login", http.StatusSeeOther)
220 http.Redirect(w, r, "/login", http.StatusSeeOther)
220 return
221 return
221 }
222 }
222 d := pageData{CSRF: sess.csrf, Status: s.Status(), Config: s.ConfigView(), Actions: s.Actions(), Version: Version}
223 d := pageData{CSRF: sess.csrf, Status: s.Status(), Config: s.ConfigView(), Actions: s.Actions(), Version: Version, AdminToken: s.AdminToken()}
223 d.Archives, _ = s.archives.List()
224 d.Archives, _ = s.archives.List()
224 d.Flash, d.FlashErr = s.takeFlash(r)
225 d.Flash, d.FlashErr = s.takeFlash(r)
225 s.render(w, "index.html", d)
226 s.render(w, "index.html", d)
@@ -291,8 +292,8 @@ func describe(a Action, code int, out any) (string, bool) {
291 case "rollback":
292 case "rollback":
292 return "Rollback gestart. BlueGit herstart zodra de data er staat.", false
293 return "Rollback gestart. BlueGit herstart zodra de data er staat.", false
293 case "config.update":
294 case "config.update":
294 if v, ok := out.(ConfigView); ok && v.Restart {
295 if v, ok := out.(ConfigView); ok && v.ListenNotice != "" {
295 return "Instellingen opgeslagen. Een deel geldt pas na een herstart.", false
296 return "Instellingen opgeslagen. " + v.ListenNotice, false
296 }
297 }
297 return "Instellingen opgeslagen.", false
298 return "Instellingen opgeslagen.", false
298 }
299 }
internal/backupserver/server/ui_test.go +20 −5
@@ -115,7 +115,7 @@ func TestUIAndAPIParity(t *testing.T) {
115 115 t.Errorf("formulier %s hoort bij geen API-actie", f)
116 116 }
117 117 // Alle GET-acties geven hun gegevens ook op de pagina.
118 for _, want := range []string{"Overzicht", "cfg-archive_interval", "cfg-listen", "bluegit-", "/api/v1/admin/config"} {
118 for _, want := range []string{"Overzicht", "Gesynchroniseerd", "cfg-archive_interval", "cfg-listen", "cfg-data_dir", "bluegit-", "/api/v1/admin/config"} {
119 119 if !strings.Contains(page, want) {
120 120 t.Errorf("pagina mist %q", want)
121 121 }
@@ -139,9 +139,12 @@ func TestUISettingsAndCSRF(t *testing.T) {
139 139 t.Fatalf("opslaan %d %s", w.Code, w.Body)
140 140 }
141 141 page := c.do("GET", "/", nil).Body.String()
142 if !strings.Contains(page, "Instellingen opgeslagen") || !strings.Contains(page, "herstart") {
142 if !strings.Contains(page, "Instellingen opgeslagen") {
143 143 t.Fatalf("melding ontbreekt")
144 144 }
145 if strings.Contains(page, "pas na een herstart") {
146 t.Fatalf("herstart-melding hoort weg te zijn: %s", page)
147 }
145 148 cv := s.ConfigView()
146 149 get := func(k string) string {
147 150 for _, f := range cv.Fields {
@@ -151,14 +154,26 @@ func TestUISettingsAndCSRF(t *testing.T) {
151 154 }
152 155 return ""
153 156 }
154 if get("retention_days") != "9" || get("archive_interval") != "12h" || get("listen") != "127.0.0.1:9999" || !cv.Restart {
157 if get("retention_days") != "9" || get("archive_interval") != "12h" || get("listen") != "127.0.0.1:9999" || cv.Restart {
155 158 t.Fatalf("%+v", cv)
156 159 }
157 160 if s.limiter.Rate() != 300<<10 {
158 161 t.Fatalf("rate %d", s.limiter.Rate())
159 162 }
160 if s.cfg().Listen == "127.0.0.1:9999" {
161 t.Fatal("listen hoort pas na herstart te gelden")
163 if s.cfg().Listen != "127.0.0.1:9999" {
164 t.Fatal("listen hoort meteen te gelden")
165 }
166 if !strings.Contains(page, "cfg-data_dir") || !strings.Contains(page, "Gegevensmap") {
167 t.Fatalf("data_dir niet zichtbaar")
168 }
169 if !strings.Contains(page, s.AdminToken()) {
170 t.Fatal("beheertoken ontbreekt op de pagina")
171 }
172 if !strings.Contains(page, `placeholder="http://192.168.1.50:8080"`) {
173 t.Fatal("IP-voorbeeld ontbreekt bij public_url")
174 }
175 if !strings.Contains(page, `name="on_conflict" value="wipe"`) || !strings.Contains(page, `name="on_conflict" value="restore"`) || !strings.Contains(page, `name="url"`) || !strings.Contains(page, `name="key"`) {
176 t.Fatal("koppelingsformulier incompleet")
162 177 }
163 178 // Bewaard: een nieuwe server leest het.
164 179 s2, err := New(s.Cfg, nil)
@@ -115,7 +115,7 @@ func TestUIAndAPIParity(t *testing.T) {
115 t.Errorf("formulier %s hoort bij geen API-actie", f)
115 t.Errorf("formulier %s hoort bij geen API-actie", f)
116 }
116 }
117 // Alle GET-acties geven hun gegevens ook op de pagina.
117 // Alle GET-acties geven hun gegevens ook op de pagina.
118 for _, want := range []string{"Overzicht", "cfg-archive_interval", "cfg-listen", "bluegit-", "/api/v1/admin/config"} {
118 for _, want := range []string{"Overzicht", "Gesynchroniseerd", "cfg-archive_interval", "cfg-listen", "cfg-data_dir", "bluegit-", "/api/v1/admin/config"} {
119 if !strings.Contains(page, want) {
119 if !strings.Contains(page, want) {
120 t.Errorf("pagina mist %q", want)
120 t.Errorf("pagina mist %q", want)
121 }
121 }
@@ -139,9 +139,12 @@ func TestUISettingsAndCSRF(t *testing.T) {
139 t.Fatalf("opslaan %d %s", w.Code, w.Body)
139 t.Fatalf("opslaan %d %s", w.Code, w.Body)
140 }
140 }
141 page := c.do("GET", "/", nil).Body.String()
141 page := c.do("GET", "/", nil).Body.String()
142 if !strings.Contains(page, "Instellingen opgeslagen") || !strings.Contains(page, "herstart") {
142 if !strings.Contains(page, "Instellingen opgeslagen") {
143 t.Fatalf("melding ontbreekt")
143 t.Fatalf("melding ontbreekt")
144 }
144 }
145 if strings.Contains(page, "pas na een herstart") {
146 t.Fatalf("herstart-melding hoort weg te zijn: %s", page)
147 }
145 cv := s.ConfigView()
148 cv := s.ConfigView()
146 get := func(k string) string {
149 get := func(k string) string {
147 for _, f := range cv.Fields {
150 for _, f := range cv.Fields {
@@ -151,14 +154,26 @@ func TestUISettingsAndCSRF(t *testing.T) {
151 }
154 }
152 return ""
155 return ""
153 }
156 }
154 if get("retention_days") != "9" || get("archive_interval") != "12h" || get("listen") != "127.0.0.1:9999" || !cv.Restart {
157 if get("retention_days") != "9" || get("archive_interval") != "12h" || get("listen") != "127.0.0.1:9999" || cv.Restart {
155 t.Fatalf("%+v", cv)
158 t.Fatalf("%+v", cv)
156 }
159 }
157 if s.limiter.Rate() != 300<<10 {
160 if s.limiter.Rate() != 300<<10 {
158 t.Fatalf("rate %d", s.limiter.Rate())
161 t.Fatalf("rate %d", s.limiter.Rate())
159 }
162 }
160 if s.cfg().Listen == "127.0.0.1:9999" {
163 if s.cfg().Listen != "127.0.0.1:9999" {
161 t.Fatal("listen hoort pas na herstart te gelden")
164 t.Fatal("listen hoort meteen te gelden")
165 }
166 if !strings.Contains(page, "cfg-data_dir") || !strings.Contains(page, "Gegevensmap") {
167 t.Fatalf("data_dir niet zichtbaar")
168 }
169 if !strings.Contains(page, s.AdminToken()) {
170 t.Fatal("beheertoken ontbreekt op de pagina")
171 }
172 if !strings.Contains(page, `placeholder="http://192.168.1.50:8080"`) {
173 t.Fatal("IP-voorbeeld ontbreekt bij public_url")
174 }
175 if !strings.Contains(page, `name="on_conflict" value="wipe"`) || !strings.Contains(page, `name="on_conflict" value="restore"`) || !strings.Contains(page, `name="url"`) || !strings.Contains(page, `name="key"`) {
176 t.Fatal("koppelingsformulier incompleet")
162 }
177 }
163 // Bewaard: een nieuwe server leest het.
178 // Bewaard: een nieuwe server leest het.
164 s2, err := New(s.Cfg, nil)
179 s2, err := New(s.Cfg, nil)
internal/backupserver/server/web/index.html +13 −8
@@ -16,6 +16,7 @@
16 16 <dt>Laatste sync-resultaat</dt><dd>{{.Status.LastStats.Files}} bestanden, {{.Status.LastStats.Downloaded}} opgehaald ({{bytes .Status.LastStats.Bytes}}), {{.Status.LastStats.Deleted}} verwijderd</dd>
17 17 <dt>Syncs / meldingen</dt><dd>{{.Status.Syncs}} / {{.Status.Notifies}}</dd>
18 18 <dt>Kopie</dt><dd>{{bytes .Status.MirrorBytes}}</dd>
19 <dt>Gesynchroniseerd</dt><dd>{{if .Status.Sync.Known}}<div class="syncbar"><progress value="{{.Status.Sync.Percent}}" max="100" aria-label="{{.Status.Sync.Percent}} procent van BlueGit staat al in de kopie">{{.Status.Sync.Percent}}%</progress> <span class="syncbar-label">{{.Status.Sync.Percent}}%</span>{{if .Status.Sync.Syncing}} <span class="syncbar-state">bezig…</span>{{end}}</div>{{else}}<span class="syncbar-state">onbekend</span>{{end}}</dd>
19 20 <dt>Archieven</dt><dd>{{.Status.Archives}}, laatste {{when .Status.LastArchive}}{{if .Status.ArchiveError}} <span class="badge off">{{.Status.ArchiveError}}</span>{{end}}</dd>
20 21 <dt>Rollback</dt><dd>{{.Status.Rollback.State}}{{if .Status.Rollback.Archive}} ({{.Status.Rollback.Archive}}){{end}}{{if .Status.Rollback.Error}} <span class="badge off">{{.Status.Rollback.Error}}</span>{{end}}</dd>
21 22 <dt>Versie</dt><dd>{{.Status.Version}} <small>server-id {{.Status.ServerID}}</small></dd>
@@ -42,14 +43,17 @@
42 43
43 44 <section id="config">
44 45 <h2>Instellingen</h2>
45 {{if .Config.Restart}}<div class="flash">Er staat een wijziging klaar die pas na een herstart geldt.</div>{{end}}
46 {{if .Config.ListenNotice}}<div class="flash">{{.Config.ListenNotice}}</div>{{end}}
46 47 <form method="post" action="/ui/act/config.update">
47 48 <input type="hidden" name="csrf" value="{{.CSRF}}">
48 49 {{range .Config.Fields}}
49 <label for="cfg-{{.Key}}">{{.Label}} <small>{{.Help}}{{if .Restart}} (na herstart){{end}}</small></label>
50 <input id="cfg-{{.Key}}" type="text" name="{{.Key}}" value="{{.Value}}">
50 <label for="cfg-{{.Key}}">{{.Label}} <small>{{.Help}}</small></label>
51 {{if .Readonly}}
52 <p><code id="cfg-{{.Key}}">{{.Value}}</code></p>
53 {{else}}
54 <input id="cfg-{{.Key}}" type="text" name="{{.Key}}" value="{{.Value}}"{{if .Placeholder}} placeholder="{{.Placeholder}}"{{end}}>
55 {{end}}
51 56 {{end}}
52 <p><small>Gegevensmap: <code>{{.Config.DataDir}}</code> (alleen in config.yml)</small></p>
53 57 <p><button type="submit">Opslaan</button></p>
54 58 </form>
55 59 </section>
@@ -82,8 +86,9 @@ Alle gegevens van BlueGit worden vervangen door de inhoud van het archief. Alles
82 86 </section>
83 87
84 88 <section id="api">
85 <h2>API</h2>
86 <p><small>Alles hierboven kan ook via de API, met <code>Authorization: Bearer &lt;admin.token&gt;</code>. Acties met ✓ kan ook de gekoppelde BlueGit uitvoeren.</small></p>
89 <h2>API en toegang</h2>
90 <p>Beheertoken (voor de API en opnieuw inloggen): <code id="admin-token">{{.AdminToken}}</code></p>
91 <p><small>Alles hierboven kan ook via de API, met <code>Authorization: Bearer</code> en dit token. Acties met ✓ kan ook de gekoppelde BlueGit uitvoeren. Het token staat ook in <code>data_dir/admin.token</code>.</small></p>
87 92 <table><thead><tr><th>Methode</th><th>Pad</th><th>Actie</th><th>BlueGit</th></tr></thead><tbody>
88 93 {{range .Actions}}<tr><td><code>{{.Method}}</code></td><td><code>{{.Path}}</code></td><td>{{.Title}}</td><td>{{if .Signed}}✓{{end}}</td></tr>{{end}}
89 94 </tbody></table>
@@ -93,8 +98,8 @@ Alle gegevens van BlueGit worden vervangen door de inhoud van het archief. Alles
93 98 {{define "connectform"}}
94 99 <form method="post" action="/ui/act/connect">
95 100 <input type="hidden" name="csrf" value="{{.CSRF}}">
96 <label for="c-url">BlueGit-adres</label><input id="c-url" type="url" name="url" placeholder="https://git.example.com" value="{{.Status.BlueGitURL}}" required>
97 <label for="c-key">Backupserver-Key</label><input id="c-key" type="password" name="key" placeholder="bgbk_…" autocomplete="off" required>
101 <label for="c-url">BlueGit-adres <small>Het http(s)-adres van je BlueGit, een domein of een IP-adres.</small></label><input id="c-url" type="text" name="url" placeholder="https://git.example.com" value="{{.Status.BlueGitURL}}" required>
102 <label for="c-key">Backupserver-Key <small>Die maak je in BlueGit onder Beheer → Backup. Hij begint met bgbk_ en wordt één keer getoond.</small></label><input id="c-key" type="password" name="key" placeholder="bgbk_…" autocomplete="off" required>
98 103 <label>Hoorde deze server eerder bij een andere BlueGit?</label>
99 104 <label><input type="radio" name="on_conflict" value="" checked> Nee, of vraag het eerst</label>
100 105 <label><input type="radio" name="on_conflict" value="wipe"> Oude backups wissen en opnieuw beginnen</label>
@@ -16,6 +16,7 @@
16<dt>Laatste sync-resultaat</dt><dd>{{.Status.LastStats.Files}} bestanden, {{.Status.LastStats.Downloaded}} opgehaald ({{bytes .Status.LastStats.Bytes}}), {{.Status.LastStats.Deleted}} verwijderd</dd>
16<dt>Laatste sync-resultaat</dt><dd>{{.Status.LastStats.Files}} bestanden, {{.Status.LastStats.Downloaded}} opgehaald ({{bytes .Status.LastStats.Bytes}}), {{.Status.LastStats.Deleted}} verwijderd</dd>
17<dt>Syncs / meldingen</dt><dd>{{.Status.Syncs}} / {{.Status.Notifies}}</dd>
17<dt>Syncs / meldingen</dt><dd>{{.Status.Syncs}} / {{.Status.Notifies}}</dd>
18<dt>Kopie</dt><dd>{{bytes .Status.MirrorBytes}}</dd>
18<dt>Kopie</dt><dd>{{bytes .Status.MirrorBytes}}</dd>
19<dt>Gesynchroniseerd</dt><dd>{{if .Status.Sync.Known}}<div class="syncbar"><progress value="{{.Status.Sync.Percent}}" max="100" aria-label="{{.Status.Sync.Percent}} procent van BlueGit staat al in de kopie">{{.Status.Sync.Percent}}%</progress> <span class="syncbar-label">{{.Status.Sync.Percent}}%</span>{{if .Status.Sync.Syncing}} <span class="syncbar-state">bezig…</span>{{end}}</div>{{else}}<span class="syncbar-state">onbekend</span>{{end}}</dd>
19<dt>Archieven</dt><dd>{{.Status.Archives}}, laatste {{when .Status.LastArchive}}{{if .Status.ArchiveError}} <span class="badge off">{{.Status.ArchiveError}}</span>{{end}}</dd>
20<dt>Archieven</dt><dd>{{.Status.Archives}}, laatste {{when .Status.LastArchive}}{{if .Status.ArchiveError}} <span class="badge off">{{.Status.ArchiveError}}</span>{{end}}</dd>
20<dt>Rollback</dt><dd>{{.Status.Rollback.State}}{{if .Status.Rollback.Archive}} ({{.Status.Rollback.Archive}}){{end}}{{if .Status.Rollback.Error}} <span class="badge off">{{.Status.Rollback.Error}}</span>{{end}}</dd>
21<dt>Rollback</dt><dd>{{.Status.Rollback.State}}{{if .Status.Rollback.Archive}} ({{.Status.Rollback.Archive}}){{end}}{{if .Status.Rollback.Error}} <span class="badge off">{{.Status.Rollback.Error}}</span>{{end}}</dd>
21<dt>Versie</dt><dd>{{.Status.Version}} <small>server-id {{.Status.ServerID}}</small></dd>
22<dt>Versie</dt><dd>{{.Status.Version}} <small>server-id {{.Status.ServerID}}</small></dd>
@@ -42,14 +43,17 @@
42
43
43<section id="config">
44<section id="config">
44<h2>Instellingen</h2>
45<h2>Instellingen</h2>
45{{if .Config.Restart}}<div class="flash">Er staat een wijziging klaar die pas na een herstart geldt.</div>{{end}}
46{{if .Config.ListenNotice}}<div class="flash">{{.Config.ListenNotice}}</div>{{end}}
46<form method="post" action="/ui/act/config.update">
47<form method="post" action="/ui/act/config.update">
47<input type="hidden" name="csrf" value="{{.CSRF}}">
48<input type="hidden" name="csrf" value="{{.CSRF}}">
48{{range .Config.Fields}}
49{{range .Config.Fields}}
49<label for="cfg-{{.Key}}">{{.Label}} <small>{{.Help}}{{if .Restart}} (na herstart){{end}}</small></label>
50<label for="cfg-{{.Key}}">{{.Label}} <small>{{.Help}}</small></label>
50<input id="cfg-{{.Key}}" type="text" name="{{.Key}}" value="{{.Value}}">
51{{if .Readonly}}
52<p><code id="cfg-{{.Key}}">{{.Value}}</code></p>
53{{else}}
54<input id="cfg-{{.Key}}" type="text" name="{{.Key}}" value="{{.Value}}"{{if .Placeholder}} placeholder="{{.Placeholder}}"{{end}}>
55{{end}}
51{{end}}
56{{end}}
52<p><small>Gegevensmap: <code>{{.Config.DataDir}}</code> (alleen in config.yml)</small></p>
53<p><button type="submit">Opslaan</button></p>
57<p><button type="submit">Opslaan</button></p>
54</form>
58</form>
55</section>
59</section>
@@ -82,8 +86,9 @@ Alle gegevens van BlueGit worden vervangen door de inhoud van het archief. Alles
82</section>
86</section>
83
87
84<section id="api">
88<section id="api">
85<h2>API</h2>
89<h2>API en toegang</h2>
86<p><small>Alles hierboven kan ook via de API, met <code>Authorization: Bearer &lt;admin.token&gt;</code>. Acties met ✓ kan ook de gekoppelde BlueGit uitvoeren.</small></p>
90<p>Beheertoken (voor de API en opnieuw inloggen): <code id="admin-token">{{.AdminToken}}</code></p>
91<p><small>Alles hierboven kan ook via de API, met <code>Authorization: Bearer</code> en dit token. Acties met ✓ kan ook de gekoppelde BlueGit uitvoeren. Het token staat ook in <code>data_dir/admin.token</code>.</small></p>
87<table><thead><tr><th>Methode</th><th>Pad</th><th>Actie</th><th>BlueGit</th></tr></thead><tbody>
92<table><thead><tr><th>Methode</th><th>Pad</th><th>Actie</th><th>BlueGit</th></tr></thead><tbody>
88{{range .Actions}}<tr><td><code>{{.Method}}</code></td><td><code>{{.Path}}</code></td><td>{{.Title}}</td><td>{{if .Signed}}✓{{end}}</td></tr>{{end}}
93{{range .Actions}}<tr><td><code>{{.Method}}</code></td><td><code>{{.Path}}</code></td><td>{{.Title}}</td><td>{{if .Signed}}✓{{end}}</td></tr>{{end}}
89</tbody></table>
94</tbody></table>
@@ -93,8 +98,8 @@ Alle gegevens van BlueGit worden vervangen door de inhoud van het archief. Alles
93{{define "connectform"}}
98{{define "connectform"}}
94<form method="post" action="/ui/act/connect">
99<form method="post" action="/ui/act/connect">
95<input type="hidden" name="csrf" value="{{.CSRF}}">
100<input type="hidden" name="csrf" value="{{.CSRF}}">
96<label for="c-url">BlueGit-adres</label><input id="c-url" type="url" name="url" placeholder="https://git.example.com" value="{{.Status.BlueGitURL}}" required>
101<label for="c-url">BlueGit-adres <small>Het http(s)-adres van je BlueGit, een domein of een IP-adres.</small></label><input id="c-url" type="text" name="url" placeholder="https://git.example.com" value="{{.Status.BlueGitURL}}" required>
97<label for="c-key">Backupserver-Key</label><input id="c-key" type="password" name="key" placeholder="bgbk_…" autocomplete="off" required>
102<label for="c-key">Backupserver-Key <small>Die maak je in BlueGit onder Beheer → Backup. Hij begint met bgbk_ en wordt één keer getoond.</small></label><input id="c-key" type="password" name="key" placeholder="bgbk_…" autocomplete="off" required>
98<label>Hoorde deze server eerder bij een andere BlueGit?</label>
103<label>Hoorde deze server eerder bij een andere BlueGit?</label>
99<label><input type="radio" name="on_conflict" value="" checked> Nee, of vraag het eerst</label>
104<label><input type="radio" name="on_conflict" value="" checked> Nee, of vraag het eerst</label>
100<label><input type="radio" name="on_conflict" value="wipe"> Oude backups wissen en opnieuw beginnen</label>
105<label><input type="radio" name="on_conflict" value="wipe"> Oude backups wissen en opnieuw beginnen</label>
internal/backupserver/server/web/login.html +4 −1
@@ -5,7 +5,10 @@
5 5 <h2>Inloggen</h2>
6 6 {{if .Error}}<div class="flash err">Dat token klopt niet.</div>{{end}}
7 7 <form method="post" action="/login">
8 <label for="token">Beheertoken <small>Staat in <code>data_dir/admin.token</code>. Toon het met <code>sudo -u bluegit-backup bluegit-backup token</code>.</small></label>
8 <p>Het beheertoken krijg je (als root of de gebruiker van de dienst) met:</p>
9 <pre><code>sudo -u bluegit-backup bluegit-backup token</code></pre>
10 <p><small>Het staat ook in <code>data_dir/admin.token</code> (standaard <code>/var/lib/bluegit-backup/admin.token</code>).</small></p>
11 <label for="token">Beheertoken</label>
9 12 <input id="token" name="token" type="password" autocomplete="current-password" required autofocus>
10 13 <p><button type="submit">Inloggen</button></p>
11 14 </form>
@@ -5,7 +5,10 @@
5<h2>Inloggen</h2>
5<h2>Inloggen</h2>
6{{if .Error}}<div class="flash err">Dat token klopt niet.</div>{{end}}
6{{if .Error}}<div class="flash err">Dat token klopt niet.</div>{{end}}
7<form method="post" action="/login">
7<form method="post" action="/login">
8<label for="token">Beheertoken <small>Staat in <code>data_dir/admin.token</code>. Toon het met <code>sudo -u bluegit-backup bluegit-backup token</code>.</small></label>
8<p>Het beheertoken krijg je (als root of de gebruiker van de dienst) met:</p>
9<pre><code>sudo -u bluegit-backup bluegit-backup token</code></pre>
10<p><small>Het staat ook in <code>data_dir/admin.token</code> (standaard <code>/var/lib/bluegit-backup/admin.token</code>).</small></p>
11<label for="token">Beheertoken</label>
9<input id="token" name="token" type="password" autocomplete="current-password" required autofocus>
12<input id="token" name="token" type="password" autocomplete="current-password" required autofocus>
10<p><button type="submit">Inloggen</button></p>
13<p><button type="submit">Inloggen</button></p>
11</form>
14</form>
internal/backupserver/server/web/style.html +4 −0
@@ -22,4 +22,8 @@ table{width:100%;border-collapse:collapse}th,td{text-align:left;padding:.4rem .5
22 22 .backup-danger strong{color:var(--danger);font-size:1.1rem;display:block}
23 23 details{margin-top:.5rem}code{background:var(--bg);padding:0 .3rem;border-radius:4px}
24 24 .login{max-width:420px;margin:4rem auto}
25 .syncbar{display:inline-flex;align-items:center;gap:.45rem}
26 .syncbar progress{width:8rem;height:.6rem;accent-color:var(--blue,#1f6feb);vertical-align:middle}
27 .syncbar-label{font-variant-numeric:tabular-nums;font-weight:650}
28 .syncbar-state{color:var(--muted,#57606a);font-size:.9em}
25 29 </style>{{end}}
@@ -22,4 +22,8 @@ table{width:100%;border-collapse:collapse}th,td{text-align:left;padding:.4rem .5
22.backup-danger strong{color:var(--danger);font-size:1.1rem;display:block}
22.backup-danger strong{color:var(--danger);font-size:1.1rem;display:block}
23details{margin-top:.5rem}code{background:var(--bg);padding:0 .3rem;border-radius:4px}
23details{margin-top:.5rem}code{background:var(--bg);padding:0 .3rem;border-radius:4px}
24.login{max-width:420px;margin:4rem auto}
24.login{max-width:420px;margin:4rem auto}
25.syncbar{display:inline-flex;align-items:center;gap:.45rem}
26.syncbar progress{width:8rem;height:.6rem;accent-color:var(--blue,#1f6feb);vertical-align:middle}
27.syncbar-label{font-variant-numeric:tabular-nums;font-weight:650}
28.syncbar-state{color:var(--muted,#57606a);font-size:.9em}
25</style>{{end}}
29</style>{{end}}
internal/i18n/catalog_backup_progress.go added +52 −0
@@ -0,0 +1,52 @@
1 package i18n
2
3 func init() {
4 addCatalog(en, backupProgressEN)
5 addCatalog(nl, backupProgressNL)
6 addCatalog(de, backupProgressDE)
7 addCatalog(fr, backupProgressFR)
8 }
9
10 var backupProgressEN = map[string]string{
11 "backup.col.sync": "Sync",
12 "backup.status.sync": "Synchronised",
13 "backup.sync.unknown": "unknown",
14 "backup.sync.offline": "offline",
15 "backup.sync.incompatible": "incompatible",
16 "backup.sync.running": "syncing…",
17 "backup.sync.percent": "%d%%",
18 "backup.sync.bar": "%d percent of this BlueGit is already on the backup server",
19 }
20
21 var backupProgressNL = map[string]string{
22 "backup.col.sync": "Sync",
23 "backup.status.sync": "Gesynchroniseerd",
24 "backup.sync.unknown": "onbekend",
25 "backup.sync.offline": "offline",
26 "backup.sync.incompatible": "niet compatibel",
27 "backup.sync.running": "bezig…",
28 "backup.sync.percent": "%d%%",
29 "backup.sync.bar": "%d procent van deze BlueGit staat al op de backup server",
30 }
31
32 var backupProgressDE = map[string]string{
33 "backup.col.sync": "Sync",
34 "backup.status.sync": "Synchronisiert",
35 "backup.sync.unknown": "unbekannt",
36 "backup.sync.offline": "offline",
37 "backup.sync.incompatible": "nicht kompatibel",
38 "backup.sync.running": "läuft…",
39 "backup.sync.percent": "%d%%",
40 "backup.sync.bar": "%d Prozent dieses BlueGit sind bereits auf dem Backup-Server",
41 }
42
43 var backupProgressFR = map[string]string{
44 "backup.col.sync": "Sync",
45 "backup.status.sync": "Synchronisé",
46 "backup.sync.unknown": "inconnu",
47 "backup.sync.offline": "hors ligne",
48 "backup.sync.incompatible": "incompatible",
49 "backup.sync.running": "en cours…",
50 "backup.sync.percent": "%d%%",
51 "backup.sync.bar": "%d pour cent de ce BlueGit est déjà sur le serveur de sauvegarde",
52 }
@@ -0,0 +1,52 @@
1package i18n
2
3func init() {
4 addCatalog(en, backupProgressEN)
5 addCatalog(nl, backupProgressNL)
6 addCatalog(de, backupProgressDE)
7 addCatalog(fr, backupProgressFR)
8}
9
10var backupProgressEN = map[string]string{
11 "backup.col.sync": "Sync",
12 "backup.status.sync": "Synchronised",
13 "backup.sync.unknown": "unknown",
14 "backup.sync.offline": "offline",
15 "backup.sync.incompatible": "incompatible",
16 "backup.sync.running": "syncing…",
17 "backup.sync.percent": "%d%%",
18 "backup.sync.bar": "%d percent of this BlueGit is already on the backup server",
19}
20
21var backupProgressNL = map[string]string{
22 "backup.col.sync": "Sync",
23 "backup.status.sync": "Gesynchroniseerd",
24 "backup.sync.unknown": "onbekend",
25 "backup.sync.offline": "offline",
26 "backup.sync.incompatible": "niet compatibel",
27 "backup.sync.running": "bezig…",
28 "backup.sync.percent": "%d%%",
29 "backup.sync.bar": "%d procent van deze BlueGit staat al op de backup server",
30}
31
32var backupProgressDE = map[string]string{
33 "backup.col.sync": "Sync",
34 "backup.status.sync": "Synchronisiert",
35 "backup.sync.unknown": "unbekannt",
36 "backup.sync.offline": "offline",
37 "backup.sync.incompatible": "nicht kompatibel",
38 "backup.sync.running": "läuft…",
39 "backup.sync.percent": "%d%%",
40 "backup.sync.bar": "%d Prozent dieses BlueGit sind bereits auf dem Backup-Server",
41}
42
43var backupProgressFR = map[string]string{
44 "backup.col.sync": "Sync",
45 "backup.status.sync": "Synchronisé",
46 "backup.sync.unknown": "inconnu",
47 "backup.sync.offline": "hors ligne",
48 "backup.sync.incompatible": "incompatible",
49 "backup.sync.running": "en cours…",
50 "backup.sync.percent": "%d%%",
51 "backup.sync.bar": "%d pour cent de ce BlueGit est déjà sur le serveur de sauvegarde",
52}
internal/server/backup.go +86 −8
@@ -10,6 +10,7 @@ import (
10 10 "os"
11 11 "strconv"
12 12 "strings"
13 "sync"
13 14 "sync/atomic"
14 15 "time"
15 16
@@ -35,11 +36,19 @@ var (
35 36 // BackupView is de stand op Beheer > Backup.
36 37 type BackupView struct {
37 38 InstanceID string
38 Servers []backup.Conn
39 Servers []BackupServerListItem
39 40 Max int
40 41 // Current is de geopende backup server (detailpagina).
41 42 Current *BackupServerView
42 43 NewKey string
44 // RefreshSec > 0: periodiek verversen zolang een sync loopt of nog niet 100% is.
45 RefreshSec int
46 }
47
48 // BackupServerListItem is één regel op Beheer → Backup, met voortgang.
49 type BackupServerListItem struct {
50 backup.Conn
51 Offline bool
43 52 }
44 53
45 54 // BackupServerView is één backup server met wat hij zelf meldt.
@@ -129,6 +138,7 @@ func (s *Server) mountBackup(mux *http.ServeMux) {
129 138 mux.HandleFunc("GET /api/v1/backup/manifest", s.backupKeyed(s.backupCompatible(s.backupManifest)))
130 139 mux.HandleFunc("GET /api/v1/backup/file", s.backupKeyed(s.backupCompatible(s.backupFile)))
131 140 mux.HandleFunc("POST /api/v1/backup/restore", s.backupKeyed(s.backupCompatible(s.backupRestore)))
141 mux.HandleFunc("POST /api/v1/backup/progress", s.backupKeyed(s.backupProgress))
132 142 mux.HandleFunc("GET /admin/backup", s.adminBackup)
133 143 mux.HandleFunc("POST /admin/backup/servers", s.adminBackupAdd)
134 144 mux.HandleFunc("GET /admin/backup/s/{id}", s.adminBackupServer)
@@ -264,6 +274,26 @@ func (s *Server) backupConnect(w http.ResponseWriter, r *http.Request) {
264 274 writeJSON(w, http.StatusOK, map[string]any{"instance_id": id, "server_url": c.ServerURL})
265 275 }
266 276
277 func (s *Server) backupProgress(w http.ResponseWriter, r *http.Request) {
278 var p backup.Progress
279 if err := json.NewDecoder(io.LimitReader(r.Body, 1<<16)).Decode(&p); err != nil {
280 backupErr(w, 400, "ongeldige JSON")
281 return
282 }
283 if p.Percent < 0 {
284 p.Percent = 0
285 }
286 if p.Percent > 100 {
287 p.Percent = 100
288 }
289 c := backupConnOf(r)
290 if err := s.backupMgr.SetSyncProgress(c.ID, p); err != nil {
291 backupErr(w, 500, err.Error())
292 return
293 }
294 writeJSON(w, http.StatusOK, map[string]any{"ok": true})
295 }
296
267 297 func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
268 298 id, err := s.backupMgr.InstanceID()
269 299 if err != nil {
@@ -336,14 +366,49 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {
336 366
337 367 // ---------- Beheer > Backup ----------
338 368
339 func (s *Server) backupList() *BackupView {
369 func (s *Server) backupList(ctx context.Context) *BackupView {
340 370 s.backupInit()
341 371 bv := &BackupView{Max: backup.MaxServers}
342 bv.Servers, _ = s.backupMgr.List()
372 list, _ := s.backupMgr.List()
343 373 bv.InstanceID, _ = s.backupMgr.InstanceID()
374 bv.Servers = s.enrichBackupList(ctx, list)
375 for _, it := range bv.Servers {
376 if it.Connected() && !it.Incompatible() && (it.Offline || !it.Sync.Known || it.Sync.Percent < 100 || it.Sync.Syncing) {
377 bv.RefreshSec = 15
378 break
379 }
380 }
344 381 return bv
345 382 }
346 383
384 func (s *Server) enrichBackupList(ctx context.Context, list []backup.Conn) []BackupServerListItem {
385 out := make([]BackupServerListItem, len(list))
386 var wg sync.WaitGroup
387 for i, c := range list {
388 out[i] = BackupServerListItem{Conn: c}
389 if !c.Connected() || c.Incompatible() {
390 continue
391 }
392 wg.Add(1)
393 go func(i int, c backup.Conn) {
394 defer wg.Done()
395 cctx, cancel := context.WithTimeout(ctx, 2*time.Second)
396 defer cancel()
397 st, err := s.backupClient().Status(cctx, c)
398 if err != nil {
399 out[i].Offline = true
400 return
401 }
402 if st.Sync.Known {
403 out[i].Sync = st.Sync
404 _ = s.backupMgr.SetSyncProgress(c.ID, st.Sync)
405 }
406 }(i, c)
407 }
408 wg.Wait()
409 return out
410 }
411
347 412 // backupServerView vraagt status, archieven en instellingen op bij de
348 413 // backup server.
349 414 func (s *Server) backupServerView(ctx context.Context, conn backup.Conn) *BackupServerView {
@@ -385,7 +450,10 @@ func (s *Server) adminBackup(w http.ResponseWriter, r *http.Request) {
385 450 }
386 451 v := s.view(w, r, "title.admin")
387 452 v.Page = "adminbackup"
388 v.Backup = s.backupList()
453 v.Backup = s.backupList(r.Context())
454 if v.Backup != nil && v.Backup.RefreshSec > 0 {
455 w.Header().Set("Refresh", strconv.Itoa(v.Backup.RefreshSec))
456 }
389 457 s.render(w, "adminbackup", v)
390 458 }
391 459
@@ -410,7 +478,7 @@ func (s *Server) adminBackupServer(w http.ResponseWriter, r *http.Request) {
410 478 }
411 479 v := s.view(w, r, "title.admin")
412 480 v.Page = "adminbackupserver"
413 v.Backup = s.backupList()
481 v.Backup = s.backupList(r.Context())
414 482 v.Backup.Current = s.backupServerView(r.Context(), conn)
415 483 if c, err := r.Cookie("bluegit_backup_key"); err == nil && c.Value != "" {
416 484 v.Backup.NewKey = c.Value
@@ -662,6 +730,9 @@ func backupConnJSON(c backup.Conn) map[string]any {
662 730 "bluegit": backup.Protocol(), "bluegit_min": backup.MinProtocol(),
663 731 "backup": c.PeerProtocol, "backup_min": c.PeerMinProtocol, "backup_version": c.PeerVersion,
664 732 }
733 if c.Sync.Known {
734 out["sync"] = c.Sync
735 }
665 736 return out
666 737 }
667 738
@@ -689,10 +760,17 @@ func (s *Server) apiAdminBackup(w http.ResponseWriter, r *http.Request) {
689 760 if !s.apiBackupAdmin(w, r) {
690 761 return
691 762 }
692 bv := s.backupList()
763 bv := s.backupList(r.Context())
693 764 servers := make([]map[string]any, 0, len(bv.Servers))
694 for _, c := range bv.Servers {
695 servers = append(servers, backupConnJSON(c))
765 for _, it := range bv.Servers {
766 row := backupConnJSON(it.Conn)
767 if it.Offline {
768 row["offline"] = true
769 }
770 if it.Sync.Known {
771 row["sync"] = it.Sync
772 }
773 servers = append(servers, row)
696 774 }
697 775 writeJSON(w, http.StatusOK, map[string]any{"instance_id": bv.InstanceID, "max_servers": bv.Max, "servers": servers})
698 776 }
@@ -10,6 +10,7 @@ import (
10 "os"
10 "os"
11 "strconv"
11 "strconv"
12 "strings"
12 "strings"
13 "sync"
13 "sync/atomic"
14 "sync/atomic"
14 "time"
15 "time"
15
16
@@ -35,11 +36,19 @@ var (
35// BackupView is de stand op Beheer > Backup.
36// BackupView is de stand op Beheer > Backup.
36type BackupView struct {
37type BackupView struct {
37 InstanceID string
38 InstanceID string
38 Servers []backup.Conn
39 Servers []BackupServerListItem
39 Max int
40 Max int
40 // Current is de geopende backup server (detailpagina).
41 // Current is de geopende backup server (detailpagina).
41 Current *BackupServerView
42 Current *BackupServerView
42 NewKey string
43 NewKey string
44 // RefreshSec > 0: periodiek verversen zolang een sync loopt of nog niet 100% is.
45 RefreshSec int
46}
47
48// BackupServerListItem is één regel op Beheer → Backup, met voortgang.
49type BackupServerListItem struct {
50 backup.Conn
51 Offline bool
43}
52}
44
53
45// BackupServerView is één backup server met wat hij zelf meldt.
54// BackupServerView is één backup server met wat hij zelf meldt.
@@ -129,6 +138,7 @@ func (s *Server) mountBackup(mux *http.ServeMux) {
129 mux.HandleFunc("GET /api/v1/backup/manifest", s.backupKeyed(s.backupCompatible(s.backupManifest)))
138 mux.HandleFunc("GET /api/v1/backup/manifest", s.backupKeyed(s.backupCompatible(s.backupManifest)))
130 mux.HandleFunc("GET /api/v1/backup/file", s.backupKeyed(s.backupCompatible(s.backupFile)))
139 mux.HandleFunc("GET /api/v1/backup/file", s.backupKeyed(s.backupCompatible(s.backupFile)))
131 mux.HandleFunc("POST /api/v1/backup/restore", s.backupKeyed(s.backupCompatible(s.backupRestore)))
140 mux.HandleFunc("POST /api/v1/backup/restore", s.backupKeyed(s.backupCompatible(s.backupRestore)))
141 mux.HandleFunc("POST /api/v1/backup/progress", s.backupKeyed(s.backupProgress))
132 mux.HandleFunc("GET /admin/backup", s.adminBackup)
142 mux.HandleFunc("GET /admin/backup", s.adminBackup)
133 mux.HandleFunc("POST /admin/backup/servers", s.adminBackupAdd)
143 mux.HandleFunc("POST /admin/backup/servers", s.adminBackupAdd)
134 mux.HandleFunc("GET /admin/backup/s/{id}", s.adminBackupServer)
144 mux.HandleFunc("GET /admin/backup/s/{id}", s.adminBackupServer)
@@ -264,6 +274,26 @@ func (s *Server) backupConnect(w http.ResponseWriter, r *http.Request) {
264 writeJSON(w, http.StatusOK, map[string]any{"instance_id": id, "server_url": c.ServerURL})
274 writeJSON(w, http.StatusOK, map[string]any{"instance_id": id, "server_url": c.ServerURL})
265}
275}
266
276
277func (s *Server) backupProgress(w http.ResponseWriter, r *http.Request) {
278 var p backup.Progress
279 if err := json.NewDecoder(io.LimitReader(r.Body, 1<<16)).Decode(&p); err != nil {
280 backupErr(w, 400, "ongeldige JSON")
281 return
282 }
283 if p.Percent < 0 {
284 p.Percent = 0
285 }
286 if p.Percent > 100 {
287 p.Percent = 100
288 }
289 c := backupConnOf(r)
290 if err := s.backupMgr.SetSyncProgress(c.ID, p); err != nil {
291 backupErr(w, 500, err.Error())
292 return
293 }
294 writeJSON(w, http.StatusOK, map[string]any{"ok": true})
295}
296
267func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
297func (s *Server) backupManifest(w http.ResponseWriter, r *http.Request) {
268 id, err := s.backupMgr.InstanceID()
298 id, err := s.backupMgr.InstanceID()
269 if err != nil {
299 if err != nil {
@@ -336,14 +366,49 @@ func (s *Server) backupRestore(w http.ResponseWriter, r *http.Request) {
336
366
337// ---------- Beheer > Backup ----------
367// ---------- Beheer > Backup ----------
338
368
339func (s *Server) backupList() *BackupView {
369func (s *Server) backupList(ctx context.Context) *BackupView {
340 s.backupInit()
370 s.backupInit()
341 bv := &BackupView{Max: backup.MaxServers}
371 bv := &BackupView{Max: backup.MaxServers}
342 bv.Servers, _ = s.backupMgr.List()
372 list, _ := s.backupMgr.List()
343 bv.InstanceID, _ = s.backupMgr.InstanceID()
373 bv.InstanceID, _ = s.backupMgr.InstanceID()
374 bv.Servers = s.enrichBackupList(ctx, list)
375 for _, it := range bv.Servers {
376 if it.Connected() && !it.Incompatible() && (it.Offline || !it.Sync.Known || it.Sync.Percent < 100 || it.Sync.Syncing) {
377 bv.RefreshSec = 15
378 break
379 }
380 }
344 return bv
381 return bv
345}
382}
346
383
384func (s *Server) enrichBackupList(ctx context.Context, list []backup.Conn) []BackupServerListItem {
385 out := make([]BackupServerListItem, len(list))
386 var wg sync.WaitGroup
387 for i, c := range list {
388 out[i] = BackupServerListItem{Conn: c}
389 if !c.Connected() || c.Incompatible() {
390 continue
391 }
392 wg.Add(1)
393 go func(i int, c backup.Conn) {
394 defer wg.Done()
395 cctx, cancel := context.WithTimeout(ctx, 2*time.Second)
396 defer cancel()
397 st, err := s.backupClient().Status(cctx, c)
398 if err != nil {
399 out[i].Offline = true
400 return
401 }
402 if st.Sync.Known {
403 out[i].Sync = st.Sync
404 _ = s.backupMgr.SetSyncProgress(c.ID, st.Sync)
405 }
406 }(i, c)
407 }
408 wg.Wait()
409 return out
410}
411
347// backupServerView vraagt status, archieven en instellingen op bij de
412// backupServerView vraagt status, archieven en instellingen op bij de
348// backup server.
413// backup server.
349func (s *Server) backupServerView(ctx context.Context, conn backup.Conn) *BackupServerView {
414func (s *Server) backupServerView(ctx context.Context, conn backup.Conn) *BackupServerView {
@@ -385,7 +450,10 @@ func (s *Server) adminBackup(w http.ResponseWriter, r *http.Request) {
385 }
450 }
386 v := s.view(w, r, "title.admin")
451 v := s.view(w, r, "title.admin")
387 v.Page = "adminbackup"
452 v.Page = "adminbackup"
388 v.Backup = s.backupList()
453 v.Backup = s.backupList(r.Context())
454 if v.Backup != nil && v.Backup.RefreshSec > 0 {
455 w.Header().Set("Refresh", strconv.Itoa(v.Backup.RefreshSec))
456 }
389 s.render(w, "adminbackup", v)
457 s.render(w, "adminbackup", v)
390}
458}
391
459
@@ -410,7 +478,7 @@ func (s *Server) adminBackupServer(w http.ResponseWriter, r *http.Request) {
410 }
478 }
411 v := s.view(w, r, "title.admin")
479 v := s.view(w, r, "title.admin")
412 v.Page = "adminbackupserver"
480 v.Page = "adminbackupserver"
413 v.Backup = s.backupList()
481 v.Backup = s.backupList(r.Context())
414 v.Backup.Current = s.backupServerView(r.Context(), conn)
482 v.Backup.Current = s.backupServerView(r.Context(), conn)
415 if c, err := r.Cookie("bluegit_backup_key"); err == nil && c.Value != "" {
483 if c, err := r.Cookie("bluegit_backup_key"); err == nil && c.Value != "" {
416 v.Backup.NewKey = c.Value
484 v.Backup.NewKey = c.Value
@@ -662,6 +730,9 @@ func backupConnJSON(c backup.Conn) map[string]any {
662 "bluegit": backup.Protocol(), "bluegit_min": backup.MinProtocol(),
730 "bluegit": backup.Protocol(), "bluegit_min": backup.MinProtocol(),
663 "backup": c.PeerProtocol, "backup_min": c.PeerMinProtocol, "backup_version": c.PeerVersion,
731 "backup": c.PeerProtocol, "backup_min": c.PeerMinProtocol, "backup_version": c.PeerVersion,
664 }
732 }
733 if c.Sync.Known {
734 out["sync"] = c.Sync
735 }
665 return out
736 return out
666}
737}
667
738
@@ -689,10 +760,17 @@ func (s *Server) apiAdminBackup(w http.ResponseWriter, r *http.Request) {
689 if !s.apiBackupAdmin(w, r) {
760 if !s.apiBackupAdmin(w, r) {
690 return
761 return
691 }
762 }
692 bv := s.backupList()
763 bv := s.backupList(r.Context())
693 servers := make([]map[string]any, 0, len(bv.Servers))
764 servers := make([]map[string]any, 0, len(bv.Servers))
694 for _, c := range bv.Servers {
765 for _, it := range bv.Servers {
695 servers = append(servers, backupConnJSON(c))
766 row := backupConnJSON(it.Conn)
767 if it.Offline {
768 row["offline"] = true
769 }
770 if it.Sync.Known {
771 row["sync"] = it.Sync
772 }
773 servers = append(servers, row)
696 }
774 }
697 writeJSON(w, http.StatusOK, map[string]any{"instance_id": bv.InstanceID, "max_servers": bv.Max, "servers": servers})
775 writeJSON(w, http.StatusOK, map[string]any{"instance_id": bv.InstanceID, "max_servers": bv.Max, "servers": servers})
698}
776}
internal/server/backup_test.go +45 −2
@@ -9,6 +9,7 @@ import (
9 9 "net/url"
10 10 "os"
11 11 "path/filepath"
12 "strconv"
12 13 "strings"
13 14 "sync"
14 15 "testing"
@@ -441,7 +442,7 @@ func TestBackupCompatBanner(t *testing.T) {
441 442 return res.StatusCode, b, res.Header
442 443 }
443 444 // Een backup server zonder koppen (v0.1.0) spreekt protocol 1: past.
444 if code, b, h := call("POST", "/api/v1/backup/connect", "", "", strings.NewReader(`{"server_url":"http://127.0.0.1:9","server_id":"s"}`)); code != 200 || h.Get(backup.HeaderBlueGitProtocol) != "1" {
445 if code, b, h := call("POST", "/api/v1/backup/connect", "", "", strings.NewReader(`{"server_url":"http://127.0.0.1:9","server_id":"s"}`)); code != 200 || h.Get(backup.HeaderBlueGitProtocol) != strconv.Itoa(backup.Protocol()) {
445 446 t.Fatalf("connect: %d %s %v", code, b, h)
446 447 }
447 448 if code, _, _ := call("GET", "/api/v1/backup/manifest", "", "", nil); code != 200 {
@@ -463,7 +464,7 @@ func TestBackupCompatBanner(t *testing.T) {
463 464
464 465 // De backup server vraagt minstens protocol 9: BlueGit is te oud.
465 466 code, b, _ := call("GET", "/api/v1/backup/info", "9", "9", nil)
466 if code != 200 || !strings.Contains(string(b), `"compat":"bluegit_too_old"`) || !strings.Contains(string(b), `"protocol":1`) {
467 if code != 200 || !strings.Contains(string(b), `"compat":"bluegit_too_old"`) || !strings.Contains(string(b), `"protocol":2`) {
467 468 t.Fatalf("info: %d %s", code, b)
468 469 }
469 470 code, b, _ = call("GET", "/api/v1/backup/manifest", "9", "9", nil)
@@ -502,3 +503,45 @@ func TestBackupCompatBanner(t *testing.T) {
502 503 t.Fatal("banner blijft na de update")
503 504 }
504 505 }
506
507 func TestBackupConnectAcceptsIPURLs(t *testing.T) {
508 e := newBackupEnv(t)
509 k := addBackupServer(t, e, "ip")
510 for _, u := range []string{"http://192.168.1.50:8080", "http://[2001:db8::1]:8080", "http://127.0.0.1:8080"} {
511 code, b := keyed(t, "POST", e.base+"/api/v1/backup/connect", k.Key, strings.NewReader(`{"server_url":"`+u+`","server_id":"s"}`))
512 if code != 200 {
513 t.Fatalf("%s: %d %s", u, code, b)
514 }
515 want := strings.TrimRight(u, "/")
516 if !strings.Contains(string(b), want) {
517 t.Fatalf("%s niet opgeslagen: %s", u, b)
518 }
519 }
520 }
521
522 func TestBackupProgressIsRecordedAndShown(t *testing.T) {
523 e := newBackupEnv(t)
524 k := addBackupServer(t, e, "nas")
525 // Eerst koppelen met een IP-URL (werkte al) zodat de server "connected" is.
526 if code, b := keyed(t, "POST", e.base+"/api/v1/backup/connect", k.Key, strings.NewReader(`{"server_url":"http://192.168.1.50:8080","server_id":"s"}`)); code != 200 {
527 t.Fatalf("connect: %d %s", code, b)
528 }
529 payload := `{"known":true,"percent":42,"done_bytes":42,"total_bytes":100,"done_files":1,"total_files":3}`
530 code, b := keyed(t, "POST", e.base+"/api/v1/backup/progress", k.Key, strings.NewReader(payload))
531 if code != 200 {
532 t.Fatalf("progress: %d %s", code, b)
533 }
534 c, ok := e.srv.backupMgr.Get(k.ID)
535 if !ok || !c.Sync.Known || c.Sync.Percent != 42 || c.Sync.TotalBytes != 100 {
536 t.Fatalf("niet bewaard: %+v", c.Sync)
537 }
538 tc, _ := sessionClient(t, e.st, e.base, e.tim.ID)
539 res, err := tc.Get(e.base + "/admin/backup")
540 if err != nil {
541 t.Fatal(err)
542 }
543 html := body(t, res)
544 if !strings.Contains(html, "42%") && !strings.Contains(html, `value="42"`) {
545 t.Fatalf("lijst toont geen voortgang:\n%s", html)
546 }
547 }
@@ -9,6 +9,7 @@ import (
9 "net/url"
9 "net/url"
10 "os"
10 "os"
11 "path/filepath"
11 "path/filepath"
12 "strconv"
12 "strings"
13 "strings"
13 "sync"
14 "sync"
14 "testing"
15 "testing"
@@ -441,7 +442,7 @@ func TestBackupCompatBanner(t *testing.T) {
441 return res.StatusCode, b, res.Header
442 return res.StatusCode, b, res.Header
442 }
443 }
443 // Een backup server zonder koppen (v0.1.0) spreekt protocol 1: past.
444 // Een backup server zonder koppen (v0.1.0) spreekt protocol 1: past.
444 if code, b, h := call("POST", "/api/v1/backup/connect", "", "", strings.NewReader(`{"server_url":"http://127.0.0.1:9","server_id":"s"}`)); code != 200 || h.Get(backup.HeaderBlueGitProtocol) != "1" {
445 if code, b, h := call("POST", "/api/v1/backup/connect", "", "", strings.NewReader(`{"server_url":"http://127.0.0.1:9","server_id":"s"}`)); code != 200 || h.Get(backup.HeaderBlueGitProtocol) != strconv.Itoa(backup.Protocol()) {
445 t.Fatalf("connect: %d %s %v", code, b, h)
446 t.Fatalf("connect: %d %s %v", code, b, h)
446 }
447 }
447 if code, _, _ := call("GET", "/api/v1/backup/manifest", "", "", nil); code != 200 {
448 if code, _, _ := call("GET", "/api/v1/backup/manifest", "", "", nil); code != 200 {
@@ -463,7 +464,7 @@ func TestBackupCompatBanner(t *testing.T) {
463
464
464 // De backup server vraagt minstens protocol 9: BlueGit is te oud.
465 // De backup server vraagt minstens protocol 9: BlueGit is te oud.
465 code, b, _ := call("GET", "/api/v1/backup/info", "9", "9", nil)
466 code, b, _ := call("GET", "/api/v1/backup/info", "9", "9", nil)
466 if code != 200 || !strings.Contains(string(b), `"compat":"bluegit_too_old"`) || !strings.Contains(string(b), `"protocol":1`) {
467 if code != 200 || !strings.Contains(string(b), `"compat":"bluegit_too_old"`) || !strings.Contains(string(b), `"protocol":2`) {
467 t.Fatalf("info: %d %s", code, b)
468 t.Fatalf("info: %d %s", code, b)
468 }
469 }
469 code, b, _ = call("GET", "/api/v1/backup/manifest", "9", "9", nil)
470 code, b, _ = call("GET", "/api/v1/backup/manifest", "9", "9", nil)
@@ -502,3 +503,45 @@ func TestBackupCompatBanner(t *testing.T) {
502 t.Fatal("banner blijft na de update")
503 t.Fatal("banner blijft na de update")
503 }
504 }
504}
505}
506
507func TestBackupConnectAcceptsIPURLs(t *testing.T) {
508 e := newBackupEnv(t)
509 k := addBackupServer(t, e, "ip")
510 for _, u := range []string{"http://192.168.1.50:8080", "http://[2001:db8::1]:8080", "http://127.0.0.1:8080"} {
511 code, b := keyed(t, "POST", e.base+"/api/v1/backup/connect", k.Key, strings.NewReader(`{"server_url":"`+u+`","server_id":"s"}`))
512 if code != 200 {
513 t.Fatalf("%s: %d %s", u, code, b)
514 }
515 want := strings.TrimRight(u, "/")
516 if !strings.Contains(string(b), want) {
517 t.Fatalf("%s niet opgeslagen: %s", u, b)
518 }
519 }
520}
521
522func TestBackupProgressIsRecordedAndShown(t *testing.T) {
523 e := newBackupEnv(t)
524 k := addBackupServer(t, e, "nas")
525 // Eerst koppelen met een IP-URL (werkte al) zodat de server "connected" is.
526 if code, b := keyed(t, "POST", e.base+"/api/v1/backup/connect", k.Key, strings.NewReader(`{"server_url":"http://192.168.1.50:8080","server_id":"s"}`)); code != 200 {
527 t.Fatalf("connect: %d %s", code, b)
528 }
529 payload := `{"known":true,"percent":42,"done_bytes":42,"total_bytes":100,"done_files":1,"total_files":3}`
530 code, b := keyed(t, "POST", e.base+"/api/v1/backup/progress", k.Key, strings.NewReader(payload))
531 if code != 200 {
532 t.Fatalf("progress: %d %s", code, b)
533 }
534 c, ok := e.srv.backupMgr.Get(k.ID)
535 if !ok || !c.Sync.Known || c.Sync.Percent != 42 || c.Sync.TotalBytes != 100 {
536 t.Fatalf("niet bewaard: %+v", c.Sync)
537 }
538 tc, _ := sessionClient(t, e.st, e.base, e.tim.ID)
539 res, err := tc.Get(e.base + "/admin/backup")
540 if err != nil {
541 t.Fatal(err)
542 }
543 html := body(t, res)
544 if !strings.Contains(html, "42%") && !strings.Contains(html, `value="42"`) {
545 t.Fatalf("lijst toont geen voortgang:\n%s", html)
546 }
547}
internal/server/static/style.css +5 −0
@@ -1930,3 +1930,8 @@ span.starbtn.starred { color: #9a6700; }
1930 1930 .mdsource { border-top: 1px solid var(--line); }
1931 1931 .mdsource > summary { padding: 0.5rem 1rem; cursor: pointer; color: var(--muted, inherit); }
1932 1932 .mdsource table.code { display: block; max-width: 100%; overflow-x: auto; }
1933
1934 .syncbar { display: inline-flex; align-items: center; gap: .45rem; white-space: nowrap; }
1935 .syncbar progress { width: 7.5rem; height: .6rem; accent-color: var(--blue); vertical-align: middle; }
1936 .syncbar-label { font-variant-numeric: tabular-nums; font-weight: 600; }
1937 .syncbar-state { color: var(--muted, #57606a); font-size: .9em; }
@@ -1930,3 +1930,8 @@ span.starbtn.starred { color: #9a6700; }
1930.mdsource { border-top: 1px solid var(--line); }
1930.mdsource { border-top: 1px solid var(--line); }
1931.mdsource > summary { padding: 0.5rem 1rem; cursor: pointer; color: var(--muted, inherit); }
1931.mdsource > summary { padding: 0.5rem 1rem; cursor: pointer; color: var(--muted, inherit); }
1932.mdsource table.code { display: block; max-width: 100%; overflow-x: auto; }
1932.mdsource table.code { display: block; max-width: 100%; overflow-x: auto; }
1933
1934.syncbar { display: inline-flex; align-items: center; gap: .45rem; white-space: nowrap; }
1935.syncbar progress { width: 7.5rem; height: .6rem; accent-color: var(--blue); vertical-align: middle; }
1936.syncbar-label { font-variant-numeric: tabular-nums; font-weight: 600; }
1937.syncbar-state { color: var(--muted, #57606a); font-size: .9em; }
internal/server/templates/backup.html +15 −3
@@ -23,6 +23,7 @@
23 23 <tr><th>{{t "backup.status.result"}}</th><td>{{t "backup.status.resultText" .LastStats.Files .LastStats.Downloaded .LastStats.Deleted}}</td></tr>
24 24 <tr><th>{{t "backup.status.counts"}}</th><td>{{.Syncs}} / {{.Notifies}}</td></tr>
25 25 <tr><th>{{t "backup.status.mirror"}}</th><td>{{printf "%.1f MB" (mb .MirrorBytes)}}</td></tr>
26 <tr><th>{{t "backup.status.sync"}}</th><td>{{if .Sync.Known}}<div class="syncbar"><progress value="{{.Sync.Percent}}" max="100" aria-label="{{t "backup.sync.bar" .Sync.Percent}}">{{t "backup.sync.percent" .Sync.Percent}}</progress><span class="syncbar-label">{{t "backup.sync.percent" .Sync.Percent}}</span>{{if .Sync.Syncing}}<span class="syncbar-state">{{t "backup.sync.running"}}</span>{{end}}</div>{{else}}<span class="syncbar-state">{{t "backup.sync.unknown"}}</span>{{end}}</td></tr>
26 27 <tr><th>{{t "backup.archives.title"}}</th><td>{{.Archives}}{{if not .LastArchive.IsZero}} · {{date .LastArchive}}{{end}}{{if .ArchiveError}} <span class="backup-danger-text">{{.ArchiveError}}</span>{{end}}</td></tr>
27 28 {{if .Rollback.State}}<tr><th>{{t "backup.status.rollback"}}</th><td>{{.Rollback.State}} {{.Rollback.Archive}}{{if .Rollback.Error}} <span class="backup-danger-text">{{.Rollback.Error}}</span>{{end}}</td></tr>{{end}}
28 29 <tr><th>{{t "backup.status.version"}}</th><td>{{.Version}}</td></tr>
@@ -42,11 +43,15 @@
42 43 {{with .Config}}
43 44 <section class="panel" id="backup-config">
44 45 <h2>{{t "backup.config.title"}}</h2>
45 {{if .Restart}}<p class="muted">{{t "backup.config.restart"}}</p>{{end}}
46 {{if .ListenNotice}}<p class="flash">{{.ListenNotice}}</p>{{end}}
46 47 <form method="post" action="/admin/backup/s/{{$.Backup.Current.Conn.ID}}/act/config.update" class="backup-config">
47 48 <input type="hidden" name="csrf" value="{{$.CSRF}}">
48 49 {{range .Fields}}
49 <label>{{.Label}} <input type="text" name="{{.Key}}" value="{{.Value}}"> <span class="muted">{{.Help}}</span></label>
50 {{if .Readonly}}
51 <p>{{.Label}} <code>{{.Value}}</code> <span class="muted">{{.Help}}</span></p>
52 {{else}}
53 <label>{{.Label}} <input type="text" name="{{.Key}}" value="{{.Value}}"{{if .Placeholder}} placeholder="{{.Placeholder}}"{{end}}> <span class="muted">{{.Help}}</span></label>
54 {{end}}
50 55 {{end}}
51 56 <button type="submit">{{t "backup.config.save"}}</button>
52 57 </form>
@@ -120,11 +125,12 @@
120 125 {{if .Servers}}
121 126 <div class="hscroll">
122 127 <table class="rui-table backup-servers">
123 <thead><tr><th>{{t "backup.col.name"}}</th><th>{{t "backup.col.state"}}</th><th>{{t "backup.col.address"}}</th><th>{{t "backup.server.seen"}}</th><th></th></tr></thead>
128 <thead><tr><th>{{t "backup.col.name"}}</th><th>{{t "backup.col.state"}}</th><th>{{t "backup.col.sync"}}</th><th>{{t "backup.col.address"}}</th><th>{{t "backup.server.seen"}}</th><th></th></tr></thead>
124 129 <tbody>
125 130 {{range .Servers}}<tr>
126 131 <td><a href="/admin/backup/s/{{.ID}}">{{.Name}}</a></td>
127 132 <td>{{if .Connected}}{{t "backup.state.connected"}}{{else}}{{t "backup.state.waiting"}}{{end}}{{if .Incompatible}} <span class="backup-danger-text">{{if eq .Compat "bluegit_too_old"}}{{t "backup.state.bluegitOld"}}{{else}}{{t "backup.state.backupOld"}}{{end}}</span>{{end}}</td>
133 <td>{{template "syncbar" .}}</td>
128 134 <td>{{if .ServerURL}}<code>{{.ServerURL}}</code>{{else}}—{{end}}</td>
129 135 <td>{{if .LastSeen.IsZero}}—{{else}}{{date .LastSeen}}{{end}}</td>
130 136 <td><a href="/admin/backup/s/{{.ID}}">{{t "backup.open"}}</a></td>
@@ -151,3 +157,9 @@
151 157 {{end}}
152 158
153 159 {{define "backupprotocol"}}{{if .PeerProtocol}}{{t "backup.protocol.text" .PeerProtocol .PeerMinProtocol (bgprotocol) (bgminprotocol)}}{{else}}—{{end}}{{end}}
160
161 {{define "syncbar"}}{{if not .Connected}}—{{else if .Incompatible}}<span class="syncbar-state">{{t "backup.sync.incompatible"}}</span>{{else if not .Sync.Known}}<span class="syncbar-state">{{t "backup.sync.unknown"}}{{if .Offline}} · {{t "backup.sync.offline"}}{{end}}</span>{{else}}<div class="syncbar">
162 <progress value="{{.Sync.Percent}}" max="100" aria-label="{{t "backup.sync.bar" .Sync.Percent}}">{{t "backup.sync.percent" .Sync.Percent}}</progress>
163 <span class="syncbar-label">{{t "backup.sync.percent" .Sync.Percent}}</span>
164 {{if .Offline}}<span class="syncbar-state">{{t "backup.sync.offline"}}</span>{{else if .Sync.Syncing}}<span class="syncbar-state">{{t "backup.sync.running"}}</span>{{end}}
165 </div>{{end}}{{end}}
@@ -23,6 +23,7 @@
23 <tr><th>{{t "backup.status.result"}}</th><td>{{t "backup.status.resultText" .LastStats.Files .LastStats.Downloaded .LastStats.Deleted}}</td></tr>
23 <tr><th>{{t "backup.status.result"}}</th><td>{{t "backup.status.resultText" .LastStats.Files .LastStats.Downloaded .LastStats.Deleted}}</td></tr>
24 <tr><th>{{t "backup.status.counts"}}</th><td>{{.Syncs}} / {{.Notifies}}</td></tr>
24 <tr><th>{{t "backup.status.counts"}}</th><td>{{.Syncs}} / {{.Notifies}}</td></tr>
25 <tr><th>{{t "backup.status.mirror"}}</th><td>{{printf "%.1f MB" (mb .MirrorBytes)}}</td></tr>
25 <tr><th>{{t "backup.status.mirror"}}</th><td>{{printf "%.1f MB" (mb .MirrorBytes)}}</td></tr>
26 <tr><th>{{t "backup.status.sync"}}</th><td>{{if .Sync.Known}}<div class="syncbar"><progress value="{{.Sync.Percent}}" max="100" aria-label="{{t "backup.sync.bar" .Sync.Percent}}">{{t "backup.sync.percent" .Sync.Percent}}</progress><span class="syncbar-label">{{t "backup.sync.percent" .Sync.Percent}}</span>{{if .Sync.Syncing}}<span class="syncbar-state">{{t "backup.sync.running"}}</span>{{end}}</div>{{else}}<span class="syncbar-state">{{t "backup.sync.unknown"}}</span>{{end}}</td></tr>
26 <tr><th>{{t "backup.archives.title"}}</th><td>{{.Archives}}{{if not .LastArchive.IsZero}} · {{date .LastArchive}}{{end}}{{if .ArchiveError}} <span class="backup-danger-text">{{.ArchiveError}}</span>{{end}}</td></tr>
27 <tr><th>{{t "backup.archives.title"}}</th><td>{{.Archives}}{{if not .LastArchive.IsZero}} · {{date .LastArchive}}{{end}}{{if .ArchiveError}} <span class="backup-danger-text">{{.ArchiveError}}</span>{{end}}</td></tr>
27 {{if .Rollback.State}}<tr><th>{{t "backup.status.rollback"}}</th><td>{{.Rollback.State}} {{.Rollback.Archive}}{{if .Rollback.Error}} <span class="backup-danger-text">{{.Rollback.Error}}</span>{{end}}</td></tr>{{end}}
28 {{if .Rollback.State}}<tr><th>{{t "backup.status.rollback"}}</th><td>{{.Rollback.State}} {{.Rollback.Archive}}{{if .Rollback.Error}} <span class="backup-danger-text">{{.Rollback.Error}}</span>{{end}}</td></tr>{{end}}
28 <tr><th>{{t "backup.status.version"}}</th><td>{{.Version}}</td></tr>
29 <tr><th>{{t "backup.status.version"}}</th><td>{{.Version}}</td></tr>
@@ -42,11 +43,15 @@
42{{with .Config}}
43{{with .Config}}
43<section class="panel" id="backup-config">
44<section class="panel" id="backup-config">
44 <h2>{{t "backup.config.title"}}</h2>
45 <h2>{{t "backup.config.title"}}</h2>
45 {{if .Restart}}<p class="muted">{{t "backup.config.restart"}}</p>{{end}}
46 {{if .ListenNotice}}<p class="flash">{{.ListenNotice}}</p>{{end}}
46 <form method="post" action="/admin/backup/s/{{$.Backup.Current.Conn.ID}}/act/config.update" class="backup-config">
47 <form method="post" action="/admin/backup/s/{{$.Backup.Current.Conn.ID}}/act/config.update" class="backup-config">
47 <input type="hidden" name="csrf" value="{{$.CSRF}}">
48 <input type="hidden" name="csrf" value="{{$.CSRF}}">
48 {{range .Fields}}
49 {{range .Fields}}
49 <label>{{.Label}} <input type="text" name="{{.Key}}" value="{{.Value}}"> <span class="muted">{{.Help}}</span></label>
50 {{if .Readonly}}
51 <p>{{.Label}} <code>{{.Value}}</code> <span class="muted">{{.Help}}</span></p>
52 {{else}}
53 <label>{{.Label}} <input type="text" name="{{.Key}}" value="{{.Value}}"{{if .Placeholder}} placeholder="{{.Placeholder}}"{{end}}> <span class="muted">{{.Help}}</span></label>
54 {{end}}
50 {{end}}
55 {{end}}
51 <button type="submit">{{t "backup.config.save"}}</button>
56 <button type="submit">{{t "backup.config.save"}}</button>
52 </form>
57 </form>
@@ -120,11 +125,12 @@
120 {{if .Servers}}
125 {{if .Servers}}
121 <div class="hscroll">
126 <div class="hscroll">
122 <table class="rui-table backup-servers">
127 <table class="rui-table backup-servers">
123 <thead><tr><th>{{t "backup.col.name"}}</th><th>{{t "backup.col.state"}}</th><th>{{t "backup.col.address"}}</th><th>{{t "backup.server.seen"}}</th><th></th></tr></thead>
128 <thead><tr><th>{{t "backup.col.name"}}</th><th>{{t "backup.col.state"}}</th><th>{{t "backup.col.sync"}}</th><th>{{t "backup.col.address"}}</th><th>{{t "backup.server.seen"}}</th><th></th></tr></thead>
124 <tbody>
129 <tbody>
125 {{range .Servers}}<tr>
130 {{range .Servers}}<tr>
126 <td><a href="/admin/backup/s/{{.ID}}">{{.Name}}</a></td>
131 <td><a href="/admin/backup/s/{{.ID}}">{{.Name}}</a></td>
127 <td>{{if .Connected}}{{t "backup.state.connected"}}{{else}}{{t "backup.state.waiting"}}{{end}}{{if .Incompatible}} <span class="backup-danger-text">{{if eq .Compat "bluegit_too_old"}}{{t "backup.state.bluegitOld"}}{{else}}{{t "backup.state.backupOld"}}{{end}}</span>{{end}}</td>
132 <td>{{if .Connected}}{{t "backup.state.connected"}}{{else}}{{t "backup.state.waiting"}}{{end}}{{if .Incompatible}} <span class="backup-danger-text">{{if eq .Compat "bluegit_too_old"}}{{t "backup.state.bluegitOld"}}{{else}}{{t "backup.state.backupOld"}}{{end}}</span>{{end}}</td>
133 <td>{{template "syncbar" .}}</td>
128 <td>{{if .ServerURL}}<code>{{.ServerURL}}</code>{{else}}—{{end}}</td>
134 <td>{{if .ServerURL}}<code>{{.ServerURL}}</code>{{else}}—{{end}}</td>
129 <td>{{if .LastSeen.IsZero}}—{{else}}{{date .LastSeen}}{{end}}</td>
135 <td>{{if .LastSeen.IsZero}}—{{else}}{{date .LastSeen}}{{end}}</td>
130 <td><a href="/admin/backup/s/{{.ID}}">{{t "backup.open"}}</a></td>
136 <td><a href="/admin/backup/s/{{.ID}}">{{t "backup.open"}}</a></td>
@@ -151,3 +157,9 @@
151{{end}}
157{{end}}
152
158
153{{define "backupprotocol"}}{{if .PeerProtocol}}{{t "backup.protocol.text" .PeerProtocol .PeerMinProtocol (bgprotocol) (bgminprotocol)}}{{else}}—{{end}}{{end}}
159{{define "backupprotocol"}}{{if .PeerProtocol}}{{t "backup.protocol.text" .PeerProtocol .PeerMinProtocol (bgprotocol) (bgminprotocol)}}{{else}}—{{end}}{{end}}
160
161{{define "syncbar"}}{{if not .Connected}}—{{else if .Incompatible}}<span class="syncbar-state">{{t "backup.sync.incompatible"}}</span>{{else if not .Sync.Known}}<span class="syncbar-state">{{t "backup.sync.unknown"}}{{if .Offline}} · {{t "backup.sync.offline"}}{{end}}</span>{{else}}<div class="syncbar">
162 <progress value="{{.Sync.Percent}}" max="100" aria-label="{{t "backup.sync.bar" .Sync.Percent}}">{{t "backup.sync.percent" .Sync.Percent}}</progress>
163 <span class="syncbar-label">{{t "backup.sync.percent" .Sync.Percent}}</span>
164 {{if .Offline}}<span class="syncbar-state">{{t "backup.sync.offline"}}</span>{{else if .Sync.Syncing}}<span class="syncbar-state">{{t "backup.sync.running"}}</span>{{end}}
165</div>{{end}}{{end}}
packaging/aur-backup/PKGBUILD +0 −2
@@ -7,7 +7,6 @@ arch=('x86_64' 'aarch64')
7 7 url='https://git.timfalken.com/timfa/bluegit'
8 8 license=('MIT')
9 9 makedepends=('go')
10 backup=('etc/bluegit-backup/config.yml')
11 10 options=('!debug')
12 11 install=bluegit-backup.install
13 12 _commit=0000000000000000000000000000000000000000
@@ -28,7 +27,6 @@ package() {
28 27 cd "$srcdir/bluegit-${_commit}"
29 28 install -Dm755 bluegit-backup "$pkgdir/usr/bin/bluegit-backup"
30 29 install -Dm644 packaging/backup/bluegit-backup.service "$pkgdir/usr/lib/systemd/system/bluegit-backup.service"
31 install -Dm644 packaging/backup/config.yml "$pkgdir/etc/bluegit-backup/config.yml"
32 30 install -Dm644 packaging/backup/sysusers.conf "$pkgdir/usr/lib/sysusers.d/bluegit-backup.conf"
33 31 install -Dm644 packaging/backup/tmpfiles.conf "$pkgdir/usr/lib/tmpfiles.d/bluegit-backup.conf"
34 32 install -Dm644 LICENSE "$pkgdir/usr/share/licenses/$pkgname/LICENSE"
@@ -7,7 +7,6 @@ arch=('x86_64' 'aarch64')
7url='https://git.timfalken.com/timfa/bluegit'
7url='https://git.timfalken.com/timfa/bluegit'
8license=('MIT')
8license=('MIT')
9makedepends=('go')
9makedepends=('go')
10backup=('etc/bluegit-backup/config.yml')
11options=('!debug')
10options=('!debug')
12install=bluegit-backup.install
11install=bluegit-backup.install
13_commit=0000000000000000000000000000000000000000
12_commit=0000000000000000000000000000000000000000
@@ -28,7 +27,6 @@ package() {
28 cd "$srcdir/bluegit-${_commit}"
27 cd "$srcdir/bluegit-${_commit}"
29 install -Dm755 bluegit-backup "$pkgdir/usr/bin/bluegit-backup"
28 install -Dm755 bluegit-backup "$pkgdir/usr/bin/bluegit-backup"
30 install -Dm644 packaging/backup/bluegit-backup.service "$pkgdir/usr/lib/systemd/system/bluegit-backup.service"
29 install -Dm644 packaging/backup/bluegit-backup.service "$pkgdir/usr/lib/systemd/system/bluegit-backup.service"
31 install -Dm644 packaging/backup/config.yml "$pkgdir/etc/bluegit-backup/config.yml"
32 install -Dm644 packaging/backup/sysusers.conf "$pkgdir/usr/lib/sysusers.d/bluegit-backup.conf"
30 install -Dm644 packaging/backup/sysusers.conf "$pkgdir/usr/lib/sysusers.d/bluegit-backup.conf"
33 install -Dm644 packaging/backup/tmpfiles.conf "$pkgdir/usr/lib/tmpfiles.d/bluegit-backup.conf"
31 install -Dm644 packaging/backup/tmpfiles.conf "$pkgdir/usr/lib/tmpfiles.d/bluegit-backup.conf"
34 install -Dm644 LICENSE "$pkgdir/usr/share/licenses/$pkgname/LICENSE"
32 install -Dm644 LICENSE "$pkgdir/usr/share/licenses/$pkgname/LICENSE"
packaging/aur-backup/bluegit-backup.install +46 −10
@@ -1,6 +1,6 @@
1 # System-unit met User=bluegit-backup, config in /etc/bluegit-backup/config.yml
2 # en gegevens in /var/lib/bluegit-backup. post_upgrade herstart de dienst.
3 # backup= in de PKGBUILD laat een bestaande config.yml staan.
1 # System-unit met User=bluegit-backup en gegevens in /var/lib/bluegit-backup.
2 # Instellingen staan in de webinterface (settings.yml). Een bestaande
3 # /etc/bluegit-backup/config.yml wordt bij upgrade bewaard en één keer overgenomen.
4 4
5 5 _bb_run() {
6 6 if ! command -v systemctl >/dev/null 2>&1 || [[ ! -d /run/systemd/system ]]; then
@@ -10,17 +10,50 @@ _bb_run() {
10 10 systemctl "$@" || true
11 11 }
12 12
13 _bb_preserve_config() {
14 local src=/etc/bluegit-backup/config.yml
15 local data=/var/lib/bluegit-backup
16 if [[ -f $src && ! -f $data/config.yml.imported ]]; then
17 mkdir -p "$data"
18 cp -a "$src" "$data/legacy-config.yml"
19 if getent passwd bluegit-backup >/dev/null 2>&1; then
20 chown bluegit-backup:bluegit-backup "$data/legacy-config.yml" 2>/dev/null || true
21 fi
22 chmod 0600 "$data/legacy-config.yml" 2>/dev/null || true
23 fi
24 }
25
26 _bb_hello() {
27 cat <<'MSG'
28 bluegit-backup: open de webinterface op http://<deze-server>:8080
29 1. Start de dienst:
30 systemctl enable --now bluegit-backup.service
31 2. Toon het beheertoken en log daarmee in:
32 sudo -u bluegit-backup bluegit-backup token
33 3. Onder Instellingen: zet het publieke adres (een domein of een IP,
34 bijvoorbeeld http://192.168.1.50:8080) en controleer de rest.
35 4. Onder Koppeling: vul het BlueGit-adres en de Backupserver-Key in
36 (die maak je in BlueGit onder Beheer → Backup). Bij een eerdere
37 koppeling aan een andere BlueGit kies je wissen of herstellen.
38
39 Alternatief via de CLI:
40 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
41 MSG
42 }
43
44 pre_upgrade() {
45 _bb_preserve_config
46 }
47
48 pre_install() {
49 _bb_preserve_config
50 }
51
13 52 post_install() {
14 53 systemd-sysusers bluegit-backup.conf || true
15 54 systemd-tmpfiles --create bluegit-backup.conf || true
16 55 _bb_run daemon-reload
17 cat <<'MSG'
18 bluegit-backup: zet public_url in /etc/bluegit-backup/config.yml (het adres waarop
19 BlueGit deze server bereikt) en start de dienst:
20 systemctl enable --now bluegit-backup.service
21 Maak daarna in BlueGit onder Beheer > Backup een Backupserver-Key en koppel:
22 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
23 MSG
56 _bb_hello
24 57 }
25 58
26 59 post_upgrade() {
@@ -28,6 +61,9 @@ post_upgrade() {
28 61 systemd-tmpfiles --create bluegit-backup.conf || true
29 62 _bb_run daemon-reload
30 63 _bb_run try-restart bluegit-backup.service
64 if [[ -f /etc/bluegit-backup/config.yml || -f /var/lib/bluegit-backup/legacy-config.yml ]]; then
65 echo "bluegit-backup: een bestaande config.yml wordt bij de (her)start één keer overgenomen in de webinterface (settings.yml)."
66 fi
31 67 }
32 68
33 69 pre_remove() {
@@ -1,6 +1,6 @@
1# System-unit met User=bluegit-backup, config in /etc/bluegit-backup/config.yml
1# System-unit met User=bluegit-backup en gegevens in /var/lib/bluegit-backup.
2# en gegevens in /var/lib/bluegit-backup. post_upgrade herstart de dienst.
2# Instellingen staan in de webinterface (settings.yml). Een bestaande
3# backup= in de PKGBUILD laat een bestaande config.yml staan.
3# /etc/bluegit-backup/config.yml wordt bij upgrade bewaard en één keer overgenomen.
4
4
5_bb_run() {
5_bb_run() {
6 if ! command -v systemctl >/dev/null 2>&1 || [[ ! -d /run/systemd/system ]]; then
6 if ! command -v systemctl >/dev/null 2>&1 || [[ ! -d /run/systemd/system ]]; then
@@ -10,17 +10,50 @@ _bb_run() {
10 systemctl "$@" || true
10 systemctl "$@" || true
11}
11}
12
12
13_bb_preserve_config() {
14 local src=/etc/bluegit-backup/config.yml
15 local data=/var/lib/bluegit-backup
16 if [[ -f $src && ! -f $data/config.yml.imported ]]; then
17 mkdir -p "$data"
18 cp -a "$src" "$data/legacy-config.yml"
19 if getent passwd bluegit-backup >/dev/null 2>&1; then
20 chown bluegit-backup:bluegit-backup "$data/legacy-config.yml" 2>/dev/null || true
21 fi
22 chmod 0600 "$data/legacy-config.yml" 2>/dev/null || true
23 fi
24}
25
26_bb_hello() {
27 cat <<'MSG'
28bluegit-backup: open de webinterface op http://<deze-server>:8080
29 1. Start de dienst:
30 systemctl enable --now bluegit-backup.service
31 2. Toon het beheertoken en log daarmee in:
32 sudo -u bluegit-backup bluegit-backup token
33 3. Onder Instellingen: zet het publieke adres (een domein of een IP,
34 bijvoorbeeld http://192.168.1.50:8080) en controleer de rest.
35 4. Onder Koppeling: vul het BlueGit-adres en de Backupserver-Key in
36 (die maak je in BlueGit onder Beheer → Backup). Bij een eerdere
37 koppeling aan een andere BlueGit kies je wissen of herstellen.
38
39 Alternatief via de CLI:
40 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
41MSG
42}
43
44pre_upgrade() {
45 _bb_preserve_config
46}
47
48pre_install() {
49 _bb_preserve_config
50}
51
13post_install() {
52post_install() {
14 systemd-sysusers bluegit-backup.conf || true
53 systemd-sysusers bluegit-backup.conf || true
15 systemd-tmpfiles --create bluegit-backup.conf || true
54 systemd-tmpfiles --create bluegit-backup.conf || true
16 _bb_run daemon-reload
55 _bb_run daemon-reload
17 cat <<'MSG'
56 _bb_hello
18bluegit-backup: zet public_url in /etc/bluegit-backup/config.yml (het adres waarop
19BlueGit deze server bereikt) en start de dienst:
20 systemctl enable --now bluegit-backup.service
21Maak daarna in BlueGit onder Beheer > Backup een Backupserver-Key en koppel:
22 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
23MSG
24}
57}
25
58
26post_upgrade() {
59post_upgrade() {
@@ -28,6 +61,9 @@ post_upgrade() {
28 systemd-tmpfiles --create bluegit-backup.conf || true
61 systemd-tmpfiles --create bluegit-backup.conf || true
29 _bb_run daemon-reload
62 _bb_run daemon-reload
30 _bb_run try-restart bluegit-backup.service
63 _bb_run try-restart bluegit-backup.service
64 if [[ -f /etc/bluegit-backup/config.yml || -f /var/lib/bluegit-backup/legacy-config.yml ]]; then
65 echo "bluegit-backup: een bestaande config.yml wordt bij de (her)start één keer overgenomen in de webinterface (settings.yml)."
66 fi
31}
67}
32
68
33pre_remove() {
69pre_remove() {
packaging/backup/bluegit-backup.service +1 −1
@@ -9,7 +9,7 @@ User=bluegit-backup
9 9 Group=bluegit-backup
10 10 # Optioneel, bijvoorbeeld BLUEGIT_BACKUP_KEY voor `connect`.
11 11 EnvironmentFile=-/etc/bluegit-backup/env
12 ExecStart=/usr/bin/bluegit-backup serve --config /etc/bluegit-backup/config.yml
12 ExecStart=/usr/bin/bluegit-backup serve --data-dir /var/lib/bluegit-backup
13 13 Restart=on-failure
14 14 # Lage prioriteit: archiveren en comprimeren mogen de machine niet ophouden.
15 15 Nice=10
@@ -9,7 +9,7 @@ User=bluegit-backup
9Group=bluegit-backup
9Group=bluegit-backup
10# Optioneel, bijvoorbeeld BLUEGIT_BACKUP_KEY voor `connect`.
10# Optioneel, bijvoorbeeld BLUEGIT_BACKUP_KEY voor `connect`.
11EnvironmentFile=-/etc/bluegit-backup/env
11EnvironmentFile=-/etc/bluegit-backup/env
12ExecStart=/usr/bin/bluegit-backup serve --config /etc/bluegit-backup/config.yml
12ExecStart=/usr/bin/bluegit-backup serve --data-dir /var/lib/bluegit-backup
13Restart=on-failure
13Restart=on-failure
14# Lage prioriteit: archiveren en comprimeren mogen de machine niet ophouden.
14# Lage prioriteit: archiveren en comprimeren mogen de machine niet ophouden.
15Nice=10
15Nice=10
packaging/backup/config.yml deleted +0 −17
@@ -1,17 +0,0 @@
1 # bluegit-backup. Kopieer naar /etc/bluegit-backup/config.yml.
2 listen: 0.0.0.0:8080
3 # Waar BlueGit deze server bereikt (meldingen, archieflijst, rollback).
4 public_url: http://backup.lan:8080
5 data_dir: /var/lib/bluegit-backup
6 # Zo vaak wordt de hele kopie gecomprimeerd opgeslagen. Standaard dagelijks.
7 archive_interval: 24h
8 # Archieven ouder dan dit gaan weg (0 = nooit op leeftijd). Het nieuwste blijft.
9 retention_days: 30
10 # Minder vrije ruimte dan dit: het oudste archief gaat weg.
11 min_free_mb: 1024
12 # Downloadsnelheid van BlueGit in KiB/s, zodat BlueGit er geen last van heeft.
13 rate_limit_kib: 1024
14 # Ook zonder melding zo vaak alles nalopen.
15 full_sync_interval: 1h
16 # Minimale tijd tussen twee syncs na meldingen.
17 min_sync_interval: 10s
@@ -1,17 +0,0 @@
1# bluegit-backup. Kopieer naar /etc/bluegit-backup/config.yml.
2listen: 0.0.0.0:8080
3# Waar BlueGit deze server bereikt (meldingen, archieflijst, rollback).
4public_url: http://backup.lan:8080
5data_dir: /var/lib/bluegit-backup
6# Zo vaak wordt de hele kopie gecomprimeerd opgeslagen. Standaard dagelijks.
7archive_interval: 24h
8# Archieven ouder dan dit gaan weg (0 = nooit op leeftijd). Het nieuwste blijft.
9retention_days: 30
10# Minder vrije ruimte dan dit: het oudste archief gaat weg.
11min_free_mb: 1024
12# Downloadsnelheid van BlueGit in KiB/s, zodat BlueGit er geen last van heeft.
13rate_limit_kib: 1024
14# Ook zonder melding zo vaak alles nalopen.
15full_sync_interval: 1h
16# Minimale tijd tussen twee syncs na meldingen.
17min_sync_interval: 10s
packaging/nfpm/bluegit-backup.postinstall.sh +19 −0
@@ -22,4 +22,23 @@ if [ -d /run/systemd/system ] && command -v systemctl >/dev/null 2>&1; then
22 22 systemctl daemon-reload || true
23 23 systemctl try-restart bluegit-backup.service || true
24 24 fi
25 # Eerste login en koppelen gebeurt in de webinterface.
26 cat <<'MSG'
27 bluegit-backup: open de webinterface op http://<deze-server>:8080
28 1. Start de dienst (als die nog niet draait):
29 systemctl enable --now bluegit-backup.service
30 2. Toon het beheertoken en log daarmee in:
31 sudo -u bluegit-backup bluegit-backup token
32 3. Onder Instellingen: zet het publieke adres (een domein of een IP,
33 bijvoorbeeld http://192.168.1.50:8080) en controleer de rest.
34 4. Onder Koppeling: vul het BlueGit-adres en de Backupserver-Key in
35 (die maak je in BlueGit onder Beheer → Backup). Bij een eerdere
36 koppeling aan een andere BlueGit kies je wissen of herstellen.
37
38 Alternatief via de CLI:
39 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
40 MSG
41 if [ -f /etc/bluegit-backup/config.yml ] || [ -f /var/lib/bluegit-backup/legacy-config.yml ]; then
42 echo " Een bestaande config.yml wordt bij de eerste start één keer overgenomen in de webinterface (settings.yml)."
43 fi
25 44 exit 0
@@ -22,4 +22,23 @@ if [ -d /run/systemd/system ] && command -v systemctl >/dev/null 2>&1; then
22 systemctl daemon-reload || true
22 systemctl daemon-reload || true
23 systemctl try-restart bluegit-backup.service || true
23 systemctl try-restart bluegit-backup.service || true
24fi
24fi
25# Eerste login en koppelen gebeurt in de webinterface.
26cat <<'MSG'
27bluegit-backup: open de webinterface op http://<deze-server>:8080
28 1. Start de dienst (als die nog niet draait):
29 systemctl enable --now bluegit-backup.service
30 2. Toon het beheertoken en log daarmee in:
31 sudo -u bluegit-backup bluegit-backup token
32 3. Onder Instellingen: zet het publieke adres (een domein of een IP,
33 bijvoorbeeld http://192.168.1.50:8080) en controleer de rest.
34 4. Onder Koppeling: vul het BlueGit-adres en de Backupserver-Key in
35 (die maak je in BlueGit onder Beheer → Backup). Bij een eerdere
36 koppeling aan een andere BlueGit kies je wissen of herstellen.
37
38 Alternatief via de CLI:
39 sudo -u bluegit-backup BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
40MSG
41if [ -f /etc/bluegit-backup/config.yml ] || [ -f /var/lib/bluegit-backup/legacy-config.yml ]; then
42 echo " Een bestaande config.yml wordt bij de eerste start één keer overgenomen in de webinterface (settings.yml)."
43fi
25exit 0
44exit 0
packaging/nfpm/bluegit-backup.preinstall.sh added +15 −0
@@ -0,0 +1,15 @@
1 #!/bin/sh
2 # Bewaar een bestaande config.yml voordat het pakket die (niet langer
3 # meelevert en) bij een upgrade zou kunnen verwijderen. De dienst neemt
4 # hem één keer over in /var/lib/bluegit-backup/settings.yml.
5 set -eu
6 src=/etc/bluegit-backup/config.yml
7 data=/var/lib/bluegit-backup
8 if [ -f "$src" ] && [ ! -f "$data/config.yml.imported" ]; then
9 mkdir -p "$data"
10 cp -a "$src" "$data/legacy-config.yml"
11 if getent passwd bluegit-backup >/dev/null 2>&1; then
12 chown bluegit-backup:bluegit-backup "$data/legacy-config.yml" 2>/dev/null || true
13 fi
14 chmod 0600 "$data/legacy-config.yml" 2>/dev/null || true
15 fi
@@ -0,0 +1,15 @@
1#!/bin/sh
2# Bewaar een bestaande config.yml voordat het pakket die (niet langer
3# meelevert en) bij een upgrade zou kunnen verwijderen. De dienst neemt
4# hem één keer over in /var/lib/bluegit-backup/settings.yml.
5set -eu
6src=/etc/bluegit-backup/config.yml
7data=/var/lib/bluegit-backup
8if [ -f "$src" ] && [ ! -f "$data/config.yml.imported" ]; then
9 mkdir -p "$data"
10 cp -a "$src" "$data/legacy-config.yml"
11 if getent passwd bluegit-backup >/dev/null 2>&1; then
12 chown bluegit-backup:bluegit-backup "$data/legacy-config.yml" 2>/dev/null || true
13 fi
14 chmod 0600 "$data/legacy-config.yml" 2>/dev/null || true
15fi
packaging/nfpm/bluegit-backup.yaml +1 −5
@@ -25,11 +25,6 @@ contents:
25 25 dst: /usr/lib/systemd/system/bluegit-backup.service
26 26 file_info:
27 27 mode: 0644
28 - src: packaging/backup/config.yml
29 dst: /etc/bluegit-backup/config.yml
30 type: config|noreplace
31 file_info:
32 mode: 0644
33 28 - src: packaging/backup/sysusers.conf
34 29 dst: /usr/lib/sysusers.d/bluegit-backup.conf
35 30 file_info:
@@ -43,6 +38,7 @@ contents:
43 38 file_info:
44 39 mode: 0644
45 40 scripts:
41 preinstall: packaging/nfpm/bluegit-backup.preinstall.sh
46 42 postinstall: packaging/nfpm/bluegit-backup.postinstall.sh
47 43 preremove: packaging/nfpm/bluegit-backup.preremove.sh
48 44 postremove: packaging/nfpm/postremove.sh
@@ -25,11 +25,6 @@ contents:
25 dst: /usr/lib/systemd/system/bluegit-backup.service
25 dst: /usr/lib/systemd/system/bluegit-backup.service
26 file_info:
26 file_info:
27 mode: 0644
27 mode: 0644
28 - src: packaging/backup/config.yml
29 dst: /etc/bluegit-backup/config.yml
30 type: config|noreplace
31 file_info:
32 mode: 0644
33 - src: packaging/backup/sysusers.conf
28 - src: packaging/backup/sysusers.conf
34 dst: /usr/lib/sysusers.d/bluegit-backup.conf
29 dst: /usr/lib/sysusers.d/bluegit-backup.conf
35 file_info:
30 file_info:
@@ -43,6 +38,7 @@ contents:
43 file_info:
38 file_info:
44 mode: 0644
39 mode: 0644
45scripts:
40scripts:
41 preinstall: packaging/nfpm/bluegit-backup.preinstall.sh
46 postinstall: packaging/nfpm/bluegit-backup.postinstall.sh
42 postinstall: packaging/nfpm/bluegit-backup.postinstall.sh
47 preremove: packaging/nfpm/bluegit-backup.preremove.sh
43 preremove: packaging/nfpm/bluegit-backup.preremove.sh
48 postremove: packaging/nfpm/postremove.sh
44 postremove: packaging/nfpm/postremove.sh
scripts/packages_test.go +7 −1
@@ -55,7 +55,6 @@ func TestBackupPkgbuildRewrite(t *testing.T) {
55 55 "pkgver=" + version,
56 56 "_commit=" + commit,
57 57 "sha256sums=('" + sum + "')",
58 "backup=('etc/bluegit-backup/config.yml')",
59 58 "install=bluegit-backup.install",
60 59 "-X gitlab.com/Timfa/bluegit/internal/backupserver/server.Version=${pkgver}",
61 60 "./cmd/bluegit-backup",
@@ -67,6 +66,13 @@ func TestBackupPkgbuildRewrite(t *testing.T) {
67 66 if _, err := os.Stat(filepath.Join(root, "packaging", "aur-backup", "bluegit-backup.install")); err != nil {
68 67 t.Fatal(err)
69 68 }
69 if strings.Contains(string(got), "etc/bluegit-backup/config.yml") || strings.Contains(string(got), "packaging/backup/config.yml") {
70 t.Fatal("AUR-pakket moet geen config.yml meer meeleveren")
71 }
72 inst, _ := os.ReadFile(filepath.Join(root, "packaging", "aur-backup", "bluegit-backup.install"))
73 if !strings.Contains(string(inst), "bluegit-backup token") || !strings.Contains(string(inst), "webinterface") {
74 t.Fatal("AUR-install moet naar de webinterface en het token-commando wijzen")
75 }
70 76 // De ldflag moet naar een bestaande variabele wijzen.
71 77 srv, err := os.ReadFile(filepath.Join(root, "internal", "backupserver", "server", "server.go"))
72 78 if err != nil || !strings.Contains(string(srv), `var Version = "dev"`) {
@@ -55,7 +55,6 @@ func TestBackupPkgbuildRewrite(t *testing.T) {
55 "pkgver=" + version,
55 "pkgver=" + version,
56 "_commit=" + commit,
56 "_commit=" + commit,
57 "sha256sums=('" + sum + "')",
57 "sha256sums=('" + sum + "')",
58 "backup=('etc/bluegit-backup/config.yml')",
59 "install=bluegit-backup.install",
58 "install=bluegit-backup.install",
60 "-X gitlab.com/Timfa/bluegit/internal/backupserver/server.Version=${pkgver}",
59 "-X gitlab.com/Timfa/bluegit/internal/backupserver/server.Version=${pkgver}",
61 "./cmd/bluegit-backup",
60 "./cmd/bluegit-backup",
@@ -67,6 +66,13 @@ func TestBackupPkgbuildRewrite(t *testing.T) {
67 if _, err := os.Stat(filepath.Join(root, "packaging", "aur-backup", "bluegit-backup.install")); err != nil {
66 if _, err := os.Stat(filepath.Join(root, "packaging", "aur-backup", "bluegit-backup.install")); err != nil {
68 t.Fatal(err)
67 t.Fatal(err)
69 }
68 }
69 if strings.Contains(string(got), "etc/bluegit-backup/config.yml") || strings.Contains(string(got), "packaging/backup/config.yml") {
70 t.Fatal("AUR-pakket moet geen config.yml meer meeleveren")
71 }
72 inst, _ := os.ReadFile(filepath.Join(root, "packaging", "aur-backup", "bluegit-backup.install"))
73 if !strings.Contains(string(inst), "bluegit-backup token") || !strings.Contains(string(inst), "webinterface") {
74 t.Fatal("AUR-install moet naar de webinterface en het token-commando wijzen")
75 }
70 // De ldflag moet naar een bestaande variabele wijzen.
76 // De ldflag moet naar een bestaande variabele wijzen.
71 srv, err := os.ReadFile(filepath.Join(root, "internal", "backupserver", "server", "server.go"))
77 srv, err := os.ReadFile(filepath.Join(root, "internal", "backupserver", "server", "server.go"))
72 if err != nil || !strings.Contains(string(srv), `var Version = "dev"`) {
78 if err != nil || !strings.Contains(string(srv), `var Version = "dev"`) {
scripts/test-package.sh +4 −1
@@ -56,7 +56,10 @@ for p in $PACKAGES; do
56 56 [[ "$(stat -c %U "/var/lib/$p")" == "$p" ]] || fail "/var/lib/$p is niet van $p"
57 57 case "$p" in
58 58 bluegit) [[ -f /etc/bluegit/config.yml ]] || fail "/etc/bluegit/config.yml ontbreekt" ;;
59 bluegit-backup) [[ -f /etc/bluegit-backup/config.yml ]] || fail "/etc/bluegit-backup/config.yml ontbreekt" ;;
59 bluegit-backup)
60 [[ ! -e /etc/bluegit-backup/config.yml ]] || fail "pakket levert nog /etc/bluegit-backup/config.yml mee"
61 grep -q -- '--data-dir /var/lib/bluegit-backup' /usr/lib/systemd/system/bluegit-backup.service || fail "bluegit-backup.service gebruikt geen --data-dir"
62 ;;
60 63 bluegit-runner)
61 64 id -nG bluegit-runner | tr ' ' '\n' | grep -qx docker || fail "bluegit-runner is geen lid van docker"
62 65 [[ -d /etc/bluegit-runner ]] || fail "/etc/bluegit-runner ontbreekt"
@@ -56,7 +56,10 @@ for p in $PACKAGES; do
56 [[ "$(stat -c %U "/var/lib/$p")" == "$p" ]] || fail "/var/lib/$p is niet van $p"
56 [[ "$(stat -c %U "/var/lib/$p")" == "$p" ]] || fail "/var/lib/$p is niet van $p"
57 case "$p" in
57 case "$p" in
58 bluegit) [[ -f /etc/bluegit/config.yml ]] || fail "/etc/bluegit/config.yml ontbreekt" ;;
58 bluegit) [[ -f /etc/bluegit/config.yml ]] || fail "/etc/bluegit/config.yml ontbreekt" ;;
59 bluegit-backup) [[ -f /etc/bluegit-backup/config.yml ]] || fail "/etc/bluegit-backup/config.yml ontbreekt" ;;
59 bluegit-backup)
60 [[ ! -e /etc/bluegit-backup/config.yml ]] || fail "pakket levert nog /etc/bluegit-backup/config.yml mee"
61 grep -q -- '--data-dir /var/lib/bluegit-backup' /usr/lib/systemd/system/bluegit-backup.service || fail "bluegit-backup.service gebruikt geen --data-dir"
62 ;;
60 bluegit-runner)
63 bluegit-runner)
61 id -nG bluegit-runner | tr ' ' '\n' | grep -qx docker || fail "bluegit-runner is geen lid van docker"
64 id -nG bluegit-runner | tr ' ' '\n' | grep -qx docker || fail "bluegit-runner is geen lid van docker"
62 [[ -d /etc/bluegit-runner ]] || fail "/etc/bluegit-runner ontbreekt"
65 [[ -d /etc/bluegit-runner ]] || fail "/etc/bluegit-runner ontbreekt"