BlueGit

timfa bluegit

Files

bluegit / docs / BACKUP-SERVER.md

BACKUP-SERVER.md

BACKUP-SERVER.md 10.0 KiB Download Raw

bluegit-backup

Een losse backup server voor één BlueGit-instantie.

  • Koppelt met een Backupserver-Key die een BlueGit-beheerder in BlueGit maakt (Beheer → Backup).
  • Haalt alle data en configuratie van BlueGit binnen: database, sleutels, SSH-hostkeys, logo's, avatars, repositories, releases en artifacts. Dat gaat gedoseerd (rate_limit_kib), zodat BlueGit er geen last van heeft.
  • BlueGit meldt elke wijziging. De backup server haalt dan alleen op wat veranderd is. Daarnaast loopt hij elk full_sync_interval alles na.
  • Elk archive_interval (standaard dagelijks) gaat de hele kopie gecomprimeerd in een archief (tar.gz).
  • Archieven ouder dan retention_days gaan weg. Is de schijf vol (minder dan min_free_mb vrij), dan gaat het oudste archief weg. Het nieuwste archief blijft altijd staan.
  • In BlueGit ziet de beheerder de archieven en kan hij een rollback starten, met een grote waarschuwing dat die niet terug te draaien is. De backup server pakt het archief uit, vervangt zijn kopie en stuurt alles naar BlueGit. BlueGit zet de data terug en herstart.
  • Eén backup server hoort bij één BlueGit. Koppel je een andere instantie, dan kies je: oude backups wissen of de nieuwe instantie herstellen met de backupdata. Eén BlueGit kan wel meerdere backup servers hebben, elk met een eigen key.
  • Een webinterface (standaard op poort 8080) waarin alles in te stellen en te bedienen is, en een API die precies hetzelfde kan. Beide lopen via één lijst met acties (GET /api/v1/admin/actions).
  • Vanuit BlueGit (Beheer → Backup → server) is de backup server ook te bedienen: status, instellingen, sync, archiveren, opruimen, archieven verwijderen en rollback. BlueGit vraagt de acties op bij de backup server en stuurt ze ondertekend door.

Het protocol staat in docs/PROTOCOL.md. De aannames staan in docs/ASSUMPTIONS.md.

Installeren

Arch Linux (AUR)

yay -S bluegit-backup

Het pakket zet de binary in /usr/bin/bluegit-backup, de config in /etc/bluegit-backup/config.yml, de data in /var/lib/bluegit-backup en een systemd-unit bluegit-backup.service (gebruiker bluegit-backup).

Binary

Bij een release staan bluegit-backup-linux-amd64, bluegit-backup-linux-arm64 en SHA256SUMS. Zelf bouwen:

go build -o bluegit-backup ./cmd/bluegit-backup
./bluegit-backup example-config > config.yml
./bluegit-backup serve --config config.yml

Koppelen

1. Zet in config.yml public_url op het adres waarop BlueGit deze server bereikt. 2. Start de server: systemctl enable --now bluegit-backup. 3. Voeg in BlueGit onder Beheer → Backup een backup server toe. De Backupserver-Key wordt één keer getoond. 4. Koppel in de webinterface (http://<server>:8080, sectie Koppeling), of met de CLI:

   BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com

Had deze server al backups van een andere BlueGit, dan vraagt connect:

   1) oude backups wissen en opnieuw beginnen
   2) de nieuwe BlueGit herstellen met de laatste backupdata

Zonder terminal kies je met --on-conflict wipe of --on-conflict restore.

Daarna haalt de server meteen een volledige kopie op en maakt hij een eerste archief.

Webinterface

Open http://<server>:8080 en log in met het beheertoken uit data_dir/admin.token:

sudo -u bluegit-backup bluegit-backup token

Daar staan:

  • Overzicht: koppeling, laatste sync, kopie, archieven en de laatste rollback, met Nu synchroniseren, Nu archiveren en Nu opruimen.
  • Koppeling: koppelen (met de keuze wissen of herstellen bij een andere BlueGit) en ontkoppelen.
  • Instellingen: elk veld uit de tabel hieronder. Ze gaan naar data_dir/settings.yml, dat boven config.yml gaat. listen geldt pas na een herstart, de rest meteen.
  • Archieven: downloaden, verwijderen en een rollback (met waarschuwing, vinkje en de archiefnaam overtypen).
  • API: de lijst met alle acties.

De sessie is een HttpOnly-cookie (SameSite=Strict, 12 uur), elk formulier heeft een CSRF-token, en vijf foute logins per minuut per IP-adres geven 429. De interface mag niet in een frame van een andere site. Gebruik een TLS-proxy als de server buiten je eigen netwerk bereikbaar is.

API

Elke actie uit de webinterface is ook een API-aanroep, met Authorization: Bearer <admin.token>:

MethodePadActieBlueGit
GET/api/v1/admin/statusStatus✓
GET/api/v1/admin/actionsAlle acties✓
GET/api/v1/admin/configInstellingen met uitleg✓
PUT/api/v1/admin/configInstellingen wijzigen, bv. {"retention_days": 14}✓
POST/api/v1/admin/connect`{"url", "key", "on_conflict": ""\"wipe"\"restore"}`
POST/api/v1/admin/disconnectOntkoppelen (kopie en archieven blijven)✓
POST/api/v1/admin/syncNu synchroniseren ({"wait": false}: op de achtergrond)✓
POST/api/v1/admin/archiveNu archiveren✓
POST/api/v1/admin/pruneBewaarregels nu toepassen✓
GET/api/v1/admin/archivesArchieven✓
GET/api/v1/admin/archives/{name}/downloadArchief downloaden
DELETE/api/v1/admin/archives/{name}Archief verwijderen✓
POST/api/v1/admin/rollback{"archive", "confirm": archiefnaam}; niet terug te draaien✓

✓ betekent dat de gekoppelde BlueGit dit ook mag, met een ondertekend verzoek. Een sessie van de webinterface mag de API ook gebruiken, met het CSRF-token in X-CSRF-Token.

CLI

bluegit-backup status | list | config | actions
bluegit-backup sync | archive | prune | disconnect
bluegit-backup set retention_days=14 archive_interval=12h
bluegit-backup delete bluegit-20261115-030000.tar.gz
bluegit-backup rollback bluegit-20261115-030000.tar.gz   # vraagt om de naam over te typen
bluegit-backup token                                     # beheertoken voor de webinterface

Deze commando's praten met de draaiende server via data_dir/admin.token. Draai ze dus als een gebruiker die dat bestand kan lezen (sudo -u bluegit-backup …).

Configuratie

SleutelStandaardBetekenis
listen0.0.0.0:8080Adres van de webinterface en API (na herstart)
public_url(leeg)Adres waarop BlueGit deze server bereikt
data_dir/var/lib/bluegit-backupKopie, archieven en koppeling (alleen in config.yml)
archive_interval24hHoe vaak een archief
retention_days30Archieven ouder dan dit weg (0 = nooit)
min_free_mb1024Minder vrij: oudste archief weg
rate_limit_kib1024Downloadsnelheid in KiB/s (0 = onbeperkt)
full_sync_interval1hOok zonder melding alles nalopen
min_sync_interval10sMinimale tijd tussen syncs na meldingen

In data_dir:

  • mirror/ is de lopende kopie.
  • archives/ bevat bluegit-YYYYMMDD-HHMMSS.tar.gz (UTC).
  • state.json (0600) is de koppeling met de key.
  • admin.token (0600) is voor de webinterface, de API en de CLI.
  • settings.yml (0600) bevat wat via de webinterface, API of BlueGit is ingesteld.

Releases

Een AUR-pakket (bluegit-backup, bijgewerkt vanaf master) en binaries bij een tag. Zie blue-ci-cd.yml.

  • Elke release-job hangt af van de job integration. Die bouwt een echte BlueGit (scripts/build-bluegit.sh, ref in .bluegit-ref), start hem, configureert hem en test daarmee elke feature. Faalt er één test, dan is er geen release.
  • Releases vanaf master staan pas aan zodra het bestand .release-enabled in de repository staat. De geheimen staan in de kop van blue-ci-cd.yml.
  • Een release bij een tag (v*) publiceert de binaries bij een bestaande tag.
  • Eerste release: v0.1.0 (linux amd64/arm64 en SHA256SUMS).

Updaten doe je zelf: pacman -Syu bluegit-backup (of je AUR-helper), of een nieuwe binary van de releasepagina. Er is geen self-update.

Tests

go test ./...                                   # unit-tests
./scripts/build-bluegit.sh                      # bouwt .bluegit-bin/bluegit
BLUEGIT_BIN=$PWD/.bluegit-bin/bluegit go test -tags integration -v ./integration/

Daarnaast controleren unit-tests dat elke wijzigende actie een formulier in de webinterface heeft, en elk formulier een API-actie.

De integratietests starten per test een echte BlueGit in een tijdelijke map (dev-login, geen SSH, geen CI-runner). Ze maken een beheerderstoken en daarmee repositories, issues en een Backupserver-Key. Daarna testen ze tegen die BlueGit:

TestFeature
TestKeyGenerationAndConnectKey maken in BlueGit, koppelen, verkeerde key geweigerd
TestFullSyncCopiesAllDataAlle data en configuratie komt binnen, en de kopie klopt
TestNotificationTriggersSyncEen wijziging in BlueGit geeft een melding en daarna een sync
TestDownloadIsThrottledDownloaden blijft onder rate_limit_kib
TestArchiveIntervalAndListInBlueGitArchief per interval, lijst zichtbaar in BlueGit
TestRetentionAndDiskFullWeggooien op leeftijd en bij volle schijf
TestRollbackFromBlueGitRollback vanuit BlueGit (met bevestiging), BlueGit staat daarna terug
TestNewInstanceWipeNieuwe instantie, keuze wissen
TestNewInstanceRestoreNieuwe instantie, keuze herstellen
TestCLIConnectAsksOnConflictconnect vraagt de keuze
TestWebUIConfiguresAndOperatesEverythingWebinterface: inloggen, alle instellingen, koppelen, sync, archief, download, opruimen, rollback, verwijderen, ontkoppelen
TestAPIDoesEverythingTheUICanElke actie via de API; de test faalt als er een actie bij komt zonder test
TestBlueGitControlsBackupServerInstellingen, archief, sync en verwijderen vanuit BlueGit (API en webinterface)
TestMultipleBackupServersTwee backup servers aan één BlueGit; meldingen naar beide; verwijderen ontkoppelt alleen die ene

De pipeline bouwt BlueGit van de ref in .bluegit-ref (master).

Licentie

Zie LICENSE.

Source
1# bluegit-backup
2
3Een losse backup server voor één [BlueGit](https://git.timfalken.com/timfa/bluegit)-instantie.
4
5- Koppelt met een **Backupserver-Key** die een BlueGit-beheerder in BlueGit maakt (*Beheer → Backup*).
6- Haalt alle data en configuratie van BlueGit binnen: database, sleutels, SSH-hostkeys, logo's, avatars, repositories, releases en artifacts. Dat gaat **gedoseerd** (`rate_limit_kib`), zodat BlueGit er geen last van heeft.
7- BlueGit **meldt elke wijziging**. De backup server haalt dan alleen op wat veranderd is. Daarnaast loopt hij elk `full_sync_interval` alles na.
8- Elk `archive_interval` (standaard dagelijks) gaat de hele kopie gecomprimeerd in een archief (`tar.gz`).
9- Archieven ouder dan `retention_days` gaan weg. Is de schijf vol (minder dan `min_free_mb` vrij), dan gaat het oudste archief weg. Het nieuwste archief blijft altijd staan.
10- In BlueGit ziet de beheerder de archieven en kan hij een **rollback** starten, met een grote waarschuwing dat die niet terug te draaien is. De backup server pakt het archief uit, vervangt zijn kopie en stuurt alles naar BlueGit. BlueGit zet de data terug en herstart.
11- Eén backup server hoort bij één BlueGit. Koppel je een andere instantie, dan kies je: **oude backups wissen** of **de nieuwe instantie herstellen** met de backupdata. Eén BlueGit kan wel meerdere backup servers hebben, elk met een eigen key.
12- Een **webinterface** (standaard op poort 8080) waarin alles in te stellen en te bedienen is, en een **API** die precies hetzelfde kan. Beide lopen via één lijst met acties (`GET /api/v1/admin/actions`).
13- Vanuit **BlueGit** (*Beheer → Backup → server*) is de backup server ook te bedienen: status, instellingen, sync, archiveren, opruimen, archieven verwijderen en rollback. BlueGit vraagt de acties op bij de backup server en stuurt ze ondertekend door.
14
15Het protocol staat in [docs/PROTOCOL.md](docs/PROTOCOL.md). De aannames staan in [docs/ASSUMPTIONS.md](docs/ASSUMPTIONS.md).
16
17## Installeren
18
19### Arch Linux (AUR)
20
21```sh
22yay -S bluegit-backup
23```
24
25Het pakket zet de binary in `/usr/bin/bluegit-backup`, de config in `/etc/bluegit-backup/config.yml`, de data in `/var/lib/bluegit-backup` en een systemd-unit `bluegit-backup.service` (gebruiker `bluegit-backup`).
26
27### Binary
28
29Bij een release staan `bluegit-backup-linux-amd64`, `bluegit-backup-linux-arm64` en `SHA256SUMS`. Zelf bouwen:
30
31```sh
32go build -o bluegit-backup ./cmd/bluegit-backup
33./bluegit-backup example-config > config.yml
34./bluegit-backup serve --config config.yml
35```
36
37## Koppelen
38
391. Zet in `config.yml` `public_url` op het adres waarop BlueGit deze server bereikt.
402. Start de server: `systemctl enable --now bluegit-backup`.
413. Voeg in BlueGit onder *Beheer → Backup* een backup server toe. De Backupserver-Key wordt één keer getoond.
424. Koppel in de webinterface (`http://<server>:8080`, sectie *Koppeling*), of met de CLI:
43
44 ```sh
45 BLUEGIT_BACKUP_KEY=bgbk_… bluegit-backup connect --url https://git.example.com
46 ```
47
48 Had deze server al backups van een andere BlueGit, dan vraagt `connect`:
49
50 ```
51 1) oude backups wissen en opnieuw beginnen
52 2) de nieuwe BlueGit herstellen met de laatste backupdata
53 ```
54
55 Zonder terminal kies je met `--on-conflict wipe` of `--on-conflict restore`.
56
57Daarna haalt de server meteen een volledige kopie op en maakt hij een eerste archief.
58
59## Webinterface
60
61Open `http://<server>:8080` en log in met het beheertoken uit `data_dir/admin.token`:
62
63```sh
64sudo -u bluegit-backup bluegit-backup token
65```
66
67Daar staan:
68
69- **Overzicht**: koppeling, laatste sync, kopie, archieven en de laatste rollback, met *Nu synchroniseren*, *Nu archiveren* en *Nu opruimen*.
70- **Koppeling**: koppelen (met de keuze wissen of herstellen bij een andere BlueGit) en ontkoppelen.
71- **Instellingen**: elk veld uit de tabel hieronder. Ze gaan naar `data_dir/settings.yml`, dat boven `config.yml` gaat. `listen` geldt pas na een herstart, de rest meteen.
72- **Archieven**: downloaden, verwijderen en een rollback (met waarschuwing, vinkje en de archiefnaam overtypen).
73- **API**: de lijst met alle acties.
74
75De sessie is een HttpOnly-cookie (SameSite=Strict, 12 uur), elk formulier heeft een CSRF-token, en vijf foute logins per minuut per IP-adres geven `429`. De interface mag niet in een frame van een andere site. Gebruik een TLS-proxy als de server buiten je eigen netwerk bereikbaar is.
76
77## API
78
79Elke actie uit de webinterface is ook een API-aanroep, met `Authorization: Bearer <admin.token>`:
80
81| Methode | Pad | Actie | BlueGit |
82|---|---|---|---|
83| GET | `/api/v1/admin/status` | Status | ✓ |
84| GET | `/api/v1/admin/actions` | Alle acties | ✓ |
85| GET | `/api/v1/admin/config` | Instellingen met uitleg | ✓ |
86| PUT | `/api/v1/admin/config` | Instellingen wijzigen, bv. `{"retention_days": 14}` | ✓ |
87| POST | `/api/v1/admin/connect` | `{"url", "key", "on_conflict": ""\|"wipe"\|"restore"}` | |
88| POST | `/api/v1/admin/disconnect` | Ontkoppelen (kopie en archieven blijven) | ✓ |
89| POST | `/api/v1/admin/sync` | Nu synchroniseren (`{"wait": false}`: op de achtergrond) | ✓ |
90| POST | `/api/v1/admin/archive` | Nu archiveren | ✓ |
91| POST | `/api/v1/admin/prune` | Bewaarregels nu toepassen | ✓ |
92| GET | `/api/v1/admin/archives` | Archieven | ✓ |
93| GET | `/api/v1/admin/archives/{name}/download` | Archief downloaden | |
94| DELETE | `/api/v1/admin/archives/{name}` | Archief verwijderen | ✓ |
95| POST | `/api/v1/admin/rollback` | `{"archive", "confirm": archiefnaam}`; niet terug te draaien | ✓ |
96
97✓ betekent dat de gekoppelde BlueGit dit ook mag, met een ondertekend verzoek. Een sessie van de webinterface mag de API ook gebruiken, met het CSRF-token in `X-CSRF-Token`.
98
99## CLI
100
101```sh
102bluegit-backup status | list | config | actions
103bluegit-backup sync | archive | prune | disconnect
104bluegit-backup set retention_days=14 archive_interval=12h
105bluegit-backup delete bluegit-20261115-030000.tar.gz
106bluegit-backup rollback bluegit-20261115-030000.tar.gz # vraagt om de naam over te typen
107bluegit-backup token # beheertoken voor de webinterface
108```
109
110Deze commando's praten met de draaiende server via `data_dir/admin.token`. Draai ze dus als een gebruiker die dat bestand kan lezen (`sudo -u bluegit-backup …`).
111
112## Configuratie
113
114| Sleutel | Standaard | Betekenis |
115|---|---|---|
116| `listen` | `0.0.0.0:8080` | Adres van de webinterface en API (na herstart) |
117| `public_url` | (leeg) | Adres waarop BlueGit deze server bereikt |
118| `data_dir` | `/var/lib/bluegit-backup` | Kopie, archieven en koppeling (alleen in `config.yml`) |
119| `archive_interval` | `24h` | Hoe vaak een archief |
120| `retention_days` | `30` | Archieven ouder dan dit weg (0 = nooit) |
121| `min_free_mb` | `1024` | Minder vrij: oudste archief weg |
122| `rate_limit_kib` | `1024` | Downloadsnelheid in KiB/s (0 = onbeperkt) |
123| `full_sync_interval` | `1h` | Ook zonder melding alles nalopen |
124| `min_sync_interval` | `10s` | Minimale tijd tussen syncs na meldingen |
125
126In `data_dir`:
127
128- `mirror/` is de lopende kopie.
129- `archives/` bevat `bluegit-YYYYMMDD-HHMMSS.tar.gz` (UTC).
130- `state.json` (0600) is de koppeling met de key.
131- `admin.token` (0600) is voor de webinterface, de API en de CLI.
132- `settings.yml` (0600) bevat wat via de webinterface, API of BlueGit is ingesteld.
133
134## Releases
135
136Een AUR-pakket (`bluegit-backup`, bijgewerkt vanaf master) en binaries bij een tag. Zie `blue-ci-cd.yml`.
137
138- Elke release-job hangt af van de job `integration`. Die bouwt een echte BlueGit (`scripts/build-bluegit.sh`, ref in `.bluegit-ref`), start hem, configureert hem en test daarmee elke feature. Faalt er één test, dan is er geen release.
139- Releases vanaf master staan pas aan zodra het bestand `.release-enabled` in de repository staat. De geheimen staan in de kop van `blue-ci-cd.yml`.
140- Een release bij een tag (`v*`) publiceert de binaries bij een bestaande tag.
141- Eerste release: [v0.1.0](https://git.timfalken.com/timfa/bluegit-backup/-/releases) (linux amd64/arm64 en `SHA256SUMS`).
142
143Updaten doe je zelf: `pacman -Syu bluegit-backup` (of je AUR-helper), of een nieuwe binary van de releasepagina. Er is geen self-update.
144
145## Tests
146
147```sh
148go test ./... # unit-tests
149./scripts/build-bluegit.sh # bouwt .bluegit-bin/bluegit
150BLUEGIT_BIN=$PWD/.bluegit-bin/bluegit go test -tags integration -v ./integration/
151```
152
153Daarnaast controleren unit-tests dat elke wijzigende actie een formulier in de webinterface heeft, en elk formulier een API-actie.
154
155De integratietests starten per test een echte BlueGit in een tijdelijke map (dev-login, geen SSH, geen CI-runner). Ze maken een beheerderstoken en daarmee repositories, issues en een Backupserver-Key. Daarna testen ze tegen die BlueGit:
156
157| Test | Feature |
158|---|---|
159| `TestKeyGenerationAndConnect` | Key maken in BlueGit, koppelen, verkeerde key geweigerd |
160| `TestFullSyncCopiesAllData` | Alle data en configuratie komt binnen, en de kopie klopt |
161| `TestNotificationTriggersSync` | Een wijziging in BlueGit geeft een melding en daarna een sync |
162| `TestDownloadIsThrottled` | Downloaden blijft onder `rate_limit_kib` |
163| `TestArchiveIntervalAndListInBlueGit` | Archief per interval, lijst zichtbaar in BlueGit |
164| `TestRetentionAndDiskFull` | Weggooien op leeftijd en bij volle schijf |
165| `TestRollbackFromBlueGit` | Rollback vanuit BlueGit (met bevestiging), BlueGit staat daarna terug |
166| `TestNewInstanceWipe` | Nieuwe instantie, keuze wissen |
167| `TestNewInstanceRestore` | Nieuwe instantie, keuze herstellen |
168| `TestCLIConnectAsksOnConflict` | `connect` vraagt de keuze |
169| `TestWebUIConfiguresAndOperatesEverything` | Webinterface: inloggen, alle instellingen, koppelen, sync, archief, download, opruimen, rollback, verwijderen, ontkoppelen |
170| `TestAPIDoesEverythingTheUICan` | Elke actie via de API; de test faalt als er een actie bij komt zonder test |
171| `TestBlueGitControlsBackupServer` | Instellingen, archief, sync en verwijderen vanuit BlueGit (API en webinterface) |
172| `TestMultipleBackupServers` | Twee backup servers aan één BlueGit; meldingen naar beide; verwijderen ontkoppelt alleen die ene |
173
174De pipeline bouwt BlueGit van de ref in `.bluegit-ref` (`master`).
175
176## Licentie
177
178Zie [LICENSE](LICENSE).