BlueGit

timfa bluegit

feat: webhooks weren privénetten en de beheerder kiest de datadisk

Webhooks lossen het adres op bij het verbinden, weigeren privébereiken
en zetten het publieke IP vast, ook na een redirect. De datadisk heeft
geen standaardpad: de installatiebeheerder kiest het in /setup. Database
en hostkey blijven in /var/lib/bluegit.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-21 · 3 weeks ago

Hash
1ab44366ecc6aba53378b48f92d4b7abcaee7ca2
Parent
77270b74
27 files changed +1134 −146
README.md +11 −11
@@ -19,10 +19,10 @@ Die keuze houdt de mini-PC klein. Er is geen Postgres, geen Redis en geen aparte
19 19 - `blue-ci-cd.yml`: stages, jobs, `needs`, `rules`, artifacts. Elke job in een eigen container.
20 20 - Geheimen als omgevingsvariabelen. Beschermde geheimen alleen op een beschermde branch.
21 21 - Releases op een commit, vanuit een pipeline met een job-token. Artifacts worden release-bestanden.
22 - Webhooks op repository en groep, met presets voor Discord, Grok Bot en een generieke JSON-webhook.
22 - Webhooks op repository en groep, met presets voor Discord, Grok Bot en een generieke JSON-webhook. Bestemmingen in privénetwerken worden geweigerd; het IP wordt bij het verbinden vastgezet.
23 23 - Een PKGBUILD, een systemd-unit en `packaging/install.sh`.
24 24
25 Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het systeem staat in [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md). De auth-koppeling staat in [docs/AUTH.md](docs/AUTH.md). De ingress staat in [docs/INGRESS.md](docs/INGRESS.md). Besloten en nog open vragen staan in [docs/VRAGEN.md](docs/VRAGEN.md).
25 Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het systeem staat in [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md). De auth-koppeling staat in [docs/AUTH.md](docs/AUTH.md). De ingress staat in [docs/INGRESS.md](docs/INGRESS.md). De besluiten staan in [docs/VRAGEN.md](docs/VRAGEN.md).
26 26
27 27 ## Lokaal proberen
28 28
@@ -31,7 +31,6 @@ Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het
31 31 ```yaml
32 32 base_url: http://127.0.0.1:8080
33 33 listen: 127.0.0.1:8080
34 storage_path: ./data
35 34 auth:
36 35 mode: dev
37 36 dev_user: tim
@@ -41,6 +40,8 @@ ci:
41 40 enabled: false
42 41 ```
43 42
43 Laat `storage_path` weg. Na het aanmelden vraagt BlueGit om een absoluut pad dat al bestaat, beschrijfbaar is en minstens 1 GiB vrij heeft. `mkdir -p "$PWD/data"` en plak het absolute pad in dat scherm. Zet je toch `storage_path` in dit bestand, dan moet dat pad absoluut zijn; het slaat het scherm over zolang de state-map nog geen keuze bewaart.
44
44 45 ```shell
45 46 go build -o bluegit ./cmd/bluegit
46 47 ./bluegit serve --config bluegit.yml
@@ -64,13 +65,12 @@ cd packaging/arch && makepkg -si
64 65
65 66 Daarna:
66 67
67 1. Mount de 4 TB-schijf. Het mountpoint is nog niet gekozen. Maak de map voor BlueGit aan als de gebruiker `bluegit`.
68 2. Zet `storage_path` in `/etc/bluegit/config.yml` op die map. `/mnt/storage/bluegit` in het voorbeeld is geen besluit.
69 3. Kopieer `/usr/share/bluegit/storage.conf.example` naar `/etc/systemd/system/bluegit.service.d/storage.conf` en pas het pad aan. Zonder die drop-in blokkeert `ProtectSystem` schrijven buiten `/var/lib/bluegit`. De drop-in wordt niet geïnstalleerd, omdat een pad dat niet bestaat de dienst zou tegenhouden.
70 4. Registreer bij https://auth.timfalken.com/admin het domein `git.timfalken.com` met callback-pad `/auth/callback`. Het client_id is het domein. Het geheim verschijnt één keer.
71 5. Zet het geheim in `/etc/bluegit/client_secret` (mode `0600`) of in `BLUEGIT_AUTH_CLIENT_SECRET` via `/etc/bluegit/secret.env`.
72 6. Zet de ingress op de andere machine. BlueGit zelf blijft plain HTTP. `trusted_proxies` is het adres van die ingress, `base_url` is `https://git.timfalken.com`, en `ssh.public_port` is de poort die gebruikers zien. Het voorbeeld staat in [docs/INGRESS.md](docs/INGRESS.md).
73 7. `systemctl enable --now bluegit`. De eerste aanmelding wordt installatiebeheerder.
68 1. Mount de 4 TB-schijf op een pad dat jij kiest. Maak die map beschrijfbaar voor de gebruiker `bluegit`. Er is geen standaardpad.
69 2. Kopieer `/usr/share/bluegit/storage.conf.example` naar `/etc/systemd/system/bluegit.service.d/storage.conf` en zet `ReadWritePaths` op die map. Zonder die drop-in blokkeert `ProtectSystem` schrijven buiten `/var/lib/bluegit`, en de schrijftest in het setup-scherm faalt. De database blijft in `/var/lib/bluegit`.
70 3. Registreer bij https://auth.timfalken.com/admin het domein `git.timfalken.com` met callback-pad `/auth/callback`. Het client_id is het domein. Het geheim verschijnt één keer.
71 4. Zet het geheim in `/etc/bluegit/client_secret` (mode `0600`) of in `BLUEGIT_AUTH_CLIENT_SECRET` via `/etc/bluegit/secret.env`.
72 5. Zet de ingress op de andere machine. BlueGit zelf blijft plain HTTP. `trusted_proxies` is het adres van die ingress, `base_url` is `https://git.timfalken.com`, en `ssh.public_port` is de poort die gebruikers zien. Het voorbeeld staat in [docs/INGRESS.md](docs/INGRESS.md).
73 6. `systemctl daemon-reload && systemctl enable --now bluegit`. De eerste aanmelding wordt installatiebeheerder en kiest het pad in het setup-scherm. Daar staat ook hoeveel ruimte vrij is. Git en CI doen niets tot dat pad opgeslagen is.
74 74
75 75 SSH voor git luistert op `ssh.listen` (in het voorbeeld `0.0.0.0:2222`), naast de SSH van het besturingssysteem. De hostkey komt de eerste keer in de opslagmap. De clone-URL gebruikt `ssh.public_host` en `ssh.public_port`, niet de bindpoort.
76 76
@@ -94,7 +94,7 @@ De specificatie staat in [docs/CI.md](docs/CI.md). Kort: `stages`, `jobs`, `imag
94 94
95 95 Een release maakt de pipeline zelf, met `CI_JOB_TOKEN` en `CI_API_URL`. Bestanden komen uit artifacts van een eerdere job in dezelfde pipeline, niet uit de request-body.
96 96
97 Webhooks hebben een URL-sjabloon, eigen headers en een body-sjabloon. `{{secret.NAAM}}` en `{{event.summary}}` worden bij het versturen ingevuld. Een push kan gefilterd worden op een exacte branch of op `re:` plus een reguliere expressie. Presets: `discord`, `grok` (JSON met een `Authorization`-header) en `generic`.
97 Webhooks hebben een URL-sjabloon, eigen headers en een body-sjabloon. `{{secret.NAAM}}` en `{{event.summary}}` worden bij het versturen ingevuld. Een push kan gefilterd worden op een exacte branch of op `re:` plus een reguliere expressie. Presets: `discord`, `grok` (JSON met een `Authorization`-header) en `generic`. Een bestemming in een privénetwerk, of een naam die daarheen oplost, wordt geweigerd. Het IP van een publieke naam wordt vastgezet op het moment van verbinden, en elke redirect wordt opnieuw gekeurd.
98 98
99 99 ## Zelf bijwerken
100 100
@@ -19,10 +19,10 @@ Die keuze houdt de mini-PC klein. Er is geen Postgres, geen Redis en geen aparte
19- `blue-ci-cd.yml`: stages, jobs, `needs`, `rules`, artifacts. Elke job in een eigen container.
19- `blue-ci-cd.yml`: stages, jobs, `needs`, `rules`, artifacts. Elke job in een eigen container.
20- Geheimen als omgevingsvariabelen. Beschermde geheimen alleen op een beschermde branch.
20- Geheimen als omgevingsvariabelen. Beschermde geheimen alleen op een beschermde branch.
21- Releases op een commit, vanuit een pipeline met een job-token. Artifacts worden release-bestanden.
21- Releases op een commit, vanuit een pipeline met een job-token. Artifacts worden release-bestanden.
22- Webhooks op repository en groep, met presets voor Discord, Grok Bot en een generieke JSON-webhook.
22- Webhooks op repository en groep, met presets voor Discord, Grok Bot en een generieke JSON-webhook. Bestemmingen in privénetwerken worden geweigerd; het IP wordt bij het verbinden vastgezet.
23- Een PKGBUILD, een systemd-unit en `packaging/install.sh`.
23- Een PKGBUILD, een systemd-unit en `packaging/install.sh`.
24
24
25Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het systeem staat in [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md). De auth-koppeling staat in [docs/AUTH.md](docs/AUTH.md). De ingress staat in [docs/INGRESS.md](docs/INGRESS.md). Besloten en nog open vragen staan in [docs/VRAGEN.md](docs/VRAGEN.md).
25Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het systeem staat in [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md). De auth-koppeling staat in [docs/AUTH.md](docs/AUTH.md). De ingress staat in [docs/INGRESS.md](docs/INGRESS.md). De besluiten staan in [docs/VRAGEN.md](docs/VRAGEN.md).
26
26
27## Lokaal proberen
27## Lokaal proberen
28
28
@@ -31,7 +31,6 @@ Wat nog niet af is, staat in [docs/ROADMAP.md](docs/ROADMAP.md). De vorm van het
31```yaml
31```yaml
32base_url: http://127.0.0.1:8080
32base_url: http://127.0.0.1:8080
33listen: 127.0.0.1:8080
33listen: 127.0.0.1:8080
34storage_path: ./data
35auth:
34auth:
36 mode: dev
35 mode: dev
37 dev_user: tim
36 dev_user: tim
@@ -41,6 +40,8 @@ ci:
41 enabled: false
40 enabled: false
42```
41```
43
42
43Laat `storage_path` weg. Na het aanmelden vraagt BlueGit om een absoluut pad dat al bestaat, beschrijfbaar is en minstens 1 GiB vrij heeft. `mkdir -p "$PWD/data"` en plak het absolute pad in dat scherm. Zet je toch `storage_path` in dit bestand, dan moet dat pad absoluut zijn; het slaat het scherm over zolang de state-map nog geen keuze bewaart.
44
44```shell
45```shell
45go build -o bluegit ./cmd/bluegit
46go build -o bluegit ./cmd/bluegit
46./bluegit serve --config bluegit.yml
47./bluegit serve --config bluegit.yml
@@ -64,13 +65,12 @@ cd packaging/arch && makepkg -si
64
65
65Daarna:
66Daarna:
66
67
671. Mount de 4 TB-schijf. Het mountpoint is nog niet gekozen. Maak de map voor BlueGit aan als de gebruiker `bluegit`.
681. Mount de 4 TB-schijf op een pad dat jij kiest. Maak die map beschrijfbaar voor de gebruiker `bluegit`. Er is geen standaardpad.
682. Zet `storage_path` in `/etc/bluegit/config.yml` op die map. `/mnt/storage/bluegit` in het voorbeeld is geen besluit.
692. Kopieer `/usr/share/bluegit/storage.conf.example` naar `/etc/systemd/system/bluegit.service.d/storage.conf` en zet `ReadWritePaths` op die map. Zonder die drop-in blokkeert `ProtectSystem` schrijven buiten `/var/lib/bluegit`, en de schrijftest in het setup-scherm faalt. De database blijft in `/var/lib/bluegit`.
693. Kopieer `/usr/share/bluegit/storage.conf.example` naar `/etc/systemd/system/bluegit.service.d/storage.conf` en pas het pad aan. Zonder die drop-in blokkeert `ProtectSystem` schrijven buiten `/var/lib/bluegit`. De drop-in wordt niet geïnstalleerd, omdat een pad dat niet bestaat de dienst zou tegenhouden.
703. Registreer bij https://auth.timfalken.com/admin het domein `git.timfalken.com` met callback-pad `/auth/callback`. Het client_id is het domein. Het geheim verschijnt één keer.
704. Registreer bij https://auth.timfalken.com/admin het domein `git.timfalken.com` met callback-pad `/auth/callback`. Het client_id is het domein. Het geheim verschijnt één keer.
714. Zet het geheim in `/etc/bluegit/client_secret` (mode `0600`) of in `BLUEGIT_AUTH_CLIENT_SECRET` via `/etc/bluegit/secret.env`.
715. Zet het geheim in `/etc/bluegit/client_secret` (mode `0600`) of in `BLUEGIT_AUTH_CLIENT_SECRET` via `/etc/bluegit/secret.env`.
725. Zet de ingress op de andere machine. BlueGit zelf blijft plain HTTP. `trusted_proxies` is het adres van die ingress, `base_url` is `https://git.timfalken.com`, en `ssh.public_port` is de poort die gebruikers zien. Het voorbeeld staat in [docs/INGRESS.md](docs/INGRESS.md).
726. Zet de ingress op de andere machine. BlueGit zelf blijft plain HTTP. `trusted_proxies` is het adres van die ingress, `base_url` is `https://git.timfalken.com`, en `ssh.public_port` is de poort die gebruikers zien. Het voorbeeld staat in [docs/INGRESS.md](docs/INGRESS.md).
736. `systemctl daemon-reload && systemctl enable --now bluegit`. De eerste aanmelding wordt installatiebeheerder en kiest het pad in het setup-scherm. Daar staat ook hoeveel ruimte vrij is. Git en CI doen niets tot dat pad opgeslagen is.
737. `systemctl enable --now bluegit`. De eerste aanmelding wordt installatiebeheerder.
74
74
75SSH voor git luistert op `ssh.listen` (in het voorbeeld `0.0.0.0:2222`), naast de SSH van het besturingssysteem. De hostkey komt de eerste keer in de opslagmap. De clone-URL gebruikt `ssh.public_host` en `ssh.public_port`, niet de bindpoort.
75SSH voor git luistert op `ssh.listen` (in het voorbeeld `0.0.0.0:2222`), naast de SSH van het besturingssysteem. De hostkey komt de eerste keer in de opslagmap. De clone-URL gebruikt `ssh.public_host` en `ssh.public_port`, niet de bindpoort.
76
76
@@ -94,7 +94,7 @@ De specificatie staat in [docs/CI.md](docs/CI.md). Kort: `stages`, `jobs`, `imag
94
94
95Een release maakt de pipeline zelf, met `CI_JOB_TOKEN` en `CI_API_URL`. Bestanden komen uit artifacts van een eerdere job in dezelfde pipeline, niet uit de request-body.
95Een release maakt de pipeline zelf, met `CI_JOB_TOKEN` en `CI_API_URL`. Bestanden komen uit artifacts van een eerdere job in dezelfde pipeline, niet uit de request-body.
96
96
97Webhooks hebben een URL-sjabloon, eigen headers en een body-sjabloon. `{{secret.NAAM}}` en `{{event.summary}}` worden bij het versturen ingevuld. Een push kan gefilterd worden op een exacte branch of op `re:` plus een reguliere expressie. Presets: `discord`, `grok` (JSON met een `Authorization`-header) en `generic`.
97Webhooks hebben een URL-sjabloon, eigen headers en een body-sjabloon. `{{secret.NAAM}}` en `{{event.summary}}` worden bij het versturen ingevuld. Een push kan gefilterd worden op een exacte branch of op `re:` plus een reguliere expressie. Presets: `discord`, `grok` (JSON met een `Authorization`-header) en `generic`. Een bestemming in een privénetwerk, of een naam die daarheen oplost, wordt geweigerd. Het IP van een publieke naam wordt vastgezet op het moment van verbinden, en elke redirect wordt opnieuw gekeurd.
98
98
99## Zelf bijwerken
99## Zelf bijwerken
100
100
cmd/bluegit/main.go +54 −22
@@ -10,6 +10,7 @@ import (
10 10 "os"
11 11 "os/signal"
12 12 "path/filepath"
13 "strings"
13 14 "syscall"
14 15 "time"
15 16
@@ -20,6 +21,7 @@ import (
20 21 "gitlab.com/Timfa/bluegit/internal/runner"
21 22 "gitlab.com/Timfa/bluegit/internal/server"
22 23 "gitlab.com/Timfa/bluegit/internal/sshd"
24 "gitlab.com/Timfa/bluegit/internal/state"
23 25 "gitlab.com/Timfa/bluegit/internal/store"
24 26 )
25 27
@@ -68,14 +70,14 @@ func serve(args []string) error {
68 70 return err
69 71 }
70 72 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
71 if err := os.MkdirAll(cfg.StoragePath, 0o750); err != nil {
73 if err := os.MkdirAll(cfg.StatePath, 0o750); err != nil {
72 74 return err
73 75 }
74 key, err := loadKey(filepath.Join(cfg.StoragePath, "secret.key"))
76 key, err := loadKey(filepath.Join(cfg.StatePath, "secret.key"))
75 77 if err != nil {
76 78 return err
77 79 }
78 st, err := store.Open(filepath.Join(cfg.StoragePath, "bluegit.db"), key)
80 st, err := store.Open(filepath.Join(cfg.StatePath, "bluegit.db"), key)
79 81 if err != nil {
80 82 return err
81 83 }
@@ -87,18 +89,7 @@ func serve(args []string) error {
87 89 if cfg.Git.HookBinary != "" {
88 90 exe = cfg.Git.HookBinary
89 91 }
90 repos, err := st.AllRepos(context.Background())
91 if err != nil {
92 return err
93 }
94 for _, repo := range repos {
95 dir := gitrepo.Dir(cfg.StoragePath, repo.OwnerPath, repo.Name)
96 if _, err := os.Stat(dir); err == nil {
97 if err := gitrepo.InstallHook(dir, exe); err != nil {
98 log.Error("hook", "repo", repo.FullPath(), "err", err)
99 }
100 }
101 }
92 dataPath := resolveStorage(cfg, log)
102 93 var provider auth.Provider
103 94 dev := cfg.Auth.Mode == "dev"
104 95 if dev {
@@ -111,20 +102,23 @@ func serve(args []string) error {
111 102 defer stop()
112 103 srv := &server.Server{
113 104 Cfg: cfg, Store: st, Auth: provider, Dev: dev, Git: cfg.Git.Binary, HookBin: exe, Log: log,
105 StateDir: cfg.StatePath,
114 106 }
107 var rn *runner.Runner
115 108 if cfg.CI.Enabled {
116 rn := &runner.Runner{
117 Store: st, GitBin: cfg.Git.Binary, Docker: cfg.CI.Docker, Storage: cfg.StoragePath,
109 rn = &runner.Runner{
110 Store: st, GitBin: cfg.Git.Binary, Docker: cfg.CI.Docker, Storage: dataPath,
118 111 BaseURL: cfg.BaseURL, Network: cfg.CI.Network, Timeout: time.Duration(cfg.CI.TimeoutSec) * time.Second,
119 112 Log: log, OnEvent: srv.Dispatch,
120 113 }
121 114 srv.Runner = rn
122 115 go rn.Loop(ctx, cfg.CI.Concurrency)
123 116 }
117 var sh *sshd.Server
124 118 if cfg.SSH.Enabled {
125 sh := &sshd.Server{
126 Listen: cfg.SSH.Listen, Store: st, GitBin: cfg.Git.Binary, Storage: cfg.StoragePath,
127 HostKey: filepath.Join(cfg.StoragePath, "ssh", "host_ed25519"), Log: log,
119 sh = &sshd.Server{
120 Listen: cfg.SSH.Listen, Store: st, GitBin: cfg.Git.Binary, Storage: dataPath,
121 HostKey: filepath.Join(cfg.StatePath, "ssh", "host_ed25519"), Log: log,
128 122 OnPush: srv.AfterPush,
129 123 }
130 124 go func() {
@@ -133,6 +127,16 @@ func serve(args []string) error {
133 127 }
134 128 }()
135 129 }
130 srv.AfterStorage = func(path string) {
131 if rn != nil {
132 rn.SetStorage(path)
133 }
134 if sh != nil {
135 sh.SetStorage(path)
136 }
137 }
138 srv.AdoptStorage(dataPath)
139 srv.RefreshHooks()
136 140 httpSrv := &http.Server{Addr: cfg.Listen, Handler: srv.Handler(), ReadHeaderTimeout: 10 * time.Second}
137 141 go func() {
138 142 <-ctx.Done()
@@ -178,11 +182,14 @@ func tokenCmd(args []string) error {
178 182 if err != nil {
179 183 return err
180 184 }
181 key, err := loadKey(filepath.Join(cfg.StoragePath, "secret.key"))
185 if err := os.MkdirAll(cfg.StatePath, 0o750); err != nil {
186 return err
187 }
188 key, err := loadKey(filepath.Join(cfg.StatePath, "secret.key"))
182 189 if err != nil {
183 190 return err
184 191 }
185 st, err := store.Open(filepath.Join(cfg.StoragePath, "bluegit.db"), key)
192 st, err := store.Open(filepath.Join(cfg.StatePath, "bluegit.db"), key)
186 193 if err != nil {
187 194 return err
188 195 }
@@ -199,6 +206,31 @@ func tokenCmd(args []string) error {
199 206 return nil
200 207 }
201 208
209 func resolveStorage(cfg config.Config, log *slog.Logger) string {
210 saved, err := state.Read(cfg.StatePath)
211 if err != nil {
212 log.Error("opslagpad lezen", "err", err)
213 return ""
214 }
215 path := strings.TrimSpace(saved)
216 if path == "" {
217 path = strings.TrimSpace(cfg.StoragePath)
218 }
219 if path == "" {
220 log.Info("geen opslagpad; de beheerder kiest het in de webinterface")
221 return ""
222 }
223 if filepath.Clean(path) == filepath.Clean(cfg.StatePath) {
224 log.Warn("opslagpad is de state-map; kies de datadisk in de webinterface", "path", path)
225 return ""
226 }
227 if _, err := state.Inspect(path); err != nil {
228 log.Warn("opslagpad niet bruikbaar", "path", path, "err", err)
229 return ""
230 }
231 return path
232 }
233
202 234 func loadConfig(path string) (config.Config, error) {
203 235 if path == "" {
204 236 path = os.Getenv("BLUEGIT_CONFIG")
@@ -10,6 +10,7 @@ import (
10 "os"
10 "os"
11 "os/signal"
11 "os/signal"
12 "path/filepath"
12 "path/filepath"
13 "strings"
13 "syscall"
14 "syscall"
14 "time"
15 "time"
15
16
@@ -20,6 +21,7 @@ import (
20 "gitlab.com/Timfa/bluegit/internal/runner"
21 "gitlab.com/Timfa/bluegit/internal/runner"
21 "gitlab.com/Timfa/bluegit/internal/server"
22 "gitlab.com/Timfa/bluegit/internal/server"
22 "gitlab.com/Timfa/bluegit/internal/sshd"
23 "gitlab.com/Timfa/bluegit/internal/sshd"
24 "gitlab.com/Timfa/bluegit/internal/state"
23 "gitlab.com/Timfa/bluegit/internal/store"
25 "gitlab.com/Timfa/bluegit/internal/store"
24)
26)
25
27
@@ -68,14 +70,14 @@ func serve(args []string) error {
68 return err
70 return err
69 }
71 }
70 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
72 log := slog.New(slog.NewTextHandler(os.Stdout, nil))
71 if err := os.MkdirAll(cfg.StoragePath, 0o750); err != nil {
73 if err := os.MkdirAll(cfg.StatePath, 0o750); err != nil {
72 return err
74 return err
73 }
75 }
74 key, err := loadKey(filepath.Join(cfg.StoragePath, "secret.key"))
76 key, err := loadKey(filepath.Join(cfg.StatePath, "secret.key"))
75 if err != nil {
77 if err != nil {
76 return err
78 return err
77 }
79 }
78 st, err := store.Open(filepath.Join(cfg.StoragePath, "bluegit.db"), key)
80 st, err := store.Open(filepath.Join(cfg.StatePath, "bluegit.db"), key)
79 if err != nil {
81 if err != nil {
80 return err
82 return err
81 }
83 }
@@ -87,18 +89,7 @@ func serve(args []string) error {
87 if cfg.Git.HookBinary != "" {
89 if cfg.Git.HookBinary != "" {
88 exe = cfg.Git.HookBinary
90 exe = cfg.Git.HookBinary
89 }
91 }
90 repos, err := st.AllRepos(context.Background())
92 dataPath := resolveStorage(cfg, log)
91 if err != nil {
92 return err
93 }
94 for _, repo := range repos {
95 dir := gitrepo.Dir(cfg.StoragePath, repo.OwnerPath, repo.Name)
96 if _, err := os.Stat(dir); err == nil {
97 if err := gitrepo.InstallHook(dir, exe); err != nil {
98 log.Error("hook", "repo", repo.FullPath(), "err", err)
99 }
100 }
101 }
102 var provider auth.Provider
93 var provider auth.Provider
103 dev := cfg.Auth.Mode == "dev"
94 dev := cfg.Auth.Mode == "dev"
104 if dev {
95 if dev {
@@ -111,20 +102,23 @@ func serve(args []string) error {
111 defer stop()
102 defer stop()
112 srv := &server.Server{
103 srv := &server.Server{
113 Cfg: cfg, Store: st, Auth: provider, Dev: dev, Git: cfg.Git.Binary, HookBin: exe, Log: log,
104 Cfg: cfg, Store: st, Auth: provider, Dev: dev, Git: cfg.Git.Binary, HookBin: exe, Log: log,
105 StateDir: cfg.StatePath,
114 }
106 }
107 var rn *runner.Runner
115 if cfg.CI.Enabled {
108 if cfg.CI.Enabled {
116 rn := &runner.Runner{
109 rn = &runner.Runner{
117 Store: st, GitBin: cfg.Git.Binary, Docker: cfg.CI.Docker, Storage: cfg.StoragePath,
110 Store: st, GitBin: cfg.Git.Binary, Docker: cfg.CI.Docker, Storage: dataPath,
118 BaseURL: cfg.BaseURL, Network: cfg.CI.Network, Timeout: time.Duration(cfg.CI.TimeoutSec) * time.Second,
111 BaseURL: cfg.BaseURL, Network: cfg.CI.Network, Timeout: time.Duration(cfg.CI.TimeoutSec) * time.Second,
119 Log: log, OnEvent: srv.Dispatch,
112 Log: log, OnEvent: srv.Dispatch,
120 }
113 }
121 srv.Runner = rn
114 srv.Runner = rn
122 go rn.Loop(ctx, cfg.CI.Concurrency)
115 go rn.Loop(ctx, cfg.CI.Concurrency)
123 }
116 }
117 var sh *sshd.Server
124 if cfg.SSH.Enabled {
118 if cfg.SSH.Enabled {
125 sh := &sshd.Server{
119 sh = &sshd.Server{
126 Listen: cfg.SSH.Listen, Store: st, GitBin: cfg.Git.Binary, Storage: cfg.StoragePath,
120 Listen: cfg.SSH.Listen, Store: st, GitBin: cfg.Git.Binary, Storage: dataPath,
127 HostKey: filepath.Join(cfg.StoragePath, "ssh", "host_ed25519"), Log: log,
121 HostKey: filepath.Join(cfg.StatePath, "ssh", "host_ed25519"), Log: log,
128 OnPush: srv.AfterPush,
122 OnPush: srv.AfterPush,
129 }
123 }
130 go func() {
124 go func() {
@@ -133,6 +127,16 @@ func serve(args []string) error {
133 }
127 }
134 }()
128 }()
135 }
129 }
130 srv.AfterStorage = func(path string) {
131 if rn != nil {
132 rn.SetStorage(path)
133 }
134 if sh != nil {
135 sh.SetStorage(path)
136 }
137 }
138 srv.AdoptStorage(dataPath)
139 srv.RefreshHooks()
136 httpSrv := &http.Server{Addr: cfg.Listen, Handler: srv.Handler(), ReadHeaderTimeout: 10 * time.Second}
140 httpSrv := &http.Server{Addr: cfg.Listen, Handler: srv.Handler(), ReadHeaderTimeout: 10 * time.Second}
137 go func() {
141 go func() {
138 <-ctx.Done()
142 <-ctx.Done()
@@ -178,11 +182,14 @@ func tokenCmd(args []string) error {
178 if err != nil {
182 if err != nil {
179 return err
183 return err
180 }
184 }
181 key, err := loadKey(filepath.Join(cfg.StoragePath, "secret.key"))
185 if err := os.MkdirAll(cfg.StatePath, 0o750); err != nil {
186 return err
187 }
188 key, err := loadKey(filepath.Join(cfg.StatePath, "secret.key"))
182 if err != nil {
189 if err != nil {
183 return err
190 return err
184 }
191 }
185 st, err := store.Open(filepath.Join(cfg.StoragePath, "bluegit.db"), key)
192 st, err := store.Open(filepath.Join(cfg.StatePath, "bluegit.db"), key)
186 if err != nil {
193 if err != nil {
187 return err
194 return err
188 }
195 }
@@ -199,6 +206,31 @@ func tokenCmd(args []string) error {
199 return nil
206 return nil
200}
207}
201
208
209func resolveStorage(cfg config.Config, log *slog.Logger) string {
210 saved, err := state.Read(cfg.StatePath)
211 if err != nil {
212 log.Error("opslagpad lezen", "err", err)
213 return ""
214 }
215 path := strings.TrimSpace(saved)
216 if path == "" {
217 path = strings.TrimSpace(cfg.StoragePath)
218 }
219 if path == "" {
220 log.Info("geen opslagpad; de beheerder kiest het in de webinterface")
221 return ""
222 }
223 if filepath.Clean(path) == filepath.Clean(cfg.StatePath) {
224 log.Warn("opslagpad is de state-map; kies de datadisk in de webinterface", "path", path)
225 return ""
226 }
227 if _, err := state.Inspect(path); err != nil {
228 log.Warn("opslagpad niet bruikbaar", "path", path, "err", err)
229 return ""
230 }
231 return path
232}
233
202func loadConfig(path string) (config.Config, error) {
234func loadConfig(path string) (config.Config, error) {
203 if path == "" {
235 if path == "" {
204 path = os.Getenv("BLUEGIT_CONFIG")
236 path = os.Getenv("BLUEGIT_CONFIG")
docs/ARCHITECTURE.md +17 −10
@@ -22,16 +22,21 @@ Docker is alleen de jobgrens die de eis stelt. BlueGit mount de Docker-socket ni
22 22
23 23 ## Schijf
24 24
25 `storage_path` is de wortel. Het mountpoint van de 4 TB-schijf is nog niet gekozen. `/mnt/storage/bluegit` in de voorbeeldconfiguratie is alleen een voorbeeld; het echte pad komt in de configuratie en in de systemd-drop-in.
25 Twee mappen. De state-map is klein en staat vast, standaard `/var/lib/bluegit` (`state_path`, de `StateDirectory` van systemd). Daar staan de database, `secret.key` en de SSH-hostkey, plus het bestand `storage_path` zodra de beheerder een datadisk heeft gekozen. Zonder dat bestand, en zonder een expliciet `storage_path` in de configuratie, is er geen datadisk. De eerste aangemelde gebruiker kiest die in `/setup`. Het pad moet bestaan, beschrijfbaar zijn en minstens 1 GiB vrij hebben. Git en CI antwoorden tot die tijd met een melding.
26
27 De datadisk zelf heeft geen standaardpad. Wijzigen mag later in hetzelfde scherm. BlueGit verhuist de bestanden niet; oude repositories blijven op de oude plek staan en worden daar niet meer gezocht.
28
29 Onder `ProtectSystem=strict` mag het proces alleen in de state-map schrijven, tot een drop-in `ReadWritePaths` het gekozen pad toevoegt. Die drop-in moet er zijn vóór het opslaan, anders faalt de schrijftest. Voorbeeld: `packaging/storage.conf`.
26 30
27 31 ```text
28 bluegit.db metadata, mode via het proces van gebruiker bluegit
29 secret.key 32 bytes, AES-GCM voor geheimen, mode 0600
30 repos/eigenaar/naam.git
31 artifacts/job-id/…
32 releases/eigenaar/naam/tag/…
33 work/pipeline/job/ tijdelijke clone voor een job
34 ssh/host_ed25519 hostkey van de git-SSH
32 /var/lib/bluegit/bluegit.db
33 /var/lib/bluegit/secret.key
34 /var/lib/bluegit/storage_path
35 /var/lib/bluegit/ssh/host_ed25519
36 <datadisk>/repos/eigenaar/naam.git
37 <datadisk>/artifacts/job-id/…
38 <datadisk>/releases/eigenaar/naam/tag/…
39 <datadisk>/work/pipeline/job/
35 40 ```
36 41
37 42 Geheimen in de database zijn versleuteld. Sessietokens van de auth-server staan als tekst in SQLite; de bestandsmachtiging van de database is de grens. Versleutelen van die sessies staat op de roadmap.
@@ -50,7 +55,7 @@ Details en de eisen van de auth-server staan in [AUTH.md](AUTH.md).
50 55
51 56 `internal/access` is bewust los van HTTP en SQL. `Resolve` kiest de hoogste rol uit persoonlijke eigenaar, groepslid en rechtstreeks lid. `AuthorizeUpdate` keurt een pre-receive-regel goed. De hook is die functie, aangeroepen als `bluegit hook pre-receive`, met de rol en de patronen in de omgeving. Zonder die omgeving weigert de hook, zodat een push om de server heen niet slaagt.
52 57
53 De eerste aangemelde gebruiker is installatiebeheerder. `is_admin` van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. De vlag is er voor instance-beheer; een scherm daarvoor is er nog niet.
58 De eerste aangemelde gebruiker is installatiebeheerder. `is_admin` van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. Het scherm `/setup` hoort bij die vlag: daar staat alleen het pad van de datadisk.
54 59
55 60 ## Web
56 61
@@ -79,8 +84,10 @@ Een gebeurtenis gaat naar de webhooks van de repository en, als de repository va
79 84
80 85 Het branchfilter geldt alleen voor `push`. Andere gebeurtenissen negeren het. Een onbekend geheim of veld in het sjabloon is een fout en er gaat niets uit, zodat er geen webhook vertrekt met een leeg token.
81 86
87 De bestemming wordt bij het verbinden opgelost. Privébereiken (RFC1918, loopback, link-local, CGNAT, ULA en de IPv6-equivalenten, plus multicast en gereserveerde adressen) worden geweigerd, ook als maar één DNS-antwoord daarheen wijst. Het gekozen publieke IP wordt vastgezet; een proxy uit de omgeving wordt niet gebruikt. Elke redirect krijgt dezelfde controle. Een redirect naar een andere host neemt de headers niet mee, en een 307/308 naar een andere host wordt geweigerd zodat de body met geheimen niet meereist. Een publiek IP dat via de router terug het huis in komt, blijft toegestaan.
88
82 89 ## Vertrouwensgrens
83 90
84 91 De systeemgebruiker `bluegit` kan alles lezen wat op de schijf staat, inclusief geheimen (hij heeft `secret.key`). Mensen op de website kunnen dat niet, behalve een beheerder via het JSON-export dat de auth-server verplicht stelt. CI-jobs zien de geheimen die de regel van beschermde branches toelaat. Ze zien de Docker-socket niet.
85 92
86 Webhooks mogen naar elk http(s)-adres, ook naar iets op het lokale netwerk. Redirects worden niet gevolgd. Of dat zo blijft, is nog open: Tim denkt erover na. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dat open is.
93 Webhooks gaan niet naar een privénetwerk. De classificatie staat in `internal/ssrf`. Een allowlist van hosts, opnieuw proberen en een testknop staan nog op de roadmap.
@@ -22,16 +22,21 @@ Docker is alleen de jobgrens die de eis stelt. BlueGit mount de Docker-socket ni
22
22
23## Schijf
23## Schijf
24
24
25`storage_path` is de wortel. Het mountpoint van de 4 TB-schijf is nog niet gekozen. `/mnt/storage/bluegit` in de voorbeeldconfiguratie is alleen een voorbeeld; het echte pad komt in de configuratie en in de systemd-drop-in.
25Twee mappen. De state-map is klein en staat vast, standaard `/var/lib/bluegit` (`state_path`, de `StateDirectory` van systemd). Daar staan de database, `secret.key` en de SSH-hostkey, plus het bestand `storage_path` zodra de beheerder een datadisk heeft gekozen. Zonder dat bestand, en zonder een expliciet `storage_path` in de configuratie, is er geen datadisk. De eerste aangemelde gebruiker kiest die in `/setup`. Het pad moet bestaan, beschrijfbaar zijn en minstens 1 GiB vrij hebben. Git en CI antwoorden tot die tijd met een melding.
26
27De datadisk zelf heeft geen standaardpad. Wijzigen mag later in hetzelfde scherm. BlueGit verhuist de bestanden niet; oude repositories blijven op de oude plek staan en worden daar niet meer gezocht.
28
29Onder `ProtectSystem=strict` mag het proces alleen in de state-map schrijven, tot een drop-in `ReadWritePaths` het gekozen pad toevoegt. Die drop-in moet er zijn vóór het opslaan, anders faalt de schrijftest. Voorbeeld: `packaging/storage.conf`.
26
30
27```text
31```text
28bluegit.db metadata, mode via het proces van gebruiker bluegit
32/var/lib/bluegit/bluegit.db
29secret.key 32 bytes, AES-GCM voor geheimen, mode 0600
33/var/lib/bluegit/secret.key
30repos/eigenaar/naam.git
34/var/lib/bluegit/storage_path
31artifacts/job-id/…
35/var/lib/bluegit/ssh/host_ed25519
32releases/eigenaar/naam/tag/…
36<datadisk>/repos/eigenaar/naam.git
33work/pipeline/job/ tijdelijke clone voor een job
37<datadisk>/artifacts/job-id/…
34ssh/host_ed25519 hostkey van de git-SSH
38<datadisk>/releases/eigenaar/naam/tag/…
39<datadisk>/work/pipeline/job/
35```
40```
36
41
37Geheimen in de database zijn versleuteld. Sessietokens van de auth-server staan als tekst in SQLite; de bestandsmachtiging van de database is de grens. Versleutelen van die sessies staat op de roadmap.
42Geheimen in de database zijn versleuteld. Sessietokens van de auth-server staan als tekst in SQLite; de bestandsmachtiging van de database is de grens. Versleutelen van die sessies staat op de roadmap.
@@ -50,7 +55,7 @@ Details en de eisen van de auth-server staan in [AUTH.md](AUTH.md).
50
55
51`internal/access` is bewust los van HTTP en SQL. `Resolve` kiest de hoogste rol uit persoonlijke eigenaar, groepslid en rechtstreeks lid. `AuthorizeUpdate` keurt een pre-receive-regel goed. De hook is die functie, aangeroepen als `bluegit hook pre-receive`, met de rol en de patronen in de omgeving. Zonder die omgeving weigert de hook, zodat een push om de server heen niet slaagt.
56`internal/access` is bewust los van HTTP en SQL. `Resolve` kiest de hoogste rol uit persoonlijke eigenaar, groepslid en rechtstreeks lid. `AuthorizeUpdate` keurt een pre-receive-regel goed. De hook is die functie, aangeroepen als `bluegit hook pre-receive`, met de rol en de patronen in de omgeving. Zonder die omgeving weigert de hook, zodat een push om de server heen niet slaagt.
52
57
53De eerste aangemelde gebruiker is installatiebeheerder. `is_admin` van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. De vlag is er voor instance-beheer; een scherm daarvoor is er nog niet.
58De eerste aangemelde gebruiker is installatiebeheerder. `is_admin` van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. Het scherm `/setup` hoort bij die vlag: daar staat alleen het pad van de datadisk.
54
59
55## Web
60## Web
56
61
@@ -79,8 +84,10 @@ Een gebeurtenis gaat naar de webhooks van de repository en, als de repository va
79
84
80Het branchfilter geldt alleen voor `push`. Andere gebeurtenissen negeren het. Een onbekend geheim of veld in het sjabloon is een fout en er gaat niets uit, zodat er geen webhook vertrekt met een leeg token.
85Het branchfilter geldt alleen voor `push`. Andere gebeurtenissen negeren het. Een onbekend geheim of veld in het sjabloon is een fout en er gaat niets uit, zodat er geen webhook vertrekt met een leeg token.
81
86
87De bestemming wordt bij het verbinden opgelost. Privébereiken (RFC1918, loopback, link-local, CGNAT, ULA en de IPv6-equivalenten, plus multicast en gereserveerde adressen) worden geweigerd, ook als maar één DNS-antwoord daarheen wijst. Het gekozen publieke IP wordt vastgezet; een proxy uit de omgeving wordt niet gebruikt. Elke redirect krijgt dezelfde controle. Een redirect naar een andere host neemt de headers niet mee, en een 307/308 naar een andere host wordt geweigerd zodat de body met geheimen niet meereist. Een publiek IP dat via de router terug het huis in komt, blijft toegestaan.
88
82## Vertrouwensgrens
89## Vertrouwensgrens
83
90
84De systeemgebruiker `bluegit` kan alles lezen wat op de schijf staat, inclusief geheimen (hij heeft `secret.key`). Mensen op de website kunnen dat niet, behalve een beheerder via het JSON-export dat de auth-server verplicht stelt. CI-jobs zien de geheimen die de regel van beschermde branches toelaat. Ze zien de Docker-socket niet.
91De systeemgebruiker `bluegit` kan alles lezen wat op de schijf staat, inclusief geheimen (hij heeft `secret.key`). Mensen op de website kunnen dat niet, behalve een beheerder via het JSON-export dat de auth-server verplicht stelt. CI-jobs zien de geheimen die de regel van beschermde branches toelaat. Ze zien de Docker-socket niet.
85
92
86Webhooks mogen naar elk http(s)-adres, ook naar iets op het lokale netwerk. Redirects worden niet gevolgd. Of dat zo blijft, is nog open: Tim denkt erover na. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dat open is.
93Webhooks gaan niet naar een privénetwerk. De classificatie staat in `internal/ssrf`. Een allowlist van hosts, opnieuw proberen en een testknop staan nog op de roadmap.
docs/ROADMAP.md +3 −3
@@ -14,14 +14,14 @@ Deze basis is genoeg om repositories te bewaren, te klonen, een pipeline te draa
14 14
15 15 ## Daarna, in deze volgorde
16 16
17 1. **Productie aanzetten.** Domein registreren, de schijf mounten op het pad dat dan gekozen is, de ingress uit [INGRESS.md](INGRESS.md) zetten, eerste aanmelding, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.
17 1. **Productie aanzetten.** Domein registreren, de schijf mounten, `ReadWritePaths` voor dat pad zetten, de ingress uit [INGRESS.md](INGRESS.md) aanzetten, eerste aanmelding en in `/setup` het pad bevestigen, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.
18 18 2. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.
19 19 3. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.
20 20 4. **CI.** Services naast een job (een database voor tests), een cache, live logs in plaats van het log na afloop, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt.
21 5. **Webhooks.** Tim beslist nog of privé-adressen dicht mogen. Daarna pas een allowlist of een vlag "ook privé-adressen". Verder: opnieuw proberen, en een knop die een testgebeurtenis stuurt.
21 5. **Webhooks.** Privénetwerken zijn dicht. Nog te doen: opnieuw proberen, en een knop die een testgebeurtenis stuurt.
22 22 6. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.
23 23 7. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.
24 8. **Huiswerk van de server.** Versleutelde sessietokens, back-ups van `storage_path` (database én repositories), en een limiet op webhookverkeer.
24 8. **Huiswerk van de server.** Versleutelde sessietokens, back-ups van de state-map én de datadisk, en een limiet op webhookverkeer.
25 25
26 26 ## Bewust niet
27 27
@@ -14,14 +14,14 @@ Deze basis is genoeg om repositories te bewaren, te klonen, een pipeline te draa
14
14
15## Daarna, in deze volgorde
15## Daarna, in deze volgorde
16
16
171. **Productie aanzetten.** Domein registreren, de schijf mounten op het pad dat dan gekozen is, de ingress uit [INGRESS.md](INGRESS.md) zetten, eerste aanmelding, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.
171. **Productie aanzetten.** Domein registreren, de schijf mounten, `ReadWritePaths` voor dat pad zetten, de ingress uit [INGRESS.md](INGRESS.md) aanzetten, eerste aanmelding en in `/setup` het pad bevestigen, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.
182. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.
182. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.
193. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.
193. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.
204. **CI.** Services naast een job (een database voor tests), een cache, live logs in plaats van het log na afloop, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt.
204. **CI.** Services naast een job (een database voor tests), een cache, live logs in plaats van het log na afloop, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt.
215. **Webhooks.** Tim beslist nog of privé-adressen dicht mogen. Daarna pas een allowlist of een vlag "ook privé-adressen". Verder: opnieuw proberen, en een knop die een testgebeurtenis stuurt.
215. **Webhooks.** Privénetwerken zijn dicht. Nog te doen: opnieuw proberen, en een knop die een testgebeurtenis stuurt.
226. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.
226. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.
237. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.
237. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.
248. **Huiswerk van de server.** Versleutelde sessietokens, back-ups van `storage_path` (database én repositories), en een limiet op webhookverkeer.
248. **Huiswerk van de server.** Versleutelde sessietokens, back-ups van de state-map én de datadisk, en een limiet op webhookverkeer.
25
25
26## Bewust niet
26## Bewust niet
27
27
docs/VRAGEN.md +2 −5
@@ -10,9 +10,6 @@ Tim heeft deze punten beantwoord. Wat hieronder staat is de huidige regel, niet
10 10 4. **Het afzenderadres van een merge is `{naam}@users.git.timfalken.com`.** De auth-server geeft geen e-mailadres.
11 11 5. **De installatiebeheerder krijgt geen automatische toegang tot de repositories, groepen en geheimen van anderen.** Die vlag is alleen voor instance-beheer. Er is nog geen apart scherm daarvoor; de vlag geeft nu dus geen extra pagina's en geen extra data.
12 12 6. **Buiten de mini-PC loopt alles via een ingress op een andere machine.** Die doet TLS en stuurt SSH door. BlueGit zelf spreekt plain HTTP op `listen`, vertrouwt `X-Forwarded-For` en `X-Real-IP` alleen van `trusted_proxies`, en zet clone-URL's in elkaar uit `base_url` plus `ssh.public_host` en `ssh.public_port`. `ssh.listen` blijft de poort waarop dit proces bindt en blijft configureerbaar. Het voorbeeld staat in [INGRESS.md](INGRESS.md).
13 7. **Webhooks blokkeren privébestemmingen.** Dat zijn RFC1918, loopback, link-local (inclusief de metadata-adressen `169.254.169.254` en `169.254.170.2`), CGNAT `100.64.0.0/10`, ULA `fc00::/7` (inclusief `fd00:ec2::254`), IPv6-link-local en het oude site-local, plus multicast, unspecified en gereserveerd. Een letterlijk privé-IP in de URL wordt geweigerd. Een naam wordt bij het verbinden opgelost; wijst één van de adressen naar zo'n bereik, dan gaat de webhook niet uit en wordt dat IP vastgezet zodat DNS-rebinding niet alsnog een ander adres kiest. Hetzelfde geldt voor elke redirect. Een naam die via publieke DNS naar een publiek IP wijst mag, ook als de router dat verkeer daarna terug naar het thuisnet stuurt. 6to4 en NAT64 worden beoordeeld op het ingebedde IPv4-adres.
13 14 8. **De licentie is MIT.**
14 9. **Het mountpoint van de 4 TB-schijf is nog niet gekozen.** `storage_path` blijft configureerbaar. `/mnt/storage/bluegit` in de voorbeeldconfiguratie en in `packaging/storage.conf` is alleen een voorbeeld; pas het aan het echte pad aan. De systemd-drop-in wordt niet automatisch geactiveerd, omdat een pad dat niet bestaat de dienst zou blokkeren.
15
16 ## Nog open
17
18 7. **Webhooks mogen elk http(s)-adres aanroepen, ook op een privénetwerk.** Tim denkt hier nog over na. Het gedrag blijft zoals het is: redirects worden niet gevolgd, en een URL met gebruikersnaam of wachtwoord erin wordt geweigerd. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dit open is.
15 9. **Er is geen standaardpad voor de datadisk.** Database, `secret.key` en de SSH-hostkey staan in de state-map: `state_path`, standaard `/var/lib/bluegit` (systemd `StateDirectory`). De installatiebeheerder kiest het pad van de repositories bij de eerste aanmelding, in het setup-scherm. Het pad moet absoluut zijn, bestaan, beschrijfbaar zijn en minstens 1 GiB vrij hebben; de vrije ruimte wordt getoond. Tot die tijd antwoorden git en CI met een melding en doen ze niets. Het pad later wijzigen mag in hetzelfde scherm, met de waarschuwing dat data niet vanzelf verhuist. Zodra het bestand `storage_path` in de state-map staat, wint dat van `storage_path` in de configuratie.
@@ -10,9 +10,6 @@ Tim heeft deze punten beantwoord. Wat hieronder staat is de huidige regel, niet
104. **Het afzenderadres van een merge is `{naam}@users.git.timfalken.com`.** De auth-server geeft geen e-mailadres.
104. **Het afzenderadres van een merge is `{naam}@users.git.timfalken.com`.** De auth-server geeft geen e-mailadres.
115. **De installatiebeheerder krijgt geen automatische toegang tot de repositories, groepen en geheimen van anderen.** Die vlag is alleen voor instance-beheer. Er is nog geen apart scherm daarvoor; de vlag geeft nu dus geen extra pagina's en geen extra data.
115. **De installatiebeheerder krijgt geen automatische toegang tot de repositories, groepen en geheimen van anderen.** Die vlag is alleen voor instance-beheer. Er is nog geen apart scherm daarvoor; de vlag geeft nu dus geen extra pagina's en geen extra data.
126. **Buiten de mini-PC loopt alles via een ingress op een andere machine.** Die doet TLS en stuurt SSH door. BlueGit zelf spreekt plain HTTP op `listen`, vertrouwt `X-Forwarded-For` en `X-Real-IP` alleen van `trusted_proxies`, en zet clone-URL's in elkaar uit `base_url` plus `ssh.public_host` en `ssh.public_port`. `ssh.listen` blijft de poort waarop dit proces bindt en blijft configureerbaar. Het voorbeeld staat in [INGRESS.md](INGRESS.md).
126. **Buiten de mini-PC loopt alles via een ingress op een andere machine.** Die doet TLS en stuurt SSH door. BlueGit zelf spreekt plain HTTP op `listen`, vertrouwt `X-Forwarded-For` en `X-Real-IP` alleen van `trusted_proxies`, en zet clone-URL's in elkaar uit `base_url` plus `ssh.public_host` en `ssh.public_port`. `ssh.listen` blijft de poort waarop dit proces bindt en blijft configureerbaar. Het voorbeeld staat in [INGRESS.md](INGRESS.md).
137. **Webhooks blokkeren privébestemmingen.** Dat zijn RFC1918, loopback, link-local (inclusief de metadata-adressen `169.254.169.254` en `169.254.170.2`), CGNAT `100.64.0.0/10`, ULA `fc00::/7` (inclusief `fd00:ec2::254`), IPv6-link-local en het oude site-local, plus multicast, unspecified en gereserveerd. Een letterlijk privé-IP in de URL wordt geweigerd. Een naam wordt bij het verbinden opgelost; wijst één van de adressen naar zo'n bereik, dan gaat de webhook niet uit en wordt dat IP vastgezet zodat DNS-rebinding niet alsnog een ander adres kiest. Hetzelfde geldt voor elke redirect. Een naam die via publieke DNS naar een publiek IP wijst mag, ook als de router dat verkeer daarna terug naar het thuisnet stuurt. 6to4 en NAT64 worden beoordeeld op het ingebedde IPv4-adres.
138. **De licentie is MIT.**
148. **De licentie is MIT.**
149. **Het mountpoint van de 4 TB-schijf is nog niet gekozen.** `storage_path` blijft configureerbaar. `/mnt/storage/bluegit` in de voorbeeldconfiguratie en in `packaging/storage.conf` is alleen een voorbeeld; pas het aan het echte pad aan. De systemd-drop-in wordt niet automatisch geactiveerd, omdat een pad dat niet bestaat de dienst zou blokkeren.
159. **Er is geen standaardpad voor de datadisk.** Database, `secret.key` en de SSH-hostkey staan in de state-map: `state_path`, standaard `/var/lib/bluegit` (systemd `StateDirectory`). De installatiebeheerder kiest het pad van de repositories bij de eerste aanmelding, in het setup-scherm. Het pad moet absoluut zijn, bestaan, beschrijfbaar zijn en minstens 1 GiB vrij hebben; de vrije ruimte wordt getoond. Tot die tijd antwoorden git en CI met een melding en doen ze niets. Het pad later wijzigen mag in hetzelfde scherm, met de waarschuwing dat data niet vanzelf verhuist. Zodra het bestand `storage_path` in de state-map staat, wint dat van `storage_path` in de configuratie.
15
16## Nog open
17
187. **Webhooks mogen elk http(s)-adres aanroepen, ook op een privénetwerk.** Tim denkt hier nog over na. Het gedrag blijft zoals het is: redirects worden niet gevolgd, en een URL met gebruikersnaam of wachtwoord erin wordt geweigerd. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dit open is.
internal/config/config.go +19 −7
@@ -15,8 +15,13 @@ import (
15 15
16 16 // Config is de installatie op de mini-PC.
17 17 type Config struct {
18 BaseURL string `yaml:"base_url"`
19 Listen string `yaml:"listen"`
18 BaseURL string `yaml:"base_url"`
19 Listen string `yaml:"listen"`
20 // StatePath is de kleine map met database, sleutel en het gekozen
21 // opslagpad. Leeg wordt /var/lib/bluegit.
22 StatePath string `yaml:"state_path"`
23 // StoragePath is optioneel. Leeg betekent dat de beheerder het pad
24 // in de webinterface kiest. Er is geen standaardpad.
20 25 StoragePath string `yaml:"storage_path"`
21 26 TrustedProxies []string `yaml:"trusted_proxies"`
22 27 // BehindProxy is het oude veld. Het wordt geweigerd: één boolean
@@ -80,6 +85,9 @@ func Load(path string) (Config, error) {
80 85 return Config{}, fmt.Errorf("config: %w", err)
81 86 }
82 87 c.applyDefaults()
88 if v := os.Getenv("BLUEGIT_STATE_PATH"); v != "" {
89 c.StatePath = v
90 }
83 91 if v := os.Getenv("BLUEGIT_STORAGE_PATH"); v != "" {
84 92 c.StoragePath = v
85 93 }
@@ -106,6 +114,9 @@ func (c *Config) applyDefaults() {
106 114 if c.Listen == "" {
107 115 c.Listen = "127.0.0.1:8080"
108 116 }
117 if c.StatePath == "" {
118 c.StatePath = "/var/lib/bluegit"
119 }
109 120 if c.Auth.Mode == "" {
110 121 c.Auth.Mode = "oauth"
111 122 }
@@ -158,8 +169,8 @@ func (c *Config) Validate() error {
158 169 if err != nil || (u.Scheme != "https" && u.Scheme != "http") || u.Host == "" {
159 170 return fmt.Errorf("base_url moet een absolute http(s)-URL zijn")
160 171 }
161 if c.StoragePath == "" {
162 return fmt.Errorf("storage_path ontbreekt")
172 if strings.TrimSpace(c.StatePath) == "" {
173 return fmt.Errorf("state_path ontbreekt")
163 174 }
164 175 if !strings.HasPrefix(c.Auth.RedirectPath, "/") {
165 176 return fmt.Errorf("auth.redirect_path moet met / beginnen")
@@ -258,9 +269,10 @@ func Example() string {
258 269 # Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
259 270 base_url: https://git.timfalken.com
260 271 listen: 0.0.0.0:8080
261 # De 4 TB-schijf. Het mountpoint is nog niet gekozen; dit pad is een voorbeeld.
262 # Database, repositories, artifacts en releases staan hier.
263 storage_path: /mnt/storage/bluegit
272 # Database, sleutel en het gekozen opslagpad. Dit is niet de datadisk.
273 state_path: /var/lib/bluegit
274 # storage_path blijft leeg. De installatiebeheerder kiest de datadisk
275 # bij de eerste aanmelding. Er is geen standaardpad.
264 276 # Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
265 277 # Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
266 278 trusted_proxies:
@@ -15,8 +15,13 @@ import (
15
15
16// Config is de installatie op de mini-PC.
16// Config is de installatie op de mini-PC.
17type Config struct {
17type Config struct {
18 BaseURL string `yaml:"base_url"`
18 BaseURL string `yaml:"base_url"`
19 Listen string `yaml:"listen"`
19 Listen string `yaml:"listen"`
20 // StatePath is de kleine map met database, sleutel en het gekozen
21 // opslagpad. Leeg wordt /var/lib/bluegit.
22 StatePath string `yaml:"state_path"`
23 // StoragePath is optioneel. Leeg betekent dat de beheerder het pad
24 // in de webinterface kiest. Er is geen standaardpad.
20 StoragePath string `yaml:"storage_path"`
25 StoragePath string `yaml:"storage_path"`
21 TrustedProxies []string `yaml:"trusted_proxies"`
26 TrustedProxies []string `yaml:"trusted_proxies"`
22 // BehindProxy is het oude veld. Het wordt geweigerd: één boolean
27 // BehindProxy is het oude veld. Het wordt geweigerd: één boolean
@@ -80,6 +85,9 @@ func Load(path string) (Config, error) {
80 return Config{}, fmt.Errorf("config: %w", err)
85 return Config{}, fmt.Errorf("config: %w", err)
81 }
86 }
82 c.applyDefaults()
87 c.applyDefaults()
88 if v := os.Getenv("BLUEGIT_STATE_PATH"); v != "" {
89 c.StatePath = v
90 }
83 if v := os.Getenv("BLUEGIT_STORAGE_PATH"); v != "" {
91 if v := os.Getenv("BLUEGIT_STORAGE_PATH"); v != "" {
84 c.StoragePath = v
92 c.StoragePath = v
85 }
93 }
@@ -106,6 +114,9 @@ func (c *Config) applyDefaults() {
106 if c.Listen == "" {
114 if c.Listen == "" {
107 c.Listen = "127.0.0.1:8080"
115 c.Listen = "127.0.0.1:8080"
108 }
116 }
117 if c.StatePath == "" {
118 c.StatePath = "/var/lib/bluegit"
119 }
109 if c.Auth.Mode == "" {
120 if c.Auth.Mode == "" {
110 c.Auth.Mode = "oauth"
121 c.Auth.Mode = "oauth"
111 }
122 }
@@ -158,8 +169,8 @@ func (c *Config) Validate() error {
158 if err != nil || (u.Scheme != "https" && u.Scheme != "http") || u.Host == "" {
169 if err != nil || (u.Scheme != "https" && u.Scheme != "http") || u.Host == "" {
159 return fmt.Errorf("base_url moet een absolute http(s)-URL zijn")
170 return fmt.Errorf("base_url moet een absolute http(s)-URL zijn")
160 }
171 }
161 if c.StoragePath == "" {
172 if strings.TrimSpace(c.StatePath) == "" {
162 return fmt.Errorf("storage_path ontbreekt")
173 return fmt.Errorf("state_path ontbreekt")
163 }
174 }
164 if !strings.HasPrefix(c.Auth.RedirectPath, "/") {
175 if !strings.HasPrefix(c.Auth.RedirectPath, "/") {
165 return fmt.Errorf("auth.redirect_path moet met / beginnen")
176 return fmt.Errorf("auth.redirect_path moet met / beginnen")
@@ -258,9 +269,10 @@ func Example() string {
258# Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
269# Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
259base_url: https://git.timfalken.com
270base_url: https://git.timfalken.com
260listen: 0.0.0.0:8080
271listen: 0.0.0.0:8080
261# De 4 TB-schijf. Het mountpoint is nog niet gekozen; dit pad is een voorbeeld.
272# Database, sleutel en het gekozen opslagpad. Dit is niet de datadisk.
262# Database, repositories, artifacts en releases staan hier.
273state_path: /var/lib/bluegit
263storage_path: /mnt/storage/bluegit
274# storage_path blijft leeg. De installatiebeheerder kiest de datadisk
275# bij de eerste aanmelding. Er is geen standaardpad.
264# Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
276# Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
265# Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
277# Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
266trusted_proxies:
278trusted_proxies:
internal/config/config_test.go +23 −0
@@ -7,6 +7,29 @@ import (
7 7 "testing"
8 8 )
9 9
10 func TestStoragePathOptional(t *testing.T) {
11 dir := t.TempDir()
12 path := filepath.Join(dir, "config.yml")
13 body := []byte("base_url: https://git.example.test\nauth:\n mode: oauth\n client_id: git.example.test\n")
14 if err := os.WriteFile(path, body, 0o600); err != nil {
15 t.Fatal(err)
16 }
17 t.Setenv("BLUEGIT_AUTH_CLIENT_SECRET", "geheim")
18 cfg, err := Load(path)
19 if err != nil {
20 t.Fatal(err)
21 }
22 if cfg.StoragePath != "" {
23 t.Fatalf("geen standaardpad verwacht, kreeg %q", cfg.StoragePath)
24 }
25 if cfg.StatePath != "/var/lib/bluegit" {
26 t.Fatal(cfg.StatePath)
27 }
28 if strings.Contains(Example(), "/mnt/storage") {
29 t.Fatal("voorbeeldconfiguratie bevat nog een vast schijfpad")
30 }
31 }
32
10 33 func TestDevModeRefusedOnProductionHost(t *testing.T) {
11 34 dir := t.TempDir()
12 35 path := filepath.Join(dir, "config.yml")
@@ -7,6 +7,29 @@ import (
7 "testing"
7 "testing"
8)
8)
9
9
10func TestStoragePathOptional(t *testing.T) {
11 dir := t.TempDir()
12 path := filepath.Join(dir, "config.yml")
13 body := []byte("base_url: https://git.example.test\nauth:\n mode: oauth\n client_id: git.example.test\n")
14 if err := os.WriteFile(path, body, 0o600); err != nil {
15 t.Fatal(err)
16 }
17 t.Setenv("BLUEGIT_AUTH_CLIENT_SECRET", "geheim")
18 cfg, err := Load(path)
19 if err != nil {
20 t.Fatal(err)
21 }
22 if cfg.StoragePath != "" {
23 t.Fatalf("geen standaardpad verwacht, kreeg %q", cfg.StoragePath)
24 }
25 if cfg.StatePath != "/var/lib/bluegit" {
26 t.Fatal(cfg.StatePath)
27 }
28 if strings.Contains(Example(), "/mnt/storage") {
29 t.Fatal("voorbeeldconfiguratie bevat nog een vast schijfpad")
30 }
31}
32
10func TestDevModeRefusedOnProductionHost(t *testing.T) {
33func TestDevModeRefusedOnProductionHost(t *testing.T) {
11 dir := t.TempDir()
34 dir := t.TempDir()
12 path := filepath.Join(dir, "config.yml")
35 path := filepath.Join(dir, "config.yml")
internal/runner/runner.go +22 −3
@@ -11,6 +11,7 @@ import (
11 11 "os/exec"
12 12 "path/filepath"
13 13 "strings"
14 "sync"
14 15 "time"
15 16
16 17 "gitlab.com/Timfa/bluegit/internal/access"
@@ -32,6 +33,20 @@ type Runner struct {
32 33 Log *slog.Logger
33 34 OnEvent func(repoID int64, ev webhook.Event)
34 35 slots chan struct{}
36 mu sync.RWMutex
37 }
38
39 // SetStorage wijzigt het pad waarop jobs hun clone en artifacts zetten.
40 func (r *Runner) SetStorage(path string) {
41 r.mu.Lock()
42 r.Storage = path
43 r.mu.Unlock()
44 }
45
46 func (r *Runner) storage() string {
47 r.mu.RLock()
48 defer r.mu.RUnlock()
49 return r.Storage
35 50 }
36 51
37 52 // Loop blijft jobs oppakken tot ctx afloopt.
@@ -53,7 +68,11 @@ func (r *Runner) Loop(ctx context.Context, concurrency int) {
53 68 }
54 69
55 70 // Tick bekijkt alle open pipelines één keer.
71 // Zonder opslagpad gebeurt er niets.
56 72 func (r *Runner) Tick(ctx context.Context) {
73 if r.storage() == "" {
74 return
75 }
57 76 pipes, err := r.Store.ActivePipelines(ctx)
58 77 if err != nil {
59 78 r.Log.Error("pipelines", "err", err)
@@ -166,12 +185,12 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) (s
166 185 if err != nil {
167 186 return "", err
168 187 }
169 work := filepath.Join(r.Storage, "work", fmt.Sprint(p.ID), job.Name)
188 work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), job.Name)
170 189 _ = os.RemoveAll(work)
171 190 if err := os.MkdirAll(work, 0o755); err != nil {
172 191 return "", err
173 192 }
174 bare := gitrepo.Dir(r.Storage, repo.OwnerPath, repo.Name)
193 bare := gitrepo.Dir(r.storage(), repo.OwnerPath, repo.Name)
175 194 if _, err := execOut(ctx, r.GitBin, "clone", "--local", bare, work); err != nil {
176 195 return "", fmt.Errorf("clone: %w", err)
177 196 }
@@ -288,7 +307,7 @@ func (r *Runner) collect(ctx context.Context, job store.Job, work string) error
288 307 if err != nil || info.IsDir() {
289 308 return fmt.Errorf("artifact %s ontbreekt", rel)
290 309 }
291 dst := filepath.Join(r.Storage, "artifacts", fmt.Sprint(job.ID), filepath.FromSlash(rel))
310 dst := filepath.Join(r.storage(), "artifacts", fmt.Sprint(job.ID), filepath.FromSlash(rel))
292 311 if err := copyFile(src, dst); err != nil {
293 312 return err
294 313 }
@@ -11,6 +11,7 @@ import (
11 "os/exec"
11 "os/exec"
12 "path/filepath"
12 "path/filepath"
13 "strings"
13 "strings"
14 "sync"
14 "time"
15 "time"
15
16
16 "gitlab.com/Timfa/bluegit/internal/access"
17 "gitlab.com/Timfa/bluegit/internal/access"
@@ -32,6 +33,20 @@ type Runner struct {
32 Log *slog.Logger
33 Log *slog.Logger
33 OnEvent func(repoID int64, ev webhook.Event)
34 OnEvent func(repoID int64, ev webhook.Event)
34 slots chan struct{}
35 slots chan struct{}
36 mu sync.RWMutex
37}
38
39// SetStorage wijzigt het pad waarop jobs hun clone en artifacts zetten.
40func (r *Runner) SetStorage(path string) {
41 r.mu.Lock()
42 r.Storage = path
43 r.mu.Unlock()
44}
45
46func (r *Runner) storage() string {
47 r.mu.RLock()
48 defer r.mu.RUnlock()
49 return r.Storage
35}
50}
36
51
37// Loop blijft jobs oppakken tot ctx afloopt.
52// Loop blijft jobs oppakken tot ctx afloopt.
@@ -53,7 +68,11 @@ func (r *Runner) Loop(ctx context.Context, concurrency int) {
53}
68}
54
69
55// Tick bekijkt alle open pipelines één keer.
70// Tick bekijkt alle open pipelines één keer.
71// Zonder opslagpad gebeurt er niets.
56func (r *Runner) Tick(ctx context.Context) {
72func (r *Runner) Tick(ctx context.Context) {
73 if r.storage() == "" {
74 return
75 }
57 pipes, err := r.Store.ActivePipelines(ctx)
76 pipes, err := r.Store.ActivePipelines(ctx)
58 if err != nil {
77 if err != nil {
59 r.Log.Error("pipelines", "err", err)
78 r.Log.Error("pipelines", "err", err)
@@ -166,12 +185,12 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) (s
166 if err != nil {
185 if err != nil {
167 return "", err
186 return "", err
168 }
187 }
169 work := filepath.Join(r.Storage, "work", fmt.Sprint(p.ID), job.Name)
188 work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), job.Name)
170 _ = os.RemoveAll(work)
189 _ = os.RemoveAll(work)
171 if err := os.MkdirAll(work, 0o755); err != nil {
190 if err := os.MkdirAll(work, 0o755); err != nil {
172 return "", err
191 return "", err
173 }
192 }
174 bare := gitrepo.Dir(r.Storage, repo.OwnerPath, repo.Name)
193 bare := gitrepo.Dir(r.storage(), repo.OwnerPath, repo.Name)
175 if _, err := execOut(ctx, r.GitBin, "clone", "--local", bare, work); err != nil {
194 if _, err := execOut(ctx, r.GitBin, "clone", "--local", bare, work); err != nil {
176 return "", fmt.Errorf("clone: %w", err)
195 return "", fmt.Errorf("clone: %w", err)
177 }
196 }
@@ -288,7 +307,7 @@ func (r *Runner) collect(ctx context.Context, job store.Job, work string) error
288 if err != nil || info.IsDir() {
307 if err != nil || info.IsDir() {
289 return fmt.Errorf("artifact %s ontbreekt", rel)
308 return fmt.Errorf("artifact %s ontbreekt", rel)
290 }
309 }
291 dst := filepath.Join(r.Storage, "artifacts", fmt.Sprint(job.ID), filepath.FromSlash(rel))
310 dst := filepath.Join(r.storage(), "artifacts", fmt.Sprint(job.ID), filepath.FromSlash(rel))
292 if err := copyFile(src, dst); err != nil {
311 if err := copyFile(src, dst); err != nil {
293 return err
312 return err
294 }
313 }
internal/server/api.go +6 −2
@@ -28,6 +28,10 @@ type releaseRequest struct {
28 28 }
29 29
30 30 func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
31 if s.StoragePath() == "" {
32 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
33 return
34 }
31 35 repo, err := s.Store.RepoByPath(r.Context(), r.PathValue("owner"), r.PathValue("repo"))
32 36 if err != nil {
33 37 http.NotFound(w, r)
@@ -71,7 +75,7 @@ func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
71 75 http.Error(w, "commit ontbreekt", http.StatusBadRequest)
72 76 return
73 77 }
74 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
78 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
75 79 if !gitrepo.HasCommit(r.Context(), s.Git, dir, req.Commit) {
76 80 http.Error(w, "commit niet in deze repository", http.StatusBadRequest)
77 81 return
@@ -106,7 +110,7 @@ func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
106 110 http.Error(w, "artifact ontbreekt op schijf", http.StatusBadRequest)
107 111 return
108 112 }
109 dst := filepath.Join(s.Cfg.StoragePath, "releases", repo.OwnerPath, repo.Name, req.Tag, a.Name)
113 dst := filepath.Join(s.StoragePath(), "releases", repo.OwnerPath, repo.Name, req.Tag, a.Name)
110 114 if err := copyRelease(src, dst); err != nil {
111 115 http.Error(w, "asset kopiëren", http.StatusInternalServerError)
112 116 return
@@ -28,6 +28,10 @@ type releaseRequest struct {
28}
28}
29
29
30func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
30func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
31 if s.StoragePath() == "" {
32 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
33 return
34 }
31 repo, err := s.Store.RepoByPath(r.Context(), r.PathValue("owner"), r.PathValue("repo"))
35 repo, err := s.Store.RepoByPath(r.Context(), r.PathValue("owner"), r.PathValue("repo"))
32 if err != nil {
36 if err != nil {
33 http.NotFound(w, r)
37 http.NotFound(w, r)
@@ -71,7 +75,7 @@ func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
71 http.Error(w, "commit ontbreekt", http.StatusBadRequest)
75 http.Error(w, "commit ontbreekt", http.StatusBadRequest)
72 return
76 return
73 }
77 }
74 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
78 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
75 if !gitrepo.HasCommit(r.Context(), s.Git, dir, req.Commit) {
79 if !gitrepo.HasCommit(r.Context(), s.Git, dir, req.Commit) {
76 http.Error(w, "commit niet in deze repository", http.StatusBadRequest)
80 http.Error(w, "commit niet in deze repository", http.StatusBadRequest)
77 return
81 return
@@ -106,7 +110,7 @@ func (s *Server) createRelease(w http.ResponseWriter, r *http.Request) {
106 http.Error(w, "artifact ontbreekt op schijf", http.StatusBadRequest)
110 http.Error(w, "artifact ontbreekt op schijf", http.StatusBadRequest)
107 return
111 return
108 }
112 }
109 dst := filepath.Join(s.Cfg.StoragePath, "releases", repo.OwnerPath, repo.Name, req.Tag, a.Name)
113 dst := filepath.Join(s.StoragePath(), "releases", repo.OwnerPath, repo.Name, req.Tag, a.Name)
110 if err := copyRelease(src, dst); err != nil {
114 if err := copyRelease(src, dst); err != nil {
111 http.Error(w, "asset kopiëren", http.StatusInternalServerError)
115 http.Error(w, "asset kopiëren", http.StatusInternalServerError)
112 return
116 return
internal/server/events.go +14 −13
@@ -14,6 +14,7 @@ import (
14 14 "gitlab.com/Timfa/bluegit/internal/access"
15 15 "gitlab.com/Timfa/bluegit/internal/ci"
16 16 "gitlab.com/Timfa/bluegit/internal/gitrepo"
17 "gitlab.com/Timfa/bluegit/internal/ssrf"
17 18 "gitlab.com/Timfa/bluegit/internal/store"
18 19 "gitlab.com/Timfa/bluegit/internal/webhook"
19 20 )
@@ -50,10 +51,10 @@ func isZero(sha string) bool {
50 51 }
51 52
52 53 func (s *Server) startPipeline(ctx context.Context, repo store.Repo, sha, ref, actor string) {
53 if !s.Cfg.CI.Enabled {
54 if !s.Cfg.CI.Enabled || s.StoragePath() == "" {
54 55 return
55 56 }
56 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
57 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
57 58 raw, err := exec.CommandContext(ctx, s.Git, "-C", dir, "show", sha+":blue-ci-cd.yml").Output()
58 59 if err != nil {
59 60 return
@@ -148,12 +149,7 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
148 149 s.Log.Error("geheimen voor webhook", "err", err)
149 150 return
150 151 }
151 client := &http.Client{
152 Timeout: 10 * time.Second,
153 CheckRedirect: func(req *http.Request, via []*http.Request) error {
154 return http.ErrUseLastResponse
155 },
156 }
152 client := ssrf.NewClient(10 * time.Second)
157 153 for _, h := range hooks {
158 154 if !h.Active {
159 155 continue
@@ -171,7 +167,12 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
171 167 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
172 168 continue
173 169 }
174 if err := validateHookURL(rawURL); err != nil {
170 target, err := urlParse(rawURL)
171 if err != nil {
172 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
173 continue
174 }
175 if err := ssrf.ValidateURL(target); err != nil {
175 176 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
176 177 continue
177 178 }
@@ -207,12 +208,12 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
207 208 }
208 209 }
209 210
210 func validateHookURL(raw string) error {
211 func urlParse(raw string) (*url.URL, error) {
211 212 u, err := url.Parse(raw)
212 if err != nil || u.Host == "" || (u.Scheme != "https" && u.Scheme != "http") || u.User != nil {
213 return fmt.Errorf("webhook-URL is ongeldig")
213 if err != nil {
214 return nil, fmt.Errorf("webhook-URL is ongeldig")
214 215 }
215 return nil
216 return u, nil
216 217 }
217 218
218 219 func gitSHA(r *http.Request, gitBin, dir, rev string) (string, error) {
@@ -14,6 +14,7 @@ import (
14 "gitlab.com/Timfa/bluegit/internal/access"
14 "gitlab.com/Timfa/bluegit/internal/access"
15 "gitlab.com/Timfa/bluegit/internal/ci"
15 "gitlab.com/Timfa/bluegit/internal/ci"
16 "gitlab.com/Timfa/bluegit/internal/gitrepo"
16 "gitlab.com/Timfa/bluegit/internal/gitrepo"
17 "gitlab.com/Timfa/bluegit/internal/ssrf"
17 "gitlab.com/Timfa/bluegit/internal/store"
18 "gitlab.com/Timfa/bluegit/internal/store"
18 "gitlab.com/Timfa/bluegit/internal/webhook"
19 "gitlab.com/Timfa/bluegit/internal/webhook"
19)
20)
@@ -50,10 +51,10 @@ func isZero(sha string) bool {
50}
51}
51
52
52func (s *Server) startPipeline(ctx context.Context, repo store.Repo, sha, ref, actor string) {
53func (s *Server) startPipeline(ctx context.Context, repo store.Repo, sha, ref, actor string) {
53 if !s.Cfg.CI.Enabled {
54 if !s.Cfg.CI.Enabled || s.StoragePath() == "" {
54 return
55 return
55 }
56 }
56 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
57 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
57 raw, err := exec.CommandContext(ctx, s.Git, "-C", dir, "show", sha+":blue-ci-cd.yml").Output()
58 raw, err := exec.CommandContext(ctx, s.Git, "-C", dir, "show", sha+":blue-ci-cd.yml").Output()
58 if err != nil {
59 if err != nil {
59 return
60 return
@@ -148,12 +149,7 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
148 s.Log.Error("geheimen voor webhook", "err", err)
149 s.Log.Error("geheimen voor webhook", "err", err)
149 return
150 return
150 }
151 }
151 client := &http.Client{
152 client := ssrf.NewClient(10 * time.Second)
152 Timeout: 10 * time.Second,
153 CheckRedirect: func(req *http.Request, via []*http.Request) error {
154 return http.ErrUseLastResponse
155 },
156 }
157 for _, h := range hooks {
153 for _, h := range hooks {
158 if !h.Active {
154 if !h.Active {
159 continue
155 continue
@@ -171,7 +167,12 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
171 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
167 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
172 continue
168 continue
173 }
169 }
174 if err := validateHookURL(rawURL); err != nil {
170 target, err := urlParse(rawURL)
171 if err != nil {
172 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
173 continue
174 }
175 if err := ssrf.ValidateURL(target); err != nil {
175 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
176 _ = s.Store.AddDelivery(ctx, h.ID, ev.Type, 0, err.Error())
176 continue
177 continue
177 }
178 }
@@ -207,12 +208,12 @@ func (s *Server) deliver(ctx context.Context, kind string, scopeID int64, ev web
207 }
208 }
208}
209}
209
210
210func validateHookURL(raw string) error {
211func urlParse(raw string) (*url.URL, error) {
211 u, err := url.Parse(raw)
212 u, err := url.Parse(raw)
212 if err != nil || u.Host == "" || (u.Scheme != "https" && u.Scheme != "http") || u.User != nil {
213 if err != nil {
213 return fmt.Errorf("webhook-URL is ongeldig")
214 return nil, fmt.Errorf("webhook-URL is ongeldig")
214 }
215 }
215 return nil
216 return u, nil
216}
217}
217
218
218func gitSHA(r *http.Request, gitBin, dir, rev string) (string, error) {
219func gitSHA(r *http.Request, gitBin, dir, rev string) (string, error) {
internal/server/git_http.go +6 −2
@@ -10,6 +10,10 @@ import (
10 10 )
11 11
12 12 func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
13 if s.StoragePath() == "" {
14 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
15 return
16 }
13 17 owner := r.PathValue("owner")
14 18 repoSeg := r.PathValue("repo")
15 19 if !strings.HasSuffix(repoSeg, ".git") {
@@ -50,7 +54,7 @@ func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
50 54 http.Error(w, "geen leesrechten", http.StatusForbidden)
51 55 return
52 56 }
53 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
57 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
54 58 var before map[string]string
55 59 var extra []string
56 60 if write {
@@ -60,7 +64,7 @@ func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
60 64 }
61 65 rest := strings.TrimPrefix(r.URL.Path, "/"+owner+"/"+repoSeg)
62 66 pathInfo := gitrepo.PathInfo(owner, repoSeg, rest)
63 if err := gitrepo.ServeSmartHTTP(w, r, s.Git, gitrepo.ProjectRoot(s.Cfg.StoragePath), pathInfo, extra); err != nil && s.Log != nil {
67 if err := gitrepo.ServeSmartHTTP(w, r, s.Git, gitrepo.ProjectRoot(s.StoragePath()), pathInfo, extra); err != nil && s.Log != nil {
64 68 s.Log.Error("git http", "err", err, "path", r.URL.Path)
65 69 }
66 70 if write {
@@ -10,6 +10,10 @@ import (
10)
10)
11
11
12func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
12func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
13 if s.StoragePath() == "" {
14 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
15 return
16 }
13 owner := r.PathValue("owner")
17 owner := r.PathValue("owner")
14 repoSeg := r.PathValue("repo")
18 repoSeg := r.PathValue("repo")
15 if !strings.HasSuffix(repoSeg, ".git") {
19 if !strings.HasSuffix(repoSeg, ".git") {
@@ -50,7 +54,7 @@ func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
50 http.Error(w, "geen leesrechten", http.StatusForbidden)
54 http.Error(w, "geen leesrechten", http.StatusForbidden)
51 return
55 return
52 }
56 }
53 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
57 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
54 var before map[string]string
58 var before map[string]string
55 var extra []string
59 var extra []string
56 if write {
60 if write {
@@ -60,7 +64,7 @@ func (s *Server) gitHTTP(w http.ResponseWriter, r *http.Request) {
60 }
64 }
61 rest := strings.TrimPrefix(r.URL.Path, "/"+owner+"/"+repoSeg)
65 rest := strings.TrimPrefix(r.URL.Path, "/"+owner+"/"+repoSeg)
62 pathInfo := gitrepo.PathInfo(owner, repoSeg, rest)
66 pathInfo := gitrepo.PathInfo(owner, repoSeg, rest)
63 if err := gitrepo.ServeSmartHTTP(w, r, s.Git, gitrepo.ProjectRoot(s.Cfg.StoragePath), pathInfo, extra); err != nil && s.Log != nil {
67 if err := gitrepo.ServeSmartHTTP(w, r, s.Git, gitrepo.ProjectRoot(s.StoragePath()), pathInfo, extra); err != nil && s.Log != nil {
64 s.Log.Error("git http", "err", err, "path", r.URL.Path)
68 s.Log.Error("git http", "err", err, "path", r.URL.Path)
65 }
69 }
66 if write {
70 if write {
internal/server/repo_handlers.go +16 −12
@@ -62,7 +62,7 @@ func (s *Server) repoHome(w http.ResponseWriter, r *http.Request) {
62 62 return
63 63 }
64 64 v := s.repoView(w, r, repo, role, repo.FullPath())
65 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
65 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
66 66 commits, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 8)
67 67 v.Commits = toCommits(commits)
68 68 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, "")
@@ -83,7 +83,7 @@ func (s *Server) tree(w http.ResponseWriter, r *http.Request) {
83 83 return
84 84 }
85 85 v := s.repoView(w, r, repo, role, rel)
86 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
86 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
87 87 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, rel)
88 88 if err != nil {
89 89 http.NotFound(w, r)
@@ -105,7 +105,7 @@ func (s *Server) blob(w http.ResponseWriter, r *http.Request) {
105 105 return
106 106 }
107 107 v := s.repoView(w, r, repo, role, rel)
108 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
108 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
109 109 text, binary, err := gitrepo.Blob(r.Context(), s.Git, dir, v.Rev, rel, 200_000)
110 110 if err != nil {
111 111 http.NotFound(w, r)
@@ -123,7 +123,7 @@ func (s *Server) commits(w http.ResponseWriter, r *http.Request) {
123 123 return
124 124 }
125 125 v := s.repoView(w, r, repo, role, "Commits")
126 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
126 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
127 127 list, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 50)
128 128 v.Commits = toCommits(list)
129 129 s.render(w, "commits", v)
@@ -139,7 +139,7 @@ func (s *Server) commit(w http.ResponseWriter, r *http.Request) {
139 139 http.NotFound(w, r)
140 140 return
141 141 }
142 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
142 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
143 143 c, err := gitrepo.Show(r.Context(), s.Git, dir, sha)
144 144 if err != nil {
145 145 http.NotFound(w, r)
@@ -157,7 +157,7 @@ func (s *Server) branches(w http.ResponseWriter, r *http.Request) {
157 157 return
158 158 }
159 159 v := s.repoView(w, r, repo, role, "Branches")
160 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
160 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
161 161 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
162 162 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
163 163 for _, name := range names {
@@ -173,7 +173,7 @@ func (s *Server) mergeRequests(w http.ResponseWriter, r *http.Request) {
173 173 }
174 174 v := s.repoView(w, r, repo, role, "Merge requests")
175 175 v.MRs, _ = s.Store.ListMergeRequests(r.Context(), repo.ID)
176 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
176 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
177 177 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
178 178 for _, name := range names {
179 179 v.Branches = append(v.Branches, BranchRow{Name: name})
@@ -224,7 +224,7 @@ func (s *Server) showMR(w http.ResponseWriter, r *http.Request) {
224 224 v.MR = &mr
225 225 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
226 226 v.CanMerge = mr.Status == "open" && role.CanMerge(access.BranchProtected(patterns, mr.TargetBranch))
227 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
227 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
228 228 diff, err := gitrepo.DiffStat(r.Context(), s.Git, dir, mr.TargetBranch, mr.SourceBranch)
229 229 if err == nil {
230 230 v.Diff = diff
@@ -247,9 +247,9 @@ func (s *Server) mergeMR(w http.ResponseWriter, r *http.Request) {
247 247 http.Error(w, "geen toegang tot de doelbranch", http.StatusForbidden)
248 248 return
249 249 }
250 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
250 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
251 251 before, _ := gitrepo.Refs(r.Context(), s.Git, dir)
252 work := s.Cfg.StoragePath + "/tmp/merge-" + strconv.FormatInt(mr.ID, 10)
252 work := s.StoragePath() + "/tmp/merge-" + strconv.FormatInt(mr.ID, 10)
253 253 email := u.Username + "@users.git.timfalken.com"
254 254 msg := "Merge branch '" + mr.SourceBranch + "' into '" + mr.TargetBranch + "'"
255 255 if err := gitrepo.Merge(r.Context(), s.Git, dir, work, mr.SourceBranch, mr.TargetBranch, u.Username, email, msg, role, patterns); err != nil {
@@ -325,7 +325,7 @@ func (s *Server) runPipeline(w http.ResponseWriter, r *http.Request) {
325 325 return
326 326 }
327 327 ref := safeRev(r.FormValue("ref"), repo.DefaultBranch)
328 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
328 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
329 329 shaOut, err := gitSHA(r, s.Git, dir, ref)
330 330 if err != nil {
331 331 s.redirect(w, r, repoURL(repo)+"/-/pipelines", "", "branch niet gevonden")
@@ -350,6 +350,10 @@ func (s *Server) createRepo(w http.ResponseWriter, r *http.Request) {
350 350 if !ok || !s.csrfOK(w, r) {
351 351 return
352 352 }
353 if s.StoragePath() == "" {
354 s.redirect(w, r, "/", "", strings.TrimSpace(noStorageMsg))
355 return
356 }
353 357 name := strings.TrimSpace(r.FormValue("name"))
354 358 if err := names.ValidRepoName(name); err != nil {
355 359 s.redirect(w, r, "/new", "", err.Error())
@@ -379,7 +383,7 @@ func (s *Server) createRepo(w http.ResponseWriter, r *http.Request) {
379 383 s.redirect(w, r, "/new", "", err.Error())
380 384 return
381 385 }
382 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
386 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
383 387 if err := gitrepo.Init(s.Git, dir, repo.DefaultBranch, s.HookBin); err != nil {
384 388 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
385 389 s.redirect(w, r, "/new", "", "git init: "+err.Error())
@@ -62,7 +62,7 @@ func (s *Server) repoHome(w http.ResponseWriter, r *http.Request) {
62 return
62 return
63 }
63 }
64 v := s.repoView(w, r, repo, role, repo.FullPath())
64 v := s.repoView(w, r, repo, role, repo.FullPath())
65 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
65 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
66 commits, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 8)
66 commits, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 8)
67 v.Commits = toCommits(commits)
67 v.Commits = toCommits(commits)
68 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, "")
68 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, "")
@@ -83,7 +83,7 @@ func (s *Server) tree(w http.ResponseWriter, r *http.Request) {
83 return
83 return
84 }
84 }
85 v := s.repoView(w, r, repo, role, rel)
85 v := s.repoView(w, r, repo, role, rel)
86 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
86 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
87 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, rel)
87 entries, err := gitrepo.Tree(r.Context(), s.Git, dir, v.Rev, rel)
88 if err != nil {
88 if err != nil {
89 http.NotFound(w, r)
89 http.NotFound(w, r)
@@ -105,7 +105,7 @@ func (s *Server) blob(w http.ResponseWriter, r *http.Request) {
105 return
105 return
106 }
106 }
107 v := s.repoView(w, r, repo, role, rel)
107 v := s.repoView(w, r, repo, role, rel)
108 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
108 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
109 text, binary, err := gitrepo.Blob(r.Context(), s.Git, dir, v.Rev, rel, 200_000)
109 text, binary, err := gitrepo.Blob(r.Context(), s.Git, dir, v.Rev, rel, 200_000)
110 if err != nil {
110 if err != nil {
111 http.NotFound(w, r)
111 http.NotFound(w, r)
@@ -123,7 +123,7 @@ func (s *Server) commits(w http.ResponseWriter, r *http.Request) {
123 return
123 return
124 }
124 }
125 v := s.repoView(w, r, repo, role, "Commits")
125 v := s.repoView(w, r, repo, role, "Commits")
126 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
126 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
127 list, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 50)
127 list, _ := gitrepo.Log(r.Context(), s.Git, dir, v.Rev, 50)
128 v.Commits = toCommits(list)
128 v.Commits = toCommits(list)
129 s.render(w, "commits", v)
129 s.render(w, "commits", v)
@@ -139,7 +139,7 @@ func (s *Server) commit(w http.ResponseWriter, r *http.Request) {
139 http.NotFound(w, r)
139 http.NotFound(w, r)
140 return
140 return
141 }
141 }
142 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
142 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
143 c, err := gitrepo.Show(r.Context(), s.Git, dir, sha)
143 c, err := gitrepo.Show(r.Context(), s.Git, dir, sha)
144 if err != nil {
144 if err != nil {
145 http.NotFound(w, r)
145 http.NotFound(w, r)
@@ -157,7 +157,7 @@ func (s *Server) branches(w http.ResponseWriter, r *http.Request) {
157 return
157 return
158 }
158 }
159 v := s.repoView(w, r, repo, role, "Branches")
159 v := s.repoView(w, r, repo, role, "Branches")
160 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
160 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
161 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
161 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
162 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
162 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
163 for _, name := range names {
163 for _, name := range names {
@@ -173,7 +173,7 @@ func (s *Server) mergeRequests(w http.ResponseWriter, r *http.Request) {
173 }
173 }
174 v := s.repoView(w, r, repo, role, "Merge requests")
174 v := s.repoView(w, r, repo, role, "Merge requests")
175 v.MRs, _ = s.Store.ListMergeRequests(r.Context(), repo.ID)
175 v.MRs, _ = s.Store.ListMergeRequests(r.Context(), repo.ID)
176 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
176 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
177 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
177 names, _ := gitrepo.Branches(r.Context(), s.Git, dir)
178 for _, name := range names {
178 for _, name := range names {
179 v.Branches = append(v.Branches, BranchRow{Name: name})
179 v.Branches = append(v.Branches, BranchRow{Name: name})
@@ -224,7 +224,7 @@ func (s *Server) showMR(w http.ResponseWriter, r *http.Request) {
224 v.MR = &mr
224 v.MR = &mr
225 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
225 patterns, _ := s.Store.ProtectedPatterns(r.Context(), repo.ID)
226 v.CanMerge = mr.Status == "open" && role.CanMerge(access.BranchProtected(patterns, mr.TargetBranch))
226 v.CanMerge = mr.Status == "open" && role.CanMerge(access.BranchProtected(patterns, mr.TargetBranch))
227 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
227 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
228 diff, err := gitrepo.DiffStat(r.Context(), s.Git, dir, mr.TargetBranch, mr.SourceBranch)
228 diff, err := gitrepo.DiffStat(r.Context(), s.Git, dir, mr.TargetBranch, mr.SourceBranch)
229 if err == nil {
229 if err == nil {
230 v.Diff = diff
230 v.Diff = diff
@@ -247,9 +247,9 @@ func (s *Server) mergeMR(w http.ResponseWriter, r *http.Request) {
247 http.Error(w, "geen toegang tot de doelbranch", http.StatusForbidden)
247 http.Error(w, "geen toegang tot de doelbranch", http.StatusForbidden)
248 return
248 return
249 }
249 }
250 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
250 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
251 before, _ := gitrepo.Refs(r.Context(), s.Git, dir)
251 before, _ := gitrepo.Refs(r.Context(), s.Git, dir)
252 work := s.Cfg.StoragePath + "/tmp/merge-" + strconv.FormatInt(mr.ID, 10)
252 work := s.StoragePath() + "/tmp/merge-" + strconv.FormatInt(mr.ID, 10)
253 email := u.Username + "@users.git.timfalken.com"
253 email := u.Username + "@users.git.timfalken.com"
254 msg := "Merge branch '" + mr.SourceBranch + "' into '" + mr.TargetBranch + "'"
254 msg := "Merge branch '" + mr.SourceBranch + "' into '" + mr.TargetBranch + "'"
255 if err := gitrepo.Merge(r.Context(), s.Git, dir, work, mr.SourceBranch, mr.TargetBranch, u.Username, email, msg, role, patterns); err != nil {
255 if err := gitrepo.Merge(r.Context(), s.Git, dir, work, mr.SourceBranch, mr.TargetBranch, u.Username, email, msg, role, patterns); err != nil {
@@ -325,7 +325,7 @@ func (s *Server) runPipeline(w http.ResponseWriter, r *http.Request) {
325 return
325 return
326 }
326 }
327 ref := safeRev(r.FormValue("ref"), repo.DefaultBranch)
327 ref := safeRev(r.FormValue("ref"), repo.DefaultBranch)
328 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
328 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
329 shaOut, err := gitSHA(r, s.Git, dir, ref)
329 shaOut, err := gitSHA(r, s.Git, dir, ref)
330 if err != nil {
330 if err != nil {
331 s.redirect(w, r, repoURL(repo)+"/-/pipelines", "", "branch niet gevonden")
331 s.redirect(w, r, repoURL(repo)+"/-/pipelines", "", "branch niet gevonden")
@@ -350,6 +350,10 @@ func (s *Server) createRepo(w http.ResponseWriter, r *http.Request) {
350 if !ok || !s.csrfOK(w, r) {
350 if !ok || !s.csrfOK(w, r) {
351 return
351 return
352 }
352 }
353 if s.StoragePath() == "" {
354 s.redirect(w, r, "/", "", strings.TrimSpace(noStorageMsg))
355 return
356 }
353 name := strings.TrimSpace(r.FormValue("name"))
357 name := strings.TrimSpace(r.FormValue("name"))
354 if err := names.ValidRepoName(name); err != nil {
358 if err := names.ValidRepoName(name); err != nil {
355 s.redirect(w, r, "/new", "", err.Error())
359 s.redirect(w, r, "/new", "", err.Error())
@@ -379,7 +383,7 @@ func (s *Server) createRepo(w http.ResponseWriter, r *http.Request) {
379 s.redirect(w, r, "/new", "", err.Error())
383 s.redirect(w, r, "/new", "", err.Error())
380 return
384 return
381 }
385 }
382 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
386 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
383 if err := gitrepo.Init(s.Git, dir, repo.DefaultBranch, s.HookBin); err != nil {
387 if err := gitrepo.Init(s.Git, dir, repo.DefaultBranch, s.HookBin); err != nil {
384 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
388 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
385 s.redirect(w, r, "/new", "", "git init: "+err.Error())
389 s.redirect(w, r, "/new", "", "git init: "+err.Error())
internal/server/server.go +59 −43
@@ -11,6 +11,7 @@ import (
11 11 "log/slog"
12 12 "net/http"
13 13 "strings"
14 "sync"
14 15 "time"
15 16
16 17 "gitlab.com/Timfa/bluegit/internal/access"
@@ -34,7 +35,15 @@ type Server struct {
34 35 HookBin string
35 36 Runner *runner.Runner
36 37 Log *slog.Logger
37 tmpl *template.Template
38 // StateDir is de map met database en het bestand storage_path.
39 StateDir string
40 // AfterStorage krijgt het nieuwe datadisk-pad, voor runner en SSH.
41 AfterStorage func(path string)
42 tmpl *template.Template
43
44 storageMu sync.RWMutex
45 storage string
46 storageSet bool
38 47 }
39 48
40 49 type principal struct {
@@ -61,6 +70,8 @@ func (s *Server) Handler() http.Handler {
61 70 mux.HandleFunc("GET /new", s.newPage)
62 71 mux.HandleFunc("POST /new/repo", s.createRepo)
63 72 mux.HandleFunc("POST /new/group", s.createGroup)
73 mux.HandleFunc("GET /setup", s.setupPage)
74 mux.HandleFunc("POST /setup", s.setupSave)
64 75 mux.HandleFunc("GET /settings", s.account)
65 76 mux.HandleFunc("POST /settings/tokens", s.createToken)
66 77 mux.HandleFunc("POST /settings/tokens/delete", s.deleteToken)
@@ -108,7 +119,7 @@ func (s *Server) Handler() http.Handler {
108 119 mux.HandleFunc("POST /{owner}/{repo}/-/webhooks/delete", s.repoWebhookDelete)
109 120 mux.HandleFunc("POST /{owner}/{repo}/-/delete", s.deleteRepo)
110 121
111 return s.realIP(s.withSession(s.secure(mux)))
122 return s.realIP(s.withSession(s.secure(s.gate(mux))))
112 123 }
113 124
114 125 func (s *Server) realIP(next http.Handler) http.Handler {
@@ -259,7 +270,7 @@ func (s *Server) redirect(w http.ResponseWriter, r *http.Request, path, notice,
259 270
260 271 func (s *Server) view(w http.ResponseWriter, r *http.Request, title string) View {
261 272 notice, problem := s.takeFlash(w, r)
262 v := View{Title: title, BaseURL: s.Cfg.BaseURL, Notice: notice, Err: problem}
273 v := View{Title: title, BaseURL: s.Cfg.BaseURL, Notice: notice, Err: problem, StorageUnset: s.StoragePath() == ""}
263 274 if p := s.who(r); p.OK {
264 275 u := p.User
265 276 v.User = &u
@@ -285,46 +296,51 @@ func randomState() (string, error) {
285 296
286 297 // View is de gegevensset voor elk scherm.
287 298 type View struct {
288 Title string
289 BaseURL string
290 User *store.User
291 CSRF string
292 Notice string
293 Err string
294 Repos []store.Repo
295 Groups []store.Group
296 Repo *store.Repo
297 Role access.Role
298 CanWrite bool
299 CanAdmin bool
300 CanMerge bool
301 Commits []CommitRow
302 Commit *CommitRow
303 Entries []EntryRow
304 TreePath string
305 Blob string
306 BlobPath string
307 Binary bool
308 Branches []BranchRow
309 MRs []store.MergeRequest
310 MR *store.MergeRequest
311 Diff string
312 Pipes []store.Pipeline
313 Pipe *store.Pipeline
314 Jobs []store.Job
315 Releases []store.Release
316 Members []store.Member
317 Secrets []store.SecretMeta
318 Hooks []HookView
319 Patterns []string
320 Tokens []store.TokenInfo
321 Keys []store.SSHKey
322 CloneHTTP string
323 CloneSSH string
324 Group *store.Group
325 Tab string
326 Rev string
327 NewToken string
299 Title string
300 BaseURL string
301 User *store.User
302 CSRF string
303 Notice string
304 Err string
305 Repos []store.Repo
306 Groups []store.Group
307 Repo *store.Repo
308 Role access.Role
309 CanWrite bool
310 CanAdmin bool
311 CanMerge bool
312 Commits []CommitRow
313 Commit *CommitRow
314 Entries []EntryRow
315 TreePath string
316 Blob string
317 BlobPath string
318 Binary bool
319 Branches []BranchRow
320 MRs []store.MergeRequest
321 MR *store.MergeRequest
322 Diff string
323 Pipes []store.Pipeline
324 Pipe *store.Pipeline
325 Jobs []store.Job
326 Releases []store.Release
327 Members []store.Member
328 Secrets []store.SecretMeta
329 Hooks []HookView
330 Patterns []string
331 Tokens []store.TokenInfo
332 Keys []store.SSHKey
333 CloneHTTP string
334 CloneSSH string
335 Group *store.Group
336 Tab string
337 Rev string
338 NewToken string
339 StorageUnset bool
340 StoragePath string
341 StorageFree string
342 StorageTotal string
343 MinFree string
328 344 }
329 345
330 346 // CommitRow is een commit in de interface.
@@ -11,6 +11,7 @@ import (
11 "log/slog"
11 "log/slog"
12 "net/http"
12 "net/http"
13 "strings"
13 "strings"
14 "sync"
14 "time"
15 "time"
15
16
16 "gitlab.com/Timfa/bluegit/internal/access"
17 "gitlab.com/Timfa/bluegit/internal/access"
@@ -34,7 +35,15 @@ type Server struct {
34 HookBin string
35 HookBin string
35 Runner *runner.Runner
36 Runner *runner.Runner
36 Log *slog.Logger
37 Log *slog.Logger
37 tmpl *template.Template
38 // StateDir is de map met database en het bestand storage_path.
39 StateDir string
40 // AfterStorage krijgt het nieuwe datadisk-pad, voor runner en SSH.
41 AfterStorage func(path string)
42 tmpl *template.Template
43
44 storageMu sync.RWMutex
45 storage string
46 storageSet bool
38}
47}
39
48
40type principal struct {
49type principal struct {
@@ -61,6 +70,8 @@ func (s *Server) Handler() http.Handler {
61 mux.HandleFunc("GET /new", s.newPage)
70 mux.HandleFunc("GET /new", s.newPage)
62 mux.HandleFunc("POST /new/repo", s.createRepo)
71 mux.HandleFunc("POST /new/repo", s.createRepo)
63 mux.HandleFunc("POST /new/group", s.createGroup)
72 mux.HandleFunc("POST /new/group", s.createGroup)
73 mux.HandleFunc("GET /setup", s.setupPage)
74 mux.HandleFunc("POST /setup", s.setupSave)
64 mux.HandleFunc("GET /settings", s.account)
75 mux.HandleFunc("GET /settings", s.account)
65 mux.HandleFunc("POST /settings/tokens", s.createToken)
76 mux.HandleFunc("POST /settings/tokens", s.createToken)
66 mux.HandleFunc("POST /settings/tokens/delete", s.deleteToken)
77 mux.HandleFunc("POST /settings/tokens/delete", s.deleteToken)
@@ -108,7 +119,7 @@ func (s *Server) Handler() http.Handler {
108 mux.HandleFunc("POST /{owner}/{repo}/-/webhooks/delete", s.repoWebhookDelete)
119 mux.HandleFunc("POST /{owner}/{repo}/-/webhooks/delete", s.repoWebhookDelete)
109 mux.HandleFunc("POST /{owner}/{repo}/-/delete", s.deleteRepo)
120 mux.HandleFunc("POST /{owner}/{repo}/-/delete", s.deleteRepo)
110
121
111 return s.realIP(s.withSession(s.secure(mux)))
122 return s.realIP(s.withSession(s.secure(s.gate(mux))))
112}
123}
113
124
114func (s *Server) realIP(next http.Handler) http.Handler {
125func (s *Server) realIP(next http.Handler) http.Handler {
@@ -259,7 +270,7 @@ func (s *Server) redirect(w http.ResponseWriter, r *http.Request, path, notice,
259
270
260func (s *Server) view(w http.ResponseWriter, r *http.Request, title string) View {
271func (s *Server) view(w http.ResponseWriter, r *http.Request, title string) View {
261 notice, problem := s.takeFlash(w, r)
272 notice, problem := s.takeFlash(w, r)
262 v := View{Title: title, BaseURL: s.Cfg.BaseURL, Notice: notice, Err: problem}
273 v := View{Title: title, BaseURL: s.Cfg.BaseURL, Notice: notice, Err: problem, StorageUnset: s.StoragePath() == ""}
263 if p := s.who(r); p.OK {
274 if p := s.who(r); p.OK {
264 u := p.User
275 u := p.User
265 v.User = &u
276 v.User = &u
@@ -285,46 +296,51 @@ func randomState() (string, error) {
285
296
286// View is de gegevensset voor elk scherm.
297// View is de gegevensset voor elk scherm.
287type View struct {
298type View struct {
288 Title string
299 Title string
289 BaseURL string
300 BaseURL string
290 User *store.User
301 User *store.User
291 CSRF string
302 CSRF string
292 Notice string
303 Notice string
293 Err string
304 Err string
294 Repos []store.Repo
305 Repos []store.Repo
295 Groups []store.Group
306 Groups []store.Group
296 Repo *store.Repo
307 Repo *store.Repo
297 Role access.Role
308 Role access.Role
298 CanWrite bool
309 CanWrite bool
299 CanAdmin bool
310 CanAdmin bool
300 CanMerge bool
311 CanMerge bool
301 Commits []CommitRow
312 Commits []CommitRow
302 Commit *CommitRow
313 Commit *CommitRow
303 Entries []EntryRow
314 Entries []EntryRow
304 TreePath string
315 TreePath string
305 Blob string
316 Blob string
306 BlobPath string
317 BlobPath string
307 Binary bool
318 Binary bool
308 Branches []BranchRow
319 Branches []BranchRow
309 MRs []store.MergeRequest
320 MRs []store.MergeRequest
310 MR *store.MergeRequest
321 MR *store.MergeRequest
311 Diff string
322 Diff string
312 Pipes []store.Pipeline
323 Pipes []store.Pipeline
313 Pipe *store.Pipeline
324 Pipe *store.Pipeline
314 Jobs []store.Job
325 Jobs []store.Job
315 Releases []store.Release
326 Releases []store.Release
316 Members []store.Member
327 Members []store.Member
317 Secrets []store.SecretMeta
328 Secrets []store.SecretMeta
318 Hooks []HookView
329 Hooks []HookView
319 Patterns []string
330 Patterns []string
320 Tokens []store.TokenInfo
331 Tokens []store.TokenInfo
321 Keys []store.SSHKey
332 Keys []store.SSHKey
322 CloneHTTP string
333 CloneHTTP string
323 CloneSSH string
334 CloneSSH string
324 Group *store.Group
335 Group *store.Group
325 Tab string
336 Tab string
326 Rev string
337 Rev string
327 NewToken string
338 NewToken string
339 StorageUnset bool
340 StoragePath string
341 StorageFree string
342 StorageTotal string
343 MinFree string
328}
344}
329
345
330// CommitRow is een commit in de interface.
346// CommitRow is een commit in de interface.
internal/server/server_test.go +102 −0
@@ -184,6 +184,108 @@ func TestWebRepoPushAndSecretBoundary(t *testing.T) {
184 184 }
185 185 }
186 186
187 func TestSetupChoosesStorage(t *testing.T) {
188 storage := t.TempDir()
189 stateDir := t.TempDir()
190 key := bytes32()
191 st, err := store.Open(filepath.Join(stateDir, "bluegit.db"), key)
192 if err != nil {
193 t.Fatal(err)
194 }
195 t.Cleanup(func() { _ = st.Close() })
196 cfg := config.Config{
197 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0",
198 Auth: config.Auth{Mode: "dev", DevUser: "tim", DevAuthID: 1, UserAgent: "test"},
199 Git: config.Git{Binary: "git", DefaultBranch: "master"},
200 }
201 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "tim", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true", StateDir: stateDir}
202 ts := httptest.NewServer(srv.Handler())
203 t.Cleanup(ts.Close)
204
205 res, err := http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
206 if err != nil {
207 t.Fatal(err)
208 }
209 body := read(t, res)
210 if res.StatusCode != http.StatusServiceUnavailable || !strings.Contains(body, "nog niet ingesteld") {
211 t.Fatalf("git zonder opslag: %d %s", res.StatusCode, body)
212 }
213
214 jar, _ := cookiejar.New(nil)
215 client := &http.Client{Jar: jar}
216 res, err = client.Get(ts.URL + "/login")
217 if err != nil {
218 t.Fatal(err)
219 }
220 page := read(t, res)
221 if res.StatusCode != 200 || !strings.Contains(page, "Opslag kiezen") {
222 t.Fatalf("setup:\n%s", page)
223 }
224 res, err = client.PostForm(ts.URL+"/setup", url.Values{"csrf": {csrfOf(t, page)}, "path": {"relatief"}})
225 if err != nil {
226 t.Fatal(err)
227 }
228 page = read(t, res)
229 if !strings.Contains(page, "absoluut") {
230 t.Fatalf("relatief pad:\n%s", page)
231 }
232 res, err = client.PostForm(ts.URL+"/setup", url.Values{"csrf": {csrfOf(t, page)}, "path": {storage}})
233 if err != nil {
234 t.Fatal(err)
235 }
236 page = read(t, res)
237 if !strings.Contains(page, "Overzicht") || !strings.Contains(page, "vrij") {
238 t.Fatalf("na opslaan:\n%s", page)
239 }
240 if srv.StoragePath() != storage {
241 t.Fatalf("pad %s", srv.StoragePath())
242 }
243 saved, err := os.ReadFile(filepath.Join(stateDir, "storage_path"))
244 if err != nil || strings.TrimSpace(string(saved)) != storage {
245 t.Fatalf("bestand %q %v", saved, err)
246 }
247 res, err = client.Get(ts.URL + "/setup")
248 if err != nil {
249 t.Fatal(err)
250 }
251 page = read(t, res)
252 if !strings.Contains(page, "verplaatst geen") || !strings.Contains(page, "Vrije ruimte") {
253 t.Fatalf("wijzigen:\n%s", page)
254 }
255 res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
256 if err != nil {
257 t.Fatal(err)
258 }
259 body = read(t, res)
260 if res.StatusCode == http.StatusServiceUnavailable {
261 t.Fatalf("git blijft geblokkeerd: %s", body)
262 }
263
264 ada, err := st.UpsertUser(context.Background(), 2, "ada", "", true)
265 if err != nil {
266 t.Fatal(err)
267 }
268 if ada.InstanceAdmin {
269 t.Fatal("is_admin werd installatiebeheerder")
270 }
271 sess, err := st.CreateSession(context.Background(), ada.ID, "dev", time.Now().Add(time.Hour))
272 if err != nil {
273 t.Fatal(err)
274 }
275 adaJar, _ := cookiejar.New(nil)
276 adaClient := &http.Client{Jar: adaJar}
277 u, _ := url.Parse(ts.URL)
278 adaJar.SetCookies(u, []*http.Cookie{{Name: "bluegit_session", Value: sess.ID, Path: "/"}})
279 res, err = adaClient.Get(ts.URL + "/setup")
280 if err != nil {
281 t.Fatal(err)
282 }
283 if res.StatusCode != http.StatusForbidden {
284 t.Fatalf("ada setup %d %s", res.StatusCode, read(t, res))
285 }
286 _ = res.Body.Close()
287 }
288
187 289 func csrfOf(t *testing.T, body string) string {
188 290 t.Helper()
189 291 const needle = `name="csrf" value="`
@@ -184,6 +184,108 @@ func TestWebRepoPushAndSecretBoundary(t *testing.T) {
184 }
184 }
185}
185}
186
186
187func TestSetupChoosesStorage(t *testing.T) {
188 storage := t.TempDir()
189 stateDir := t.TempDir()
190 key := bytes32()
191 st, err := store.Open(filepath.Join(stateDir, "bluegit.db"), key)
192 if err != nil {
193 t.Fatal(err)
194 }
195 t.Cleanup(func() { _ = st.Close() })
196 cfg := config.Config{
197 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0",
198 Auth: config.Auth{Mode: "dev", DevUser: "tim", DevAuthID: 1, UserAgent: "test"},
199 Git: config.Git{Binary: "git", DefaultBranch: "master"},
200 }
201 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "tim", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true", StateDir: stateDir}
202 ts := httptest.NewServer(srv.Handler())
203 t.Cleanup(ts.Close)
204
205 res, err := http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
206 if err != nil {
207 t.Fatal(err)
208 }
209 body := read(t, res)
210 if res.StatusCode != http.StatusServiceUnavailable || !strings.Contains(body, "nog niet ingesteld") {
211 t.Fatalf("git zonder opslag: %d %s", res.StatusCode, body)
212 }
213
214 jar, _ := cookiejar.New(nil)
215 client := &http.Client{Jar: jar}
216 res, err = client.Get(ts.URL + "/login")
217 if err != nil {
218 t.Fatal(err)
219 }
220 page := read(t, res)
221 if res.StatusCode != 200 || !strings.Contains(page, "Opslag kiezen") {
222 t.Fatalf("setup:\n%s", page)
223 }
224 res, err = client.PostForm(ts.URL+"/setup", url.Values{"csrf": {csrfOf(t, page)}, "path": {"relatief"}})
225 if err != nil {
226 t.Fatal(err)
227 }
228 page = read(t, res)
229 if !strings.Contains(page, "absoluut") {
230 t.Fatalf("relatief pad:\n%s", page)
231 }
232 res, err = client.PostForm(ts.URL+"/setup", url.Values{"csrf": {csrfOf(t, page)}, "path": {storage}})
233 if err != nil {
234 t.Fatal(err)
235 }
236 page = read(t, res)
237 if !strings.Contains(page, "Overzicht") || !strings.Contains(page, "vrij") {
238 t.Fatalf("na opslaan:\n%s", page)
239 }
240 if srv.StoragePath() != storage {
241 t.Fatalf("pad %s", srv.StoragePath())
242 }
243 saved, err := os.ReadFile(filepath.Join(stateDir, "storage_path"))
244 if err != nil || strings.TrimSpace(string(saved)) != storage {
245 t.Fatalf("bestand %q %v", saved, err)
246 }
247 res, err = client.Get(ts.URL + "/setup")
248 if err != nil {
249 t.Fatal(err)
250 }
251 page = read(t, res)
252 if !strings.Contains(page, "verplaatst geen") || !strings.Contains(page, "Vrije ruimte") {
253 t.Fatalf("wijzigen:\n%s", page)
254 }
255 res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
256 if err != nil {
257 t.Fatal(err)
258 }
259 body = read(t, res)
260 if res.StatusCode == http.StatusServiceUnavailable {
261 t.Fatalf("git blijft geblokkeerd: %s", body)
262 }
263
264 ada, err := st.UpsertUser(context.Background(), 2, "ada", "", true)
265 if err != nil {
266 t.Fatal(err)
267 }
268 if ada.InstanceAdmin {
269 t.Fatal("is_admin werd installatiebeheerder")
270 }
271 sess, err := st.CreateSession(context.Background(), ada.ID, "dev", time.Now().Add(time.Hour))
272 if err != nil {
273 t.Fatal(err)
274 }
275 adaJar, _ := cookiejar.New(nil)
276 adaClient := &http.Client{Jar: adaJar}
277 u, _ := url.Parse(ts.URL)
278 adaJar.SetCookies(u, []*http.Cookie{{Name: "bluegit_session", Value: sess.ID, Path: "/"}})
279 res, err = adaClient.Get(ts.URL + "/setup")
280 if err != nil {
281 t.Fatal(err)
282 }
283 if res.StatusCode != http.StatusForbidden {
284 t.Fatalf("ada setup %d %s", res.StatusCode, read(t, res))
285 }
286 _ = res.Body.Close()
287}
288
187func csrfOf(t *testing.T, body string) string {
289func csrfOf(t *testing.T, body string) string {
188 t.Helper()
290 t.Helper()
189 const needle = `name="csrf" value="`
291 const needle = `name="csrf" value="`
internal/server/settings_handlers.go +1 −1
@@ -279,7 +279,7 @@ func (s *Server) deleteRepo(w http.ResponseWriter, r *http.Request) {
279 279 s.redirect(w, r, repoURL(repo)+"/-/settings", "", "typ de repositorynaam om te verwijderen")
280 280 return
281 281 }
282 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
282 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
283 283 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
284 284 _ = os.RemoveAll(dir)
285 285 s.redirect(w, r, "/", "Repository verwijderd", "")
@@ -279,7 +279,7 @@ func (s *Server) deleteRepo(w http.ResponseWriter, r *http.Request) {
279 s.redirect(w, r, repoURL(repo)+"/-/settings", "", "typ de repositorynaam om te verwijderen")
279 s.redirect(w, r, repoURL(repo)+"/-/settings", "", "typ de repositorynaam om te verwijderen")
280 return
280 return
281 }
281 }
282 dir := gitrepo.Dir(s.Cfg.StoragePath, repo.OwnerPath, repo.Name)
282 dir := gitrepo.Dir(s.StoragePath(), repo.OwnerPath, repo.Name)
283 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
283 _ = s.Store.DeleteRepo(r.Context(), repo.ID)
284 _ = os.RemoveAll(dir)
284 _ = os.RemoveAll(dir)
285 s.redirect(w, r, "/", "Repository verwijderd", "")
285 s.redirect(w, r, "/", "Repository verwijderd", "")
internal/server/setup.go added +182 −0
@@ -0,0 +1,182 @@
1 package server
2
3 import (
4 "context"
5 "net/http"
6 "os"
7 "strings"
8
9 "gitlab.com/Timfa/bluegit/internal/gitrepo"
10 "gitlab.com/Timfa/bluegit/internal/state"
11 )
12
13 const noStorageMsg = "Opslag is nog niet ingesteld. De beheerder kiest een pad in de webinterface.\n"
14
15 func allowsWithoutStorage(r *http.Request) bool {
16 switch r.URL.Path {
17 case "/healthz", "/login", "/auth/callback", "/logout", "/setup":
18 return true
19 }
20 return strings.HasPrefix(r.URL.Path, "/assets/")
21 }
22
23 func isGitPath(path string) bool {
24 return strings.HasSuffix(path, "/info/refs") ||
25 strings.HasSuffix(path, "/git-upload-pack") ||
26 strings.HasSuffix(path, "/git-receive-pack")
27 }
28
29 func (s *Server) gate(next http.Handler) http.Handler {
30 return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
31 if allowsWithoutStorage(r) || s.StoragePath() != "" {
32 next.ServeHTTP(w, r)
33 return
34 }
35 if isGitPath(r.URL.Path) || strings.HasPrefix(r.URL.Path, "/api/") {
36 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
37 return
38 }
39 if p := s.who(r); p.OK && p.User.InstanceAdmin {
40 http.Redirect(w, r, "/setup", http.StatusFound)
41 return
42 }
43 next.ServeHTTP(w, r)
44 })
45 }
46
47 // StoragePath is de datadisk. Leeg zolang de beheerder er geen heeft gekozen.
48 func (s *Server) StoragePath() string {
49 s.storageMu.RLock()
50 set, path := s.storageSet, s.storage
51 s.storageMu.RUnlock()
52 if set {
53 return path
54 }
55 s.storageMu.Lock()
56 defer s.storageMu.Unlock()
57 if !s.storageSet {
58 s.storage = s.Cfg.StoragePath
59 s.storageSet = true
60 }
61 return s.storage
62 }
63
64 // AdoptStorage zet het pad dat bij het starten al geldig was.
65 func (s *Server) AdoptStorage(path string) {
66 s.storageMu.Lock()
67 s.storage = path
68 s.storageSet = true
69 s.storageMu.Unlock()
70 if path != "" && s.AfterStorage != nil {
71 s.AfterStorage(path)
72 }
73 }
74
75 func (s *Server) setupPage(w http.ResponseWriter, r *http.Request) {
76 if _, ok := s.adminOnly(w, r); !ok {
77 return
78 }
79 s.renderSetup(w, r, "", "")
80 }
81
82 func (s *Server) setupSave(w http.ResponseWriter, r *http.Request) {
83 if _, ok := s.adminOnly(w, r); !ok || !s.csrfOK(w, r) {
84 return
85 }
86 if s.StateDir == "" {
87 s.renderSetup(w, r, "De state-map ontbreekt, dus het pad kan niet bewaard worden.", r.FormValue("path"))
88 return
89 }
90 info, err := state.Inspect(r.FormValue("path"))
91 if err != nil {
92 s.renderSetup(w, r, err.Error(), strings.TrimSpace(r.FormValue("path")))
93 return
94 }
95 if same, err := samePath(s.StateDir, info.Path); err != nil {
96 s.renderSetup(w, r, err.Error(), info.Path)
97 return
98 } else if same {
99 s.renderSetup(w, r, "De state-map is niet de datadisk. Kies de schijf waar de repositories komen.", info.Path)
100 return
101 }
102 previous := s.StoragePath()
103 if err := state.Write(s.StateDir, info.Path); err != nil {
104 s.renderSetup(w, r, err.Error(), info.Path)
105 return
106 }
107 s.AdoptStorage(info.Path)
108 s.RefreshHooks()
109 notice := "Opslag ingesteld op " + info.Path + ". " + state.Format(info.Free) + " vrij."
110 if previous != "" && previous != info.Path {
111 notice = "Opslagpad gewijzigd naar " + info.Path + ". Bestaande data is niet verplaatst. " + state.Format(info.Free) + " vrij."
112 }
113 s.redirect(w, r, "/", notice, "")
114 }
115
116 func samePath(stateDir, path string) (bool, error) {
117 if stateDir == "" {
118 return false, nil
119 }
120 return strings.TrimRight(stateDir, "/") == strings.TrimRight(path, "/"), nil
121 }
122
123 func (s *Server) adminOnly(w http.ResponseWriter, r *http.Request) (bool, bool) {
124 u, ok := s.loginRequired(w, r)
125 if !ok {
126 return false, false
127 }
128 if !u.InstanceAdmin {
129 http.Error(w, "alleen de installatiebeheerder stelt de opslag in", http.StatusForbidden)
130 return false, false
131 }
132 return true, true
133 }
134
135 func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, prefill string) {
136 v := s.view(w, r, "Opslag")
137 if problem != "" {
138 v.Err = problem
139 }
140 v.MinFree = state.Format(state.MinFreeBytes)
141 v.StoragePath = strings.TrimSpace(prefill)
142 if v.StoragePath == "" {
143 v.StoragePath = s.StoragePath()
144 }
145 if v.StoragePath == "" && s.StateDir != "" {
146 if saved, err := state.Read(s.StateDir); err == nil {
147 v.StoragePath = saved
148 }
149 }
150 if v.StoragePath != "" {
151 info, err := state.Inspect(v.StoragePath)
152 if info.Total > 0 {
153 v.StorageFree = state.Format(info.Free)
154 v.StorageTotal = state.Format(info.Total)
155 }
156 if err != nil && v.Err == "" {
157 v.Err = err.Error()
158 }
159 }
160 s.render(w, "setup", v)
161 }
162
163 // RefreshHooks zet de pre-receive-hook opnieuw in elke repository die op de datadisk staat.
164 func (s *Server) RefreshHooks() {
165 root := s.StoragePath()
166 if root == "" || s.HookBin == "" || s.Store == nil {
167 return
168 }
169 repos, err := s.Store.AllRepos(context.Background())
170 if err != nil {
171 return
172 }
173 for _, repo := range repos {
174 dir := gitrepo.Dir(root, repo.OwnerPath, repo.Name)
175 if _, err := os.Stat(dir); err != nil {
176 continue
177 }
178 if err := gitrepo.InstallHook(dir, s.HookBin); err != nil && s.Log != nil {
179 s.Log.Error("hook", "repo", repo.FullPath(), "err", err)
180 }
181 }
182 }
@@ -0,0 +1,182 @@
1package server
2
3import (
4 "context"
5 "net/http"
6 "os"
7 "strings"
8
9 "gitlab.com/Timfa/bluegit/internal/gitrepo"
10 "gitlab.com/Timfa/bluegit/internal/state"
11)
12
13const noStorageMsg = "Opslag is nog niet ingesteld. De beheerder kiest een pad in de webinterface.\n"
14
15func allowsWithoutStorage(r *http.Request) bool {
16 switch r.URL.Path {
17 case "/healthz", "/login", "/auth/callback", "/logout", "/setup":
18 return true
19 }
20 return strings.HasPrefix(r.URL.Path, "/assets/")
21}
22
23func isGitPath(path string) bool {
24 return strings.HasSuffix(path, "/info/refs") ||
25 strings.HasSuffix(path, "/git-upload-pack") ||
26 strings.HasSuffix(path, "/git-receive-pack")
27}
28
29func (s *Server) gate(next http.Handler) http.Handler {
30 return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
31 if allowsWithoutStorage(r) || s.StoragePath() != "" {
32 next.ServeHTTP(w, r)
33 return
34 }
35 if isGitPath(r.URL.Path) || strings.HasPrefix(r.URL.Path, "/api/") {
36 http.Error(w, noStorageMsg, http.StatusServiceUnavailable)
37 return
38 }
39 if p := s.who(r); p.OK && p.User.InstanceAdmin {
40 http.Redirect(w, r, "/setup", http.StatusFound)
41 return
42 }
43 next.ServeHTTP(w, r)
44 })
45}
46
47// StoragePath is de datadisk. Leeg zolang de beheerder er geen heeft gekozen.
48func (s *Server) StoragePath() string {
49 s.storageMu.RLock()
50 set, path := s.storageSet, s.storage
51 s.storageMu.RUnlock()
52 if set {
53 return path
54 }
55 s.storageMu.Lock()
56 defer s.storageMu.Unlock()
57 if !s.storageSet {
58 s.storage = s.Cfg.StoragePath
59 s.storageSet = true
60 }
61 return s.storage
62}
63
64// AdoptStorage zet het pad dat bij het starten al geldig was.
65func (s *Server) AdoptStorage(path string) {
66 s.storageMu.Lock()
67 s.storage = path
68 s.storageSet = true
69 s.storageMu.Unlock()
70 if path != "" && s.AfterStorage != nil {
71 s.AfterStorage(path)
72 }
73}
74
75func (s *Server) setupPage(w http.ResponseWriter, r *http.Request) {
76 if _, ok := s.adminOnly(w, r); !ok {
77 return
78 }
79 s.renderSetup(w, r, "", "")
80}
81
82func (s *Server) setupSave(w http.ResponseWriter, r *http.Request) {
83 if _, ok := s.adminOnly(w, r); !ok || !s.csrfOK(w, r) {
84 return
85 }
86 if s.StateDir == "" {
87 s.renderSetup(w, r, "De state-map ontbreekt, dus het pad kan niet bewaard worden.", r.FormValue("path"))
88 return
89 }
90 info, err := state.Inspect(r.FormValue("path"))
91 if err != nil {
92 s.renderSetup(w, r, err.Error(), strings.TrimSpace(r.FormValue("path")))
93 return
94 }
95 if same, err := samePath(s.StateDir, info.Path); err != nil {
96 s.renderSetup(w, r, err.Error(), info.Path)
97 return
98 } else if same {
99 s.renderSetup(w, r, "De state-map is niet de datadisk. Kies de schijf waar de repositories komen.", info.Path)
100 return
101 }
102 previous := s.StoragePath()
103 if err := state.Write(s.StateDir, info.Path); err != nil {
104 s.renderSetup(w, r, err.Error(), info.Path)
105 return
106 }
107 s.AdoptStorage(info.Path)
108 s.RefreshHooks()
109 notice := "Opslag ingesteld op " + info.Path + ". " + state.Format(info.Free) + " vrij."
110 if previous != "" && previous != info.Path {
111 notice = "Opslagpad gewijzigd naar " + info.Path + ". Bestaande data is niet verplaatst. " + state.Format(info.Free) + " vrij."
112 }
113 s.redirect(w, r, "/", notice, "")
114}
115
116func samePath(stateDir, path string) (bool, error) {
117 if stateDir == "" {
118 return false, nil
119 }
120 return strings.TrimRight(stateDir, "/") == strings.TrimRight(path, "/"), nil
121}
122
123func (s *Server) adminOnly(w http.ResponseWriter, r *http.Request) (bool, bool) {
124 u, ok := s.loginRequired(w, r)
125 if !ok {
126 return false, false
127 }
128 if !u.InstanceAdmin {
129 http.Error(w, "alleen de installatiebeheerder stelt de opslag in", http.StatusForbidden)
130 return false, false
131 }
132 return true, true
133}
134
135func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, prefill string) {
136 v := s.view(w, r, "Opslag")
137 if problem != "" {
138 v.Err = problem
139 }
140 v.MinFree = state.Format(state.MinFreeBytes)
141 v.StoragePath = strings.TrimSpace(prefill)
142 if v.StoragePath == "" {
143 v.StoragePath = s.StoragePath()
144 }
145 if v.StoragePath == "" && s.StateDir != "" {
146 if saved, err := state.Read(s.StateDir); err == nil {
147 v.StoragePath = saved
148 }
149 }
150 if v.StoragePath != "" {
151 info, err := state.Inspect(v.StoragePath)
152 if info.Total > 0 {
153 v.StorageFree = state.Format(info.Free)
154 v.StorageTotal = state.Format(info.Total)
155 }
156 if err != nil && v.Err == "" {
157 v.Err = err.Error()
158 }
159 }
160 s.render(w, "setup", v)
161}
162
163// RefreshHooks zet de pre-receive-hook opnieuw in elke repository die op de datadisk staat.
164func (s *Server) RefreshHooks() {
165 root := s.StoragePath()
166 if root == "" || s.HookBin == "" || s.Store == nil {
167 return
168 }
169 repos, err := s.Store.AllRepos(context.Background())
170 if err != nil {
171 return
172 }
173 for _, repo := range repos {
174 dir := gitrepo.Dir(root, repo.OwnerPath, repo.Name)
175 if _, err := os.Stat(dir); err != nil {
176 continue
177 }
178 if err := gitrepo.InstallHook(dir, s.HookBin); err != nil && s.Log != nil {
179 s.Log.Error("hook", "repo", repo.FullPath(), "err", err)
180 }
181 }
182}
internal/server/templates/layout.html +1 −0
@@ -15,6 +15,7 @@
15 15 {{if .User}}
16 16 <a href="/">Overzicht</a>
17 17 <a href="/new">Nieuw</a>
18 {{if .User.InstanceAdmin}}<a href="/setup">Opslag</a>{{end}}
18 19 <a href="/settings">{{.User.Username}}</a>
19 20 <form method="post" action="/logout"><input type="hidden" name="csrf" value="{{.CSRF}}"><button type="submit">Afmelden</button></form>
20 21 {{else}}
@@ -15,6 +15,7 @@
15 {{if .User}}
15 {{if .User}}
16 <a href="/">Overzicht</a>
16 <a href="/">Overzicht</a>
17 <a href="/new">Nieuw</a>
17 <a href="/new">Nieuw</a>
18 {{if .User.InstanceAdmin}}<a href="/setup">Opslag</a>{{end}}
18 <a href="/settings">{{.User.Username}}</a>
19 <a href="/settings">{{.User.Username}}</a>
19 <form method="post" action="/logout"><input type="hidden" name="csrf" value="{{.CSRF}}"><button type="submit">Afmelden</button></form>
20 <form method="post" action="/logout"><input type="hidden" name="csrf" value="{{.CSRF}}"><button type="submit">Afmelden</button></form>
20 {{else}}
21 {{else}}
internal/server/templates/pages.html +22 −0
@@ -1,3 +1,23 @@
1 {{define "setup"}}
2 {{template "layout-start" .}}
3 <h1>{{if .StorageUnset}}Opslag kiezen{{else}}Opslagpad{{end}}</h1>
4 {{if not .StorageUnset}}
5 <p class="flash bad">Het pad wijzigen verplaatst geen repositories, artifacts of releases. Die blijven op de oude plek staan en BlueGit zoekt ze daar niet meer.</p>
6 {{end}}
7 <section class="panel">
8 {{if .StorageFree}}<p>Vrije ruimte: <strong>{{.StorageFree}}</strong> van {{.StorageTotal}}.</p>{{end}}
9 <form method="post" action="/setup">
10 <input type="hidden" name="csrf" value="{{.CSRF}}">
11 <label>Pad op de schijf
12 <input name="path" value="{{.StoragePath}}" required placeholder="/absoluut/pad">
13 </label>
14 <button type="submit">Opslaan</button>
15 </form>
16 <p class="muted">Het pad moet bestaan, beschrijfbaar zijn en minstens {{.MinFree}} vrij hebben. De database, de sleutel en de SSH-hostkey blijven in de state-map. Onder systemd voeg je het pad toe als <code>ReadWritePaths</code> en herstart je de dienst voordat je het hier opslaat.</p>
17 </section>
18 {{template "layout-end" .}}
19 {{end}}
20
1 21 {{define "home"}}
2 22 {{template "layout-start" .}}
3 23 <section class="hero">
@@ -5,6 +25,7 @@
5 25 <div>
6 26 <h1>BlueGit</h1>
7 27 <p>Tims eigen git, op de schijf van de mini-PC. Aanmelden gaat via auth.timfalken.com. Er is geen apart wachtwoord.</p>
28 {{if .StorageUnset}}<p class="flash bad">Opslag is nog niet ingesteld. Na aanmelden kiest de installatiebeheerder een pad. Tot die tijd werken git en CI niet.</p>{{end}}
8 29 <p><a class="btn" href="/login">Aanmelden</a></p>
9 30 </div>
10 31 </section>
@@ -22,6 +43,7 @@
22 43 {{define "dashboard"}}
23 44 {{template "layout-start" .}}
24 45 <h1>Overzicht</h1>
46 {{if .StorageUnset}}<p class="flash bad">Opslag is nog niet ingesteld. Git en CI doen niets tot de installatiebeheerder een pad kiest.</p>{{end}}
25 47 <div class="grid-2">
26 48 <section class="panel">
27 49 <h2>Repositories</h2>
@@ -1,3 +1,23 @@
1{{define "setup"}}
2{{template "layout-start" .}}
3<h1>{{if .StorageUnset}}Opslag kiezen{{else}}Opslagpad{{end}}</h1>
4{{if not .StorageUnset}}
5<p class="flash bad">Het pad wijzigen verplaatst geen repositories, artifacts of releases. Die blijven op de oude plek staan en BlueGit zoekt ze daar niet meer.</p>
6{{end}}
7<section class="panel">
8 {{if .StorageFree}}<p>Vrije ruimte: <strong>{{.StorageFree}}</strong> van {{.StorageTotal}}.</p>{{end}}
9 <form method="post" action="/setup">
10 <input type="hidden" name="csrf" value="{{.CSRF}}">
11 <label>Pad op de schijf
12 <input name="path" value="{{.StoragePath}}" required placeholder="/absoluut/pad">
13 </label>
14 <button type="submit">Opslaan</button>
15 </form>
16 <p class="muted">Het pad moet bestaan, beschrijfbaar zijn en minstens {{.MinFree}} vrij hebben. De database, de sleutel en de SSH-hostkey blijven in de state-map. Onder systemd voeg je het pad toe als <code>ReadWritePaths</code> en herstart je de dienst voordat je het hier opslaat.</p>
17</section>
18{{template "layout-end" .}}
19{{end}}
20
1{{define "home"}}
21{{define "home"}}
2{{template "layout-start" .}}
22{{template "layout-start" .}}
3<section class="hero">
23<section class="hero">
@@ -5,6 +25,7 @@
5 <div>
25 <div>
6 <h1>BlueGit</h1>
26 <h1>BlueGit</h1>
7 <p>Tims eigen git, op de schijf van de mini-PC. Aanmelden gaat via auth.timfalken.com. Er is geen apart wachtwoord.</p>
27 <p>Tims eigen git, op de schijf van de mini-PC. Aanmelden gaat via auth.timfalken.com. Er is geen apart wachtwoord.</p>
28 {{if .StorageUnset}}<p class="flash bad">Opslag is nog niet ingesteld. Na aanmelden kiest de installatiebeheerder een pad. Tot die tijd werken git en CI niet.</p>{{end}}
8 <p><a class="btn" href="/login">Aanmelden</a></p>
29 <p><a class="btn" href="/login">Aanmelden</a></p>
9 </div>
30 </div>
10</section>
31</section>
@@ -22,6 +43,7 @@
22{{define "dashboard"}}
43{{define "dashboard"}}
23{{template "layout-start" .}}
44{{template "layout-start" .}}
24<h1>Overzicht</h1>
45<h1>Overzicht</h1>
46{{if .StorageUnset}}<p class="flash bad">Opslag is nog niet ingesteld. Git en CI doen niets tot de installatiebeheerder een pad kiest.</p>{{end}}
25<div class="grid-2">
47<div class="grid-2">
26 <section class="panel">
48 <section class="panel">
27 <h2>Repositories</h2>
49 <h2>Repositories</h2>
internal/sshd/server.go +20 −1
@@ -18,6 +18,7 @@ import (
18 18 "path/filepath"
19 19 "strconv"
20 20 "strings"
21 "sync"
21 22
22 23 "gitlab.com/Timfa/bluegit/internal/gitrepo"
23 24 "gitlab.com/Timfa/bluegit/internal/store"
@@ -36,6 +37,20 @@ type Server struct {
36 37 HostKey string
37 38 Log *slog.Logger
38 39 OnPush PushFunc
40 mu sync.RWMutex
41 }
42
43 // SetStorage wijzigt de map met repositories. De hostkey blijft apart.
44 func (s *Server) SetStorage(path string) {
45 s.mu.Lock()
46 s.Storage = path
47 s.mu.Unlock()
48 }
49
50 func (s *Server) storage() string {
51 s.mu.RLock()
52 defer s.mu.RUnlock()
53 return s.Storage
39 54 }
40 55
41 56 // Run luistert tot ctx afloopt.
@@ -129,6 +144,10 @@ func (s *Server) session(channel ssh.Channel, requests <-chan *ssh.Request, user
129 144 }
130 145
131 146 func (s *Server) execGit(channel ssh.Channel, user store.User, command string) int {
147 if s.storage() == "" {
148 fmt.Fprintln(channel.Stderr(), "Opslag is nog niet ingesteld. De beheerder kiest een pad in de webinterface.")
149 return 1
150 }
132 151 service, repoPath, err := parseCommand(command)
133 152 if err != nil {
134 153 fmt.Fprintln(channel.Stderr(), err.Error())
@@ -158,7 +177,7 @@ func (s *Server) execGit(channel ssh.Channel, user store.User, command string) i
158 177 fmt.Fprintln(channel.Stderr(), "geen leesrechten")
159 178 return 1
160 179 }
161 dir := gitrepo.Dir(s.Storage, repo.OwnerPath, repo.Name)
180 dir := gitrepo.Dir(s.storage(), repo.OwnerPath, repo.Name)
162 181 var before map[string]string
163 182 if write {
164 183 before, _ = gitrepo.Refs(context.Background(), s.GitBin, dir)
@@ -18,6 +18,7 @@ import (
18 "path/filepath"
18 "path/filepath"
19 "strconv"
19 "strconv"
20 "strings"
20 "strings"
21 "sync"
21
22
22 "gitlab.com/Timfa/bluegit/internal/gitrepo"
23 "gitlab.com/Timfa/bluegit/internal/gitrepo"
23 "gitlab.com/Timfa/bluegit/internal/store"
24 "gitlab.com/Timfa/bluegit/internal/store"
@@ -36,6 +37,20 @@ type Server struct {
36 HostKey string
37 HostKey string
37 Log *slog.Logger
38 Log *slog.Logger
38 OnPush PushFunc
39 OnPush PushFunc
40 mu sync.RWMutex
41}
42
43// SetStorage wijzigt de map met repositories. De hostkey blijft apart.
44func (s *Server) SetStorage(path string) {
45 s.mu.Lock()
46 s.Storage = path
47 s.mu.Unlock()
48}
49
50func (s *Server) storage() string {
51 s.mu.RLock()
52 defer s.mu.RUnlock()
53 return s.Storage
39}
54}
40
55
41// Run luistert tot ctx afloopt.
56// Run luistert tot ctx afloopt.
@@ -129,6 +144,10 @@ func (s *Server) session(channel ssh.Channel, requests <-chan *ssh.Request, user
129}
144}
130
145
131func (s *Server) execGit(channel ssh.Channel, user store.User, command string) int {
146func (s *Server) execGit(channel ssh.Channel, user store.User, command string) int {
147 if s.storage() == "" {
148 fmt.Fprintln(channel.Stderr(), "Opslag is nog niet ingesteld. De beheerder kiest een pad in de webinterface.")
149 return 1
150 }
132 service, repoPath, err := parseCommand(command)
151 service, repoPath, err := parseCommand(command)
133 if err != nil {
152 if err != nil {
134 fmt.Fprintln(channel.Stderr(), err.Error())
153 fmt.Fprintln(channel.Stderr(), err.Error())
@@ -158,7 +177,7 @@ func (s *Server) execGit(channel ssh.Channel, user store.User, command string) i
158 fmt.Fprintln(channel.Stderr(), "geen leesrechten")
177 fmt.Fprintln(channel.Stderr(), "geen leesrechten")
159 return 1
178 return 1
160 }
179 }
161 dir := gitrepo.Dir(s.Storage, repo.OwnerPath, repo.Name)
180 dir := gitrepo.Dir(s.storage(), repo.OwnerPath, repo.Name)
162 var before map[string]string
181 var before map[string]string
163 if write {
182 if write {
164 before, _ = gitrepo.Refs(context.Background(), s.GitBin, dir)
183 before, _ = gitrepo.Refs(context.Background(), s.GitBin, dir)
internal/ssrf/ssrf.go added +241 −0
@@ -0,0 +1,241 @@
1 // Package ssrf keurt webhook-bestemmingen.
2 // Privénetwerken zijn geblokkeerd. Een naam die naar een publiek IP
3 // wijst mag wel, ook als een router dat verkeer daarna terug naar huis
4 // stuurt. Het IP wordt bij het verbinden vastgezet, zodat een tweede
5 // DNS-antwoord niet alsnog een privéadres kan worden.
6 package ssrf
7
8 import (
9 "context"
10 "fmt"
11 "net"
12 "net/http"
13 "net/url"
14 "strings"
15 "time"
16 )
17
18 // MaxRedirects is het aantal hops dat een webhook nog volgt.
19 const MaxRedirects = 3
20
21 var (
22 v4Blocked []*net.IPNet
23 v6Blocked []*net.IPNet
24 )
25
26 func init() {
27 // RFC1918, loopback, link-local (daar zit 169.254.169.254 bij),
28 // CGNAT, unspecified, multicast en gereserveerd.
29 v4Blocked = mustCIDR(
30 "0.0.0.0/8",
31 "10.0.0.0/8",
32 "100.64.0.0/10",
33 "127.0.0.0/8",
34 "169.254.0.0/16",
35 "172.16.0.0/12",
36 "192.168.0.0/16",
37 "224.0.0.0/4",
38 "240.0.0.0/4",
39 )
40 // Loopback, ULA, link-local, het oude site-local, multicast.
41 v6Blocked = mustCIDR(
42 "::1/128",
43 "fc00::/7",
44 "fe80::/10",
45 "fec0::/10",
46 "ff00::/8",
47 )
48 }
49
50 func mustCIDR(cidrs ...string) []*net.IPNet {
51 var out []*net.IPNet
52 for _, c := range cidrs {
53 _, n, err := net.ParseCIDR(c)
54 if err != nil {
55 panic(err)
56 }
57 out = append(out, n)
58 }
59 return out
60 }
61
62 // Private meldt of ip geen publiek unicast-adres is.
63 // IPv4-mapped adressen, 6to4 en NAT64 (64:ff9b::/96) worden beoordeeld
64 // op het ingebedde IPv4-adres.
65 func Private(ip net.IP) bool {
66 if ip == nil {
67 return true
68 }
69 if v4 := embeddedV4(ip); v4 != nil {
70 return privateV4(v4)
71 }
72 if v4 := ip.To4(); v4 != nil {
73 return privateV4(v4)
74 }
75 v6 := ip.To16()
76 if v6 == nil {
77 return true
78 }
79 if v6.Equal(net.IPv6unspecified) {
80 return true
81 }
82 for _, n := range v6Blocked {
83 if n.Contains(v6) {
84 return true
85 }
86 }
87 return false
88 }
89
90 func privateV4(ip net.IP) bool {
91 ip = ip.To4()
92 if ip == nil {
93 return true
94 }
95 for _, n := range v4Blocked {
96 if n.Contains(ip) {
97 return true
98 }
99 }
100 return false
101 }
102
103 // embeddedV4 haalt een IPv4-adres uit 6to4 (2002::/16) of NAT64 (64:ff9b::/96).
104 func embeddedV4(ip net.IP) net.IP {
105 v6 := ip.To16()
106 if v6 == nil || ip.To4() != nil {
107 return nil
108 }
109 if v6[0] == 0x20 && v6[1] == 0x02 {
110 return net.IPv4(v6[2], v6[3], v6[4], v6[5]).To4()
111 }
112 if v6[0] == 0x00 && v6[1] == 0x64 && v6[2] == 0xff && v6[3] == 0x9b && allZero(v6[4:12]) {
113 return net.IPv4(v6[12], v6[13], v6[14], v6[15]).To4()
114 }
115 return nil
116 }
117
118 func allZero(b []byte) bool {
119 for _, c := range b {
120 if c != 0 {
121 return false
122 }
123 }
124 return true
125 }
126
127 // Lookup zoekt de adressen van een hostnaam. Tests vullen een eigen functie in.
128 type Lookup func(ctx context.Context, host string) ([]net.IP, error)
129
130 func defaultLookup(ctx context.Context, host string) ([]net.IP, error) {
131 addrs, err := net.DefaultResolver.LookupIPAddr(ctx, host)
132 if err != nil {
133 return nil, err
134 }
135 out := make([]net.IP, 0, len(addrs))
136 for _, a := range addrs {
137 out = append(out, a.IP)
138 }
139 return out, nil
140 }
141
142 // Pin kiest het IP waarmee verbonden wordt.
143 // Een letterlijk privéadres wordt geweigerd zonder DNS. Een naam waarvan
144 // minstens één adres geblokkeerd is, wordt helemaal geweigerd: anders kan
145 // het tweede antwoord alsnog naar het lokale net wijzen.
146 func Pin(ctx context.Context, host string, lookup Lookup) (net.IP, error) {
147 host = strings.TrimSuffix(strings.TrimSpace(host), ".")
148 if host == "" {
149 return nil, fmt.Errorf("webhook-host ontbreekt")
150 }
151 if ip := net.ParseIP(host); ip != nil {
152 if Private(ip) {
153 return nil, fmt.Errorf("%s ligt in een geblokkeerd bereik", ip)
154 }
155 return ip, nil
156 }
157 if lookup == nil {
158 lookup = defaultLookup
159 }
160 ips, err := lookup(ctx, host)
161 if err != nil {
162 return nil, fmt.Errorf("dns voor %s: %w", host, err)
163 }
164 if len(ips) == 0 {
165 return nil, fmt.Errorf("geen adres voor %s", host)
166 }
167 for _, ip := range ips {
168 if Private(ip) {
169 return nil, fmt.Errorf("%s wijst naar %s in een geblokkeerd bereik", host, ip)
170 }
171 }
172 return ips[0], nil
173 }
174
175 // ValidateURL keurt het schema, een userinfo en een letterlijk privéadres af.
176 func ValidateURL(u *url.URL) error {
177 if u == nil || u.Hostname() == "" || u.User != nil {
178 return fmt.Errorf("webhook-URL is ongeldig")
179 }
180 if u.Scheme != "http" && u.Scheme != "https" {
181 return fmt.Errorf("webhook-URL moet http of https zijn")
182 }
183 if ip := net.ParseIP(u.Hostname()); ip != nil && Private(ip) {
184 return fmt.Errorf("%s ligt in een geblokkeerd bereik", ip)
185 }
186 return nil
187 }
188
189 func checkRedirect(req *http.Request, via []*http.Request) error {
190 if len(via) >= MaxRedirects {
191 return fmt.Errorf("te veel redirects")
192 }
193 if err := ValidateURL(req.URL); err != nil {
194 return err
195 }
196 if len(via) == 0 || via[0].URL == nil || sameHost(via[0].URL, req.URL) {
197 return nil
198 }
199 if req.Response != nil && (req.Response.StatusCode == http.StatusTemporaryRedirect || req.Response.StatusCode == http.StatusPermanentRedirect) {
200 return fmt.Errorf("redirect naar een andere host met de oorspronkelijke body is geweigerd")
201 }
202 for k := range req.Header {
203 if strings.EqualFold(k, "Content-Type") || strings.EqualFold(k, "User-Agent") {
204 continue
205 }
206 req.Header.Del(k)
207 }
208 return nil
209 }
210
211 func sameHost(a, b *url.URL) bool {
212 if a == nil || b == nil {
213 return false
214 }
215 return strings.EqualFold(a.Hostname(), b.Hostname())
216 }
217
218 // NewClient belt alleen publieke IP's en zet het gekozen adres vast.
219 // Omgevingsproxies worden niet gebruikt.
220 func NewClient(timeout time.Duration) *http.Client {
221 dialer := &net.Dialer{Timeout: 5 * time.Second, KeepAlive: 30 * time.Second}
222 transport := &http.Transport{
223 DialContext: func(ctx context.Context, network, addr string) (net.Conn, error) {
224 host, port, err := net.SplitHostPort(addr)
225 if err != nil {
226 return nil, err
227 }
228 ip, err := Pin(ctx, host, nil)
229 if err != nil {
230 return nil, err
231 }
232 return dialer.DialContext(ctx, network, net.JoinHostPort(ip.String(), port))
233 },
234 TLSHandshakeTimeout: 5 * time.Second,
235 ForceAttemptHTTP2: true,
236 }
237 if timeout <= 0 {
238 timeout = 10 * time.Second
239 }
240 return &http.Client{Timeout: timeout, Transport: transport, CheckRedirect: checkRedirect}
241 }
@@ -0,0 +1,241 @@
1// Package ssrf keurt webhook-bestemmingen.
2// Privénetwerken zijn geblokkeerd. Een naam die naar een publiek IP
3// wijst mag wel, ook als een router dat verkeer daarna terug naar huis
4// stuurt. Het IP wordt bij het verbinden vastgezet, zodat een tweede
5// DNS-antwoord niet alsnog een privéadres kan worden.
6package ssrf
7
8import (
9 "context"
10 "fmt"
11 "net"
12 "net/http"
13 "net/url"
14 "strings"
15 "time"
16)
17
18// MaxRedirects is het aantal hops dat een webhook nog volgt.
19const MaxRedirects = 3
20
21var (
22 v4Blocked []*net.IPNet
23 v6Blocked []*net.IPNet
24)
25
26func init() {
27 // RFC1918, loopback, link-local (daar zit 169.254.169.254 bij),
28 // CGNAT, unspecified, multicast en gereserveerd.
29 v4Blocked = mustCIDR(
30 "0.0.0.0/8",
31 "10.0.0.0/8",
32 "100.64.0.0/10",
33 "127.0.0.0/8",
34 "169.254.0.0/16",
35 "172.16.0.0/12",
36 "192.168.0.0/16",
37 "224.0.0.0/4",
38 "240.0.0.0/4",
39 )
40 // Loopback, ULA, link-local, het oude site-local, multicast.
41 v6Blocked = mustCIDR(
42 "::1/128",
43 "fc00::/7",
44 "fe80::/10",
45 "fec0::/10",
46 "ff00::/8",
47 )
48}
49
50func mustCIDR(cidrs ...string) []*net.IPNet {
51 var out []*net.IPNet
52 for _, c := range cidrs {
53 _, n, err := net.ParseCIDR(c)
54 if err != nil {
55 panic(err)
56 }
57 out = append(out, n)
58 }
59 return out
60}
61
62// Private meldt of ip geen publiek unicast-adres is.
63// IPv4-mapped adressen, 6to4 en NAT64 (64:ff9b::/96) worden beoordeeld
64// op het ingebedde IPv4-adres.
65func Private(ip net.IP) bool {
66 if ip == nil {
67 return true
68 }
69 if v4 := embeddedV4(ip); v4 != nil {
70 return privateV4(v4)
71 }
72 if v4 := ip.To4(); v4 != nil {
73 return privateV4(v4)
74 }
75 v6 := ip.To16()
76 if v6 == nil {
77 return true
78 }
79 if v6.Equal(net.IPv6unspecified) {
80 return true
81 }
82 for _, n := range v6Blocked {
83 if n.Contains(v6) {
84 return true
85 }
86 }
87 return false
88}
89
90func privateV4(ip net.IP) bool {
91 ip = ip.To4()
92 if ip == nil {
93 return true
94 }
95 for _, n := range v4Blocked {
96 if n.Contains(ip) {
97 return true
98 }
99 }
100 return false
101}
102
103// embeddedV4 haalt een IPv4-adres uit 6to4 (2002::/16) of NAT64 (64:ff9b::/96).
104func embeddedV4(ip net.IP) net.IP {
105 v6 := ip.To16()
106 if v6 == nil || ip.To4() != nil {
107 return nil
108 }
109 if v6[0] == 0x20 && v6[1] == 0x02 {
110 return net.IPv4(v6[2], v6[3], v6[4], v6[5]).To4()
111 }
112 if v6[0] == 0x00 && v6[1] == 0x64 && v6[2] == 0xff && v6[3] == 0x9b && allZero(v6[4:12]) {
113 return net.IPv4(v6[12], v6[13], v6[14], v6[15]).To4()
114 }
115 return nil
116}
117
118func allZero(b []byte) bool {
119 for _, c := range b {
120 if c != 0 {
121 return false
122 }
123 }
124 return true
125}
126
127// Lookup zoekt de adressen van een hostnaam. Tests vullen een eigen functie in.
128type Lookup func(ctx context.Context, host string) ([]net.IP, error)
129
130func defaultLookup(ctx context.Context, host string) ([]net.IP, error) {
131 addrs, err := net.DefaultResolver.LookupIPAddr(ctx, host)
132 if err != nil {
133 return nil, err
134 }
135 out := make([]net.IP, 0, len(addrs))
136 for _, a := range addrs {
137 out = append(out, a.IP)
138 }
139 return out, nil
140}
141
142// Pin kiest het IP waarmee verbonden wordt.
143// Een letterlijk privéadres wordt geweigerd zonder DNS. Een naam waarvan
144// minstens één adres geblokkeerd is, wordt helemaal geweigerd: anders kan
145// het tweede antwoord alsnog naar het lokale net wijzen.
146func Pin(ctx context.Context, host string, lookup Lookup) (net.IP, error) {
147 host = strings.TrimSuffix(strings.TrimSpace(host), ".")
148 if host == "" {
149 return nil, fmt.Errorf("webhook-host ontbreekt")
150 }
151 if ip := net.ParseIP(host); ip != nil {
152 if Private(ip) {
153 return nil, fmt.Errorf("%s ligt in een geblokkeerd bereik", ip)
154 }
155 return ip, nil
156 }
157 if lookup == nil {
158 lookup = defaultLookup
159 }
160 ips, err := lookup(ctx, host)
161 if err != nil {
162 return nil, fmt.Errorf("dns voor %s: %w", host, err)
163 }
164 if len(ips) == 0 {
165 return nil, fmt.Errorf("geen adres voor %s", host)
166 }
167 for _, ip := range ips {
168 if Private(ip) {
169 return nil, fmt.Errorf("%s wijst naar %s in een geblokkeerd bereik", host, ip)
170 }
171 }
172 return ips[0], nil
173}
174
175// ValidateURL keurt het schema, een userinfo en een letterlijk privéadres af.
176func ValidateURL(u *url.URL) error {
177 if u == nil || u.Hostname() == "" || u.User != nil {
178 return fmt.Errorf("webhook-URL is ongeldig")
179 }
180 if u.Scheme != "http" && u.Scheme != "https" {
181 return fmt.Errorf("webhook-URL moet http of https zijn")
182 }
183 if ip := net.ParseIP(u.Hostname()); ip != nil && Private(ip) {
184 return fmt.Errorf("%s ligt in een geblokkeerd bereik", ip)
185 }
186 return nil
187}
188
189func checkRedirect(req *http.Request, via []*http.Request) error {
190 if len(via) >= MaxRedirects {
191 return fmt.Errorf("te veel redirects")
192 }
193 if err := ValidateURL(req.URL); err != nil {
194 return err
195 }
196 if len(via) == 0 || via[0].URL == nil || sameHost(via[0].URL, req.URL) {
197 return nil
198 }
199 if req.Response != nil && (req.Response.StatusCode == http.StatusTemporaryRedirect || req.Response.StatusCode == http.StatusPermanentRedirect) {
200 return fmt.Errorf("redirect naar een andere host met de oorspronkelijke body is geweigerd")
201 }
202 for k := range req.Header {
203 if strings.EqualFold(k, "Content-Type") || strings.EqualFold(k, "User-Agent") {
204 continue
205 }
206 req.Header.Del(k)
207 }
208 return nil
209}
210
211func sameHost(a, b *url.URL) bool {
212 if a == nil || b == nil {
213 return false
214 }
215 return strings.EqualFold(a.Hostname(), b.Hostname())
216}
217
218// NewClient belt alleen publieke IP's en zet het gekozen adres vast.
219// Omgevingsproxies worden niet gebruikt.
220func NewClient(timeout time.Duration) *http.Client {
221 dialer := &net.Dialer{Timeout: 5 * time.Second, KeepAlive: 30 * time.Second}
222 transport := &http.Transport{
223 DialContext: func(ctx context.Context, network, addr string) (net.Conn, error) {
224 host, port, err := net.SplitHostPort(addr)
225 if err != nil {
226 return nil, err
227 }
228 ip, err := Pin(ctx, host, nil)
229 if err != nil {
230 return nil, err
231 }
232 return dialer.DialContext(ctx, network, net.JoinHostPort(ip.String(), port))
233 },
234 TLSHandshakeTimeout: 5 * time.Second,
235 ForceAttemptHTTP2: true,
236 }
237 if timeout <= 0 {
238 timeout = 10 * time.Second
239 }
240 return &http.Client{Timeout: timeout, Transport: transport, CheckRedirect: checkRedirect}
241}
internal/ssrf/ssrf_test.go added +122 −0
@@ -0,0 +1,122 @@
1 package ssrf
2
3 import (
4 "context"
5 "net"
6 "net/http"
7 "net/url"
8 "testing"
9 )
10
11 func TestPrivateRanges(t *testing.T) {
12 blocked := []string{
13 "0.0.0.0", "10.1.2.3", "127.0.0.1", "127.255.0.1",
14 "100.64.0.1", "100.100.100.200", "100.127.255.255",
15 "169.254.1.1", "169.254.169.254", "169.254.170.2",
16 "172.16.0.1", "172.31.255.255", "192.168.1.1",
17 "224.0.0.1", "240.0.0.1", "255.255.255.255",
18 "::", "::1", "fc00::1", "fd00:ec2::254", "fd12:3456::1",
19 "fe80::1", "fec0::1", "ff02::1",
20 "::ffff:10.1.2.3", "::ffff:127.0.0.1",
21 "2002:0a00:0001::",
22 "64:ff9b::a00:1",
23 }
24 for _, s := range blocked {
25 ip := net.ParseIP(s)
26 if ip == nil {
27 t.Fatalf("ongeldig testadres %s", s)
28 }
29 if !Private(ip) {
30 t.Errorf("%s hoort geblokkeerd", s)
31 }
32 }
33 allowed := []string{
34 "1.1.1.1", "8.8.8.8", "203.0.113.5", "86.95.10.20",
35 "100.63.255.255", "172.15.255.255", "172.32.0.1", "11.0.0.1",
36 "2001:4860:4860::8888",
37 "2002:0808:0808::",
38 "64:ff9b::808:808",
39 }
40 for _, s := range allowed {
41 ip := net.ParseIP(s)
42 if ip == nil {
43 t.Fatalf("ongeldig testadres %s", s)
44 }
45 if Private(ip) {
46 t.Errorf("%s hoort publiek", s)
47 }
48 }
49 }
50
51 func TestPinLiteralAndDNS(t *testing.T) {
52 ctx := context.Background()
53 if _, err := Pin(ctx, "127.0.0.1", func(context.Context, string) ([]net.IP, error) {
54 t.Fatal("letterlijk IP hoort geen DNS te doen")
55 return nil, nil
56 }); err == nil {
57 t.Fatal("loopback hoort geweigerd")
58 }
59 if _, err := Pin(ctx, "169.254.169.254", nil); err == nil {
60 t.Fatal("metadata-adres hoort geweigerd")
61 }
62 got, err := Pin(ctx, "hooks.example", func(context.Context, string) ([]net.IP, error) {
63 return []net.IP{net.ParseIP("86.95.10.20")}, nil
64 })
65 if err != nil {
66 t.Fatal(err)
67 }
68 if !got.Equal(net.ParseIP("86.95.10.20")) {
69 t.Fatalf("vastgezet IP %s", got)
70 }
71 if _, err := Pin(ctx, "evil.example", func(context.Context, string) ([]net.IP, error) {
72 return []net.IP{net.ParseIP("1.1.1.1"), net.ParseIP("10.0.0.1")}, nil
73 }); err == nil {
74 t.Fatal("een gemengd DNS-antwoord hoort geweigerd")
75 }
76 }
77
78 func TestRedirectChecksEachHop(t *testing.T) {
79 literal, err := url.Parse("http://192.168.1.9/hook")
80 if err != nil {
81 t.Fatal(err)
82 }
83 if err := checkRedirect(&http.Request{URL: literal}, nil); err == nil {
84 t.Fatal("redirect naar een privé-IP hoort geweigerd")
85 }
86 next, err := url.Parse("https://hooks.example/hook")
87 if err != nil {
88 t.Fatal(err)
89 }
90 via := make([]*http.Request, MaxRedirects)
91 for i := range via {
92 via[i] = &http.Request{URL: next}
93 }
94 if err := checkRedirect(&http.Request{URL: next}, via); err == nil {
95 t.Fatal("te veel redirects")
96 }
97
98 origin, err := url.Parse("https://discord.example/api")
99 if err != nil {
100 t.Fatal(err)
101 }
102 other, err := url.Parse("https://other.example/land")
103 if err != nil {
104 t.Fatal(err)
105 }
106 req := &http.Request{URL: other, Header: http.Header{}, Response: &http.Response{StatusCode: http.StatusFound}}
107 req.Header.Set("Authorization", "Bearer geheim")
108 req.Header.Set("Content-Type", "application/json")
109 if err := checkRedirect(req, []*http.Request{{URL: origin}}); err != nil {
110 t.Fatal(err)
111 }
112 if req.Header.Get("Authorization") != "" {
113 t.Fatal("header naar een andere host bleef staan")
114 }
115 if req.Header.Get("Content-Type") != "application/json" {
116 t.Fatal("content-type hoort te blijven")
117 }
118 keep := &http.Request{URL: other, Header: http.Header{}, Response: &http.Response{StatusCode: http.StatusTemporaryRedirect}}
119 if err := checkRedirect(keep, []*http.Request{{URL: origin}}); err == nil {
120 t.Fatal("307 naar een andere host hoort geweigerd")
121 }
122 }
@@ -0,0 +1,122 @@
1package ssrf
2
3import (
4 "context"
5 "net"
6 "net/http"
7 "net/url"
8 "testing"
9)
10
11func TestPrivateRanges(t *testing.T) {
12 blocked := []string{
13 "0.0.0.0", "10.1.2.3", "127.0.0.1", "127.255.0.1",
14 "100.64.0.1", "100.100.100.200", "100.127.255.255",
15 "169.254.1.1", "169.254.169.254", "169.254.170.2",
16 "172.16.0.1", "172.31.255.255", "192.168.1.1",
17 "224.0.0.1", "240.0.0.1", "255.255.255.255",
18 "::", "::1", "fc00::1", "fd00:ec2::254", "fd12:3456::1",
19 "fe80::1", "fec0::1", "ff02::1",
20 "::ffff:10.1.2.3", "::ffff:127.0.0.1",
21 "2002:0a00:0001::",
22 "64:ff9b::a00:1",
23 }
24 for _, s := range blocked {
25 ip := net.ParseIP(s)
26 if ip == nil {
27 t.Fatalf("ongeldig testadres %s", s)
28 }
29 if !Private(ip) {
30 t.Errorf("%s hoort geblokkeerd", s)
31 }
32 }
33 allowed := []string{
34 "1.1.1.1", "8.8.8.8", "203.0.113.5", "86.95.10.20",
35 "100.63.255.255", "172.15.255.255", "172.32.0.1", "11.0.0.1",
36 "2001:4860:4860::8888",
37 "2002:0808:0808::",
38 "64:ff9b::808:808",
39 }
40 for _, s := range allowed {
41 ip := net.ParseIP(s)
42 if ip == nil {
43 t.Fatalf("ongeldig testadres %s", s)
44 }
45 if Private(ip) {
46 t.Errorf("%s hoort publiek", s)
47 }
48 }
49}
50
51func TestPinLiteralAndDNS(t *testing.T) {
52 ctx := context.Background()
53 if _, err := Pin(ctx, "127.0.0.1", func(context.Context, string) ([]net.IP, error) {
54 t.Fatal("letterlijk IP hoort geen DNS te doen")
55 return nil, nil
56 }); err == nil {
57 t.Fatal("loopback hoort geweigerd")
58 }
59 if _, err := Pin(ctx, "169.254.169.254", nil); err == nil {
60 t.Fatal("metadata-adres hoort geweigerd")
61 }
62 got, err := Pin(ctx, "hooks.example", func(context.Context, string) ([]net.IP, error) {
63 return []net.IP{net.ParseIP("86.95.10.20")}, nil
64 })
65 if err != nil {
66 t.Fatal(err)
67 }
68 if !got.Equal(net.ParseIP("86.95.10.20")) {
69 t.Fatalf("vastgezet IP %s", got)
70 }
71 if _, err := Pin(ctx, "evil.example", func(context.Context, string) ([]net.IP, error) {
72 return []net.IP{net.ParseIP("1.1.1.1"), net.ParseIP("10.0.0.1")}, nil
73 }); err == nil {
74 t.Fatal("een gemengd DNS-antwoord hoort geweigerd")
75 }
76}
77
78func TestRedirectChecksEachHop(t *testing.T) {
79 literal, err := url.Parse("http://192.168.1.9/hook")
80 if err != nil {
81 t.Fatal(err)
82 }
83 if err := checkRedirect(&http.Request{URL: literal}, nil); err == nil {
84 t.Fatal("redirect naar een privé-IP hoort geweigerd")
85 }
86 next, err := url.Parse("https://hooks.example/hook")
87 if err != nil {
88 t.Fatal(err)
89 }
90 via := make([]*http.Request, MaxRedirects)
91 for i := range via {
92 via[i] = &http.Request{URL: next}
93 }
94 if err := checkRedirect(&http.Request{URL: next}, via); err == nil {
95 t.Fatal("te veel redirects")
96 }
97
98 origin, err := url.Parse("https://discord.example/api")
99 if err != nil {
100 t.Fatal(err)
101 }
102 other, err := url.Parse("https://other.example/land")
103 if err != nil {
104 t.Fatal(err)
105 }
106 req := &http.Request{URL: other, Header: http.Header{}, Response: &http.Response{StatusCode: http.StatusFound}}
107 req.Header.Set("Authorization", "Bearer geheim")
108 req.Header.Set("Content-Type", "application/json")
109 if err := checkRedirect(req, []*http.Request{{URL: origin}}); err != nil {
110 t.Fatal(err)
111 }
112 if req.Header.Get("Authorization") != "" {
113 t.Fatal("header naar een andere host bleef staan")
114 }
115 if req.Header.Get("Content-Type") != "application/json" {
116 t.Fatal("content-type hoort te blijven")
117 }
118 keep := &http.Request{URL: other, Header: http.Header{}, Response: &http.Response{StatusCode: http.StatusTemporaryRedirect}}
119 if err := checkRedirect(keep, []*http.Request{{URL: origin}}); err == nil {
120 t.Fatal("307 naar een andere host hoort geweigerd")
121 }
122}
internal/state/state.go added +124 −0
@@ -0,0 +1,124 @@
1 // Package state bewaart wat BlueGit nodig heeft vóór de datadisk gekozen is:
2 // de database, de sleutel en het gekozen opslagpad. De standaardmap is
3 // /var/lib/bluegit, de StateDirectory van systemd.
4 package state
5
6 import (
7 "errors"
8 "fmt"
9 "os"
10 "path/filepath"
11 "strings"
12 "syscall"
13 )
14
15 // DefaultDir is de state-map als state_path leeg is.
16 const DefaultDir = "/var/lib/bluegit"
17
18 // File is de naam van het bestand met het gekozen opslagpad.
19 const File = "storage_path"
20
21 // MinFreeBytes is de kleinste vrije ruimte die een datadisk mag hebben.
22 const MinFreeBytes = 1 << 30
23
24 // Dir kiest de state-map. Een gezet pad wint van de standaard.
25 func Dir(configured string) string {
26 if strings.TrimSpace(configured) != "" {
27 return strings.TrimSpace(configured)
28 }
29 return DefaultDir
30 }
31
32 // Read leest het opgeslagen pad. Een ontbrekend bestand is geen fout
33 // en geeft een lege string.
34 func Read(dir string) (string, error) {
35 b, err := os.ReadFile(filepath.Join(dir, File))
36 if errors.Is(err, os.ErrNotExist) {
37 return "", nil
38 }
39 if err != nil {
40 return "", err
41 }
42 return strings.TrimSpace(string(b)), nil
43 }
44
45 // Write zet het pad atomisch neer.
46 func Write(dir, path string) error {
47 if err := os.MkdirAll(dir, 0o750); err != nil {
48 return err
49 }
50 target := filepath.Join(dir, File)
51 tmp := target + ".tmp"
52 if err := os.WriteFile(tmp, []byte(path+"\n"), 0o640); err != nil {
53 return err
54 }
55 return os.Rename(tmp, target)
56 }
57
58 // Info is het resultaat van een schijfcontrole.
59 type Info struct {
60 Path string
61 Free uint64
62 Total uint64
63 }
64
65 // Inspect eist een absoluut pad dat bestaat, een map is, beschrijfbaar is
66 // en minstens MinFreeBytes vrij heeft. Bij een te volle of niet beschrijfbare
67 // map zitten Free en Total alsnog in het resultaat.
68 func Inspect(path string) (Info, error) {
69 path = strings.TrimSpace(path)
70 if path == "" {
71 return Info{}, fmt.Errorf("pad ontbreekt")
72 }
73 if strings.ContainsAny(path, "\r\n") {
74 return Info{}, fmt.Errorf("pad bevat een regeleinde")
75 }
76 if !filepath.IsAbs(path) {
77 return Info{}, fmt.Errorf("pad moet absoluut zijn")
78 }
79 path = filepath.Clean(path)
80 info := Info{Path: path}
81 st, err := os.Stat(path)
82 if err != nil {
83 if errors.Is(err, os.ErrNotExist) {
84 return info, fmt.Errorf("pad bestaat niet")
85 }
86 return info, fmt.Errorf("pad niet te lezen: %w", err)
87 }
88 if !st.IsDir() {
89 return info, fmt.Errorf("pad is geen map")
90 }
91 var fs syscall.Statfs_t
92 if err := syscall.Statfs(path, &fs); err != nil {
93 return info, fmt.Errorf("vrije ruimte niet te bepalen: %w", err)
94 }
95 info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)
96 info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)
97 probe := filepath.Join(path, ".bluegit-write-test")
98 f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
99 if err != nil {
100 return info, fmt.Errorf("pad is niet beschrijfbaar. Onder systemd hoort dit pad in ReadWritePaths, naast de state-map")
101 }
102 _ = f.Close()
103 _ = os.Remove(probe)
104 if info.Free < MinFreeBytes {
105 return info, fmt.Errorf("te weinig vrije ruimte: %s vrij, minimaal %s", Format(info.Free), Format(MinFreeBytes))
106 }
107 return info, nil
108 }
109
110 // Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
111 func Format(n uint64) string {
112 const unit = 1024
113 if n < unit {
114 return fmt.Sprintf("%d B", n)
115 }
116 div := uint64(unit)
117 exp := 0
118 for n/div >= unit && exp < 4 {
119 div *= unit
120 exp++
121 }
122 value := float64(n) / float64(div)
123 return fmt.Sprintf("%.1f %ciB", value, "KMGT"[exp])
124 }
@@ -0,0 +1,124 @@
1// Package state bewaart wat BlueGit nodig heeft vóór de datadisk gekozen is:
2// de database, de sleutel en het gekozen opslagpad. De standaardmap is
3// /var/lib/bluegit, de StateDirectory van systemd.
4package state
5
6import (
7 "errors"
8 "fmt"
9 "os"
10 "path/filepath"
11 "strings"
12 "syscall"
13)
14
15// DefaultDir is de state-map als state_path leeg is.
16const DefaultDir = "/var/lib/bluegit"
17
18// File is de naam van het bestand met het gekozen opslagpad.
19const File = "storage_path"
20
21// MinFreeBytes is de kleinste vrije ruimte die een datadisk mag hebben.
22const MinFreeBytes = 1 << 30
23
24// Dir kiest de state-map. Een gezet pad wint van de standaard.
25func Dir(configured string) string {
26 if strings.TrimSpace(configured) != "" {
27 return strings.TrimSpace(configured)
28 }
29 return DefaultDir
30}
31
32// Read leest het opgeslagen pad. Een ontbrekend bestand is geen fout
33// en geeft een lege string.
34func Read(dir string) (string, error) {
35 b, err := os.ReadFile(filepath.Join(dir, File))
36 if errors.Is(err, os.ErrNotExist) {
37 return "", nil
38 }
39 if err != nil {
40 return "", err
41 }
42 return strings.TrimSpace(string(b)), nil
43}
44
45// Write zet het pad atomisch neer.
46func Write(dir, path string) error {
47 if err := os.MkdirAll(dir, 0o750); err != nil {
48 return err
49 }
50 target := filepath.Join(dir, File)
51 tmp := target + ".tmp"
52 if err := os.WriteFile(tmp, []byte(path+"\n"), 0o640); err != nil {
53 return err
54 }
55 return os.Rename(tmp, target)
56}
57
58// Info is het resultaat van een schijfcontrole.
59type Info struct {
60 Path string
61 Free uint64
62 Total uint64
63}
64
65// Inspect eist een absoluut pad dat bestaat, een map is, beschrijfbaar is
66// en minstens MinFreeBytes vrij heeft. Bij een te volle of niet beschrijfbare
67// map zitten Free en Total alsnog in het resultaat.
68func Inspect(path string) (Info, error) {
69 path = strings.TrimSpace(path)
70 if path == "" {
71 return Info{}, fmt.Errorf("pad ontbreekt")
72 }
73 if strings.ContainsAny(path, "\r\n") {
74 return Info{}, fmt.Errorf("pad bevat een regeleinde")
75 }
76 if !filepath.IsAbs(path) {
77 return Info{}, fmt.Errorf("pad moet absoluut zijn")
78 }
79 path = filepath.Clean(path)
80 info := Info{Path: path}
81 st, err := os.Stat(path)
82 if err != nil {
83 if errors.Is(err, os.ErrNotExist) {
84 return info, fmt.Errorf("pad bestaat niet")
85 }
86 return info, fmt.Errorf("pad niet te lezen: %w", err)
87 }
88 if !st.IsDir() {
89 return info, fmt.Errorf("pad is geen map")
90 }
91 var fs syscall.Statfs_t
92 if err := syscall.Statfs(path, &fs); err != nil {
93 return info, fmt.Errorf("vrije ruimte niet te bepalen: %w", err)
94 }
95 info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)
96 info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)
97 probe := filepath.Join(path, ".bluegit-write-test")
98 f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
99 if err != nil {
100 return info, fmt.Errorf("pad is niet beschrijfbaar. Onder systemd hoort dit pad in ReadWritePaths, naast de state-map")
101 }
102 _ = f.Close()
103 _ = os.Remove(probe)
104 if info.Free < MinFreeBytes {
105 return info, fmt.Errorf("te weinig vrije ruimte: %s vrij, minimaal %s", Format(info.Free), Format(MinFreeBytes))
106 }
107 return info, nil
108}
109
110// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
111func Format(n uint64) string {
112 const unit = 1024
113 if n < unit {
114 return fmt.Sprintf("%d B", n)
115 }
116 div := uint64(unit)
117 exp := 0
118 for n/div >= unit && exp < 4 {
119 div *= unit
120 exp++
121 }
122 value := float64(n) / float64(div)
123 return fmt.Sprintf("%.1f %ciB", value, "KMGT"[exp])
124}
internal/state/state_test.go added +53 −0
@@ -0,0 +1,53 @@
1 package state
2
3 import (
4 "os"
5 "path/filepath"
6 "strings"
7 "testing"
8 )
9
10 func TestReadWriteRoundTrip(t *testing.T) {
11 dir := t.TempDir()
12 got, err := Read(dir)
13 if err != nil || got != "" {
14 t.Fatalf("leeg: %q %v", got, err)
15 }
16 if err := Write(dir, "/data/bluegit"); err != nil {
17 t.Fatal(err)
18 }
19 got, err = Read(dir)
20 if err != nil || got != "/data/bluegit" {
21 t.Fatalf("teruggelezen %q %v", got, err)
22 }
23 }
24
25 func TestInspect(t *testing.T) {
26 if _, err := Inspect("relatief/pad"); err == nil {
27 t.Fatal("relatief pad hoort geweigerd")
28 }
29 if _, err := Inspect("/dit/pad/bestaat/niet/bluegit"); err == nil || !strings.Contains(err.Error(), "bestaat niet") {
30 t.Fatalf("ontbrekend pad: %v", err)
31 }
32 file := filepath.Join(t.TempDir(), "bestand")
33 if err := os.WriteFile(file, []byte("x"), 0o644); err != nil {
34 t.Fatal(err)
35 }
36 if _, err := Inspect(file); err == nil || !strings.Contains(err.Error(), "geen map") {
37 t.Fatalf("bestand: %v", err)
38 }
39 dir := t.TempDir()
40 info, err := Inspect(dir)
41 if err != nil {
42 t.Fatal(err)
43 }
44 if info.Free < MinFreeBytes || info.Total < info.Free {
45 t.Fatalf("ruimte free=%d total=%d", info.Free, info.Total)
46 }
47 if !strings.Contains(Format(info.Free), "iB") {
48 t.Fatal(Format(info.Free))
49 }
50 if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
51 t.Fatal("schrijftest bleef achter")
52 }
53 }
@@ -0,0 +1,53 @@
1package state
2
3import (
4 "os"
5 "path/filepath"
6 "strings"
7 "testing"
8)
9
10func TestReadWriteRoundTrip(t *testing.T) {
11 dir := t.TempDir()
12 got, err := Read(dir)
13 if err != nil || got != "" {
14 t.Fatalf("leeg: %q %v", got, err)
15 }
16 if err := Write(dir, "/data/bluegit"); err != nil {
17 t.Fatal(err)
18 }
19 got, err = Read(dir)
20 if err != nil || got != "/data/bluegit" {
21 t.Fatalf("teruggelezen %q %v", got, err)
22 }
23}
24
25func TestInspect(t *testing.T) {
26 if _, err := Inspect("relatief/pad"); err == nil {
27 t.Fatal("relatief pad hoort geweigerd")
28 }
29 if _, err := Inspect("/dit/pad/bestaat/niet/bluegit"); err == nil || !strings.Contains(err.Error(), "bestaat niet") {
30 t.Fatalf("ontbrekend pad: %v", err)
31 }
32 file := filepath.Join(t.TempDir(), "bestand")
33 if err := os.WriteFile(file, []byte("x"), 0o644); err != nil {
34 t.Fatal(err)
35 }
36 if _, err := Inspect(file); err == nil || !strings.Contains(err.Error(), "geen map") {
37 t.Fatalf("bestand: %v", err)
38 }
39 dir := t.TempDir()
40 info, err := Inspect(dir)
41 if err != nil {
42 t.Fatal(err)
43 }
44 if info.Free < MinFreeBytes || info.Total < info.Free {
45 t.Fatalf("ruimte free=%d total=%d", info.Free, info.Total)
46 }
47 if !strings.Contains(Format(info.Free), "iB") {
48 t.Fatal(Format(info.Free))
49 }
50 if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
51 t.Fatal("schrijftest bleef achter")
52 }
53}
packaging/bluegit.service +4 −3
@@ -14,9 +14,10 @@ Restart=on-failure
14 14 NoNewPrivileges=true
15 15 ProtectSystem=strict
16 16 ProtectHome=true
17 # /var/lib/bluegit is de fallback. Het echte pad van de 4 TB-schijf is
18 # nog niet gekozen. Zet het in de drop-in packaging/storage.conf,
19 # omdat ProtectSystem een ander pad anders blokkeert.
17 # StateDirectory maakt /var/lib/bluegit aan. Daar staan database, sleutel
18 # en hostkey. De datadisk kiest de beheerder in de webinterface; voeg dat
19 # pad toe via packaging/storage.conf, want ProtectSystem blokkeert het anders.
20 StateDirectory=bluegit
20 21 ReadWritePaths=/var/lib/bluegit
21 22 PrivateTmp=true
22 23
@@ -14,9 +14,10 @@ Restart=on-failure
14NoNewPrivileges=true
14NoNewPrivileges=true
15ProtectSystem=strict
15ProtectSystem=strict
16ProtectHome=true
16ProtectHome=true
17# /var/lib/bluegit is de fallback. Het echte pad van de 4 TB-schijf is
17# StateDirectory maakt /var/lib/bluegit aan. Daar staan database, sleutel
18# nog niet gekozen. Zet het in de drop-in packaging/storage.conf,
18# en hostkey. De datadisk kiest de beheerder in de webinterface; voeg dat
19# omdat ProtectSystem een ander pad anders blokkeert.
19# pad toe via packaging/storage.conf, want ProtectSystem blokkeert het anders.
20StateDirectory=bluegit
20ReadWritePaths=/var/lib/bluegit
21ReadWritePaths=/var/lib/bluegit
21PrivateTmp=true
22PrivateTmp=true
22
23
packaging/bluegit.yml +4 −3
@@ -2,9 +2,10 @@
2 2 # Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
3 3 base_url: https://git.timfalken.com
4 4 listen: 0.0.0.0:8080
5 # De 4 TB-schijf. Het mountpoint is nog niet gekozen; dit pad is een voorbeeld.
6 # Database, repositories, artifacts en releases staan hier.
7 storage_path: /mnt/storage/bluegit
5 # Database, sleutel en het gekozen opslagpad. Dit is niet de datadisk.
6 state_path: /var/lib/bluegit
7 # storage_path blijft leeg. De installatiebeheerder kiest de datadisk
8 # bij de eerste aanmelding. Er is geen standaardpad.
8 9 # Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
9 10 # Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
10 11 trusted_proxies:
@@ -2,9 +2,10 @@
2# Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
2# Plain HTTP. TLS en de publieke SSH-poort doet de ingress, zie docs/INGRESS.md.
3base_url: https://git.timfalken.com
3base_url: https://git.timfalken.com
4listen: 0.0.0.0:8080
4listen: 0.0.0.0:8080
5# De 4 TB-schijf. Het mountpoint is nog niet gekozen; dit pad is een voorbeeld.
5# Database, sleutel en het gekozen opslagpad. Dit is niet de datadisk.
6# Database, repositories, artifacts en releases staan hier.
6state_path: /var/lib/bluegit
7storage_path: /mnt/storage/bluegit
7# storage_path blijft leeg. De installatiebeheerder kiest de datadisk
8# bij de eerste aanmelding. Er is geen standaardpad.
8# Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
9# Alleen deze adressen mogen X-Forwarded-For en X-Real-IP zetten.
9# Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
10# Zet hier het IP van de ingress, zoals de mini-PC die verbinding ziet.
10trusted_proxies:
11trusted_proxies:
packaging/install.sh +2 −1
@@ -18,5 +18,6 @@ systemd-sysusers bluegit.conf || true
18 18 systemd-tmpfiles --create bluegit.conf || true
19 19 systemctl daemon-reload
20 20 echo "Klaar. Vul /etc/bluegit/client_secret."
21 echo "Maak de map op de 4 TB-schijf, en kopieer /usr/share/bluegit/storage.conf.example naar /etc/systemd/system/bluegit.service.d/storage.conf (pas het pad aan)."
21 echo "De database komt in /var/lib/bluegit. Kies de datadisk zelf: kopieer /usr/share/bluegit/storage.conf.example naar /etc/systemd/system/bluegit.service.d/storage.conf en zet ReadWritePaths op die map."
22 22 echo "Daarna: systemctl daemon-reload && systemctl enable --now bluegit"
23 echo "De eerste aanmelding kiest hetzelfde pad in het setup-scherm. Git en CI doen niets tot dat gebeurd is."
@@ -18,5 +18,6 @@ systemd-sysusers bluegit.conf || true
18systemd-tmpfiles --create bluegit.conf || true
18systemd-tmpfiles --create bluegit.conf || true
19systemctl daemon-reload
19systemctl daemon-reload
20echo "Klaar. Vul /etc/bluegit/client_secret."
20echo "Klaar. Vul /etc/bluegit/client_secret."
21echo "Maak de map op de 4 TB-schijf, en kopieer /usr/share/bluegit/storage.conf.example naar /etc/systemd/system/bluegit.service.d/storage.conf (pas het pad aan)."
21echo "De database komt in /var/lib/bluegit. Kies de datadisk zelf: kopieer /usr/share/bluegit/storage.conf.example naar /etc/systemd/system/bluegit.service.d/storage.conf en zet ReadWritePaths op die map."
22echo "Daarna: systemctl daemon-reload && systemctl enable --now bluegit"
22echo "Daarna: systemctl daemon-reload && systemctl enable --now bluegit"
23echo "De eerste aanmelding kiest hetzelfde pad in het setup-scherm. Git en CI doen niets tot dat gebeurd is."
packaging/storage.conf +4 −4
@@ -1,6 +1,6 @@
1 1 # Zet dit neer als /etc/systemd/system/bluegit.service.d/storage.conf
2 # nadat de 4 TB-schijf gemount is. Het mountpoint is nog niet gekozen.
3 # Pas het pad aan tot het gelijk is aan storage_path. Dit voorbeeld wordt
4 # niet automatisch geactiveerd: een pad dat niet bestaat blokkeert de dienst.
2 # vóórdat de beheerder het pad in de webinterface opslaat.
3 # Vervang het pad door de datadisk. Er is geen standaardpad.
4 # Daarna: systemctl daemon-reload && systemctl restart bluegit
5 5 [Service]
6 ReadWritePaths=/mnt/storage/bluegit
6 ReadWritePaths=/pad/van/de/datadisk
@@ -1,6 +1,6 @@
1# Zet dit neer als /etc/systemd/system/bluegit.service.d/storage.conf
1# Zet dit neer als /etc/systemd/system/bluegit.service.d/storage.conf
2# nadat de 4 TB-schijf gemount is. Het mountpoint is nog niet gekozen.
2# vóórdat de beheerder het pad in de webinterface opslaat.
3# Pas het pad aan tot het gelijk is aan storage_path. Dit voorbeeld wordt
3# Vervang het pad door de datadisk. Er is geen standaardpad.
4# niet automatisch geactiveerd: een pad dat niet bestaat blokkeert de dienst.
4# Daarna: systemctl daemon-reload && systemctl restart bluegit
5[Service]
5[Service]
6ReadWritePaths=/mnt/storage/bluegit
6ReadWritePaths=/pad/van/de/datadisk