BlueGit

timfa bluegit

Merge branch 'stage' into 'master'

timfa

Authored 2026-10-23 · 3 weeks ago

Hash
3e6b2f186e943c22e26a8e89c26e67533df52258
Pipeline
Passed
22 files changed +710 −407
blue-ci-cd.yml +9 −7
@@ -64,13 +64,15 @@ jobs:
64 64 paths: [bluegit]
65 65 expire_in: 14d
66 66
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
68 # allow_failure: een AUR-storing maakt de pipeline niet rood.
67 # Vóór self_update. De archive-route staat live, dus de tarball van
68 # deze sha is te downloaden met de binary die al draait.
69 # allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70 # self_update niet tegen.
69 71 publish_aur:
70 72 stage: release
71 73 image: archlinux/archlinux:base-devel
72 74 extends: .on_master
73 needs: [self_update]
75 needs: [build]
74 76 allow_failure: true
75 77 script:
76 78 - pacman -Syu --noconfirm
@@ -79,16 +81,16 @@ jobs:
79 81 - ./scripts/aur-ssh-setup.sh
80 82 - ./scripts/publish-aur.sh
81 83
82 # Na een geslaagde build. Het script start de update en polt tot
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
84 # Laatste job. needs: [publish_aur] geldt ook als die job met
85 # allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
86 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
85 87 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
86 88 # CI_API_URL eindigt op /api/v1.
87 89 self_update:
88 90 stage: release
89 91 image: bluegit/base
90 92 extends: .on_master
91 needs: [build]
93 needs: [publish_aur]
92 94 script:
93 95 - chmod +x scripts/self-update.sh
94 96 - ./scripts/self-update.sh
@@ -64,13 +64,15 @@ jobs:
64 paths: [bluegit]
64 paths: [bluegit]
65 expire_in: 14d
65 expire_in: 14d
66
66
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
67 # Vóór self_update. De archive-route staat live, dus de tarball van
68 # allow_failure: een AUR-storing maakt de pipeline niet rood.
68 # deze sha is te downloaden met de binary die al draait.
69 # allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70 # self_update niet tegen.
69 publish_aur:
71 publish_aur:
70 stage: release
72 stage: release
71 image: archlinux/archlinux:base-devel
73 image: archlinux/archlinux:base-devel
72 extends: .on_master
74 extends: .on_master
73 needs: [self_update]
75 needs: [build]
74 allow_failure: true
76 allow_failure: true
75 script:
77 script:
76 - pacman -Syu --noconfirm
78 - pacman -Syu --noconfirm
@@ -79,16 +81,16 @@ jobs:
79 - ./scripts/aur-ssh-setup.sh
81 - ./scripts/aur-ssh-setup.sh
80 - ./scripts/publish-aur.sh
82 - ./scripts/publish-aur.sh
81
83
82 # Na een geslaagde build. Het script start de update en polt tot
84 # Laatste job. needs: [publish_aur] geldt ook als die job met
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
85 # allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
86 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
85 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
87 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
86 # CI_API_URL eindigt op /api/v1.
88 # CI_API_URL eindigt op /api/v1.
87 self_update:
89 self_update:
88 stage: release
90 stage: release
89 image: bluegit/base
91 image: bluegit/base
90 extends: .on_master
92 extends: .on_master
91 needs: [build]
93 needs: [publish_aur]
92 script:
94 script:
93 - chmod +x scripts/self-update.sh
95 - chmod +x scripts/self-update.sh
94 - ./scripts/self-update.sh
96 - ./scripts/self-update.sh
cmd/bluegit/main.go +7 −0
@@ -107,6 +107,13 @@ func serve(args []string) error {
107 107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
108 108 srv.Mail = m
109 109 }
110 abandoned, err := st.FailAbandonedJobs(ctx)
111 if err != nil {
112 return err
113 }
114 if abandoned > 0 {
115 log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)
116 }
110 117 var rn *runner.Runner
111 118 if cfg.CI.Enabled {
112 119 rn = &runner.Runner{
@@ -107,6 +107,13 @@ func serve(args []string) error {
107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
108 srv.Mail = m
108 srv.Mail = m
109 }
109 }
110 abandoned, err := st.FailAbandonedJobs(ctx)
111 if err != nil {
112 return err
113 }
114 if abandoned > 0 {
115 log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)
116 }
110 var rn *runner.Runner
117 var rn *runner.Runner
111 if cfg.CI.Enabled {
118 if cfg.CI.Enabled {
112 rn = &runner.Runner{
119 rn = &runner.Runner{
docs/AUR.md +11 −5
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55 55 | `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56 56 | `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57 57
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58 `publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59 59
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
60 Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62 `self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61 63
62 64 `CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63 65
@@ -71,9 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71 73
72 74 ## Self-update
73 75
74 `self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
76 `publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78 Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
79
80 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
75 81
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
82 Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
77 83
78 84 De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79 85
@@ -81,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81 87
82 88 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83 89
84 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85 91
86 92 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87 93
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
60Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61
63
62`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
64`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63
65
@@ -71,9 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71
73
72## Self-update
74## Self-update
73
75
74`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
76`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
79
80`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
75
81
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
82Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
77
83
78De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
84De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79
85
@@ -81,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81
87
82Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
88Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83
89
84Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85
91
86`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
92`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87
93
docs/CI.md +1 −1
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90 90
91 91 | Preset | Basis |
92 92 | --- | --- |
93 | `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93 | `bluegit/base` | Alpine 3.20, met git, curl en bash |
94 94 | `bluegit/node` | Node.js 22 |
95 95 | `bluegit/python` | Python 3.12 |
96 96 | `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91| Preset | Basis |
91| Preset | Basis |
92| --- | --- |
92| --- | --- |
93| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93| `bluegit/base` | Alpine 3.20, met git, curl en bash |
94| `bluegit/node` | Node.js 22 |
94| `bluegit/node` | Node.js 22 |
95| `bluegit/python` | Python 3.12 |
95| `bluegit/python` | Python 3.12 |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
internal/ci/example_test.go +32 −18
@@ -88,52 +88,66 @@ func TestBlueGitExampleFile(t *testing.T) {
88 88 t.Fatalf("master %d %v", len(active), err)
89 89 }
90 90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92 92 t.Fatalf("publish_aur: %+v", aur)
93 93 }
94 aurScript := strings.Join(aur.Script, "\n")
95 if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96 t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97 }
94 98 if Gate(p.Jobs, map[string]string{
95 99 "vet": "success", "test": "success", "frontend_checks": "success",
96 "build": "success", "self_update": "running",
100 "build": "running",
97 101 }, aur) != "wait" {
98 t.Fatal("publish_aur wacht tot self_update klaar is")
102 t.Fatal("publish_aur wacht op build")
99 103 }
100 104 if Gate(p.Jobs, map[string]string{
101 105 "vet": "success", "test": "success", "frontend_checks": "success",
102 "build": "success", "self_update": "success",
106 "build": "success", "self_update": "running",
103 107 }, aur) != "ready" {
104 t.Fatal("publish_aur start na self_update")
108 t.Fatal("publish_aur start na build, vóór self_update")
105 109 }
106 110 upd := by["self_update"]
107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
111 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
112 t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109 113 }
110 114 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "scripts/self-update.sh") {
115 if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112 116 t.Fatalf("self_update: %s", joined)
113 117 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
118 post, err := os.ReadFile("../../scripts/self-update.sh")
115 119 if err != nil {
116 120 t.Fatal(err)
117 121 }
118 text := string(script)
119 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121 } {
122 if !strings.Contains(text, want) {
122 postText := string(post)
123 for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {
124 if !strings.Contains(postText, want) {
123 125 t.Fatalf("self-update.sh mist %q", want)
124 126 }
125 127 }
128 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
129 t.Fatal("self-update.sh hoort alleen de POST te doen")
130 }
131 if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
132 t.Fatal("de poll hoort weg te zijn")
133 }
126 134 if Gate(p.Jobs, map[string]string{
127 135 "vet": "success", "test": "success", "frontend_checks": "success",
128 "build": "queued", "publish_aur": "running",
136 "build": "success", "publish_aur": "running",
129 137 }, upd) != "wait" {
130 t.Fatal("self_update wacht op build")
138 t.Fatal("self_update wacht tot publish_aur klaar is")
131 139 }
132 140 if Gate(p.Jobs, map[string]string{
133 141 "vet": "success", "test": "success", "frontend_checks": "success",
134 "build": "success", "publish_aur": "running",
142 "build": "success", "publish_aur": "success",
143 }, upd) != "ready" {
144 t.Fatal("self_update start na een geslaagde publish_aur")
145 }
146 if Gate(p.Jobs, map[string]string{
147 "vet": "success", "test": "success", "frontend_checks": "success",
148 "build": "success", "publish_aur": "failed",
135 149 }, upd) != "ready" {
136 t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150 t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
137 151 }
138 152 }
139 153
@@ -88,52 +88,66 @@ func TestBlueGitExampleFile(t *testing.T) {
88 t.Fatalf("master %d %v", len(active), err)
88 t.Fatalf("master %d %v", len(active), err)
89 }
89 }
90 aur := by["publish_aur"]
90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92 t.Fatalf("publish_aur: %+v", aur)
92 t.Fatalf("publish_aur: %+v", aur)
93 }
93 }
94 aurScript := strings.Join(aur.Script, "\n")
95 if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96 t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97 }
94 if Gate(p.Jobs, map[string]string{
98 if Gate(p.Jobs, map[string]string{
95 "vet": "success", "test": "success", "frontend_checks": "success",
99 "vet": "success", "test": "success", "frontend_checks": "success",
96 "build": "success", "self_update": "running",
100 "build": "running",
97 }, aur) != "wait" {
101 }, aur) != "wait" {
98 t.Fatal("publish_aur wacht tot self_update klaar is")
102 t.Fatal("publish_aur wacht op build")
99 }
103 }
100 if Gate(p.Jobs, map[string]string{
104 if Gate(p.Jobs, map[string]string{
101 "vet": "success", "test": "success", "frontend_checks": "success",
105 "vet": "success", "test": "success", "frontend_checks": "success",
102 "build": "success", "self_update": "success",
106 "build": "success", "self_update": "running",
103 }, aur) != "ready" {
107 }, aur) != "ready" {
104 t.Fatal("publish_aur start na self_update")
108 t.Fatal("publish_aur start na build, vóór self_update")
105 }
109 }
106 upd := by["self_update"]
110 upd := by["self_update"]
107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
111 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
112 t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109 }
113 }
110 joined := strings.Join(upd.Script, "\n")
114 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "scripts/self-update.sh") {
115 if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112 t.Fatalf("self_update: %s", joined)
116 t.Fatalf("self_update: %s", joined)
113 }
117 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
118 post, err := os.ReadFile("../../scripts/self-update.sh")
115 if err != nil {
119 if err != nil {
116 t.Fatal(err)
120 t.Fatal(err)
117 }
121 }
118 text := string(script)
122 postText := string(post)
119 for _, want := range []string{
123 for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
124 if !strings.Contains(postText, want) {
121 } {
122 if !strings.Contains(text, want) {
123 t.Fatalf("self-update.sh mist %q", want)
125 t.Fatalf("self-update.sh mist %q", want)
124 }
126 }
125 }
127 }
128 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
129 t.Fatal("self-update.sh hoort alleen de POST te doen")
130 }
131 if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
132 t.Fatal("de poll hoort weg te zijn")
133 }
126 if Gate(p.Jobs, map[string]string{
134 if Gate(p.Jobs, map[string]string{
127 "vet": "success", "test": "success", "frontend_checks": "success",
135 "vet": "success", "test": "success", "frontend_checks": "success",
128 "build": "queued", "publish_aur": "running",
136 "build": "success", "publish_aur": "running",
129 }, upd) != "wait" {
137 }, upd) != "wait" {
130 t.Fatal("self_update wacht op build")
138 t.Fatal("self_update wacht tot publish_aur klaar is")
131 }
139 }
132 if Gate(p.Jobs, map[string]string{
140 if Gate(p.Jobs, map[string]string{
133 "vet": "success", "test": "success", "frontend_checks": "success",
141 "vet": "success", "test": "success", "frontend_checks": "success",
134 "build": "success", "publish_aur": "running",
142 "build": "success", "publish_aur": "success",
143 }, upd) != "ready" {
144 t.Fatal("self_update start na een geslaagde publish_aur")
145 }
146 if Gate(p.Jobs, map[string]string{
147 "vet": "success", "test": "success", "frontend_checks": "success",
148 "build": "success", "publish_aur": "failed",
135 }, upd) != "ready" {
149 }, upd) != "ready" {
136 t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150 t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
137 }
151 }
138}
152}
139
153
internal/i18n/catalog_storage.go added +36 −0
@@ -0,0 +1,36 @@
1 package i18n
2
3 func init() {
4 addCatalog(en, storageEN)
5 addCatalog(nl, storageNL)
6 addCatalog(de, storageDE)
7 addCatalog(fr, storageFR)
8 }
9
10 var storageEN = map[string]string{
11 "setup.usedDir": "BlueGit uses %s in this directory.",
12 "setup.usedDirPartial": "Count stopped early; the directory is larger.",
13 "setup.diskStat": "Disk: %s total, %s used, %s free.",
14 "setup.diskMeter": "Disk usage",
15 }
16
17 var storageNL = map[string]string{
18 "setup.usedDir": "BlueGit gebruikt %s in deze map.",
19 "setup.usedDirPartial": "De telling stopte voortijdig; de map is groter.",
20 "setup.diskStat": "Schijf: %s totaal, %s gebruikt, %s vrij.",
21 "setup.diskMeter": "Schijfbezetting",
22 }
23
24 var storageDE = map[string]string{
25 "setup.usedDir": "BlueGit belegt %s in diesem Verzeichnis.",
26 "setup.usedDirPartial": "Die Zählung endete vorzeitig; das Verzeichnis ist größer.",
27 "setup.diskStat": "Datenträger: %s gesamt, %s belegt, %s frei.",
28 "setup.diskMeter": "Belegung",
29 }
30
31 var storageFR = map[string]string{
32 "setup.usedDir": "BlueGit occupe %s dans ce dossier.",
33 "setup.usedDirPartial": "Le calcul s’est arrêté trop tôt ; le dossier est plus grand.",
34 "setup.diskStat": "Disque : %s au total, %s utilisés, %s libres.",
35 "setup.diskMeter": "Occupation du disque",
36 }
@@ -0,0 +1,36 @@
1package i18n
2
3func init() {
4 addCatalog(en, storageEN)
5 addCatalog(nl, storageNL)
6 addCatalog(de, storageDE)
7 addCatalog(fr, storageFR)
8}
9
10var storageEN = map[string]string{
11 "setup.usedDir": "BlueGit uses %s in this directory.",
12 "setup.usedDirPartial": "Count stopped early; the directory is larger.",
13 "setup.diskStat": "Disk: %s total, %s used, %s free.",
14 "setup.diskMeter": "Disk usage",
15}
16
17var storageNL = map[string]string{
18 "setup.usedDir": "BlueGit gebruikt %s in deze map.",
19 "setup.usedDirPartial": "De telling stopte voortijdig; de map is groter.",
20 "setup.diskStat": "Schijf: %s totaal, %s gebruikt, %s vrij.",
21 "setup.diskMeter": "Schijfbezetting",
22}
23
24var storageDE = map[string]string{
25 "setup.usedDir": "BlueGit belegt %s in diesem Verzeichnis.",
26 "setup.usedDirPartial": "Die Zählung endete vorzeitig; das Verzeichnis ist größer.",
27 "setup.diskStat": "Datenträger: %s gesamt, %s belegt, %s frei.",
28 "setup.diskMeter": "Belegung",
29}
30
31var storageFR = map[string]string{
32 "setup.usedDir": "BlueGit occupe %s dans ce dossier.",
33 "setup.usedDirPartial": "Le calcul s’est arrêté trop tôt ; le dossier est plus grand.",
34 "setup.diskStat": "Disque : %s au total, %s utilisés, %s libres.",
35 "setup.diskMeter": "Occupation du disque",
36}
internal/images/dockerfiles/base/Dockerfile +1 −1
@@ -1,3 +1,3 @@
1 1 # runtime: Alpine 3.20
2 2 FROM alpine:3.20
3 RUN apk add --no-cache bash ca-certificates curl git jq
3 RUN apk add --no-cache bash ca-certificates curl git
@@ -1,3 +1,3 @@
1# runtime: Alpine 3.20
1# runtime: Alpine 3.20
2FROM alpine:3.20
2FROM alpine:3.20
3RUN apk add --no-cache bash ca-certificates curl git jq
3RUN apk add --no-cache bash ca-certificates curl git
internal/images/dockerfiles/go/Dockerfile +1 −1
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3 3 # git-daemon levert git-http-backend. Zonder die binary spreekt een
4 4 # testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5 5 # git-remote-http hoort bij git zelf en is de client voor die push.
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon
7 7 RUN test -x "$(git --exec-path)/git-http-backend" \
8 8 && test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5# git-remote-http hoort bij git zelf en is de client voor die push.
5# git-remote-http hoort bij git zelf en is de client voor die push.
6RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6RUN apk add --no-cache bash ca-certificates curl git git-daemon
7RUN test -x "$(git --exec-path)/git-http-backend" \
7RUN test -x "$(git --exec-path)/git-http-backend" \
8 && test -e "$(git --exec-path)/git-remote-http"
8 && test -e "$(git --exec-path)/git-remote-http"
internal/server/server.go +139 −133
@@ -58,6 +58,8 @@ type Server struct {
58 58 storageMu sync.RWMutex
59 59 storage string
60 60 storageSet bool
61 usageMu sync.Mutex
62 usage dirUsage
61 63 cards *card.Cache
62 64 // mergingMR zijn merge requests die opMergeMR nu zelf afrondt.
63 65 // AfterPush mag hun bronbranch niet alvast verwijderen.
@@ -518,139 +520,143 @@ func randomState() (string, error) {
518 520
519 521 // View is de gegevensset voor elk scherm.
520 522 type View struct {
521 Title string
522 BaseURL string
523 RunnerName string
524 User *store.User
525 CSRF string
526 Notice string
527 Err string
528 Repos []store.Repo
529 Groups []store.Group
530 Repo *store.Repo
531 Role access.Role
532 CanWrite bool
533 CanAdmin bool
534 CanMerge bool
535 CanForce bool
536 CanComment bool
537 CanApply bool
538 Commits []CommitRow
539 CommitDays []CommitDay
540 CommitPrev string
541 CommitNext string
542 Commit *CommitRow
543 CommitDiff *CommitDiff
544 Entries []EntryRow
545 TreePath string
546 Blob string
547 BlobPath string
548 Binary bool
549 Branches []BranchRow
550 Branch *BranchBoard
551 MRs []store.MergeRequest
552 Flow *FlowBoard
553 MR *store.MergeRequest
554 Banner *MRBanner
555 MRPipe *PipeRow
556 MergeBlocks []string
557 Approval *ApprovalView
558 Reviews []ReviewRow
559 CanReview bool
560 CanApprove bool
561 CanDismiss bool
562 CanClose bool
563 CanReopen bool
564 IsOwner bool
565 Candidates []store.Member
566 Diff string
567 DiffFiles []DiffFileView
568 Pipes []store.Pipeline
569 PipeRows []PipeRow
570 Pipe *store.Pipeline
571 PipeSource string
572 PipeStatus string
573 PipeLabel string
574 PipeJobs []JobLink
575 PipeStages []StageView
576 PipeFailed bool
577 Live bool
578 LiveURL string
579 Jobs []store.Job
580 JobPage *JobPage
581 Editor *CIEditor
582 Releases []store.Release
583 Members []store.Member
584 Secrets []store.SecretMeta
585 HookSecrets []SecretChoice
586 Hooks []HookView
587 HookEdit HookDraft
588 Patterns []string
589 TagPatterns []string
590 Tags []TagRow
591 Tokens []store.TokenInfo
592 ShowExpiry bool
593 Keys []store.SSHKey
594 CloneHTTP string
595 CloneSSH string
596 Group *store.Group
597 Tab string
598 Rev string
599 NewToken string
600 StorageUnset bool
601 StoragePath string
602 StorageFree string
603 StorageTotal string
604 MinFree string
605 Wide bool
606 Info bool
607 ShowUpdate bool
608 Update *UpdateView
609 HookDoc string
610 Spec cispec.Doc
611 SpecJSON template.JS
612 APIJSON template.JS
613 Page string
614 Lang string
615 HTMLLang string
616 Cunei bool
617 Langs []LangChoice
618 Query string
619 SortDir string
620 FlipDir string
621 Cards []RepoCard
622 Head *CommitRow
623 Files []FileRow
624 Tree []FileRow
625 Readme template.HTML
626 ReadmeName string
627 LicensePath string
628 NCommits int
629 NBranches int
630 NTags int
631 NReleases int
632 Created string
633 Lines []CodeLine
634 BlobSize string
635 FileName string
636 RevProtected bool
637 Heat *activity.Calendar
638 Notes []NoteRow
639 Profile *store.User
640 Card *ProfileCard
641 DescHTML template.HTML
642 Timeline []TimelineItem
643 CompareFrom string
644 CompareTo string
645 FormTitle string
646 Labels []string
647 CanEditMR bool
648 Issues *IssueBoard
649 IssueDoc string
650 DescTpls []string
651 TplPick string
652 FormBody string
653 Social *card.Meta
523 Title string
524 BaseURL string
525 RunnerName string
526 User *store.User
527 CSRF string
528 Notice string
529 Err string
530 Repos []store.Repo
531 Groups []store.Group
532 Repo *store.Repo
533 Role access.Role
534 CanWrite bool
535 CanAdmin bool
536 CanMerge bool
537 CanForce bool
538 CanComment bool
539 CanApply bool
540 Commits []CommitRow
541 CommitDays []CommitDay
542 CommitPrev string
543 CommitNext string
544 Commit *CommitRow
545 CommitDiff *CommitDiff
546 Entries []EntryRow
547 TreePath string
548 Blob string
549 BlobPath string
550 Binary bool
551 Branches []BranchRow
552 Branch *BranchBoard
553 MRs []store.MergeRequest
554 Flow *FlowBoard
555 MR *store.MergeRequest
556 Banner *MRBanner
557 MRPipe *PipeRow
558 MergeBlocks []string
559 Approval *ApprovalView
560 Reviews []ReviewRow
561 CanReview bool
562 CanApprove bool
563 CanDismiss bool
564 CanClose bool
565 CanReopen bool
566 IsOwner bool
567 Candidates []store.Member
568 Diff string
569 DiffFiles []DiffFileView
570 Pipes []store.Pipeline
571 PipeRows []PipeRow
572 Pipe *store.Pipeline
573 PipeSource string
574 PipeStatus string
575 PipeLabel string
576 PipeJobs []JobLink
577 PipeStages []StageView
578 PipeFailed bool
579 Live bool
580 LiveURL string
581 Jobs []store.Job
582 JobPage *JobPage
583 Editor *CIEditor
584 Releases []store.Release
585 Members []store.Member
586 Secrets []store.SecretMeta
587 HookSecrets []SecretChoice
588 Hooks []HookView
589 HookEdit HookDraft
590 Patterns []string
591 TagPatterns []string
592 Tags []TagRow
593 Tokens []store.TokenInfo
594 ShowExpiry bool
595 Keys []store.SSHKey
596 CloneHTTP string
597 CloneSSH string
598 Group *store.Group
599 Tab string
600 Rev string
601 NewToken string
602 StorageUnset bool
603 StoragePath string
604 StorageFree string
605 StorageUsed string
606 StorageTotal string
607 StoragePercent int
608 StorageBlueGit string
609 StoragePartial bool
610 MinFree string
611 Wide bool
612 Info bool
613 ShowUpdate bool
614 Update *UpdateView
615 HookDoc string
616 Spec cispec.Doc
617 SpecJSON template.JS
618 APIJSON template.JS
619 Page string
620 Lang string
621 HTMLLang string
622 Cunei bool
623 Langs []LangChoice
624 Query string
625 SortDir string
626 FlipDir string
627 Cards []RepoCard
628 Head *CommitRow
629 Files []FileRow
630 Tree []FileRow
631 Readme template.HTML
632 ReadmeName string
633 LicensePath string
634 NCommits int
635 NBranches int
636 NTags int
637 NReleases int
638 Created string
639 Lines []CodeLine
640 BlobSize string
641 FileName string
642 RevProtected bool
643 Heat *activity.Calendar
644 Notes []NoteRow
645 Profile *store.User
646 Card *ProfileCard
647 DescHTML template.HTML
648 Timeline []TimelineItem
649 CompareFrom string
650 CompareTo string
651 FormTitle string
652 Labels []string
653 CanEditMR bool
654 Issues *IssueBoard
655 IssueDoc string
656 DescTpls []string
657 TplPick string
658 FormBody string
659 Social *card.Meta
654 660 }
655 661
656 662 // LangChoice is één taal in de instellingen.
@@ -58,6 +58,8 @@ type Server struct {
58 storageMu sync.RWMutex
58 storageMu sync.RWMutex
59 storage string
59 storage string
60 storageSet bool
60 storageSet bool
61 usageMu sync.Mutex
62 usage dirUsage
61 cards *card.Cache
63 cards *card.Cache
62 // mergingMR zijn merge requests die opMergeMR nu zelf afrondt.
64 // mergingMR zijn merge requests die opMergeMR nu zelf afrondt.
63 // AfterPush mag hun bronbranch niet alvast verwijderen.
65 // AfterPush mag hun bronbranch niet alvast verwijderen.
@@ -518,139 +520,143 @@ func randomState() (string, error) {
518
520
519// View is de gegevensset voor elk scherm.
521// View is de gegevensset voor elk scherm.
520type View struct {
522type View struct {
521 Title string
523 Title string
522 BaseURL string
524 BaseURL string
523 RunnerName string
525 RunnerName string
524 User *store.User
526 User *store.User
525 CSRF string
527 CSRF string
526 Notice string
528 Notice string
527 Err string
529 Err string
528 Repos []store.Repo
530 Repos []store.Repo
529 Groups []store.Group
531 Groups []store.Group
530 Repo *store.Repo
532 Repo *store.Repo
531 Role access.Role
533 Role access.Role
532 CanWrite bool
534 CanWrite bool
533 CanAdmin bool
535 CanAdmin bool
534 CanMerge bool
536 CanMerge bool
535 CanForce bool
537 CanForce bool
536 CanComment bool
538 CanComment bool
537 CanApply bool
539 CanApply bool
538 Commits []CommitRow
540 Commits []CommitRow
539 CommitDays []CommitDay
541 CommitDays []CommitDay
540 CommitPrev string
542 CommitPrev string
541 CommitNext string
543 CommitNext string
542 Commit *CommitRow
544 Commit *CommitRow
543 CommitDiff *CommitDiff
545 CommitDiff *CommitDiff
544 Entries []EntryRow
546 Entries []EntryRow
545 TreePath string
547 TreePath string
546 Blob string
548 Blob string
547 BlobPath string
549 BlobPath string
548 Binary bool
550 Binary bool
549 Branches []BranchRow
551 Branches []BranchRow
550 Branch *BranchBoard
552 Branch *BranchBoard
551 MRs []store.MergeRequest
553 MRs []store.MergeRequest
552 Flow *FlowBoard
554 Flow *FlowBoard
553 MR *store.MergeRequest
555 MR *store.MergeRequest
554 Banner *MRBanner
556 Banner *MRBanner
555 MRPipe *PipeRow
557 MRPipe *PipeRow
556 MergeBlocks []string
558 MergeBlocks []string
557 Approval *ApprovalView
559 Approval *ApprovalView
558 Reviews []ReviewRow
560 Reviews []ReviewRow
559 CanReview bool
561 CanReview bool
560 CanApprove bool
562 CanApprove bool
561 CanDismiss bool
563 CanDismiss bool
562 CanClose bool
564 CanClose bool
563 CanReopen bool
565 CanReopen bool
564 IsOwner bool
566 IsOwner bool
565 Candidates []store.Member
567 Candidates []store.Member
566 Diff string
568 Diff string
567 DiffFiles []DiffFileView
569 DiffFiles []DiffFileView
568 Pipes []store.Pipeline
570 Pipes []store.Pipeline
569 PipeRows []PipeRow
571 PipeRows []PipeRow
570 Pipe *store.Pipeline
572 Pipe *store.Pipeline
571 PipeSource string
573 PipeSource string
572 PipeStatus string
574 PipeStatus string
573 PipeLabel string
575 PipeLabel string
574 PipeJobs []JobLink
576 PipeJobs []JobLink
575 PipeStages []StageView
577 PipeStages []StageView
576 PipeFailed bool
578 PipeFailed bool
577 Live bool
579 Live bool
578 LiveURL string
580 LiveURL string
579 Jobs []store.Job
581 Jobs []store.Job
580 JobPage *JobPage
582 JobPage *JobPage
581 Editor *CIEditor
583 Editor *CIEditor
582 Releases []store.Release
584 Releases []store.Release
583 Members []store.Member
585 Members []store.Member
584 Secrets []store.SecretMeta
586 Secrets []store.SecretMeta
585 HookSecrets []SecretChoice
587 HookSecrets []SecretChoice
586 Hooks []HookView
588 Hooks []HookView
587 HookEdit HookDraft
589 HookEdit HookDraft
588 Patterns []string
590 Patterns []string
589 TagPatterns []string
591 TagPatterns []string
590 Tags []TagRow
592 Tags []TagRow
591 Tokens []store.TokenInfo
593 Tokens []store.TokenInfo
592 ShowExpiry bool
594 ShowExpiry bool
593 Keys []store.SSHKey
595 Keys []store.SSHKey
594 CloneHTTP string
596 CloneHTTP string
595 CloneSSH string
597 CloneSSH string
596 Group *store.Group
598 Group *store.Group
597 Tab string
599 Tab string
598 Rev string
600 Rev string
599 NewToken string
601 NewToken string
600 StorageUnset bool
602 StorageUnset bool
601 StoragePath string
603 StoragePath string
602 StorageFree string
604 StorageFree string
603 StorageTotal string
605 StorageUsed string
604 MinFree string
606 StorageTotal string
605 Wide bool
607 StoragePercent int
606 Info bool
608 StorageBlueGit string
607 ShowUpdate bool
609 StoragePartial bool
608 Update *UpdateView
610 MinFree string
609 HookDoc string
611 Wide bool
610 Spec cispec.Doc
612 Info bool
611 SpecJSON template.JS
613 ShowUpdate bool
612 APIJSON template.JS
614 Update *UpdateView
613 Page string
615 HookDoc string
614 Lang string
616 Spec cispec.Doc
615 HTMLLang string
617 SpecJSON template.JS
616 Cunei bool
618 APIJSON template.JS
617 Langs []LangChoice
619 Page string
618 Query string
620 Lang string
619 SortDir string
621 HTMLLang string
620 FlipDir string
622 Cunei bool
621 Cards []RepoCard
623 Langs []LangChoice
622 Head *CommitRow
624 Query string
623 Files []FileRow
625 SortDir string
624 Tree []FileRow
626 FlipDir string
625 Readme template.HTML
627 Cards []RepoCard
626 ReadmeName string
628 Head *CommitRow
627 LicensePath string
629 Files []FileRow
628 NCommits int
630 Tree []FileRow
629 NBranches int
631 Readme template.HTML
630 NTags int
632 ReadmeName string
631 NReleases int
633 LicensePath string
632 Created string
634 NCommits int
633 Lines []CodeLine
635 NBranches int
634 BlobSize string
636 NTags int
635 FileName string
637 NReleases int
636 RevProtected bool
638 Created string
637 Heat *activity.Calendar
639 Lines []CodeLine
638 Notes []NoteRow
640 BlobSize string
639 Profile *store.User
641 FileName string
640 Card *ProfileCard
642 RevProtected bool
641 DescHTML template.HTML
643 Heat *activity.Calendar
642 Timeline []TimelineItem
644 Notes []NoteRow
643 CompareFrom string
645 Profile *store.User
644 CompareTo string
646 Card *ProfileCard
645 FormTitle string
647 DescHTML template.HTML
646 Labels []string
648 Timeline []TimelineItem
647 CanEditMR bool
649 CompareFrom string
648 Issues *IssueBoard
650 CompareTo string
649 IssueDoc string
651 FormTitle string
650 DescTpls []string
652 Labels []string
651 TplPick string
653 CanEditMR bool
652 FormBody string
654 Issues *IssueBoard
653 Social *card.Meta
655 IssueDoc string
656 DescTpls []string
657 TplPick string
658 FormBody string
659 Social *card.Meta
654}
660}
655
661
656// LangChoice is één taal in de instellingen.
662// LangChoice is één taal in de instellingen.
internal/server/server_test.go +26 −2
@@ -11,12 +11,14 @@ import (
11 11 "os"
12 12 "os/exec"
13 13 "path/filepath"
14 "strconv"
14 15 "strings"
15 16 "testing"
16 17 "time"
17 18
18 19 "gitlab.com/Timfa/bluegit/internal/auth"
19 20 "gitlab.com/Timfa/bluegit/internal/config"
21 "gitlab.com/Timfa/bluegit/internal/state"
20 22 "gitlab.com/Timfa/bluegit/internal/store"
21 23 )
22 24
@@ -268,8 +270,30 @@ func TestSetupChoosesStorage(t *testing.T) {
268 270 t.Fatal(err)
269 271 }
270 272 page = read(t, res)
271 if !strings.Contains(page, "does not move") || !strings.Contains(page, "Free space") {
272 t.Fatalf("wijzigen:\n%s", page)
273 info, err := state.Inspect(storage)
274 if err != nil {
275 t.Fatal(err)
276 }
277 n, err := state.DirSize(context.Background(), storage)
278 if err != nil {
279 t.Fatal(err)
280 }
281 pct := state.Percent(info.Used(), info.Total)
282 for _, want := range []string{
283 "does not move",
284 "BlueGit uses " + state.Format(n),
285 "Disk: " + state.Format(info.Total),
286 state.Format(info.Used()) + " used",
287 state.Format(info.Free) + " free.",
288 `<svg class="diskbar-svg"`,
289 `class="fill" width="` + strconv.Itoa(pct) + `"`,
290 } {
291 if !strings.Contains(page, want) {
292 t.Fatalf("mist %q\n%s", want, page)
293 }
294 }
295 if strings.Contains(page, "Count stopped early") {
296 t.Fatal("kleine map hoort volledig geteld")
273 297 }
274 298 res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
275 299 if err != nil {
@@ -11,12 +11,14 @@ import (
11 "os"
11 "os"
12 "os/exec"
12 "os/exec"
13 "path/filepath"
13 "path/filepath"
14 "strconv"
14 "strings"
15 "strings"
15 "testing"
16 "testing"
16 "time"
17 "time"
17
18
18 "gitlab.com/Timfa/bluegit/internal/auth"
19 "gitlab.com/Timfa/bluegit/internal/auth"
19 "gitlab.com/Timfa/bluegit/internal/config"
20 "gitlab.com/Timfa/bluegit/internal/config"
21 "gitlab.com/Timfa/bluegit/internal/state"
20 "gitlab.com/Timfa/bluegit/internal/store"
22 "gitlab.com/Timfa/bluegit/internal/store"
21)
23)
22
24
@@ -268,8 +270,30 @@ func TestSetupChoosesStorage(t *testing.T) {
268 t.Fatal(err)
270 t.Fatal(err)
269 }
271 }
270 page = read(t, res)
272 page = read(t, res)
271 if !strings.Contains(page, "does not move") || !strings.Contains(page, "Free space") {
273 info, err := state.Inspect(storage)
272 t.Fatalf("wijzigen:\n%s", page)
274 if err != nil {
275 t.Fatal(err)
276 }
277 n, err := state.DirSize(context.Background(), storage)
278 if err != nil {
279 t.Fatal(err)
280 }
281 pct := state.Percent(info.Used(), info.Total)
282 for _, want := range []string{
283 "does not move",
284 "BlueGit uses " + state.Format(n),
285 "Disk: " + state.Format(info.Total),
286 state.Format(info.Used()) + " used",
287 state.Format(info.Free) + " free.",
288 `<svg class="diskbar-svg"`,
289 `class="fill" width="` + strconv.Itoa(pct) + `"`,
290 } {
291 if !strings.Contains(page, want) {
292 t.Fatalf("mist %q\n%s", want, page)
293 }
294 }
295 if strings.Contains(page, "Count stopped early") {
296 t.Fatal("kleine map hoort volledig geteld")
273 }
297 }
274 res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
298 res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
275 if err != nil {
299 if err != nil {
internal/server/setup.go +45 −0
@@ -2,14 +2,53 @@ package server
2 2
3 3 import (
4 4 "context"
5 "errors"
5 6 "net/http"
6 7 "os"
7 8 "strings"
9 "time"
8 10
9 11 "gitlab.com/Timfa/bluegit/internal/gitrepo"
10 12 "gitlab.com/Timfa/bluegit/internal/state"
11 13 )
12 14
15 // dirUsage is de laatst getelde grootte van de gekozen map.
16 type dirUsage struct {
17 path string
18 n uint64
19 partial bool
20 at time.Time
21 }
22
23 const (
24 usageTTL = time.Minute
25 usageBudget = 2 * time.Second
26 )
27
28 // bluegitUsage telt de map, met een cache en een tijdslimiet.
29 // Een grote repository houdt de pagina zo hooguit usageBudget tegen.
30 // partial betekent dat de telling voortijdig stopte.
31 func (s *Server) bluegitUsage(path string) (uint64, bool, bool) {
32 s.usageMu.Lock()
33 cached := s.usage
34 fresh := cached.path == path && !cached.at.IsZero() && time.Since(cached.at) < usageTTL
35 s.usageMu.Unlock()
36 if fresh {
37 return cached.n, cached.partial, true
38 }
39 ctx, cancel := context.WithTimeout(context.Background(), usageBudget)
40 defer cancel()
41 n, err := state.DirSize(ctx, path)
42 partial := errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled)
43 if err != nil && !partial {
44 return 0, false, false
45 }
46 s.usageMu.Lock()
47 s.usage = dirUsage{path: path, n: n, partial: partial, at: time.Now()}
48 s.usageMu.Unlock()
49 return n, partial, true
50 }
51
13 52 func (s *Server) noStorageText(r *http.Request) string {
14 53 return s.tr(r, "err.noStorage") + "\n"
15 54 }
@@ -136,7 +175,13 @@ func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, pr
136 175 info, err := state.Inspect(v.StoragePath)
137 176 if info.Total > 0 {
138 177 v.StorageFree = state.Format(info.Free)
178 v.StorageUsed = state.Format(info.Used())
139 179 v.StorageTotal = state.Format(info.Total)
180 v.StoragePercent = state.Percent(info.Used(), info.Total)
181 if n, partial, ok := s.bluegitUsage(info.Path); ok {
182 v.StorageBlueGit = state.Format(n)
183 v.StoragePartial = partial
184 }
140 185 }
141 186 if err != nil && v.Err == "" {
142 187 v.Err = s.trErr(r, err)
@@ -2,14 +2,53 @@ package server
2
2
3import (
3import (
4 "context"
4 "context"
5 "errors"
5 "net/http"
6 "net/http"
6 "os"
7 "os"
7 "strings"
8 "strings"
9 "time"
8
10
9 "gitlab.com/Timfa/bluegit/internal/gitrepo"
11 "gitlab.com/Timfa/bluegit/internal/gitrepo"
10 "gitlab.com/Timfa/bluegit/internal/state"
12 "gitlab.com/Timfa/bluegit/internal/state"
11)
13)
12
14
15// dirUsage is de laatst getelde grootte van de gekozen map.
16type dirUsage struct {
17 path string
18 n uint64
19 partial bool
20 at time.Time
21}
22
23const (
24 usageTTL = time.Minute
25 usageBudget = 2 * time.Second
26)
27
28// bluegitUsage telt de map, met een cache en een tijdslimiet.
29// Een grote repository houdt de pagina zo hooguit usageBudget tegen.
30// partial betekent dat de telling voortijdig stopte.
31func (s *Server) bluegitUsage(path string) (uint64, bool, bool) {
32 s.usageMu.Lock()
33 cached := s.usage
34 fresh := cached.path == path && !cached.at.IsZero() && time.Since(cached.at) < usageTTL
35 s.usageMu.Unlock()
36 if fresh {
37 return cached.n, cached.partial, true
38 }
39 ctx, cancel := context.WithTimeout(context.Background(), usageBudget)
40 defer cancel()
41 n, err := state.DirSize(ctx, path)
42 partial := errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled)
43 if err != nil && !partial {
44 return 0, false, false
45 }
46 s.usageMu.Lock()
47 s.usage = dirUsage{path: path, n: n, partial: partial, at: time.Now()}
48 s.usageMu.Unlock()
49 return n, partial, true
50}
51
13func (s *Server) noStorageText(r *http.Request) string {
52func (s *Server) noStorageText(r *http.Request) string {
14 return s.tr(r, "err.noStorage") + "\n"
53 return s.tr(r, "err.noStorage") + "\n"
15}
54}
@@ -136,7 +175,13 @@ func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, pr
136 info, err := state.Inspect(v.StoragePath)
175 info, err := state.Inspect(v.StoragePath)
137 if info.Total > 0 {
176 if info.Total > 0 {
138 v.StorageFree = state.Format(info.Free)
177 v.StorageFree = state.Format(info.Free)
178 v.StorageUsed = state.Format(info.Used())
139 v.StorageTotal = state.Format(info.Total)
179 v.StorageTotal = state.Format(info.Total)
180 v.StoragePercent = state.Percent(info.Used(), info.Total)
181 if n, partial, ok := s.bluegitUsage(info.Path); ok {
182 v.StorageBlueGit = state.Format(n)
183 v.StoragePartial = partial
184 }
140 }
185 }
141 if err != nil && v.Err == "" {
186 if err != nil && v.Err == "" {
142 v.Err = s.trErr(r, err)
187 v.Err = s.trErr(r, err)
internal/server/static/style.css +7 −0
@@ -1288,6 +1288,13 @@ a.flowpipe.passed .mark::after { left: 4px; top: 2px; width: 3px; height: 6px; }
1288 1288 .mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }
1289 1289 .mrreviews form { margin: 0; }
1290 1290 .mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }
1291 .diskuse { display: grid; gap: var(--sp-2); margin: 0 0 var(--sp-4); }
1292 .diskuse p { margin: 0; }
1293 .diskbar { display: flex; align-items: center; gap: var(--sp-2); }
1294 .diskbar-svg { flex: 1; width: 100%; height: 16px; display: block; border-radius: 999px; }
1295 .diskbar-svg .track { fill: var(--line); }
1296 .diskbar-svg .fill { fill: var(--blue); }
1297 .diskbar span { min-width: 3rem; text-align: right; font-variant-numeric: tabular-nums; }
1291 1298 .mergedby { margin: 0; }
1292 1299 .mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }
1293 1300 .sub .count {
@@ -1288,6 +1288,13 @@ a.flowpipe.passed .mark::after { left: 4px; top: 2px; width: 3px; height: 6px; }
1288.mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }
1288.mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }
1289.mrreviews form { margin: 0; }
1289.mrreviews form { margin: 0; }
1290.mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }
1290.mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }
1291.diskuse { display: grid; gap: var(--sp-2); margin: 0 0 var(--sp-4); }
1292.diskuse p { margin: 0; }
1293.diskbar { display: flex; align-items: center; gap: var(--sp-2); }
1294.diskbar-svg { flex: 1; width: 100%; height: 16px; display: block; border-radius: 999px; }
1295.diskbar-svg .track { fill: var(--line); }
1296.diskbar-svg .fill { fill: var(--blue); }
1297.diskbar span { min-width: 3rem; text-align: right; font-variant-numeric: tabular-nums; }
1291.mergedby { margin: 0; }
1298.mergedby { margin: 0; }
1292.mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }
1299.mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }
1293.sub .count {
1300.sub .count {
internal/server/templates/pages.html +13 −1
@@ -5,7 +5,19 @@
5 5 <p class="flash bad">{{t "setup.changeWarn"}}</p>
6 6 {{end}}
7 7 <section class="panel">
8 {{if .StorageFree}}<p>{{t "setup.free" .StorageFree .StorageTotal}}</p>{{end}}
8 {{if .StorageTotal}}
9 <div class="diskuse">
10 {{if .StorageBlueGit}}<p>{{t "setup.usedDir" .StorageBlueGit}}{{if .StoragePartial}} <span class="muted">{{t "setup.usedDirPartial"}}</span>{{end}}</p>{{end}}
11 <p>{{t "setup.diskStat" .StorageTotal .StorageUsed .StorageFree}}</p>
12 <div class="diskbar">
13 <svg class="diskbar-svg" viewBox="0 0 100 8" preserveAspectRatio="none" role="img" aria-label="{{t "setup.diskMeter"}}">
14 <rect class="track" width="100" height="8"></rect>
15 <rect class="fill" width="{{.StoragePercent}}" height="8"></rect>
16 </svg>
17 <span>{{.StoragePercent}}%</span>
18 </div>
19 </div>
20 {{end}}
9 21 <form method="post" action="/setup">
10 22 <input type="hidden" name="csrf" value="{{.CSRF}}">
11 23 <label>{{t "setup.disk"}}
@@ -5,7 +5,19 @@
5<p class="flash bad">{{t "setup.changeWarn"}}</p>
5<p class="flash bad">{{t "setup.changeWarn"}}</p>
6{{end}}
6{{end}}
7<section class="panel">
7<section class="panel">
8 {{if .StorageFree}}<p>{{t "setup.free" .StorageFree .StorageTotal}}</p>{{end}}
8 {{if .StorageTotal}}
9 <div class="diskuse">
10 {{if .StorageBlueGit}}<p>{{t "setup.usedDir" .StorageBlueGit}}{{if .StoragePartial}} <span class="muted">{{t "setup.usedDirPartial"}}</span>{{end}}</p>{{end}}
11 <p>{{t "setup.diskStat" .StorageTotal .StorageUsed .StorageFree}}</p>
12 <div class="diskbar">
13 <svg class="diskbar-svg" viewBox="0 0 100 8" preserveAspectRatio="none" role="img" aria-label="{{t "setup.diskMeter"}}">
14 <rect class="track" width="100" height="8"></rect>
15 <rect class="fill" width="{{.StoragePercent}}" height="8"></rect>
16 </svg>
17 <span>{{.StoragePercent}}%</span>
18 </div>
19 </div>
20 {{end}}
9 <form method="post" action="/setup">
21 <form method="post" action="/setup">
10 <input type="hidden" name="csrf" value="{{.CSRF}}">
22 <input type="hidden" name="csrf" value="{{.CSRF}}">
11 <label>{{t "setup.disk"}}
23 <label>{{t "setup.disk"}}
internal/server/usage_test.go added +35 −0
@@ -0,0 +1,35 @@
1 package server
2
3 import (
4 "bytes"
5 "os"
6 "path/filepath"
7 "testing"
8 )
9
10 func TestBlueGitUsageIsCached(t *testing.T) {
11 dir := t.TempDir()
12 if err := os.WriteFile(filepath.Join(dir, "a"), bytes.Repeat([]byte("x"), 100), 0o644); err != nil {
13 t.Fatal(err)
14 }
15 srv := &Server{}
16 n, partial, ok := srv.bluegitUsage(dir)
17 if !ok || partial || n < 100 {
18 t.Fatalf("eerste telling %d partial=%v ok=%v", n, partial, ok)
19 }
20 if err := os.WriteFile(filepath.Join(dir, "b"), bytes.Repeat([]byte("y"), 8000), 0o644); err != nil {
21 t.Fatal(err)
22 }
23 again, partial, ok := srv.bluegitUsage(dir)
24 if !ok || partial || again != n {
25 t.Fatalf("cache %d -> %d partial=%v ok=%v", n, again, partial, ok)
26 }
27 other := t.TempDir()
28 if err := os.WriteFile(filepath.Join(other, "c"), bytes.Repeat([]byte("z"), 300), 0o644); err != nil {
29 t.Fatal(err)
30 }
31 fresh, partial, ok := srv.bluegitUsage(other)
32 if !ok || partial || fresh == 0 || fresh == n {
33 t.Fatalf("andere map %d (was %d) partial=%v ok=%v", fresh, n, partial, ok)
34 }
35 }
@@ -0,0 +1,35 @@
1package server
2
3import (
4 "bytes"
5 "os"
6 "path/filepath"
7 "testing"
8)
9
10func TestBlueGitUsageIsCached(t *testing.T) {
11 dir := t.TempDir()
12 if err := os.WriteFile(filepath.Join(dir, "a"), bytes.Repeat([]byte("x"), 100), 0o644); err != nil {
13 t.Fatal(err)
14 }
15 srv := &Server{}
16 n, partial, ok := srv.bluegitUsage(dir)
17 if !ok || partial || n < 100 {
18 t.Fatalf("eerste telling %d partial=%v ok=%v", n, partial, ok)
19 }
20 if err := os.WriteFile(filepath.Join(dir, "b"), bytes.Repeat([]byte("y"), 8000), 0o644); err != nil {
21 t.Fatal(err)
22 }
23 again, partial, ok := srv.bluegitUsage(dir)
24 if !ok || partial || again != n {
25 t.Fatalf("cache %d -> %d partial=%v ok=%v", n, again, partial, ok)
26 }
27 other := t.TempDir()
28 if err := os.WriteFile(filepath.Join(other, "c"), bytes.Repeat([]byte("z"), 300), 0o644); err != nil {
29 t.Fatal(err)
30 }
31 fresh, partial, ok := srv.bluegitUsage(other)
32 if !ok || partial || fresh == 0 || fresh == n {
33 t.Fatalf("andere map %d (was %d) partial=%v ok=%v", fresh, n, partial, ok)
34 }
35}
internal/state/state.go +58 −4
@@ -4,8 +4,10 @@
4 4 package state
5 5
6 6 import (
7 "context"
7 8 "errors"
8 9 "fmt"
10 "io/fs"
9 11 "os"
10 12 "path/filepath"
11 13 "strings"
@@ -90,12 +92,12 @@ func Inspect(path string) (Info, error) {
90 92 if !st.IsDir() {
91 93 return info, i18n.E("err.pathDir")
92 94 }
93 var fs syscall.Statfs_t
94 if err := syscall.Statfs(path, &fs); err != nil {
95 var stat syscall.Statfs_t
96 if err := syscall.Statfs(path, &stat); err != nil {
95 97 return info, i18n.E("err.pathFree", err.Error())
96 98 }
97 info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)
98 info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)
99 info.Free = uint64(stat.Bavail) * uint64(stat.Bsize)
100 info.Total = uint64(stat.Blocks) * uint64(stat.Bsize)
99 101 probe := filepath.Join(path, ".bluegit-write-test")
100 102 f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
101 103 if err != nil {
@@ -109,6 +111,58 @@ func Inspect(path string) (Info, error) {
109 111 return info, nil
110 112 }
111 113
114 // Used is de bezette ruimte: totaal min wat nog vrij is.
115 // Vrij komt uit Bavail, dus gereserveerde blokken tellen als bezet.
116 func (i Info) Used() uint64 {
117 if i.Free >= i.Total {
118 return 0
119 }
120 return i.Total - i.Free
121 }
122
123 // Percent rondt used/total af op een heel percentage.
124 // Een leeg totaal is 0. Meer dan vol blijft 100.
125 func Percent(used, total uint64) int {
126 if total == 0 {
127 return 0
128 }
129 if used > total {
130 used = total
131 }
132 return int((used*100 + total/2) / total)
133 }
134
135 // DirSize telt de schijnbare grootte van path, recursief.
136 // Symlinks worden niet gevolgd. Een afgelopen context stopt de wandeling
137 // en geeft terug wat al geteld is, samen met ctx.Err().
138 func DirSize(ctx context.Context, root string) (uint64, error) {
139 var total uint64
140 err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
141 if ctx.Err() != nil {
142 return ctx.Err()
143 }
144 if err != nil {
145 if path == root {
146 return err
147 }
148 return nil
149 }
150 info, ierr := d.Info()
151 if ierr != nil {
152 return nil
153 }
154 if info.Mode()&os.ModeSymlink != 0 {
155 return nil
156 }
157 total += uint64(info.Size())
158 return nil
159 })
160 if errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled) {
161 return total, err
162 }
163 return total, err
164 }
165
112 166 // Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
113 167 func Format(n uint64) string {
114 168 const unit = 1024
@@ -4,8 +4,10 @@
4package state
4package state
5
5
6import (
6import (
7 "context"
7 "errors"
8 "errors"
8 "fmt"
9 "fmt"
10 "io/fs"
9 "os"
11 "os"
10 "path/filepath"
12 "path/filepath"
11 "strings"
13 "strings"
@@ -90,12 +92,12 @@ func Inspect(path string) (Info, error) {
90 if !st.IsDir() {
92 if !st.IsDir() {
91 return info, i18n.E("err.pathDir")
93 return info, i18n.E("err.pathDir")
92 }
94 }
93 var fs syscall.Statfs_t
95 var stat syscall.Statfs_t
94 if err := syscall.Statfs(path, &fs); err != nil {
96 if err := syscall.Statfs(path, &stat); err != nil {
95 return info, i18n.E("err.pathFree", err.Error())
97 return info, i18n.E("err.pathFree", err.Error())
96 }
98 }
97 info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)
99 info.Free = uint64(stat.Bavail) * uint64(stat.Bsize)
98 info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)
100 info.Total = uint64(stat.Blocks) * uint64(stat.Bsize)
99 probe := filepath.Join(path, ".bluegit-write-test")
101 probe := filepath.Join(path, ".bluegit-write-test")
100 f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
102 f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
101 if err != nil {
103 if err != nil {
@@ -109,6 +111,58 @@ func Inspect(path string) (Info, error) {
109 return info, nil
111 return info, nil
110}
112}
111
113
114// Used is de bezette ruimte: totaal min wat nog vrij is.
115// Vrij komt uit Bavail, dus gereserveerde blokken tellen als bezet.
116func (i Info) Used() uint64 {
117 if i.Free >= i.Total {
118 return 0
119 }
120 return i.Total - i.Free
121}
122
123// Percent rondt used/total af op een heel percentage.
124// Een leeg totaal is 0. Meer dan vol blijft 100.
125func Percent(used, total uint64) int {
126 if total == 0 {
127 return 0
128 }
129 if used > total {
130 used = total
131 }
132 return int((used*100 + total/2) / total)
133}
134
135// DirSize telt de schijnbare grootte van path, recursief.
136// Symlinks worden niet gevolgd. Een afgelopen context stopt de wandeling
137// en geeft terug wat al geteld is, samen met ctx.Err().
138func DirSize(ctx context.Context, root string) (uint64, error) {
139 var total uint64
140 err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
141 if ctx.Err() != nil {
142 return ctx.Err()
143 }
144 if err != nil {
145 if path == root {
146 return err
147 }
148 return nil
149 }
150 info, ierr := d.Info()
151 if ierr != nil {
152 return nil
153 }
154 if info.Mode()&os.ModeSymlink != 0 {
155 return nil
156 }
157 total += uint64(info.Size())
158 return nil
159 })
160 if errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled) {
161 return total, err
162 }
163 return total, err
164}
165
112// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
166// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
113func Format(n uint64) string {
167func Format(n uint64) string {
114 const unit = 1024
168 const unit = 1024
internal/state/state_test.go +56 −0
@@ -1,6 +1,9 @@
1 1 package state
2 2
3 3 import (
4 "bytes"
5 "context"
6 "errors"
4 7 "os"
5 8 "path/filepath"
6 9 "strings"
@@ -50,4 +53,57 @@ func TestInspect(t *testing.T) {
50 53 if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
51 54 t.Fatal("schrijftest bleef achter")
52 55 }
56 if info.Used()+info.Free != info.Total {
57 t.Fatalf("bezet %d + vrij %d != totaal %d", info.Used(), info.Free, info.Total)
58 }
59 if Percent(info.Used(), info.Total) < 0 || Percent(info.Used(), info.Total) > 100 {
60 t.Fatal(Percent(info.Used(), info.Total))
61 }
62 }
63
64 func TestPercentAndUsed(t *testing.T) {
65 if Percent(0, 0) != 0 || Percent(1, 2) != 50 || Percent(2, 2) != 100 || Percent(1, 3) != 33 || Percent(5, 2) != 100 {
66 t.Fatalf("0=%d half=%d vol=%d derde=%d over=%d", Percent(0, 0), Percent(1, 2), Percent(2, 2), Percent(1, 3), Percent(5, 2))
67 }
68 if (Info{Free: 30, Total: 10}).Used() != 0 || (Info{Free: 4, Total: 10}).Used() != 6 {
69 t.Fatal("used")
70 }
71 }
72
73 func TestDirSizeCountsTreeAndStops(t *testing.T) {
74 root := t.TempDir()
75 if err := os.WriteFile(filepath.Join(root, "a"), bytes.Repeat([]byte("x"), 1000), 0o644); err != nil {
76 t.Fatal(err)
77 }
78 sub := filepath.Join(root, "sub")
79 if err := os.Mkdir(sub, 0o755); err != nil {
80 t.Fatal(err)
81 }
82 if err := os.WriteFile(filepath.Join(sub, "b"), bytes.Repeat([]byte("y"), 500), 0o644); err != nil {
83 t.Fatal(err)
84 }
85 outside := filepath.Join(t.TempDir(), "groot")
86 if err := os.WriteFile(outside, bytes.Repeat([]byte("z"), 2<<20), 0o644); err != nil {
87 t.Fatal(err)
88 }
89 if err := os.Symlink(outside, filepath.Join(root, "link")); err != nil {
90 t.Fatal(err)
91 }
92 n, err := DirSize(context.Background(), root)
93 if err != nil {
94 t.Fatal(err)
95 }
96 if n < 1500 || n >= 2<<20 {
97 t.Fatalf("grootte %d volgt de symlink of mist bestanden", n)
98 }
99 again, err := DirSize(context.Background(), root)
100 if err != nil || again != n {
101 t.Fatalf("opnieuw %d %v", again, err)
102 }
103 ctx, cancel := context.WithCancel(context.Background())
104 cancel()
105 stopped, err := DirSize(ctx, root)
106 if !errors.Is(err, context.Canceled) || stopped != 0 {
107 t.Fatalf("stop: %d %v", stopped, err)
108 }
53 109 }
@@ -1,6 +1,9 @@
1package state
1package state
2
2
3import (
3import (
4 "bytes"
5 "context"
6 "errors"
4 "os"
7 "os"
5 "path/filepath"
8 "path/filepath"
6 "strings"
9 "strings"
@@ -50,4 +53,57 @@ func TestInspect(t *testing.T) {
50 if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
53 if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
51 t.Fatal("schrijftest bleef achter")
54 t.Fatal("schrijftest bleef achter")
52 }
55 }
56 if info.Used()+info.Free != info.Total {
57 t.Fatalf("bezet %d + vrij %d != totaal %d", info.Used(), info.Free, info.Total)
58 }
59 if Percent(info.Used(), info.Total) < 0 || Percent(info.Used(), info.Total) > 100 {
60 t.Fatal(Percent(info.Used(), info.Total))
61 }
62}
63
64func TestPercentAndUsed(t *testing.T) {
65 if Percent(0, 0) != 0 || Percent(1, 2) != 50 || Percent(2, 2) != 100 || Percent(1, 3) != 33 || Percent(5, 2) != 100 {
66 t.Fatalf("0=%d half=%d vol=%d derde=%d over=%d", Percent(0, 0), Percent(1, 2), Percent(2, 2), Percent(1, 3), Percent(5, 2))
67 }
68 if (Info{Free: 30, Total: 10}).Used() != 0 || (Info{Free: 4, Total: 10}).Used() != 6 {
69 t.Fatal("used")
70 }
71}
72
73func TestDirSizeCountsTreeAndStops(t *testing.T) {
74 root := t.TempDir()
75 if err := os.WriteFile(filepath.Join(root, "a"), bytes.Repeat([]byte("x"), 1000), 0o644); err != nil {
76 t.Fatal(err)
77 }
78 sub := filepath.Join(root, "sub")
79 if err := os.Mkdir(sub, 0o755); err != nil {
80 t.Fatal(err)
81 }
82 if err := os.WriteFile(filepath.Join(sub, "b"), bytes.Repeat([]byte("y"), 500), 0o644); err != nil {
83 t.Fatal(err)
84 }
85 outside := filepath.Join(t.TempDir(), "groot")
86 if err := os.WriteFile(outside, bytes.Repeat([]byte("z"), 2<<20), 0o644); err != nil {
87 t.Fatal(err)
88 }
89 if err := os.Symlink(outside, filepath.Join(root, "link")); err != nil {
90 t.Fatal(err)
91 }
92 n, err := DirSize(context.Background(), root)
93 if err != nil {
94 t.Fatal(err)
95 }
96 if n < 1500 || n >= 2<<20 {
97 t.Fatalf("grootte %d volgt de symlink of mist bestanden", n)
98 }
99 again, err := DirSize(context.Background(), root)
100 if err != nil || again != n {
101 t.Fatalf("opnieuw %d %v", again, err)
102 }
103 ctx, cancel := context.WithCancel(context.Background())
104 cancel()
105 stopped, err := DirSize(ctx, root)
106 if !errors.Is(err, context.Canceled) || stopped != 0 {
107 t.Fatalf("stop: %d %v", stopped, err)
108 }
53}
109}
internal/store/abandoned_jobs_test.go added +130 −0
@@ -0,0 +1,130 @@
1 package store
2
3 import (
4 "context"
5 "strings"
6 "testing"
7 )
8
9 func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
10 s := openTest(t)
11 ctx := context.Background()
12 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
13 if err != nil {
14 t.Fatal(err)
15 }
16 repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")
17 if err != nil {
18 t.Fatal(err)
19 }
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24 {Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25 })
26 if err != nil {
27 t.Fatal(err)
28 }
29 queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{
30 {Name: "wait", Stage: "test", Script: "sleep"},
31 })
32 if err != nil {
33 t.Fatal(err)
34 }
35 softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{
36 {Name: "build", Stage: "build", Script: "go build"},
37 {Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},
38 })
39 if err != nil {
40 t.Fatal(err)
41 }
42 set := func(pipe int64, name, status, log string) {
43 t.Helper()
44 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {
45 t.Fatal(err)
46 }
47 }
48 set(id, "build", "success", "ok\n")
49 set(id, "publish_aur", "success", "aur ok\n")
50 set(id, "self_update", "running", "post verstuurd\n")
51 set(queuedID, "wait", "queued", "")
52 set(softID, "build", "success", "ok\n")
53 set(softID, "publish_aur", "running", "bezig\n")
54 if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {
55 t.Fatal(err)
56 }
57
58 n, err := s.FailAbandonedJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("abandoned: %d %v", n, err)
61 }
62 jobs, err := s.JobsByPipeline(ctx, id)
63 if err != nil {
64 t.Fatal(err)
65 }
66 by := map[string]Job{}
67 for _, j := range jobs {
68 by[j.Name] = j
69 }
70 upd := by["self_update"]
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 }
77 p, err := s.PipelineByID(ctx, repo.ID, id)
78 if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {
79 t.Fatalf("pipeline: %+v %v", p, err)
80 }
81 if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {
82 t.Fatalf("wachtende job: %s", got)
83 }
84 queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)
85 if err != nil || queuedPipe.Status != "running" {
86 t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)
87 }
88 softJobs, err := s.JobsByPipeline(ctx, softID)
89 if err != nil {
90 t.Fatal(err)
91 }
92 for _, j := range softJobs {
93 if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {
94 t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)
95 }
96 }
97 softPipe, err := s.PipelineByID(ctx, repo.ID, softID)
98 if err != nil || softPipe.Status != "success" {
99 t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)
100 }
101 running, err := s.CountRunningJobs(ctx)
102 if err != nil || running != 0 {
103 t.Fatalf("running na herstart: %d %v", running, err)
104 }
105 again, err := s.FailAbandonedJobs(ctx)
106 if err != nil || again != 0 {
107 t.Fatalf("tweede start: %d %v", again, err)
108 }
109
110 ok, err := s.RetryFailedJobs(ctx, id)
111 if err != nil || !ok {
112 t.Fatalf("retry: %v %v", ok, err)
113 }
114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116 t.Fatalf("mode failed: %v", got)
117 }
118 retried, err := s.JobsByPipeline(ctx, id)
119 if err != nil {
120 t.Fatal(err)
121 }
122 for _, j := range retried {
123 if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {
124 t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)
125 }
126 }
127 if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {
128 t.Fatalf("retry van de release raakt de andere pipeline: %s", side)
129 }
130 }
@@ -0,0 +1,130 @@
1package store
2
3import (
4 "context"
5 "strings"
6 "testing"
7)
8
9func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
10 s := openTest(t)
11 ctx := context.Background()
12 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
13 if err != nil {
14 t.Fatal(err)
15 }
16 repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")
17 if err != nil {
18 t.Fatal(err)
19 }
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24 {Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25 })
26 if err != nil {
27 t.Fatal(err)
28 }
29 queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{
30 {Name: "wait", Stage: "test", Script: "sleep"},
31 })
32 if err != nil {
33 t.Fatal(err)
34 }
35 softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{
36 {Name: "build", Stage: "build", Script: "go build"},
37 {Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},
38 })
39 if err != nil {
40 t.Fatal(err)
41 }
42 set := func(pipe int64, name, status, log string) {
43 t.Helper()
44 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {
45 t.Fatal(err)
46 }
47 }
48 set(id, "build", "success", "ok\n")
49 set(id, "publish_aur", "success", "aur ok\n")
50 set(id, "self_update", "running", "post verstuurd\n")
51 set(queuedID, "wait", "queued", "")
52 set(softID, "build", "success", "ok\n")
53 set(softID, "publish_aur", "running", "bezig\n")
54 if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {
55 t.Fatal(err)
56 }
57
58 n, err := s.FailAbandonedJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("abandoned: %d %v", n, err)
61 }
62 jobs, err := s.JobsByPipeline(ctx, id)
63 if err != nil {
64 t.Fatal(err)
65 }
66 by := map[string]Job{}
67 for _, j := range jobs {
68 by[j.Name] = j
69 }
70 upd := by["self_update"]
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 }
77 p, err := s.PipelineByID(ctx, repo.ID, id)
78 if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {
79 t.Fatalf("pipeline: %+v %v", p, err)
80 }
81 if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {
82 t.Fatalf("wachtende job: %s", got)
83 }
84 queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)
85 if err != nil || queuedPipe.Status != "running" {
86 t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)
87 }
88 softJobs, err := s.JobsByPipeline(ctx, softID)
89 if err != nil {
90 t.Fatal(err)
91 }
92 for _, j := range softJobs {
93 if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {
94 t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)
95 }
96 }
97 softPipe, err := s.PipelineByID(ctx, repo.ID, softID)
98 if err != nil || softPipe.Status != "success" {
99 t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)
100 }
101 running, err := s.CountRunningJobs(ctx)
102 if err != nil || running != 0 {
103 t.Fatalf("running na herstart: %d %v", running, err)
104 }
105 again, err := s.FailAbandonedJobs(ctx)
106 if err != nil || again != 0 {
107 t.Fatalf("tweede start: %d %v", again, err)
108 }
109
110 ok, err := s.RetryFailedJobs(ctx, id)
111 if err != nil || !ok {
112 t.Fatalf("retry: %v %v", ok, err)
113 }
114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116 t.Fatalf("mode failed: %v", got)
117 }
118 retried, err := s.JobsByPipeline(ctx, id)
119 if err != nil {
120 t.Fatal(err)
121 }
122 for _, j := range retried {
123 if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {
124 t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)
125 }
126 }
127 if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {
128 t.Fatalf("retry van de release raakt de andere pipeline: %s", side)
129 }
130}
internal/store/flow.go +55 −17
@@ -934,26 +934,64 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
934 934 return n == 1, nil
935 935 }
936 936
937 // AbandonedJobNote komt in het log van een job die de herstart niet haalde.
938 // Steve zit in dit proces. Een job die nog running is, heeft hier geen container.
939 const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"
940
941 // FailAbandonedJobs zet elke job met status running op failed.
942 // Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.
943 // Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,
944 // zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.
945 func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
946 rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)
947 if err != nil {
948 return 0, err
949 }
950 defer rows.Close()
951 type item struct{ id, pipe int64 }
952 var found []item
953 for rows.Next() {
954 var it item
955 if err := rows.Scan(&it.id, &it.pipe); err != nil {
956 return 0, err
957 }
958 found = append(found, it)
959 }
960 if err := rows.Err(); err != nil {
961 return 0, err
962 }
963 n := 0
964 seen := map[int64]struct{}{}
965 var pipes []int64
966 for _, it := range found {
967 res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)
968 if err != nil {
969 return n, err
970 }
971 affected, _ := res.RowsAffected()
972 if affected == 0 {
973 continue
974 }
975 n++
976 if _, ok := seen[it.pipe]; !ok {
977 seen[it.pipe] = struct{}{}
978 pipes = append(pipes, it.pipe)
979 }
980 }
981 for _, id := range pipes {
982 if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {
983 return n, err
984 }
985 }
986 return n, nil
987 }
988
937 989 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939 // deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940 // wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
990 // publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
991 // dus er is geen job die tijdens de installatie op de updater wacht.
941 992 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 993 var n int
943 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
994 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
957 995 return n, err
958 996 }
959 997
@@ -934,26 +934,64 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
934 return n == 1, nil
934 return n == 1, nil
935}
935}
936
936
937// AbandonedJobNote komt in het log van een job die de herstart niet haalde.
938// Steve zit in dit proces. Een job die nog running is, heeft hier geen container.
939const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"
940
941// FailAbandonedJobs zet elke job met status running op failed.
942// Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.
943// Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,
944// zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.
945func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
946 rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)
947 if err != nil {
948 return 0, err
949 }
950 defer rows.Close()
951 type item struct{ id, pipe int64 }
952 var found []item
953 for rows.Next() {
954 var it item
955 if err := rows.Scan(&it.id, &it.pipe); err != nil {
956 return 0, err
957 }
958 found = append(found, it)
959 }
960 if err := rows.Err(); err != nil {
961 return 0, err
962 }
963 n := 0
964 seen := map[int64]struct{}{}
965 var pipes []int64
966 for _, it := range found {
967 res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)
968 if err != nil {
969 return n, err
970 }
971 affected, _ := res.RowsAffected()
972 if affected == 0 {
973 continue
974 }
975 n++
976 if _, ok := seen[it.pipe]; !ok {
977 seen[it.pipe] = struct{}{}
978 pipes = append(pipes, it.pipe)
979 }
980 }
981 for _, id := range pipes {
982 if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {
983 return n, err
984 }
985 }
986 return n, nil
987}
988
937// CountRunningJobs telt jobs die Steve nu uitvoert.
989// CountRunningJobs telt jobs die Steve nu uitvoert.
938// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
990// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
939// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
991// dus er is geen job die tijdens de installatie op de updater wacht.
940// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
941func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
992func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 var n int
993 var n int
943 err := s.db.QueryRowContext(ctx, `
994 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
957 return n, err
995 return n, err
958}
996}
959
997
internal/store/running_jobs_test.go +14 −12
@@ -5,7 +5,7 @@ import (
5 5 "testing"
6 6 )
7 7
8 func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
8 func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9 9 s := openTest(t)
10 10 ctx := context.Background()
11 11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -26,14 +26,15 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
26 26 }
27 27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
29 {Name: "self_update", Stage: "release", Script: "post"},
30 {Name: "publish_aur", Stage: "release", Script: "aur"},
30 31 })
31 32 if err != nil {
32 33 t.Fatal(err)
33 34 }
34 35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 {Name: "self_update", Stage: "release", Script: "post"},
37 38 })
38 39 if err != nil {
39 40 t.Fatal(err)
@@ -44,19 +45,20 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
44 45 t.Fatal(err)
45 46 }
46 47 }
47 set(blueID, "self_update", "running")
48 set(blueID, "publish_aur", "running")
48 49 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51 }
52 set(otherID, "self_update", "running")
53 n, err = s.CountRunningJobs(ctx)
54 50 if err != nil || n != 1 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
51 t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
56 52 }
57 set(blueID, "publish_aur", "running")
53 set(blueID, "self_update", "running")
58 54 n, err = s.CountRunningJobs(ctx)
59 55 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
56 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
57 }
58 set(otherID, "publish_aur", "running")
59 set(otherID, "self_update", "running")
60 n, err = s.CountRunningJobs(ctx)
61 if err != nil || n != 4 {
62 t.Fatalf("jobs in een andere repo: %d %v", n, err)
61 63 }
62 64 }
@@ -5,7 +5,7 @@ import (
5 "testing"
5 "testing"
6)
6)
7
7
8func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
8func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9 s := openTest(t)
9 s := openTest(t)
10 ctx := context.Background()
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -26,14 +26,15 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
26 }
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
29 {Name: "self_update", Stage: "release", Script: "post"},
30 {Name: "publish_aur", Stage: "release", Script: "aur"},
30 })
31 })
31 if err != nil {
32 if err != nil {
32 t.Fatal(err)
33 t.Fatal(err)
33 }
34 }
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 {Name: "self_update", Stage: "release", Script: "post"},
37 })
38 })
38 if err != nil {
39 if err != nil {
39 t.Fatal(err)
40 t.Fatal(err)
@@ -44,19 +45,20 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
44 t.Fatal(err)
45 t.Fatal(err)
45 }
46 }
46 }
47 }
47 set(blueID, "self_update", "running")
48 set(blueID, "publish_aur", "running")
48 n, err := s.CountRunningJobs(ctx)
49 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51 }
52 set(otherID, "self_update", "running")
53 n, err = s.CountRunningJobs(ctx)
54 if err != nil || n != 1 {
50 if err != nil || n != 1 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
51 t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
56 }
52 }
57 set(blueID, "publish_aur", "running")
53 set(blueID, "self_update", "running")
58 n, err = s.CountRunningJobs(ctx)
54 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
55 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
56 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
57 }
58 set(otherID, "publish_aur", "running")
59 set(otherID, "self_update", "running")
60 n, err = s.CountRunningJobs(ctx)
61 if err != nil || n != 4 {
62 t.Fatalf("jobs in een andere repo: %d %v", n, err)
61 }
63 }
62}
64}
packaging/bluegit-update.sh +1 −2
@@ -71,8 +71,7 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. self_update telt daar niet mee: die job polt
75 # tot deze installatie status ok schrijft.
74 # running komt uit de API. Elke job met status running telt mee.
76 75 wait_until_idle() {
77 76 local deadline body n poll
78 77 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,8 +71,7 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. self_update telt daar niet mee: die job polt
74# running komt uit de API. Elke job met status running telt mee.
75# tot deze installatie status ok schrijft.
76wait_until_idle() {
75wait_until_idle() {
77 local deadline body n poll
76 local deadline body n poll
78 poll="$BLUEGIT_UPDATE_POLL"
77 poll="$BLUEGIT_UPDATE_POLL"
scripts/self-update.sh +8 −43
@@ -1,55 +1,20 @@
1 1 #!/usr/bin/env bash
2 # Start de self-update en wacht tot GET /api/v1/admin/self-update
3 # status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4 # dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5 # SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6 # is de pauze tussen pogingen (standaard 5).
2 # Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3 # antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4 # (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5 # job sterft mee als post_upgrade bluegit.service herstart, en de updater
6 # zou op die job blijven wachten.
7 7 set -euo pipefail
8 8
9 9 : "${CI_API_URL:?CI_API_URL ontbreekt}"
10 10 : "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11 11 : "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12 12
13 timeout="${SELF_UPDATE_TIMEOUT:-300}"
14 interval="${SELF_UPDATE_INTERVAL:-5}"
15 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18 if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20 fi
21
22 13 api="${CI_API_URL%/}/admin/self-update"
23 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24 14
25 curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
15 curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \
16 -H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \
26 17 -H "Content-Type: application/json" \
27 18 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28 19
29 start="$(date +%s)"
30 while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55 done
20 echo "Self-update gestart: ${CI_COMMIT_SHA}"
@@ -1,55 +1,20 @@
1#!/usr/bin/env bash
1#!/usr/bin/env bash
2# Start de self-update en wacht tot GET /api/v1/admin/self-update
2# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
3# antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4# dus die job start pas hierna. Een mislukking of timeout faalt deze job.
4# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
5# job sterft mee als post_upgrade bluegit.service herstart, en de updater
6# is de pauze tussen pogingen (standaard 5).
6# zou op die job blijven wachten.
7set -euo pipefail
7set -euo pipefail
8
8
9: "${CI_API_URL:?CI_API_URL ontbreekt}"
9: "${CI_API_URL:?CI_API_URL ontbreekt}"
10: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
10: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
11: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
12
13timeout="${SELF_UPDATE_TIMEOUT:-300}"
14interval="${SELF_UPDATE_INTERVAL:-5}"
15[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20fi
21
22api="${CI_API_URL%/}/admin/self-update"
13api="${CI_API_URL%/}/admin/self-update"
23auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24
14
25curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
15curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \
16 -H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \
26 -H "Content-Type: application/json" \
17 -H "Content-Type: application/json" \
27 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
18 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28
19
29start="$(date +%s)"
20echo "Self-update gestart: ${CI_COMMIT_SHA}"
30while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55done
scripts/self_update_test.go +25 −160
@@ -1,197 +1,62 @@
1 1 package scripts
2 2
3 3 import (
4 "context"
4 5 "net/http"
5 6 "net/http/httptest"
6 7 "os"
7 8 "os/exec"
8 9 "path/filepath"
9 10 "strings"
10 "sync"
11 11 "testing"
12 "time"
12 13 )
13 14
14 func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15 func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
15 16 if _, err := exec.LookPath("bash"); err != nil {
16 17 t.Skip("bash ontbreekt")
17 18 }
18 19 if _, err := exec.LookPath("curl"); err != nil {
19 20 t.Skip("curl ontbreekt")
20 21 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
24 22 script := filepath.Join("..", "scripts", "self-update.sh")
25 23 sha := "0123456789abcdef0123456789abcdef01234567"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27
28 t.Run("ok na running", func(t *testing.T) {
29 var posts int
30 var gets int
31 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
32 if r.URL.Path != "/api/v1/admin/self-update" {
33 http.NotFound(w, r)
34 return
35 }
36 if r.Method == http.MethodPost {
37 posts++
38 w.WriteHeader(http.StatusAccepted)
39 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
40 return
41 }
42 gets++
43 w.Header().Set("Content-Type", "application/json")
44 if gets < 3 {
45 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
46 return
47 }
48 // log bevat een andere status. Alleen het veld ervoor telt.
49 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
50 }))
51 t.Cleanup(srv.Close)
52 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
53 if err != nil {
54 t.Fatalf("wacht: %v %s", err, out)
55 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
57 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 }
59 })
60
61 t.Run("andere sha telt niet", func(t *testing.T) {
62 var gets int
63 srv := statusServer(t, func(gets int) string {
64 if gets == 1 {
65 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
66 }
67 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
68 }, &gets)
69 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
70 if err != nil {
71 t.Fatalf("wacht: %v %s", err, out)
72 }
73 if gets < 2 {
74 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
75 }
76 })
77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
101 t.Run("failed faalt meteen", func(t *testing.T) {
102 srv := statusServer(t, func(int) string {
103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
104 }, nil)
105 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
106 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
107 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
108 }
109 })
110
111 t.Run("timeout", func(t *testing.T) {
112 srv := statusServer(t, func(int) string {
113 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
114 }, nil)
115 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
116 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
117 t.Fatalf("timeout: %v %s", err, out)
118 }
119 })
120
121 t.Run("korte storing tijdens herstart", func(t *testing.T) {
122 var gets int
123 var mu sync.Mutex
124 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
125 if r.Method == http.MethodPost {
126 w.WriteHeader(http.StatusAccepted)
127 _, _ = w.Write([]byte(`{"status":"accepted"}`))
128 return
129 }
130 mu.Lock()
131 gets++
132 n := gets
133 mu.Unlock()
134 if n == 1 {
135 hj, ok := w.(http.Hijacker)
136 if !ok {
137 http.Error(w, "down", http.StatusBadGateway)
138 return
139 }
140 conn, _, err := hj.Hijack()
141 if err != nil {
142 return
143 }
144 _ = conn.Close()
145 return
146 }
147 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
148 }))
149 t.Cleanup(srv.Close)
150 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
151 if err != nil {
152 t.Fatalf("na herstart: %v %s", err, out)
153 }
154 })
155 }
156
157 func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 t.Helper()
159 var n int
160 var mu sync.Mutex
24 var posts, gets int
161 25 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
162 26 if r.URL.Path != "/api/v1/admin/self-update" {
163 27 http.NotFound(w, r)
164 28 return
165 29 }
166 30 if r.Method == http.MethodPost {
31 posts++
167 32 w.WriteHeader(http.StatusAccepted)
168 _, _ = w.Write([]byte(`{"status":"accepted"}`))
33 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
169 34 return
170 35 }
171 mu.Lock()
172 n++
173 cur := n
174 if gets != nil {
175 *gets = n
176 }
177 mu.Unlock()
178 w.Header().Set("Content-Type", "application/json")
179 _, _ = w.Write([]byte(body(cur)))
36 gets++
37 select {}
180 38 }))
181 39 t.Cleanup(srv.Close)
182 return srv
183 }
184
185 func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
186 t.Helper()
187 cmd := exec.Command("bash", script)
40 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
41 t.Cleanup(cancel)
42 cmd := exec.CommandContext(ctx, "bash", script)
188 43 cmd.Env = append(os.Environ(),
189 "CI_API_URL="+base+"/api/v1",
44 "CI_API_URL="+srv.URL+"/api/v1",
190 45 "BLUEGIT_UPDATE_TOKEN=test-token",
191 46 "CI_COMMIT_SHA="+sha,
192 "SELF_UPDATE_TIMEOUT="+timeout,
193 "SELF_UPDATE_INTERVAL="+interval,
194 47 )
195 48 out, err := cmd.CombinedOutput()
196 return string(out), err
49 if err != nil {
50 t.Fatalf("post: %v %s", err, out)
51 }
52 if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {
53 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
54 }
55 raw, err := os.ReadFile(script)
56 if err != nil {
57 t.Fatal(err)
58 }
59 if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {
60 t.Fatal("self-update.sh polt nog")
61 }
197 62 }
@@ -1,197 +1,62 @@
1package scripts
1package scripts
2
2
3import (
3import (
4 "context"
4 "net/http"
5 "net/http"
5 "net/http/httptest"
6 "net/http/httptest"
6 "os"
7 "os"
7 "os/exec"
8 "os/exec"
8 "path/filepath"
9 "path/filepath"
9 "strings"
10 "strings"
10 "sync"
11 "testing"
11 "testing"
12 "time"
12)
13)
13
14
14func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
15 if _, err := exec.LookPath("bash"); err != nil {
16 if _, err := exec.LookPath("bash"); err != nil {
16 t.Skip("bash ontbreekt")
17 t.Skip("bash ontbreekt")
17 }
18 }
18 if _, err := exec.LookPath("curl"); err != nil {
19 if _, err := exec.LookPath("curl"); err != nil {
19 t.Skip("curl ontbreekt")
20 t.Skip("curl ontbreekt")
20 }
21 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
24 script := filepath.Join("..", "scripts", "self-update.sh")
22 script := filepath.Join("..", "scripts", "self-update.sh")
25 sha := "0123456789abcdef0123456789abcdef01234567"
23 sha := "0123456789abcdef0123456789abcdef01234567"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
24 var posts, gets int
27
28 t.Run("ok na running", func(t *testing.T) {
29 var posts int
30 var gets int
31 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
32 if r.URL.Path != "/api/v1/admin/self-update" {
33 http.NotFound(w, r)
34 return
35 }
36 if r.Method == http.MethodPost {
37 posts++
38 w.WriteHeader(http.StatusAccepted)
39 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
40 return
41 }
42 gets++
43 w.Header().Set("Content-Type", "application/json")
44 if gets < 3 {
45 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
46 return
47 }
48 // log bevat een andere status. Alleen het veld ervoor telt.
49 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
50 }))
51 t.Cleanup(srv.Close)
52 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
53 if err != nil {
54 t.Fatalf("wacht: %v %s", err, out)
55 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
57 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 }
59 })
60
61 t.Run("andere sha telt niet", func(t *testing.T) {
62 var gets int
63 srv := statusServer(t, func(gets int) string {
64 if gets == 1 {
65 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
66 }
67 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
68 }, &gets)
69 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
70 if err != nil {
71 t.Fatalf("wacht: %v %s", err, out)
72 }
73 if gets < 2 {
74 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
75 }
76 })
77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
101 t.Run("failed faalt meteen", func(t *testing.T) {
102 srv := statusServer(t, func(int) string {
103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
104 }, nil)
105 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
106 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
107 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
108 }
109 })
110
111 t.Run("timeout", func(t *testing.T) {
112 srv := statusServer(t, func(int) string {
113 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
114 }, nil)
115 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
116 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
117 t.Fatalf("timeout: %v %s", err, out)
118 }
119 })
120
121 t.Run("korte storing tijdens herstart", func(t *testing.T) {
122 var gets int
123 var mu sync.Mutex
124 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
125 if r.Method == http.MethodPost {
126 w.WriteHeader(http.StatusAccepted)
127 _, _ = w.Write([]byte(`{"status":"accepted"}`))
128 return
129 }
130 mu.Lock()
131 gets++
132 n := gets
133 mu.Unlock()
134 if n == 1 {
135 hj, ok := w.(http.Hijacker)
136 if !ok {
137 http.Error(w, "down", http.StatusBadGateway)
138 return
139 }
140 conn, _, err := hj.Hijack()
141 if err != nil {
142 return
143 }
144 _ = conn.Close()
145 return
146 }
147 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
148 }))
149 t.Cleanup(srv.Close)
150 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
151 if err != nil {
152 t.Fatalf("na herstart: %v %s", err, out)
153 }
154 })
155}
156
157func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 t.Helper()
159 var n int
160 var mu sync.Mutex
161 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
25 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
162 if r.URL.Path != "/api/v1/admin/self-update" {
26 if r.URL.Path != "/api/v1/admin/self-update" {
163 http.NotFound(w, r)
27 http.NotFound(w, r)
164 return
28 return
165 }
29 }
166 if r.Method == http.MethodPost {
30 if r.Method == http.MethodPost {
31 posts++
167 w.WriteHeader(http.StatusAccepted)
32 w.WriteHeader(http.StatusAccepted)
168 _, _ = w.Write([]byte(`{"status":"accepted"}`))
33 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
169 return
34 return
170 }
35 }
171 mu.Lock()
36 gets++
172 n++
37 select {}
173 cur := n
174 if gets != nil {
175 *gets = n
176 }
177 mu.Unlock()
178 w.Header().Set("Content-Type", "application/json")
179 _, _ = w.Write([]byte(body(cur)))
180 }))
38 }))
181 t.Cleanup(srv.Close)
39 t.Cleanup(srv.Close)
182 return srv
40 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
183}
41 t.Cleanup(cancel)
184
42 cmd := exec.CommandContext(ctx, "bash", script)
185func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
186 t.Helper()
187 cmd := exec.Command("bash", script)
188 cmd.Env = append(os.Environ(),
43 cmd.Env = append(os.Environ(),
189 "CI_API_URL="+base+"/api/v1",
44 "CI_API_URL="+srv.URL+"/api/v1",
190 "BLUEGIT_UPDATE_TOKEN=test-token",
45 "BLUEGIT_UPDATE_TOKEN=test-token",
191 "CI_COMMIT_SHA="+sha,
46 "CI_COMMIT_SHA="+sha,
192 "SELF_UPDATE_TIMEOUT="+timeout,
193 "SELF_UPDATE_INTERVAL="+interval,
194 )
47 )
195 out, err := cmd.CombinedOutput()
48 out, err := cmd.CombinedOutput()
196 return string(out), err
49 if err != nil {
50 t.Fatalf("post: %v %s", err, out)
51 }
52 if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {
53 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
54 }
55 raw, err := os.ReadFile(script)
56 if err != nil {
57 t.Fatal(err)
58 }
59 if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {
60 t.Fatal("self-update.sh polt nog")
61 }
197}
62}