Merged
Release: stage naar master
timfa
wants to merge
6 commits
from
stage
into
master
Overview Commits 6 Pipelines 1 Changes 22
Brengt stage naar master.
Activity
- timfa Pipeline #149 is Passed 23 October 2026
- timfa opened this merge request 23 October 2026
- timfa merged this merge request 23 October 2026
Commits
- Merge branch 'cursor/opslag-verbruik-674d' into 'stage'
8424de2dactimfa - test: geef de tweede map in TestBlueGitUsageIsCached een bestand
529b18c76etimfa - feat: toon map- en schijfverbruik op het opslagtabblad
54b7335413timfa - Merge branch 'cursor/self-update-herstart-674d' into 'stage'
e1d7f742bctimfa - fix: publiceer de AUR vóór de self-update
dd3381a567timfa - fix: markeer dode jobs na herstart en verplaats de self-update-poll
e5b8fc7248timfa
Pipelines
- #149 Passed
Changes
@@ -64,13 +64,15 @@ jobs:
64
64
paths: [bluegit]
65
65
expire_in: 14d
66
66
67
# Na self_update. needs: [] liep tegen de binary van de vorige release.
68
# allow_failure: een AUR-storing maakt de pipeline niet rood.
67
# Vóór self_update. De archive-route staat live, dus de tarball van
68
# deze sha is te downloaden met de binary die al draait.
69
# allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70
# self_update niet tegen.
69
71
publish_aur:
70
72
stage: release
71
73
image: archlinux/archlinux:base-devel
72
74
extends: .on_master
73
needs: [self_update]
75
needs: [build]
74
76
allow_failure: true
75
77
script:
76
78
- pacman -Syu --noconfirm
@@ -79,16 +81,16 @@ jobs:
79
81
- ./scripts/aur-ssh-setup.sh
80
82
- ./scripts/publish-aur.sh
81
83
82
# Na een geslaagde build. Het script start de update en polt tot
83
# status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84
# op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
84
# Laatste job. needs: [publish_aur] geldt ook als die job met
85
# allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
86
# De updater bouwt zelf uit git; dit artifact gaat niet mee.
85
87
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
86
88
# CI_API_URL eindigt op /api/v1.
87
89
self_update:
88
90
stage: release
89
91
image: bluegit/base
90
92
extends: .on_master
91
needs: [build]
93
needs: [publish_aur]
92
94
script:
93
95
- chmod +x scripts/self-update.sh
94
96
- ./scripts/self-update.sh
@@ -64,13 +64,15 @@ jobs:64
paths: [bluegit]64
paths: [bluegit]65
expire_in: 14d65
expire_in: 14d66
66
67
# Na self_update. needs: [] liep tegen de binary van de vorige release.67
# Vóór self_update. De archive-route staat live, dus de tarball van68
# allow_failure: een AUR-storing maakt de pipeline niet rood.68
# deze sha is te downloaden met de binary die al draait.69
# allow_failure: een AUR-storing maakt de pipeline niet rood en houdt70
# self_update niet tegen.69
publish_aur:71
publish_aur:70
stage: release72
stage: release71
image: archlinux/archlinux:base-devel73
image: archlinux/archlinux:base-devel72
extends: .on_master74
extends: .on_master73
needs: [self_update]75
needs: [build]74
allow_failure: true76
allow_failure: true75
script:77
script:76
- pacman -Syu --noconfirm78
- pacman -Syu --noconfirm@@ -79,16 +81,16 @@ jobs:79
- ./scripts/aur-ssh-setup.sh81
- ./scripts/aur-ssh-setup.sh80
- ./scripts/publish-aur.sh82
- ./scripts/publish-aur.sh81
83
82
# Na een geslaagde build. Het script start de update en polt tot84
# Laatste job. needs: [publish_aur] geldt ook als die job met83
# status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht85
# allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.84
# op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.86
# De updater bouwt zelf uit git; dit artifact gaat niet mee.85
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.87
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.86
# CI_API_URL eindigt op /api/v1.88
# CI_API_URL eindigt op /api/v1.87
self_update:89
self_update:88
stage: release90
stage: release89
image: bluegit/base91
image: bluegit/base90
extends: .on_master92
extends: .on_master91
needs: [build]93
needs: [publish_aur]92
script:94
script:93
- chmod +x scripts/self-update.sh95
- chmod +x scripts/self-update.sh94
- ./scripts/self-update.sh96
- ./scripts/self-update.sh@@ -107,6 +107,13 @@ func serve(args []string) error {
107
107
if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
108
108
srv.Mail = m
109
109
}
110
abandoned, err := st.FailAbandonedJobs(ctx)
111
if err != nil {
112
return err
113
}
114
if abandoned > 0 {
115
log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)
116
}
110
117
var rn *runner.Runner
111
118
if cfg.CI.Enabled {
112
119
rn = &runner.Runner{
@@ -107,6 +107,13 @@ func serve(args []string) error {107
if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {107
if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {108
srv.Mail = m108
srv.Mail = m109
}109
}110
abandoned, err := st.FailAbandonedJobs(ctx)111
if err != nil {112
return err113
}114
if abandoned > 0 {115
log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)116
}110
var rn *runner.Runner117
var rn *runner.Runner111
if cfg.CI.Enabled {118
if cfg.CI.Enabled {112
rn = &runner.Runner{119
rn = &runner.Runner{@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55
55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56
56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58
`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
60
Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62
`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61
63
62
64
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63
65
@@ -71,9 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71
73
72
74
## Self-update
73
75
74
`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
76
`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78
Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
79
80
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
75
81
76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
82
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
77
83
78
84
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79
85
@@ -81,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81
87
82
88
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83
89
84
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85
91
86
92
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87
93
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.58
`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.60
Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.61
62
`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.61
63
62
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.64
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.63
65
@@ -71,9 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b71
73
72
## Self-update74
## Self-update73
75
74
`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.76
`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.77
78
Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.79
80
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.75
81
76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.82
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.77
83
78
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.84
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.79
85
@@ -81,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu81
87
82
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.88
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.83
89
84
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.90
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.85
91
86
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.92
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.87
93
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91
91
| Preset | Basis |
92
92
| --- | --- |
93
| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93
| `bluegit/base` | Alpine 3.20, met git, curl en bash |
94
94
| `bluegit/node` | Node.js 22 |
95
95
| `bluegit/python` | Python 3.12 |
96
96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali90
90
91
| Preset | Basis |91
| Preset | Basis |92
| --- | --- |92
| --- | --- |93
| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |93
| `bluegit/base` | Alpine 3.20, met git, curl en bash |94
| `bluegit/node` | Node.js 22 |94
| `bluegit/node` | Node.js 22 |95
| `bluegit/python` | Python 3.12 |95
| `bluegit/python` | Python 3.12 |96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |@@ -88,52 +88,66 @@ func TestBlueGitExampleFile(t *testing.T) {
88
88
t.Fatalf("master %d %v", len(active), err)
89
89
}
90
90
aur := by["publish_aur"]
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92
92
t.Fatalf("publish_aur: %+v", aur)
93
93
}
94
aurScript := strings.Join(aur.Script, "\n")
95
if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96
t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97
}
94
98
if Gate(p.Jobs, map[string]string{
95
99
"vet": "success", "test": "success", "frontend_checks": "success",
96
"build": "success", "self_update": "running",
100
"build": "running",
97
101
}, aur) != "wait" {
98
t.Fatal("publish_aur wacht tot self_update klaar is")
102
t.Fatal("publish_aur wacht op build")
99
103
}
100
104
if Gate(p.Jobs, map[string]string{
101
105
"vet": "success", "test": "success", "frontend_checks": "success",
102
"build": "success", "self_update": "success",
106
"build": "success", "self_update": "running",
103
107
}, aur) != "ready" {
104
t.Fatal("publish_aur start na self_update")
108
t.Fatal("publish_aur start na build, vóór self_update")
105
109
}
106
110
upd := by["self_update"]
107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
111
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
112
t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109
113
}
110
114
joined := strings.Join(upd.Script, "\n")
111
if !strings.Contains(joined, "scripts/self-update.sh") {
115
if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112
116
t.Fatalf("self_update: %s", joined)
113
117
}
114
script, err := os.ReadFile("../../scripts/self-update.sh")
118
post, err := os.ReadFile("../../scripts/self-update.sh")
115
119
if err != nil {
116
120
t.Fatal(err)
117
121
}
118
text := string(script)
119
for _, want := range []string{
120
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121
} {
122
if !strings.Contains(text, want) {
122
postText := string(post)
123
for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {
124
if !strings.Contains(postText, want) {
123
125
t.Fatalf("self-update.sh mist %q", want)
124
126
}
125
127
}
128
if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
129
t.Fatal("self-update.sh hoort alleen de POST te doen")
130
}
131
if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
132
t.Fatal("de poll hoort weg te zijn")
133
}
126
134
if Gate(p.Jobs, map[string]string{
127
135
"vet": "success", "test": "success", "frontend_checks": "success",
128
"build": "queued", "publish_aur": "running",
136
"build": "success", "publish_aur": "running",
129
137
}, upd) != "wait" {
130
t.Fatal("self_update wacht op build")
138
t.Fatal("self_update wacht tot publish_aur klaar is")
131
139
}
132
140
if Gate(p.Jobs, map[string]string{
133
141
"vet": "success", "test": "success", "frontend_checks": "success",
134
"build": "success", "publish_aur": "running",
142
"build": "success", "publish_aur": "success",
143
}, upd) != "ready" {
144
t.Fatal("self_update start na een geslaagde publish_aur")
145
}
146
if Gate(p.Jobs, map[string]string{
147
"vet": "success", "test": "success", "frontend_checks": "success",
148
"build": "success", "publish_aur": "failed",
135
149
}, upd) != "ready" {
136
t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150
t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
137
151
}
138
152
}
139
153
@@ -88,52 +88,66 @@ func TestBlueGitExampleFile(t *testing.T) {88
t.Fatalf("master %d %v", len(active), err)88
t.Fatalf("master %d %v", len(active), err)89
}89
}90
aur := by["publish_aur"]90
aur := by["publish_aur"]91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {92
t.Fatalf("publish_aur: %+v", aur)92
t.Fatalf("publish_aur: %+v", aur)93
}93
}94
aurScript := strings.Join(aur.Script, "\n")95
if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {96
t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)97
}94
if Gate(p.Jobs, map[string]string{98
if Gate(p.Jobs, map[string]string{95
"vet": "success", "test": "success", "frontend_checks": "success",99
"vet": "success", "test": "success", "frontend_checks": "success",96
"build": "success", "self_update": "running",100
"build": "running",97
}, aur) != "wait" {101
}, aur) != "wait" {98
t.Fatal("publish_aur wacht tot self_update klaar is")102
t.Fatal("publish_aur wacht op build")99
}103
}100
if Gate(p.Jobs, map[string]string{104
if Gate(p.Jobs, map[string]string{101
"vet": "success", "test": "success", "frontend_checks": "success",105
"vet": "success", "test": "success", "frontend_checks": "success",102
"build": "success", "self_update": "success",106
"build": "success", "self_update": "running",103
}, aur) != "ready" {107
}, aur) != "ready" {104
t.Fatal("publish_aur start na self_update")108
t.Fatal("publish_aur start na build, vóór self_update")105
}109
}106
upd := by["self_update"]110
upd := by["self_update"]107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {111
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)112
t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)109
}113
}110
joined := strings.Join(upd.Script, "\n")114
joined := strings.Join(upd.Script, "\n")111
if !strings.Contains(joined, "scripts/self-update.sh") {115
if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {112
t.Fatalf("self_update: %s", joined)116
t.Fatalf("self_update: %s", joined)113
}117
}114
script, err := os.ReadFile("../../scripts/self-update.sh")118
post, err := os.ReadFile("../../scripts/self-update.sh")115
if err != nil {119
if err != nil {116
t.Fatal(err)120
t.Fatal(err)117
}121
}118
text := string(script)122
postText := string(post)119
for _, want := range []string{123
for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {120
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",124
if !strings.Contains(postText, want) {121
} {122
if !strings.Contains(text, want) {123
t.Fatalf("self-update.sh mist %q", want)125
t.Fatalf("self-update.sh mist %q", want)124
}126
}125
}127
}128
if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {129
t.Fatal("self-update.sh hoort alleen de POST te doen")130
}131
if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {132
t.Fatal("de poll hoort weg te zijn")133
}126
if Gate(p.Jobs, map[string]string{134
if Gate(p.Jobs, map[string]string{127
"vet": "success", "test": "success", "frontend_checks": "success",135
"vet": "success", "test": "success", "frontend_checks": "success",128
"build": "queued", "publish_aur": "running",136
"build": "success", "publish_aur": "running",129
}, upd) != "wait" {137
}, upd) != "wait" {130
t.Fatal("self_update wacht op build")138
t.Fatal("self_update wacht tot publish_aur klaar is")131
}139
}132
if Gate(p.Jobs, map[string]string{140
if Gate(p.Jobs, map[string]string{133
"vet": "success", "test": "success", "frontend_checks": "success",141
"vet": "success", "test": "success", "frontend_checks": "success",134
"build": "success", "publish_aur": "running",142
"build": "success", "publish_aur": "success",143
}, upd) != "ready" {144
t.Fatal("self_update start na een geslaagde publish_aur")145
}146
if Gate(p.Jobs, map[string]string{147
"vet": "success", "test": "success", "frontend_checks": "success",148
"build": "success", "publish_aur": "failed",135
}, upd) != "ready" {149
}, upd) != "ready" {136
t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")150
t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")137
}151
}138
}152
}139
153
@@ -0,0 +1,36 @@
1
package i18n
2
3
func init() {
4
addCatalog(en, storageEN)
5
addCatalog(nl, storageNL)
6
addCatalog(de, storageDE)
7
addCatalog(fr, storageFR)
8
}
9
10
var storageEN = map[string]string{
11
"setup.usedDir": "BlueGit uses %s in this directory.",
12
"setup.usedDirPartial": "Count stopped early; the directory is larger.",
13
"setup.diskStat": "Disk: %s total, %s used, %s free.",
14
"setup.diskMeter": "Disk usage",
15
}
16
17
var storageNL = map[string]string{
18
"setup.usedDir": "BlueGit gebruikt %s in deze map.",
19
"setup.usedDirPartial": "De telling stopte voortijdig; de map is groter.",
20
"setup.diskStat": "Schijf: %s totaal, %s gebruikt, %s vrij.",
21
"setup.diskMeter": "Schijfbezetting",
22
}
23
24
var storageDE = map[string]string{
25
"setup.usedDir": "BlueGit belegt %s in diesem Verzeichnis.",
26
"setup.usedDirPartial": "Die Zählung endete vorzeitig; das Verzeichnis ist größer.",
27
"setup.diskStat": "Datenträger: %s gesamt, %s belegt, %s frei.",
28
"setup.diskMeter": "Belegung",
29
}
30
31
var storageFR = map[string]string{
32
"setup.usedDir": "BlueGit occupe %s dans ce dossier.",
33
"setup.usedDirPartial": "Le calcul s’est arrêté trop tôt ; le dossier est plus grand.",
34
"setup.diskStat": "Disque : %s au total, %s utilisés, %s libres.",
35
"setup.diskMeter": "Occupation du disque",
36
}
@@ -0,0 +1,36 @@1
package i18n2
3
func init() {4
addCatalog(en, storageEN)5
addCatalog(nl, storageNL)6
addCatalog(de, storageDE)7
addCatalog(fr, storageFR)8
}9
10
var storageEN = map[string]string{11
"setup.usedDir": "BlueGit uses %s in this directory.",12
"setup.usedDirPartial": "Count stopped early; the directory is larger.",13
"setup.diskStat": "Disk: %s total, %s used, %s free.",14
"setup.diskMeter": "Disk usage",15
}16
17
var storageNL = map[string]string{18
"setup.usedDir": "BlueGit gebruikt %s in deze map.",19
"setup.usedDirPartial": "De telling stopte voortijdig; de map is groter.",20
"setup.diskStat": "Schijf: %s totaal, %s gebruikt, %s vrij.",21
"setup.diskMeter": "Schijfbezetting",22
}23
24
var storageDE = map[string]string{25
"setup.usedDir": "BlueGit belegt %s in diesem Verzeichnis.",26
"setup.usedDirPartial": "Die Zählung endete vorzeitig; das Verzeichnis ist größer.",27
"setup.diskStat": "Datenträger: %s gesamt, %s belegt, %s frei.",28
"setup.diskMeter": "Belegung",29
}30
31
var storageFR = map[string]string{32
"setup.usedDir": "BlueGit occupe %s dans ce dossier.",33
"setup.usedDirPartial": "Le calcul s’est arrêté trop tôt ; le dossier est plus grand.",34
"setup.diskStat": "Disque : %s au total, %s utilisés, %s libres.",35
"setup.diskMeter": "Occupation du disque",36
}@@ -1,3 +1,3 @@
1
1
# runtime: Alpine 3.20
2
2
FROM alpine:3.20
3
RUN apk add --no-cache bash ca-certificates curl git jq
3
RUN apk add --no-cache bash ca-certificates curl git
@@ -1,3 +1,3 @@1
# runtime: Alpine 3.201
# runtime: Alpine 3.202
FROM alpine:3.202
FROM alpine:3.203
RUN apk add --no-cache bash ca-certificates curl git jq3
RUN apk add --no-cache bash ca-certificates curl git@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3
3
# git-daemon levert git-http-backend. Zonder die binary spreekt een
4
4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5
5
# git-remote-http hoort bij git zelf en is de client voor die push.
6
RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6
RUN apk add --no-cache bash ca-certificates curl git git-daemon
7
7
RUN test -x "$(git --exec-path)/git-http-backend" \
8
8
&& test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine3
# git-daemon levert git-http-backend. Zonder die binary spreekt een3
# git-daemon levert git-http-backend. Zonder die binary spreekt een4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).5
# git-remote-http hoort bij git zelf en is de client voor die push.5
# git-remote-http hoort bij git zelf en is de client voor die push.6
RUN apk add --no-cache bash ca-certificates curl git git-daemon jq6
RUN apk add --no-cache bash ca-certificates curl git git-daemon7
RUN test -x "$(git --exec-path)/git-http-backend" \7
RUN test -x "$(git --exec-path)/git-http-backend" \8
&& test -e "$(git --exec-path)/git-remote-http"8
&& test -e "$(git --exec-path)/git-remote-http"@@ -58,6 +58,8 @@ type Server struct {
58
58
storageMu sync.RWMutex
59
59
storage string
60
60
storageSet bool
61
usageMu sync.Mutex
62
usage dirUsage
61
63
cards *card.Cache
62
64
// mergingMR zijn merge requests die opMergeMR nu zelf afrondt.
63
65
// AfterPush mag hun bronbranch niet alvast verwijderen.
@@ -518,139 +520,143 @@ func randomState() (string, error) {
518
520
519
521
// View is de gegevensset voor elk scherm.
520
522
type View struct {
521
Title string
522
BaseURL string
523
RunnerName string
524
User *store.User
525
CSRF string
526
Notice string
527
Err string
528
Repos []store.Repo
529
Groups []store.Group
530
Repo *store.Repo
531
Role access.Role
532
CanWrite bool
533
CanAdmin bool
534
CanMerge bool
535
CanForce bool
536
CanComment bool
537
CanApply bool
538
Commits []CommitRow
539
CommitDays []CommitDay
540
CommitPrev string
541
CommitNext string
542
Commit *CommitRow
543
CommitDiff *CommitDiff
544
Entries []EntryRow
545
TreePath string
546
Blob string
547
BlobPath string
548
Binary bool
549
Branches []BranchRow
550
Branch *BranchBoard
551
MRs []store.MergeRequest
552
Flow *FlowBoard
553
MR *store.MergeRequest
554
Banner *MRBanner
555
MRPipe *PipeRow
556
MergeBlocks []string
557
Approval *ApprovalView
558
Reviews []ReviewRow
559
CanReview bool
560
CanApprove bool
561
CanDismiss bool
562
CanClose bool
563
CanReopen bool
564
IsOwner bool
565
Candidates []store.Member
566
Diff string
567
DiffFiles []DiffFileView
568
Pipes []store.Pipeline
569
PipeRows []PipeRow
570
Pipe *store.Pipeline
571
PipeSource string
572
PipeStatus string
573
PipeLabel string
574
PipeJobs []JobLink
575
PipeStages []StageView
576
PipeFailed bool
577
Live bool
578
LiveURL string
579
Jobs []store.Job
580
JobPage *JobPage
581
Editor *CIEditor
582
Releases []store.Release
583
Members []store.Member
584
Secrets []store.SecretMeta
585
HookSecrets []SecretChoice
586
Hooks []HookView
587
HookEdit HookDraft
588
Patterns []string
589
TagPatterns []string
590
Tags []TagRow
591
Tokens []store.TokenInfo
592
ShowExpiry bool
593
Keys []store.SSHKey
594
CloneHTTP string
595
CloneSSH string
596
Group *store.Group
597
Tab string
598
Rev string
599
NewToken string
600
StorageUnset bool
601
StoragePath string
602
StorageFree string
603
StorageTotal string
604
MinFree string
605
Wide bool
606
Info bool
607
ShowUpdate bool
608
Update *UpdateView
609
HookDoc string
610
Spec cispec.Doc
611
SpecJSON template.JS
612
APIJSON template.JS
613
Page string
614
Lang string
615
HTMLLang string
616
Cunei bool
617
Langs []LangChoice
618
Query string
619
SortDir string
620
FlipDir string
621
Cards []RepoCard
622
Head *CommitRow
623
Files []FileRow
624
Tree []FileRow
625
Readme template.HTML
626
ReadmeName string
627
LicensePath string
628
NCommits int
629
NBranches int
630
NTags int
631
NReleases int
632
Created string
633
Lines []CodeLine
634
BlobSize string
635
FileName string
636
RevProtected bool
637
Heat *activity.Calendar
638
Notes []NoteRow
639
Profile *store.User
640
Card *ProfileCard
641
DescHTML template.HTML
642
Timeline []TimelineItem
643
CompareFrom string
644
CompareTo string
645
FormTitle string
646
Labels []string
647
CanEditMR bool
648
Issues *IssueBoard
649
IssueDoc string
650
DescTpls []string
651
TplPick string
652
FormBody string
653
Social *card.Meta
523
Title string
524
BaseURL string
525
RunnerName string
526
User *store.User
527
CSRF string
528
Notice string
529
Err string
530
Repos []store.Repo
531
Groups []store.Group
532
Repo *store.Repo
533
Role access.Role
534
CanWrite bool
535
CanAdmin bool
536
CanMerge bool
537
CanForce bool
538
CanComment bool
539
CanApply bool
540
Commits []CommitRow
541
CommitDays []CommitDay
542
CommitPrev string
543
CommitNext string
544
Commit *CommitRow
545
CommitDiff *CommitDiff
546
Entries []EntryRow
547
TreePath string
548
Blob string
549
BlobPath string
550
Binary bool
551
Branches []BranchRow
552
Branch *BranchBoard
553
MRs []store.MergeRequest
554
Flow *FlowBoard
555
MR *store.MergeRequest
556
Banner *MRBanner
557
MRPipe *PipeRow
558
MergeBlocks []string
559
Approval *ApprovalView
560
Reviews []ReviewRow
561
CanReview bool
562
CanApprove bool
563
CanDismiss bool
564
CanClose bool
565
CanReopen bool
566
IsOwner bool
567
Candidates []store.Member
568
Diff string
569
DiffFiles []DiffFileView
570
Pipes []store.Pipeline
571
PipeRows []PipeRow
572
Pipe *store.Pipeline
573
PipeSource string
574
PipeStatus string
575
PipeLabel string
576
PipeJobs []JobLink
577
PipeStages []StageView
578
PipeFailed bool
579
Live bool
580
LiveURL string
581
Jobs []store.Job
582
JobPage *JobPage
583
Editor *CIEditor
584
Releases []store.Release
585
Members []store.Member
586
Secrets []store.SecretMeta
587
HookSecrets []SecretChoice
588
Hooks []HookView
589
HookEdit HookDraft
590
Patterns []string
591
TagPatterns []string
592
Tags []TagRow
593
Tokens []store.TokenInfo
594
ShowExpiry bool
595
Keys []store.SSHKey
596
CloneHTTP string
597
CloneSSH string
598
Group *store.Group
599
Tab string
600
Rev string
601
NewToken string
602
StorageUnset bool
603
StoragePath string
604
StorageFree string
605
StorageUsed string
606
StorageTotal string
607
StoragePercent int
608
StorageBlueGit string
609
StoragePartial bool
610
MinFree string
611
Wide bool
612
Info bool
613
ShowUpdate bool
614
Update *UpdateView
615
HookDoc string
616
Spec cispec.Doc
617
SpecJSON template.JS
618
APIJSON template.JS
619
Page string
620
Lang string
621
HTMLLang string
622
Cunei bool
623
Langs []LangChoice
624
Query string
625
SortDir string
626
FlipDir string
627
Cards []RepoCard
628
Head *CommitRow
629
Files []FileRow
630
Tree []FileRow
631
Readme template.HTML
632
ReadmeName string
633
LicensePath string
634
NCommits int
635
NBranches int
636
NTags int
637
NReleases int
638
Created string
639
Lines []CodeLine
640
BlobSize string
641
FileName string
642
RevProtected bool
643
Heat *activity.Calendar
644
Notes []NoteRow
645
Profile *store.User
646
Card *ProfileCard
647
DescHTML template.HTML
648
Timeline []TimelineItem
649
CompareFrom string
650
CompareTo string
651
FormTitle string
652
Labels []string
653
CanEditMR bool
654
Issues *IssueBoard
655
IssueDoc string
656
DescTpls []string
657
TplPick string
658
FormBody string
659
Social *card.Meta
654
660
}
655
661
656
662
// LangChoice is één taal in de instellingen.
@@ -58,6 +58,8 @@ type Server struct {58
storageMu sync.RWMutex58
storageMu sync.RWMutex59
storage string59
storage string60
storageSet bool60
storageSet bool61
usageMu sync.Mutex62
usage dirUsage61
cards *card.Cache63
cards *card.Cache62
// mergingMR zijn merge requests die opMergeMR nu zelf afrondt.64
// mergingMR zijn merge requests die opMergeMR nu zelf afrondt.63
// AfterPush mag hun bronbranch niet alvast verwijderen.65
// AfterPush mag hun bronbranch niet alvast verwijderen.@@ -518,139 +520,143 @@ func randomState() (string, error) {518
520
519
// View is de gegevensset voor elk scherm.521
// View is de gegevensset voor elk scherm.520
type View struct {522
type View struct {521
Title string523
Title string522
BaseURL string524
BaseURL string523
RunnerName string525
RunnerName string524
User *store.User526
User *store.User525
CSRF string527
CSRF string526
Notice string528
Notice string527
Err string529
Err string528
Repos []store.Repo530
Repos []store.Repo529
Groups []store.Group531
Groups []store.Group530
Repo *store.Repo532
Repo *store.Repo531
Role access.Role533
Role access.Role532
CanWrite bool534
CanWrite bool533
CanAdmin bool535
CanAdmin bool534
CanMerge bool536
CanMerge bool535
CanForce bool537
CanForce bool536
CanComment bool538
CanComment bool537
CanApply bool539
CanApply bool538
Commits []CommitRow540
Commits []CommitRow539
CommitDays []CommitDay541
CommitDays []CommitDay540
CommitPrev string542
CommitPrev string541
CommitNext string543
CommitNext string542
Commit *CommitRow544
Commit *CommitRow543
CommitDiff *CommitDiff545
CommitDiff *CommitDiff544
Entries []EntryRow546
Entries []EntryRow545
TreePath string547
TreePath string546
Blob string548
Blob string547
BlobPath string549
BlobPath string548
Binary bool550
Binary bool549
Branches []BranchRow551
Branches []BranchRow550
Branch *BranchBoard552
Branch *BranchBoard551
MRs []store.MergeRequest553
MRs []store.MergeRequest552
Flow *FlowBoard554
Flow *FlowBoard553
MR *store.MergeRequest555
MR *store.MergeRequest554
Banner *MRBanner556
Banner *MRBanner555
MRPipe *PipeRow557
MRPipe *PipeRow556
MergeBlocks []string558
MergeBlocks []string557
Approval *ApprovalView559
Approval *ApprovalView558
Reviews []ReviewRow560
Reviews []ReviewRow559
CanReview bool561
CanReview bool560
CanApprove bool562
CanApprove bool561
CanDismiss bool563
CanDismiss bool562
CanClose bool564
CanClose bool563
CanReopen bool565
CanReopen bool564
IsOwner bool566
IsOwner bool565
Candidates []store.Member567
Candidates []store.Member566
Diff string568
Diff string567
DiffFiles []DiffFileView569
DiffFiles []DiffFileView568
Pipes []store.Pipeline570
Pipes []store.Pipeline569
PipeRows []PipeRow571
PipeRows []PipeRow570
Pipe *store.Pipeline572
Pipe *store.Pipeline571
PipeSource string573
PipeSource string572
PipeStatus string574
PipeStatus string573
PipeLabel string575
PipeLabel string574
PipeJobs []JobLink576
PipeJobs []JobLink575
PipeStages []StageView577
PipeStages []StageView576
PipeFailed bool578
PipeFailed bool577
Live bool579
Live bool578
LiveURL string580
LiveURL string579
Jobs []store.Job581
Jobs []store.Job580
JobPage *JobPage582
JobPage *JobPage581
Editor *CIEditor583
Editor *CIEditor582
Releases []store.Release584
Releases []store.Release583
Members []store.Member585
Members []store.Member584
Secrets []store.SecretMeta586
Secrets []store.SecretMeta585
HookSecrets []SecretChoice587
HookSecrets []SecretChoice586
Hooks []HookView588
Hooks []HookView587
HookEdit HookDraft589
HookEdit HookDraft588
Patterns []string590
Patterns []string589
TagPatterns []string591
TagPatterns []string590
Tags []TagRow592
Tags []TagRow591
Tokens []store.TokenInfo593
Tokens []store.TokenInfo592
ShowExpiry bool594
ShowExpiry bool593
Keys []store.SSHKey595
Keys []store.SSHKey594
CloneHTTP string596
CloneHTTP string595
CloneSSH string597
CloneSSH string596
Group *store.Group598
Group *store.Group597
Tab string599
Tab string598
Rev string600
Rev string599
NewToken string601
NewToken string600
StorageUnset bool602
StorageUnset bool601
StoragePath string603
StoragePath string602
StorageFree string604
StorageFree string603
StorageTotal string605
StorageUsed string604
MinFree string606
StorageTotal string605
Wide bool607
StoragePercent int606
Info bool608
StorageBlueGit string607
ShowUpdate bool609
StoragePartial bool608
Update *UpdateView610
MinFree string609
HookDoc string611
Wide bool610
Spec cispec.Doc612
Info bool611
SpecJSON template.JS613
ShowUpdate bool612
APIJSON template.JS614
Update *UpdateView613
Page string615
HookDoc string614
Lang string616
Spec cispec.Doc615
HTMLLang string617
SpecJSON template.JS616
Cunei bool618
APIJSON template.JS617
Langs []LangChoice619
Page string618
Query string620
Lang string619
SortDir string621
HTMLLang string620
FlipDir string622
Cunei bool621
Cards []RepoCard623
Langs []LangChoice622
Head *CommitRow624
Query string623
Files []FileRow625
SortDir string624
Tree []FileRow626
FlipDir string625
Readme template.HTML627
Cards []RepoCard626
ReadmeName string628
Head *CommitRow627
LicensePath string629
Files []FileRow628
NCommits int630
Tree []FileRow629
NBranches int631
Readme template.HTML630
NTags int632
ReadmeName string631
NReleases int633
LicensePath string632
Created string634
NCommits int633
Lines []CodeLine635
NBranches int634
BlobSize string636
NTags int635
FileName string637
NReleases int636
RevProtected bool638
Created string637
Heat *activity.Calendar639
Lines []CodeLine638
Notes []NoteRow640
BlobSize string639
Profile *store.User641
FileName string640
Card *ProfileCard642
RevProtected bool641
DescHTML template.HTML643
Heat *activity.Calendar642
Timeline []TimelineItem644
Notes []NoteRow643
CompareFrom string645
Profile *store.User644
CompareTo string646
Card *ProfileCard645
FormTitle string647
DescHTML template.HTML646
Labels []string648
Timeline []TimelineItem647
CanEditMR bool649
CompareFrom string648
Issues *IssueBoard650
CompareTo string649
IssueDoc string651
FormTitle string650
DescTpls []string652
Labels []string651
TplPick string653
CanEditMR bool652
FormBody string654
Issues *IssueBoard653
Social *card.Meta655
IssueDoc string656
DescTpls []string657
TplPick string658
FormBody string659
Social *card.Meta654
}660
}655
661
656
// LangChoice is één taal in de instellingen.662
// LangChoice is één taal in de instellingen.@@ -11,12 +11,14 @@ import (
11
11
"os"
12
12
"os/exec"
13
13
"path/filepath"
14
"strconv"
14
15
"strings"
15
16
"testing"
16
17
"time"
17
18
18
19
"gitlab.com/Timfa/bluegit/internal/auth"
19
20
"gitlab.com/Timfa/bluegit/internal/config"
21
"gitlab.com/Timfa/bluegit/internal/state"
20
22
"gitlab.com/Timfa/bluegit/internal/store"
21
23
)
22
24
@@ -268,8 +270,30 @@ func TestSetupChoosesStorage(t *testing.T) {
268
270
t.Fatal(err)
269
271
}
270
272
page = read(t, res)
271
if !strings.Contains(page, "does not move") || !strings.Contains(page, "Free space") {
272
t.Fatalf("wijzigen:\n%s", page)
273
info, err := state.Inspect(storage)
274
if err != nil {
275
t.Fatal(err)
276
}
277
n, err := state.DirSize(context.Background(), storage)
278
if err != nil {
279
t.Fatal(err)
280
}
281
pct := state.Percent(info.Used(), info.Total)
282
for _, want := range []string{
283
"does not move",
284
"BlueGit uses " + state.Format(n),
285
"Disk: " + state.Format(info.Total),
286
state.Format(info.Used()) + " used",
287
state.Format(info.Free) + " free.",
288
`<svg class="diskbar-svg"`,
289
`class="fill" width="` + strconv.Itoa(pct) + `"`,
290
} {
291
if !strings.Contains(page, want) {
292
t.Fatalf("mist %q\n%s", want, page)
293
}
294
}
295
if strings.Contains(page, "Count stopped early") {
296
t.Fatal("kleine map hoort volledig geteld")
273
297
}
274
298
res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")
275
299
if err != nil {
@@ -11,12 +11,14 @@ import (11
"os"11
"os"12
"os/exec"12
"os/exec"13
"path/filepath"13
"path/filepath"14
"strconv"14
"strings"15
"strings"15
"testing"16
"testing"16
"time"17
"time"17
18
18
"gitlab.com/Timfa/bluegit/internal/auth"19
"gitlab.com/Timfa/bluegit/internal/auth"19
"gitlab.com/Timfa/bluegit/internal/config"20
"gitlab.com/Timfa/bluegit/internal/config"21
"gitlab.com/Timfa/bluegit/internal/state"20
"gitlab.com/Timfa/bluegit/internal/store"22
"gitlab.com/Timfa/bluegit/internal/store"21
)23
)22
24
@@ -268,8 +270,30 @@ func TestSetupChoosesStorage(t *testing.T) {268
t.Fatal(err)270
t.Fatal(err)269
}271
}270
page = read(t, res)272
page = read(t, res)271
if !strings.Contains(page, "does not move") || !strings.Contains(page, "Free space") {273
info, err := state.Inspect(storage)272
t.Fatalf("wijzigen:\n%s", page)274
if err != nil {275
t.Fatal(err)276
}277
n, err := state.DirSize(context.Background(), storage)278
if err != nil {279
t.Fatal(err)280
}281
pct := state.Percent(info.Used(), info.Total)282
for _, want := range []string{283
"does not move",284
"BlueGit uses " + state.Format(n),285
"Disk: " + state.Format(info.Total),286
state.Format(info.Used()) + " used",287
state.Format(info.Free) + " free.",288
`<svg class="diskbar-svg"`,289
`class="fill" width="` + strconv.Itoa(pct) + `"`,290
} {291
if !strings.Contains(page, want) {292
t.Fatalf("mist %q\n%s", want, page)293
}294
}295
if strings.Contains(page, "Count stopped early") {296
t.Fatal("kleine map hoort volledig geteld")273
}297
}274
res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")298
res, err = http.Get(ts.URL + "/tim/demo.git/info/refs?service=git-upload-pack")275
if err != nil {299
if err != nil {@@ -2,14 +2,53 @@ package server
2
2
3
3
import (
4
4
"context"
5
"errors"
5
6
"net/http"
6
7
"os"
7
8
"strings"
9
"time"
8
10
9
11
"gitlab.com/Timfa/bluegit/internal/gitrepo"
10
12
"gitlab.com/Timfa/bluegit/internal/state"
11
13
)
12
14
15
// dirUsage is de laatst getelde grootte van de gekozen map.
16
type dirUsage struct {
17
path string
18
n uint64
19
partial bool
20
at time.Time
21
}
22
23
const (
24
usageTTL = time.Minute
25
usageBudget = 2 * time.Second
26
)
27
28
// bluegitUsage telt de map, met een cache en een tijdslimiet.
29
// Een grote repository houdt de pagina zo hooguit usageBudget tegen.
30
// partial betekent dat de telling voortijdig stopte.
31
func (s *Server) bluegitUsage(path string) (uint64, bool, bool) {
32
s.usageMu.Lock()
33
cached := s.usage
34
fresh := cached.path == path && !cached.at.IsZero() && time.Since(cached.at) < usageTTL
35
s.usageMu.Unlock()
36
if fresh {
37
return cached.n, cached.partial, true
38
}
39
ctx, cancel := context.WithTimeout(context.Background(), usageBudget)
40
defer cancel()
41
n, err := state.DirSize(ctx, path)
42
partial := errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled)
43
if err != nil && !partial {
44
return 0, false, false
45
}
46
s.usageMu.Lock()
47
s.usage = dirUsage{path: path, n: n, partial: partial, at: time.Now()}
48
s.usageMu.Unlock()
49
return n, partial, true
50
}
51
13
52
func (s *Server) noStorageText(r *http.Request) string {
14
53
return s.tr(r, "err.noStorage") + "\n"
15
54
}
@@ -136,7 +175,13 @@ func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, pr
136
175
info, err := state.Inspect(v.StoragePath)
137
176
if info.Total > 0 {
138
177
v.StorageFree = state.Format(info.Free)
178
v.StorageUsed = state.Format(info.Used())
139
179
v.StorageTotal = state.Format(info.Total)
180
v.StoragePercent = state.Percent(info.Used(), info.Total)
181
if n, partial, ok := s.bluegitUsage(info.Path); ok {
182
v.StorageBlueGit = state.Format(n)
183
v.StoragePartial = partial
184
}
140
185
}
141
186
if err != nil && v.Err == "" {
142
187
v.Err = s.trErr(r, err)
@@ -2,14 +2,53 @@ package server2
2
3
import (3
import (4
"context"4
"context"5
"errors"5
"net/http"6
"net/http"6
"os"7
"os"7
"strings"8
"strings"9
"time"8
10
9
"gitlab.com/Timfa/bluegit/internal/gitrepo"11
"gitlab.com/Timfa/bluegit/internal/gitrepo"10
"gitlab.com/Timfa/bluegit/internal/state"12
"gitlab.com/Timfa/bluegit/internal/state"11
)13
)12
14
15
// dirUsage is de laatst getelde grootte van de gekozen map.16
type dirUsage struct {17
path string18
n uint6419
partial bool20
at time.Time21
}22
23
const (24
usageTTL = time.Minute25
usageBudget = 2 * time.Second26
)27
28
// bluegitUsage telt de map, met een cache en een tijdslimiet.29
// Een grote repository houdt de pagina zo hooguit usageBudget tegen.30
// partial betekent dat de telling voortijdig stopte.31
func (s *Server) bluegitUsage(path string) (uint64, bool, bool) {32
s.usageMu.Lock()33
cached := s.usage34
fresh := cached.path == path && !cached.at.IsZero() && time.Since(cached.at) < usageTTL35
s.usageMu.Unlock()36
if fresh {37
return cached.n, cached.partial, true38
}39
ctx, cancel := context.WithTimeout(context.Background(), usageBudget)40
defer cancel()41
n, err := state.DirSize(ctx, path)42
partial := errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled)43
if err != nil && !partial {44
return 0, false, false45
}46
s.usageMu.Lock()47
s.usage = dirUsage{path: path, n: n, partial: partial, at: time.Now()}48
s.usageMu.Unlock()49
return n, partial, true50
}51
13
func (s *Server) noStorageText(r *http.Request) string {52
func (s *Server) noStorageText(r *http.Request) string {14
return s.tr(r, "err.noStorage") + "\n"53
return s.tr(r, "err.noStorage") + "\n"15
}54
}@@ -136,7 +175,13 @@ func (s *Server) renderSetup(w http.ResponseWriter, r *http.Request, problem, pr136
info, err := state.Inspect(v.StoragePath)175
info, err := state.Inspect(v.StoragePath)137
if info.Total > 0 {176
if info.Total > 0 {138
v.StorageFree = state.Format(info.Free)177
v.StorageFree = state.Format(info.Free)178
v.StorageUsed = state.Format(info.Used())139
v.StorageTotal = state.Format(info.Total)179
v.StorageTotal = state.Format(info.Total)180
v.StoragePercent = state.Percent(info.Used(), info.Total)181
if n, partial, ok := s.bluegitUsage(info.Path); ok {182
v.StorageBlueGit = state.Format(n)183
v.StoragePartial = partial184
}140
}185
}141
if err != nil && v.Err == "" {186
if err != nil && v.Err == "" {142
v.Err = s.trErr(r, err)187
v.Err = s.trErr(r, err)@@ -1288,6 +1288,13 @@ a.flowpipe.passed .mark::after { left: 4px; top: 2px; width: 3px; height: 6px; }
1288
1288
.mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }
1289
1289
.mrreviews form { margin: 0; }
1290
1290
.mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }
1291
.diskuse { display: grid; gap: var(--sp-2); margin: 0 0 var(--sp-4); }
1292
.diskuse p { margin: 0; }
1293
.diskbar { display: flex; align-items: center; gap: var(--sp-2); }
1294
.diskbar-svg { flex: 1; width: 100%; height: 16px; display: block; border-radius: 999px; }
1295
.diskbar-svg .track { fill: var(--line); }
1296
.diskbar-svg .fill { fill: var(--blue); }
1297
.diskbar span { min-width: 3rem; text-align: right; font-variant-numeric: tabular-nums; }
1291
1298
.mergedby { margin: 0; }
1292
1299
.mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }
1293
1300
.sub .count {
@@ -1288,6 +1288,13 @@ a.flowpipe.passed .mark::after { left: 4px; top: 2px; width: 3px; height: 6px; }1288
.mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }1288
.mrreviews li { display: flex; flex-wrap: wrap; gap: 0.35rem; align-items: center; padding: 0.15rem 0; }1289
.mrreviews form { margin: 0; }1289
.mrreviews form { margin: 0; }1290
.mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }1290
.mergeacts { display: flex; flex-wrap: wrap; gap: 0.5rem; align-items: center; }1291
.diskuse { display: grid; gap: var(--sp-2); margin: 0 0 var(--sp-4); }1292
.diskuse p { margin: 0; }1293
.diskbar { display: flex; align-items: center; gap: var(--sp-2); }1294
.diskbar-svg { flex: 1; width: 100%; height: 16px; display: block; border-radius: 999px; }1295
.diskbar-svg .track { fill: var(--line); }1296
.diskbar-svg .fill { fill: var(--blue); }1297
.diskbar span { min-width: 3rem; text-align: right; font-variant-numeric: tabular-nums; }1291
.mergedby { margin: 0; }1298
.mergedby { margin: 0; }1292
.mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }1299
.mergedby .branchchip { margin-left: 0.45rem; vertical-align: middle; }1293
.sub .count {1300
.sub .count {@@ -5,7 +5,19 @@
5
5
<p class="flash bad">{{t "setup.changeWarn"}}</p>
6
6
{{end}}
7
7
<section class="panel">
8
{{if .StorageFree}}<p>{{t "setup.free" .StorageFree .StorageTotal}}</p>{{end}}
8
{{if .StorageTotal}}
9
<div class="diskuse">
10
{{if .StorageBlueGit}}<p>{{t "setup.usedDir" .StorageBlueGit}}{{if .StoragePartial}} <span class="muted">{{t "setup.usedDirPartial"}}</span>{{end}}</p>{{end}}
11
<p>{{t "setup.diskStat" .StorageTotal .StorageUsed .StorageFree}}</p>
12
<div class="diskbar">
13
<svg class="diskbar-svg" viewBox="0 0 100 8" preserveAspectRatio="none" role="img" aria-label="{{t "setup.diskMeter"}}">
14
<rect class="track" width="100" height="8"></rect>
15
<rect class="fill" width="{{.StoragePercent}}" height="8"></rect>
16
</svg>
17
<span>{{.StoragePercent}}%</span>
18
</div>
19
</div>
20
{{end}}
9
21
<form method="post" action="/setup">
10
22
<input type="hidden" name="csrf" value="{{.CSRF}}">
11
23
<label>{{t "setup.disk"}}
@@ -5,7 +5,19 @@5
<p class="flash bad">{{t "setup.changeWarn"}}</p>5
<p class="flash bad">{{t "setup.changeWarn"}}</p>6
{{end}}6
{{end}}7
<section class="panel">7
<section class="panel">8
{{if .StorageFree}}<p>{{t "setup.free" .StorageFree .StorageTotal}}</p>{{end}}8
{{if .StorageTotal}}9
<div class="diskuse">10
{{if .StorageBlueGit}}<p>{{t "setup.usedDir" .StorageBlueGit}}{{if .StoragePartial}} <span class="muted">{{t "setup.usedDirPartial"}}</span>{{end}}</p>{{end}}11
<p>{{t "setup.diskStat" .StorageTotal .StorageUsed .StorageFree}}</p>12
<div class="diskbar">13
<svg class="diskbar-svg" viewBox="0 0 100 8" preserveAspectRatio="none" role="img" aria-label="{{t "setup.diskMeter"}}">14
<rect class="track" width="100" height="8"></rect>15
<rect class="fill" width="{{.StoragePercent}}" height="8"></rect>16
</svg>17
<span>{{.StoragePercent}}%</span>18
</div>19
</div>20
{{end}}9
<form method="post" action="/setup">21
<form method="post" action="/setup">10
<input type="hidden" name="csrf" value="{{.CSRF}}">22
<input type="hidden" name="csrf" value="{{.CSRF}}">11
<label>{{t "setup.disk"}}23
<label>{{t "setup.disk"}}@@ -0,0 +1,35 @@
1
package server
2
3
import (
4
"bytes"
5
"os"
6
"path/filepath"
7
"testing"
8
)
9
10
func TestBlueGitUsageIsCached(t *testing.T) {
11
dir := t.TempDir()
12
if err := os.WriteFile(filepath.Join(dir, "a"), bytes.Repeat([]byte("x"), 100), 0o644); err != nil {
13
t.Fatal(err)
14
}
15
srv := &Server{}
16
n, partial, ok := srv.bluegitUsage(dir)
17
if !ok || partial || n < 100 {
18
t.Fatalf("eerste telling %d partial=%v ok=%v", n, partial, ok)
19
}
20
if err := os.WriteFile(filepath.Join(dir, "b"), bytes.Repeat([]byte("y"), 8000), 0o644); err != nil {
21
t.Fatal(err)
22
}
23
again, partial, ok := srv.bluegitUsage(dir)
24
if !ok || partial || again != n {
25
t.Fatalf("cache %d -> %d partial=%v ok=%v", n, again, partial, ok)
26
}
27
other := t.TempDir()
28
if err := os.WriteFile(filepath.Join(other, "c"), bytes.Repeat([]byte("z"), 300), 0o644); err != nil {
29
t.Fatal(err)
30
}
31
fresh, partial, ok := srv.bluegitUsage(other)
32
if !ok || partial || fresh == 0 || fresh == n {
33
t.Fatalf("andere map %d (was %d) partial=%v ok=%v", fresh, n, partial, ok)
34
}
35
}
@@ -0,0 +1,35 @@1
package server2
3
import (4
"bytes"5
"os"6
"path/filepath"7
"testing"8
)9
10
func TestBlueGitUsageIsCached(t *testing.T) {11
dir := t.TempDir()12
if err := os.WriteFile(filepath.Join(dir, "a"), bytes.Repeat([]byte("x"), 100), 0o644); err != nil {13
t.Fatal(err)14
}15
srv := &Server{}16
n, partial, ok := srv.bluegitUsage(dir)17
if !ok || partial || n < 100 {18
t.Fatalf("eerste telling %d partial=%v ok=%v", n, partial, ok)19
}20
if err := os.WriteFile(filepath.Join(dir, "b"), bytes.Repeat([]byte("y"), 8000), 0o644); err != nil {21
t.Fatal(err)22
}23
again, partial, ok := srv.bluegitUsage(dir)24
if !ok || partial || again != n {25
t.Fatalf("cache %d -> %d partial=%v ok=%v", n, again, partial, ok)26
}27
other := t.TempDir()28
if err := os.WriteFile(filepath.Join(other, "c"), bytes.Repeat([]byte("z"), 300), 0o644); err != nil {29
t.Fatal(err)30
}31
fresh, partial, ok := srv.bluegitUsage(other)32
if !ok || partial || fresh == 0 || fresh == n {33
t.Fatalf("andere map %d (was %d) partial=%v ok=%v", fresh, n, partial, ok)34
}35
}@@ -4,8 +4,10 @@
4
4
package state
5
5
6
6
import (
7
"context"
7
8
"errors"
8
9
"fmt"
10
"io/fs"
9
11
"os"
10
12
"path/filepath"
11
13
"strings"
@@ -90,12 +92,12 @@ func Inspect(path string) (Info, error) {
90
92
if !st.IsDir() {
91
93
return info, i18n.E("err.pathDir")
92
94
}
93
var fs syscall.Statfs_t
94
if err := syscall.Statfs(path, &fs); err != nil {
95
var stat syscall.Statfs_t
96
if err := syscall.Statfs(path, &stat); err != nil {
95
97
return info, i18n.E("err.pathFree", err.Error())
96
98
}
97
info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)
98
info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)
99
info.Free = uint64(stat.Bavail) * uint64(stat.Bsize)
100
info.Total = uint64(stat.Blocks) * uint64(stat.Bsize)
99
101
probe := filepath.Join(path, ".bluegit-write-test")
100
102
f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)
101
103
if err != nil {
@@ -109,6 +111,58 @@ func Inspect(path string) (Info, error) {
109
111
return info, nil
110
112
}
111
113
114
// Used is de bezette ruimte: totaal min wat nog vrij is.
115
// Vrij komt uit Bavail, dus gereserveerde blokken tellen als bezet.
116
func (i Info) Used() uint64 {
117
if i.Free >= i.Total {
118
return 0
119
}
120
return i.Total - i.Free
121
}
122
123
// Percent rondt used/total af op een heel percentage.
124
// Een leeg totaal is 0. Meer dan vol blijft 100.
125
func Percent(used, total uint64) int {
126
if total == 0 {
127
return 0
128
}
129
if used > total {
130
used = total
131
}
132
return int((used*100 + total/2) / total)
133
}
134
135
// DirSize telt de schijnbare grootte van path, recursief.
136
// Symlinks worden niet gevolgd. Een afgelopen context stopt de wandeling
137
// en geeft terug wat al geteld is, samen met ctx.Err().
138
func DirSize(ctx context.Context, root string) (uint64, error) {
139
var total uint64
140
err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
141
if ctx.Err() != nil {
142
return ctx.Err()
143
}
144
if err != nil {
145
if path == root {
146
return err
147
}
148
return nil
149
}
150
info, ierr := d.Info()
151
if ierr != nil {
152
return nil
153
}
154
if info.Mode()&os.ModeSymlink != 0 {
155
return nil
156
}
157
total += uint64(info.Size())
158
return nil
159
})
160
if errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled) {
161
return total, err
162
}
163
return total, err
164
}
165
112
166
// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".
113
167
func Format(n uint64) string {
114
168
const unit = 1024
@@ -4,8 +4,10 @@4
package state4
package state5
5
6
import (6
import (7
"context"7
"errors"8
"errors"8
"fmt"9
"fmt"10
"io/fs"9
"os"11
"os"10
"path/filepath"12
"path/filepath"11
"strings"13
"strings"@@ -90,12 +92,12 @@ func Inspect(path string) (Info, error) {90
if !st.IsDir() {92
if !st.IsDir() {91
return info, i18n.E("err.pathDir")93
return info, i18n.E("err.pathDir")92
}94
}93
var fs syscall.Statfs_t95
var stat syscall.Statfs_t94
if err := syscall.Statfs(path, &fs); err != nil {96
if err := syscall.Statfs(path, &stat); err != nil {95
return info, i18n.E("err.pathFree", err.Error())97
return info, i18n.E("err.pathFree", err.Error())96
}98
}97
info.Free = uint64(fs.Bavail) * uint64(fs.Bsize)99
info.Free = uint64(stat.Bavail) * uint64(stat.Bsize)98
info.Total = uint64(fs.Blocks) * uint64(fs.Bsize)100
info.Total = uint64(stat.Blocks) * uint64(stat.Bsize)99
probe := filepath.Join(path, ".bluegit-write-test")101
probe := filepath.Join(path, ".bluegit-write-test")100
f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)102
f, err := os.OpenFile(probe, os.O_CREATE|os.O_EXCL|os.O_WRONLY, 0o600)101
if err != nil {103
if err != nil {@@ -109,6 +111,58 @@ func Inspect(path string) (Info, error) {109
return info, nil111
return info, nil110
}112
}111
113
114
// Used is de bezette ruimte: totaal min wat nog vrij is.115
// Vrij komt uit Bavail, dus gereserveerde blokken tellen als bezet.116
func (i Info) Used() uint64 {117
if i.Free >= i.Total {118
return 0119
}120
return i.Total - i.Free121
}122
123
// Percent rondt used/total af op een heel percentage.124
// Een leeg totaal is 0. Meer dan vol blijft 100.125
func Percent(used, total uint64) int {126
if total == 0 {127
return 0128
}129
if used > total {130
used = total131
}132
return int((used*100 + total/2) / total)133
}134
135
// DirSize telt de schijnbare grootte van path, recursief.136
// Symlinks worden niet gevolgd. Een afgelopen context stopt de wandeling137
// en geeft terug wat al geteld is, samen met ctx.Err().138
func DirSize(ctx context.Context, root string) (uint64, error) {139
var total uint64140
err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {141
if ctx.Err() != nil {142
return ctx.Err()143
}144
if err != nil {145
if path == root {146
return err147
}148
return nil149
}150
info, ierr := d.Info()151
if ierr != nil {152
return nil153
}154
if info.Mode()&os.ModeSymlink != 0 {155
return nil156
}157
total += uint64(info.Size())158
return nil159
})160
if errors.Is(err, context.DeadlineExceeded) || errors.Is(err, context.Canceled) {161
return total, err162
}163
return total, err164
}165
112
// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".166
// Format maakt een korte grootte, bijvoorbeeld "1.5 GiB".113
func Format(n uint64) string {167
func Format(n uint64) string {114
const unit = 1024168
const unit = 1024@@ -1,6 +1,9 @@
1
1
package state
2
2
3
3
import (
4
"bytes"
5
"context"
6
"errors"
4
7
"os"
5
8
"path/filepath"
6
9
"strings"
@@ -50,4 +53,57 @@ func TestInspect(t *testing.T) {
50
53
if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {
51
54
t.Fatal("schrijftest bleef achter")
52
55
}
56
if info.Used()+info.Free != info.Total {
57
t.Fatalf("bezet %d + vrij %d != totaal %d", info.Used(), info.Free, info.Total)
58
}
59
if Percent(info.Used(), info.Total) < 0 || Percent(info.Used(), info.Total) > 100 {
60
t.Fatal(Percent(info.Used(), info.Total))
61
}
62
}
63
64
func TestPercentAndUsed(t *testing.T) {
65
if Percent(0, 0) != 0 || Percent(1, 2) != 50 || Percent(2, 2) != 100 || Percent(1, 3) != 33 || Percent(5, 2) != 100 {
66
t.Fatalf("0=%d half=%d vol=%d derde=%d over=%d", Percent(0, 0), Percent(1, 2), Percent(2, 2), Percent(1, 3), Percent(5, 2))
67
}
68
if (Info{Free: 30, Total: 10}).Used() != 0 || (Info{Free: 4, Total: 10}).Used() != 6 {
69
t.Fatal("used")
70
}
71
}
72
73
func TestDirSizeCountsTreeAndStops(t *testing.T) {
74
root := t.TempDir()
75
if err := os.WriteFile(filepath.Join(root, "a"), bytes.Repeat([]byte("x"), 1000), 0o644); err != nil {
76
t.Fatal(err)
77
}
78
sub := filepath.Join(root, "sub")
79
if err := os.Mkdir(sub, 0o755); err != nil {
80
t.Fatal(err)
81
}
82
if err := os.WriteFile(filepath.Join(sub, "b"), bytes.Repeat([]byte("y"), 500), 0o644); err != nil {
83
t.Fatal(err)
84
}
85
outside := filepath.Join(t.TempDir(), "groot")
86
if err := os.WriteFile(outside, bytes.Repeat([]byte("z"), 2<<20), 0o644); err != nil {
87
t.Fatal(err)
88
}
89
if err := os.Symlink(outside, filepath.Join(root, "link")); err != nil {
90
t.Fatal(err)
91
}
92
n, err := DirSize(context.Background(), root)
93
if err != nil {
94
t.Fatal(err)
95
}
96
if n < 1500 || n >= 2<<20 {
97
t.Fatalf("grootte %d volgt de symlink of mist bestanden", n)
98
}
99
again, err := DirSize(context.Background(), root)
100
if err != nil || again != n {
101
t.Fatalf("opnieuw %d %v", again, err)
102
}
103
ctx, cancel := context.WithCancel(context.Background())
104
cancel()
105
stopped, err := DirSize(ctx, root)
106
if !errors.Is(err, context.Canceled) || stopped != 0 {
107
t.Fatalf("stop: %d %v", stopped, err)
108
}
53
109
}
@@ -1,6 +1,9 @@1
package state1
package state2
2
3
import (3
import (4
"bytes"5
"context"6
"errors"4
"os"7
"os"5
"path/filepath"8
"path/filepath"6
"strings"9
"strings"@@ -50,4 +53,57 @@ func TestInspect(t *testing.T) {50
if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {53
if _, err := os.Stat(filepath.Join(dir, ".bluegit-write-test")); !os.IsNotExist(err) {51
t.Fatal("schrijftest bleef achter")54
t.Fatal("schrijftest bleef achter")52
}55
}56
if info.Used()+info.Free != info.Total {57
t.Fatalf("bezet %d + vrij %d != totaal %d", info.Used(), info.Free, info.Total)58
}59
if Percent(info.Used(), info.Total) < 0 || Percent(info.Used(), info.Total) > 100 {60
t.Fatal(Percent(info.Used(), info.Total))61
}62
}63
64
func TestPercentAndUsed(t *testing.T) {65
if Percent(0, 0) != 0 || Percent(1, 2) != 50 || Percent(2, 2) != 100 || Percent(1, 3) != 33 || Percent(5, 2) != 100 {66
t.Fatalf("0=%d half=%d vol=%d derde=%d over=%d", Percent(0, 0), Percent(1, 2), Percent(2, 2), Percent(1, 3), Percent(5, 2))67
}68
if (Info{Free: 30, Total: 10}).Used() != 0 || (Info{Free: 4, Total: 10}).Used() != 6 {69
t.Fatal("used")70
}71
}72
73
func TestDirSizeCountsTreeAndStops(t *testing.T) {74
root := t.TempDir()75
if err := os.WriteFile(filepath.Join(root, "a"), bytes.Repeat([]byte("x"), 1000), 0o644); err != nil {76
t.Fatal(err)77
}78
sub := filepath.Join(root, "sub")79
if err := os.Mkdir(sub, 0o755); err != nil {80
t.Fatal(err)81
}82
if err := os.WriteFile(filepath.Join(sub, "b"), bytes.Repeat([]byte("y"), 500), 0o644); err != nil {83
t.Fatal(err)84
}85
outside := filepath.Join(t.TempDir(), "groot")86
if err := os.WriteFile(outside, bytes.Repeat([]byte("z"), 2<<20), 0o644); err != nil {87
t.Fatal(err)88
}89
if err := os.Symlink(outside, filepath.Join(root, "link")); err != nil {90
t.Fatal(err)91
}92
n, err := DirSize(context.Background(), root)93
if err != nil {94
t.Fatal(err)95
}96
if n < 1500 || n >= 2<<20 {97
t.Fatalf("grootte %d volgt de symlink of mist bestanden", n)98
}99
again, err := DirSize(context.Background(), root)100
if err != nil || again != n {101
t.Fatalf("opnieuw %d %v", again, err)102
}103
ctx, cancel := context.WithCancel(context.Background())104
cancel()105
stopped, err := DirSize(ctx, root)106
if !errors.Is(err, context.Canceled) || stopped != 0 {107
t.Fatalf("stop: %d %v", stopped, err)108
}53
}109
}@@ -0,0 +1,130 @@
1
package store
2
3
import (
4
"context"
5
"strings"
6
"testing"
7
)
8
9
func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
10
s := openTest(t)
11
ctx := context.Background()
12
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
13
if err != nil {
14
t.Fatal(err)
15
}
16
repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")
17
if err != nil {
18
t.Fatal(err)
19
}
20
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21
id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22
{Name: "build", Stage: "build", Position: 0, Script: "go build"},
23
{Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24
{Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25
})
26
if err != nil {
27
t.Fatal(err)
28
}
29
queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{
30
{Name: "wait", Stage: "test", Script: "sleep"},
31
})
32
if err != nil {
33
t.Fatal(err)
34
}
35
softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{
36
{Name: "build", Stage: "build", Script: "go build"},
37
{Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},
38
})
39
if err != nil {
40
t.Fatal(err)
41
}
42
set := func(pipe int64, name, status, log string) {
43
t.Helper()
44
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {
45
t.Fatal(err)
46
}
47
}
48
set(id, "build", "success", "ok\n")
49
set(id, "publish_aur", "success", "aur ok\n")
50
set(id, "self_update", "running", "post verstuurd\n")
51
set(queuedID, "wait", "queued", "")
52
set(softID, "build", "success", "ok\n")
53
set(softID, "publish_aur", "running", "bezig\n")
54
if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {
55
t.Fatal(err)
56
}
57
58
n, err := s.FailAbandonedJobs(ctx)
59
if err != nil || n != 2 {
60
t.Fatalf("abandoned: %d %v", n, err)
61
}
62
jobs, err := s.JobsByPipeline(ctx, id)
63
if err != nil {
64
t.Fatal(err)
65
}
66
by := map[string]Job{}
67
for _, j := range jobs {
68
by[j.Name] = j
69
}
70
upd := by["self_update"]
71
if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72
t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73
}
74
if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75
t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76
}
77
p, err := s.PipelineByID(ctx, repo.ID, id)
78
if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {
79
t.Fatalf("pipeline: %+v %v", p, err)
80
}
81
if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {
82
t.Fatalf("wachtende job: %s", got)
83
}
84
queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)
85
if err != nil || queuedPipe.Status != "running" {
86
t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)
87
}
88
softJobs, err := s.JobsByPipeline(ctx, softID)
89
if err != nil {
90
t.Fatal(err)
91
}
92
for _, j := range softJobs {
93
if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {
94
t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)
95
}
96
}
97
softPipe, err := s.PipelineByID(ctx, repo.ID, softID)
98
if err != nil || softPipe.Status != "success" {
99
t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)
100
}
101
running, err := s.CountRunningJobs(ctx)
102
if err != nil || running != 0 {
103
t.Fatalf("running na herstart: %d %v", running, err)
104
}
105
again, err := s.FailAbandonedJobs(ctx)
106
if err != nil || again != 0 {
107
t.Fatalf("tweede start: %d %v", again, err)
108
}
109
110
ok, err := s.RetryFailedJobs(ctx, id)
111
if err != nil || !ok {
112
t.Fatalf("retry: %v %v", ok, err)
113
}
114
got := jobStatus(t, s, id)
115
if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116
t.Fatalf("mode failed: %v", got)
117
}
118
retried, err := s.JobsByPipeline(ctx, id)
119
if err != nil {
120
t.Fatal(err)
121
}
122
for _, j := range retried {
123
if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {
124
t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)
125
}
126
}
127
if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {
128
t.Fatalf("retry van de release raakt de andere pipeline: %s", side)
129
}
130
}
@@ -0,0 +1,130 @@1
package store2
3
import (4
"context"5
"strings"6
"testing"7
)8
9
func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {10
s := openTest(t)11
ctx := context.Background()12
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)13
if err != nil {14
t.Fatal(err)15
}16
repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")17
if err != nil {18
t.Fatal(err)19
}20
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"21
id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{22
{Name: "build", Stage: "build", Position: 0, Script: "go build"},23
{Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},24
{Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},25
})26
if err != nil {27
t.Fatal(err)28
}29
queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{30
{Name: "wait", Stage: "test", Script: "sleep"},31
})32
if err != nil {33
t.Fatal(err)34
}35
softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{36
{Name: "build", Stage: "build", Script: "go build"},37
{Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},38
})39
if err != nil {40
t.Fatal(err)41
}42
set := func(pipe int64, name, status, log string) {43
t.Helper()44
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {45
t.Fatal(err)46
}47
}48
set(id, "build", "success", "ok\n")49
set(id, "publish_aur", "success", "aur ok\n")50
set(id, "self_update", "running", "post verstuurd\n")51
set(queuedID, "wait", "queued", "")52
set(softID, "build", "success", "ok\n")53
set(softID, "publish_aur", "running", "bezig\n")54
if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {55
t.Fatal(err)56
}57
58
n, err := s.FailAbandonedJobs(ctx)59
if err != nil || n != 2 {60
t.Fatalf("abandoned: %d %v", n, err)61
}62
jobs, err := s.JobsByPipeline(ctx, id)63
if err != nil {64
t.Fatal(err)65
}66
by := map[string]Job{}67
for _, j := range jobs {68
by[j.Name] = j69
}70
upd := by["self_update"]71
if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {72
t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)73
}74
if by["build"].Status != "success" || by["publish_aur"].Status != "success" {75
t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)76
}77
p, err := s.PipelineByID(ctx, repo.ID, id)78
if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {79
t.Fatalf("pipeline: %+v %v", p, err)80
}81
if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {82
t.Fatalf("wachtende job: %s", got)83
}84
queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)85
if err != nil || queuedPipe.Status != "running" {86
t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)87
}88
softJobs, err := s.JobsByPipeline(ctx, softID)89
if err != nil {90
t.Fatal(err)91
}92
for _, j := range softJobs {93
if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {94
t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)95
}96
}97
softPipe, err := s.PipelineByID(ctx, repo.ID, softID)98
if err != nil || softPipe.Status != "success" {99
t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)100
}101
running, err := s.CountRunningJobs(ctx)102
if err != nil || running != 0 {103
t.Fatalf("running na herstart: %d %v", running, err)104
}105
again, err := s.FailAbandonedJobs(ctx)106
if err != nil || again != 0 {107
t.Fatalf("tweede start: %d %v", again, err)108
}109
110
ok, err := s.RetryFailedJobs(ctx, id)111
if err != nil || !ok {112
t.Fatalf("retry: %v %v", ok, err)113
}114
got := jobStatus(t, s, id)115
if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {116
t.Fatalf("mode failed: %v", got)117
}118
retried, err := s.JobsByPipeline(ctx, id)119
if err != nil {120
t.Fatal(err)121
}122
for _, j := range retried {123
if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {124
t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)125
}126
}127
if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {128
t.Fatalf("retry van de release raakt de andere pipeline: %s", side)129
}130
}@@ -934,26 +934,64 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
934
934
return n == 1, nil
935
935
}
936
936
937
// AbandonedJobNote komt in het log van een job die de herstart niet haalde.
938
// Steve zit in dit proces. Een job die nog running is, heeft hier geen container.
939
const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"
940
941
// FailAbandonedJobs zet elke job met status running op failed.
942
// Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.
943
// Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,
944
// zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.
945
func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
946
rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)
947
if err != nil {
948
return 0, err
949
}
950
defer rows.Close()
951
type item struct{ id, pipe int64 }
952
var found []item
953
for rows.Next() {
954
var it item
955
if err := rows.Scan(&it.id, &it.pipe); err != nil {
956
return 0, err
957
}
958
found = append(found, it)
959
}
960
if err := rows.Err(); err != nil {
961
return 0, err
962
}
963
n := 0
964
seen := map[int64]struct{}{}
965
var pipes []int64
966
for _, it := range found {
967
res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)
968
if err != nil {
969
return n, err
970
}
971
affected, _ := res.RowsAffected()
972
if affected == 0 {
973
continue
974
}
975
n++
976
if _, ok := seen[it.pipe]; !ok {
977
seen[it.pipe] = struct{}{}
978
pipes = append(pipes, it.pipe)
979
}
980
}
981
for _, id := range pipes {
982
if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {
983
return n, err
984
}
985
}
986
return n, nil
987
}
988
937
989
// CountRunningJobs telt jobs die Steve nu uitvoert.
938
// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939
// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940
// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
990
// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
991
// dus er is geen job die tijdens de installatie op de updater wacht.
941
992
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942
993
var n int
943
err := s.db.QueryRowContext(ctx, `
944
SELECT COUNT(*) FROM jobs j
945
WHERE j.status = 'running'
946
AND NOT (
947
j.name = 'self_update'
948
AND j.repo_id IN (
949
SELECT r.id FROM repos r
950
WHERE r.name = 'bluegit'
951
AND (
952
(r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953
OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954
)
955
)
956
)`).Scan(&n)
994
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
957
995
return n, err
958
996
}
959
997
@@ -934,26 +934,64 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {934
return n == 1, nil934
return n == 1, nil935
}935
}936
936
937
// AbandonedJobNote komt in het log van een job die de herstart niet haalde.938
// Steve zit in dit proces. Een job die nog running is, heeft hier geen container.939
const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"940
941
// FailAbandonedJobs zet elke job met status running op failed.942
// Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.943
// Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,944
// zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.945
func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {946
rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)947
if err != nil {948
return 0, err949
}950
defer rows.Close()951
type item struct{ id, pipe int64 }952
var found []item953
for rows.Next() {954
var it item955
if err := rows.Scan(&it.id, &it.pipe); err != nil {956
return 0, err957
}958
found = append(found, it)959
}960
if err := rows.Err(); err != nil {961
return 0, err962
}963
n := 0964
seen := map[int64]struct{}{}965
var pipes []int64966
for _, it := range found {967
res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)968
if err != nil {969
return n, err970
}971
affected, _ := res.RowsAffected()972
if affected == 0 {973
continue974
}975
n++976
if _, ok := seen[it.pipe]; !ok {977
seen[it.pipe] = struct{}{}978
pipes = append(pipes, it.pipe)979
}980
}981
for _, id := range pipes {982
if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {983
return n, err984
}985
}986
return n, nil987
}988
937
// CountRunningJobs telt jobs die Steve nu uitvoert.989
// CountRunningJobs telt jobs die Steve nu uitvoert.938
// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot990
// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,939
// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll991
// dus er is geen job die tijdens de installatie op de updater wacht.940
// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.941
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {992
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {942
var n int993
var n int943
err := s.db.QueryRowContext(ctx, `994
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)944
SELECT COUNT(*) FROM jobs j945
WHERE j.status = 'running'946
AND NOT (947
j.name = 'self_update'948
AND j.repo_id IN (949
SELECT r.id FROM repos r950
WHERE r.name = 'bluegit'951
AND (952
(r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))953
OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))954
)955
)956
)`).Scan(&n)957
return n, err995
return n, err958
}996
}959
997
@@ -5,7 +5,7 @@ import (
5
5
"testing"
6
6
)
7
7
8
func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
8
func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9
9
s := openTest(t)
10
10
ctx := context.Background()
11
11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -26,14 +26,15 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
26
26
}
27
27
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28
28
otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29
{Name: "self_update", Stage: "release", Script: "poll"},
29
{Name: "self_update", Stage: "release", Script: "post"},
30
{Name: "publish_aur", Stage: "release", Script: "aur"},
30
31
})
31
32
if err != nil {
32
33
t.Fatal(err)
33
34
}
34
35
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35
{Name: "self_update", Stage: "release", Script: "poll"},
36
36
{Name: "publish_aur", Stage: "release", Script: "aur"},
37
{Name: "self_update", Stage: "release", Script: "post"},
37
38
})
38
39
if err != nil {
39
40
t.Fatal(err)
@@ -44,19 +45,20 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
44
45
t.Fatal(err)
45
46
}
46
47
}
47
set(blueID, "self_update", "running")
48
set(blueID, "publish_aur", "running")
48
49
n, err := s.CountRunningJobs(ctx)
49
if err != nil || n != 0 {
50
t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51
}
52
set(otherID, "self_update", "running")
53
n, err = s.CountRunningJobs(ctx)
54
50
if err != nil || n != 1 {
55
t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
51
t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
56
52
}
57
set(blueID, "publish_aur", "running")
53
set(blueID, "self_update", "running")
58
54
n, err = s.CountRunningJobs(ctx)
59
55
if err != nil || n != 2 {
60
t.Fatalf("publish_aur: %d %v", n, err)
56
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
57
}
58
set(otherID, "publish_aur", "running")
59
set(otherID, "self_update", "running")
60
n, err = s.CountRunningJobs(ctx)
61
if err != nil || n != 4 {
62
t.Fatalf("jobs in een andere repo: %d %v", n, err)
61
63
}
62
64
}
@@ -5,7 +5,7 @@ import (5
"testing"5
"testing"6
)6
)7
7
8
func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {8
func TestCountRunningJobsCountsEveryJob(t *testing.T) {9
s := openTest(t)9
s := openTest(t)10
ctx := context.Background()10
ctx := context.Background()11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)@@ -26,14 +26,15 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {26
}26
}27
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"27
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"28
otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{28
otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{29
{Name: "self_update", Stage: "release", Script: "poll"},29
{Name: "self_update", Stage: "release", Script: "post"},30
{Name: "publish_aur", Stage: "release", Script: "aur"},30
})31
})31
if err != nil {32
if err != nil {32
t.Fatal(err)33
t.Fatal(err)33
}34
}34
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{35
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{35
{Name: "self_update", Stage: "release", Script: "poll"},36
{Name: "publish_aur", Stage: "release", Script: "aur"},36
{Name: "publish_aur", Stage: "release", Script: "aur"},37
{Name: "self_update", Stage: "release", Script: "post"},37
})38
})38
if err != nil {39
if err != nil {39
t.Fatal(err)40
t.Fatal(err)@@ -44,19 +45,20 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {44
t.Fatal(err)45
t.Fatal(err)45
}46
}46
}47
}47
set(blueID, "self_update", "running")48
set(blueID, "publish_aur", "running")48
n, err := s.CountRunningJobs(ctx)49
n, err := s.CountRunningJobs(ctx)49
if err != nil || n != 0 {50
t.Fatalf("timfa/bluegit self_update: %d %v", n, err)51
}52
set(otherID, "self_update", "running")53
n, err = s.CountRunningJobs(ctx)54
if err != nil || n != 1 {50
if err != nil || n != 1 {55
t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)51
t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)56
}52
}57
set(blueID, "publish_aur", "running")53
set(blueID, "self_update", "running")58
n, err = s.CountRunningJobs(ctx)54
n, err = s.CountRunningJobs(ctx)59
if err != nil || n != 2 {55
if err != nil || n != 2 {60
t.Fatalf("publish_aur: %d %v", n, err)56
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)57
}58
set(otherID, "publish_aur", "running")59
set(otherID, "self_update", "running")60
n, err = s.CountRunningJobs(ctx)61
if err != nil || n != 4 {62
t.Fatalf("jobs in een andere repo: %d %v", n, err)61
}63
}62
}64
}@@ -71,8 +71,7 @@ write_status() {
71
71
mv -f "$tmp" "$STATUS"
72
72
}
73
73
74
# running komt uit de API. self_update telt daar niet mee: die job polt
75
# tot deze installatie status ok schrijft.
74
# running komt uit de API. Elke job met status running telt mee.
76
75
wait_until_idle() {
77
76
local deadline body n poll
78
77
poll="$BLUEGIT_UPDATE_POLL"
@@ -71,8 +71,7 @@ write_status() {71
mv -f "$tmp" "$STATUS"71
mv -f "$tmp" "$STATUS"72
}72
}73
73
74
# running komt uit de API. self_update telt daar niet mee: die job polt74
# running komt uit de API. Elke job met status running telt mee.75
# tot deze installatie status ok schrijft.76
wait_until_idle() {75
wait_until_idle() {77
local deadline body n poll76
local deadline body n poll78
poll="$BLUEGIT_UPDATE_POLL"77
poll="$BLUEGIT_UPDATE_POLL"@@ -1,55 +1,20 @@
1
1
#!/usr/bin/env bash
2
# Start de self-update en wacht tot GET /api/v1/admin/self-update
3
# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4
# dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6
# is de pauze tussen pogingen (standaard 5).
2
# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3
# antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4
# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5
# job sterft mee als post_upgrade bluegit.service herstart, en de updater
6
# zou op die job blijven wachten.
7
7
set -euo pipefail
8
8
9
9
: "${CI_API_URL:?CI_API_URL ontbreekt}"
10
10
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11
11
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
12
13
timeout="${SELF_UPDATE_TIMEOUT:-300}"
14
interval="${SELF_UPDATE_INTERVAL:-5}"
15
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16
[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18
if ! command -v jq >/dev/null 2>&1; then
19
apk add --no-cache jq >&2
20
fi
21
22
13
api="${CI_API_URL%/}/admin/self-update"
23
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24
14
25
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
15
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \
16
-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \
26
17
-H "Content-Type: application/json" \
27
18
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28
19
29
start="$(date +%s)"
30
while true; do
31
# Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32
# log staat live als eerste key en bevat de tekst "status" en "sha".
33
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34
status=""
35
sha=""
36
if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37
status="${parsed%%$'\t'*}"
38
sha="${parsed#*$'\t'}"
39
fi
40
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41
echo "Self-update ok: $sha"
42
exit 0
43
fi
44
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45
echo "Self-update mislukt: $sha" >&2
46
exit 1
47
fi
48
now="$(date +%s)"
49
if (( now - start >= timeout )); then
50
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51
exit 1
52
fi
53
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54
sleep "$interval"
55
done
20
echo "Self-update gestart: ${CI_COMMIT_SHA}"
@@ -1,55 +1,20 @@1
#!/usr/bin/env bash1
#!/usr/bin/env bash2
# Start de self-update en wacht tot GET /api/v1/admin/self-update2
# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update3
# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],3
# antwoordt 202 zodra de unit start. publish_aur is dan al klaar4
# dus die job start pas hierna. Een mislukking of timeout faalt deze job.4
# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende5
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL5
# job sterft mee als post_upgrade bluegit.service herstart, en de updater6
# is de pauze tussen pogingen (standaard 5).6
# zou op die job blijven wachten.7
set -euo pipefail7
set -euo pipefail8
8
9
: "${CI_API_URL:?CI_API_URL ontbreekt}"9
: "${CI_API_URL:?CI_API_URL ontbreekt}"10
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"10
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"11
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"11
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"12
12
13
timeout="${SELF_UPDATE_TIMEOUT:-300}"14
interval="${SELF_UPDATE_INTERVAL:-5}"15
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=30016
[[ "$interval" =~ ^[0-9]+$ ]] || interval=517
18
if ! command -v jq >/dev/null 2>&1; then19
apk add --no-cache jq >&220
fi21
22
api="${CI_API_URL%/}/admin/self-update"13
api="${CI_API_URL%/}/admin/self-update"23
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")24
14
25
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \15
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \16
-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \26
-H "Content-Type: application/json" \17
-H "Content-Type: application/json" \27
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"18
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"28
19
29
start="$(date +%s)"20
echo "Self-update gestart: ${CI_COMMIT_SHA}"30
while true; do31
# Een herstart van de service tijdens pacman -U mag de poll niet stoppen.32
# log staat live als eerste key en bevat de tekst "status" en "sha".33
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"34
status=""35
sha=""36
if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then37
status="${parsed%%$'\t'*}"38
sha="${parsed#*$'\t'}"39
fi40
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then41
echo "Self-update ok: $sha"42
exit 043
fi44
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then45
echo "Self-update mislukt: $sha" >&246
exit 147
fi48
now="$(date +%s)"49
if (( now - start >= timeout )); then50
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&251
exit 152
fi53
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"54
sleep "$interval"55
done@@ -1,197 +1,62 @@
1
1
package scripts
2
2
3
3
import (
4
"context"
4
5
"net/http"
5
6
"net/http/httptest"
6
7
"os"
7
8
"os/exec"
8
9
"path/filepath"
9
10
"strings"
10
"sync"
11
11
"testing"
12
"time"
12
13
)
13
14
14
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15
func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
15
16
if _, err := exec.LookPath("bash"); err != nil {
16
17
t.Skip("bash ontbreekt")
17
18
}
18
19
if _, err := exec.LookPath("curl"); err != nil {
19
20
t.Skip("curl ontbreekt")
20
21
}
21
if _, err := exec.LookPath("jq"); err != nil {
22
t.Skip("jq ontbreekt")
23
}
24
22
script := filepath.Join("..", "scripts", "self-update.sh")
25
23
sha := "0123456789abcdef0123456789abcdef01234567"
26
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27
28
t.Run("ok na running", func(t *testing.T) {
29
var posts int
30
var gets int
31
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
32
if r.URL.Path != "/api/v1/admin/self-update" {
33
http.NotFound(w, r)
34
return
35
}
36
if r.Method == http.MethodPost {
37
posts++
38
w.WriteHeader(http.StatusAccepted)
39
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
40
return
41
}
42
gets++
43
w.Header().Set("Content-Type", "application/json")
44
if gets < 3 {
45
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
46
return
47
}
48
// log bevat een andere status. Alleen het veld ervoor telt.
49
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
50
}))
51
t.Cleanup(srv.Close)
52
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
53
if err != nil {
54
t.Fatalf("wacht: %v %s", err, out)
55
}
56
if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
57
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58
}
59
})
60
61
t.Run("andere sha telt niet", func(t *testing.T) {
62
var gets int
63
srv := statusServer(t, func(gets int) string {
64
if gets == 1 {
65
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
66
}
67
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
68
}, &gets)
69
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
70
if err != nil {
71
t.Fatalf("wacht: %v %s", err, out)
72
}
73
if gets < 2 {
74
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
75
}
76
})
77
78
t.Run("log staat vooraan", func(t *testing.T) {
79
var gets int
80
// De live response begint met log. Daarin staat een nep-status en een nep-sha.
81
running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82
done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83
if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84
t.Fatal("log hoort de eerste key te zijn")
85
}
86
srv := statusServer(t, func(n int) string {
87
if n == 1 {
88
return running
89
}
90
return done
91
}, &gets)
92
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93
if err != nil {
94
t.Fatalf("wacht: %v %s", err, out)
95
}
96
if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97
t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98
}
99
})
100
101
t.Run("failed faalt meteen", func(t *testing.T) {
102
srv := statusServer(t, func(int) string {
103
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
104
}, nil)
105
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
106
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
107
t.Fatalf("failed hoort te stoppen: %v %s", err, out)
108
}
109
})
110
111
t.Run("timeout", func(t *testing.T) {
112
srv := statusServer(t, func(int) string {
113
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
114
}, nil)
115
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
116
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
117
t.Fatalf("timeout: %v %s", err, out)
118
}
119
})
120
121
t.Run("korte storing tijdens herstart", func(t *testing.T) {
122
var gets int
123
var mu sync.Mutex
124
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
125
if r.Method == http.MethodPost {
126
w.WriteHeader(http.StatusAccepted)
127
_, _ = w.Write([]byte(`{"status":"accepted"}`))
128
return
129
}
130
mu.Lock()
131
gets++
132
n := gets
133
mu.Unlock()
134
if n == 1 {
135
hj, ok := w.(http.Hijacker)
136
if !ok {
137
http.Error(w, "down", http.StatusBadGateway)
138
return
139
}
140
conn, _, err := hj.Hijack()
141
if err != nil {
142
return
143
}
144
_ = conn.Close()
145
return
146
}
147
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
148
}))
149
t.Cleanup(srv.Close)
150
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
151
if err != nil {
152
t.Fatalf("na herstart: %v %s", err, out)
153
}
154
})
155
}
156
157
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158
t.Helper()
159
var n int
160
var mu sync.Mutex
24
var posts, gets int
161
25
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
162
26
if r.URL.Path != "/api/v1/admin/self-update" {
163
27
http.NotFound(w, r)
164
28
return
165
29
}
166
30
if r.Method == http.MethodPost {
31
posts++
167
32
w.WriteHeader(http.StatusAccepted)
168
_, _ = w.Write([]byte(`{"status":"accepted"}`))
33
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
169
34
return
170
35
}
171
mu.Lock()
172
n++
173
cur := n
174
if gets != nil {
175
*gets = n
176
}
177
mu.Unlock()
178
w.Header().Set("Content-Type", "application/json")
179
_, _ = w.Write([]byte(body(cur)))
36
gets++
37
select {}
180
38
}))
181
39
t.Cleanup(srv.Close)
182
return srv
183
}
184
185
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
186
t.Helper()
187
cmd := exec.Command("bash", script)
40
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
41
t.Cleanup(cancel)
42
cmd := exec.CommandContext(ctx, "bash", script)
188
43
cmd.Env = append(os.Environ(),
189
"CI_API_URL="+base+"/api/v1",
44
"CI_API_URL="+srv.URL+"/api/v1",
190
45
"BLUEGIT_UPDATE_TOKEN=test-token",
191
46
"CI_COMMIT_SHA="+sha,
192
"SELF_UPDATE_TIMEOUT="+timeout,
193
"SELF_UPDATE_INTERVAL="+interval,
194
47
)
195
48
out, err := cmd.CombinedOutput()
196
return string(out), err
49
if err != nil {
50
t.Fatalf("post: %v %s", err, out)
51
}
52
if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {
53
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
54
}
55
raw, err := os.ReadFile(script)
56
if err != nil {
57
t.Fatal(err)
58
}
59
if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {
60
t.Fatal("self-update.sh polt nog")
61
}
197
62
}
@@ -1,197 +1,62 @@1
package scripts1
package scripts2
2
3
import (3
import (4
"context"4
"net/http"5
"net/http"5
"net/http/httptest"6
"net/http/httptest"6
"os"7
"os"7
"os/exec"8
"os/exec"8
"path/filepath"9
"path/filepath"9
"strings"10
"strings"10
"sync"11
"testing"11
"testing"12
"time"12
)13
)13
14
14
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {15
func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {15
if _, err := exec.LookPath("bash"); err != nil {16
if _, err := exec.LookPath("bash"); err != nil {16
t.Skip("bash ontbreekt")17
t.Skip("bash ontbreekt")17
}18
}18
if _, err := exec.LookPath("curl"); err != nil {19
if _, err := exec.LookPath("curl"); err != nil {19
t.Skip("curl ontbreekt")20
t.Skip("curl ontbreekt")20
}21
}21
if _, err := exec.LookPath("jq"); err != nil {22
t.Skip("jq ontbreekt")23
}24
script := filepath.Join("..", "scripts", "self-update.sh")22
script := filepath.Join("..", "scripts", "self-update.sh")25
sha := "0123456789abcdef0123456789abcdef01234567"23
sha := "0123456789abcdef0123456789abcdef01234567"26
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"24
var posts, gets int27
28
t.Run("ok na running", func(t *testing.T) {29
var posts int30
var gets int31
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {32
if r.URL.Path != "/api/v1/admin/self-update" {33
http.NotFound(w, r)34
return35
}36
if r.Method == http.MethodPost {37
posts++38
w.WriteHeader(http.StatusAccepted)39
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))40
return41
}42
gets++43
w.Header().Set("Content-Type", "application/json")44
if gets < 3 {45
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))46
return47
}48
// log bevat een andere status. Alleen het veld ervoor telt.49
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))50
}))51
t.Cleanup(srv.Close)52
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")53
if err != nil {54
t.Fatalf("wacht: %v %s", err, out)55
}56
if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {57
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)58
}59
})60
61
t.Run("andere sha telt niet", func(t *testing.T) {62
var gets int63
srv := statusServer(t, func(gets int) string {64
if gets == 1 {65
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`66
}67
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`68
}, &gets)69
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")70
if err != nil {71
t.Fatalf("wacht: %v %s", err, out)72
}73
if gets < 2 {74
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)75
}76
})77
78
t.Run("log staat vooraan", func(t *testing.T) {79
var gets int80
// De live response begint met log. Daarin staat een nep-status en een nep-sha.81
running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`82
done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`83
if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {84
t.Fatal("log hoort de eerste key te zijn")85
}86
srv := statusServer(t, func(n int) string {87
if n == 1 {88
return running89
}90
return done91
}, &gets)92
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")93
if err != nil {94
t.Fatalf("wacht: %v %s", err, out)95
}96
if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {97
t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)98
}99
})100
101
t.Run("failed faalt meteen", func(t *testing.T) {102
srv := statusServer(t, func(int) string {103
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`104
}, nil)105
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")106
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {107
t.Fatalf("failed hoort te stoppen: %v %s", err, out)108
}109
})110
111
t.Run("timeout", func(t *testing.T) {112
srv := statusServer(t, func(int) string {113
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`114
}, nil)115
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")116
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {117
t.Fatalf("timeout: %v %s", err, out)118
}119
})120
121
t.Run("korte storing tijdens herstart", func(t *testing.T) {122
var gets int123
var mu sync.Mutex124
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {125
if r.Method == http.MethodPost {126
w.WriteHeader(http.StatusAccepted)127
_, _ = w.Write([]byte(`{"status":"accepted"}`))128
return129
}130
mu.Lock()131
gets++132
n := gets133
mu.Unlock()134
if n == 1 {135
hj, ok := w.(http.Hijacker)136
if !ok {137
http.Error(w, "down", http.StatusBadGateway)138
return139
}140
conn, _, err := hj.Hijack()141
if err != nil {142
return143
}144
_ = conn.Close()145
return146
}147
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))148
}))149
t.Cleanup(srv.Close)150
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")151
if err != nil {152
t.Fatalf("na herstart: %v %s", err, out)153
}154
})155
}156
157
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {158
t.Helper()159
var n int160
var mu sync.Mutex161
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {25
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {162
if r.URL.Path != "/api/v1/admin/self-update" {26
if r.URL.Path != "/api/v1/admin/self-update" {163
http.NotFound(w, r)27
http.NotFound(w, r)164
return28
return165
}29
}166
if r.Method == http.MethodPost {30
if r.Method == http.MethodPost {31
posts++167
w.WriteHeader(http.StatusAccepted)32
w.WriteHeader(http.StatusAccepted)168
_, _ = w.Write([]byte(`{"status":"accepted"}`))33
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))169
return34
return170
}35
}171
mu.Lock()36
gets++172
n++37
select {}173
cur := n174
if gets != nil {175
*gets = n176
}177
mu.Unlock()178
w.Header().Set("Content-Type", "application/json")179
_, _ = w.Write([]byte(body(cur)))180
}))38
}))181
t.Cleanup(srv.Close)39
t.Cleanup(srv.Close)182
return srv40
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)183
}41
t.Cleanup(cancel)184
42
cmd := exec.CommandContext(ctx, "bash", script)185
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {186
t.Helper()187
cmd := exec.Command("bash", script)188
cmd.Env = append(os.Environ(),43
cmd.Env = append(os.Environ(),189
"CI_API_URL="+base+"/api/v1",44
"CI_API_URL="+srv.URL+"/api/v1",190
"BLUEGIT_UPDATE_TOKEN=test-token",45
"BLUEGIT_UPDATE_TOKEN=test-token",191
"CI_COMMIT_SHA="+sha,46
"CI_COMMIT_SHA="+sha,192
"SELF_UPDATE_TIMEOUT="+timeout,193
"SELF_UPDATE_INTERVAL="+interval,194
)47
)195
out, err := cmd.CombinedOutput()48
out, err := cmd.CombinedOutput()196
return string(out), err49
if err != nil {50
t.Fatalf("post: %v %s", err, out)51
}52
if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {53
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)54
}55
raw, err := os.ReadFile(script)56
if err != nil {57
t.Fatal(err)58
}59
if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {60
t.Fatal("self-update.sh polt nog")61
}197
}62
}