BlueGit

timfa bluegit

fix: markeer dode jobs na herstart en verplaats de self-update-poll

self_update bleef na de herstart van de service op running staan, zodat
publish_aur nooit startte. Bij het opstarten worden die jobs failed, en
de poll staat aan het begin van publish_aur.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-23 · 3 weeks ago

Hash
e5b8fc72480d6191f2f3d082141381fe938b52ad
Parent
ddc61a1f
Pipeline
Passed
11 files changed +369 −73
blue-ci-cd.yml +7 −4
@@ -65,6 +65,8 @@ jobs:
65 65 expire_in: 14d
66 66
67 67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
68 # Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.
69 # De herstart kan deze job doden; de volgende start zet hem op failed.
68 70 # allow_failure: een AUR-storing maakt de pipeline niet rood.
69 71 publish_aur:
70 72 stage: release
@@ -73,15 +75,16 @@ jobs:
73 75 needs: [self_update]
74 76 allow_failure: true
75 77 script:
78 - chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 - ./scripts/wait-self-update.sh
76 80 - pacman -Syu --noconfirm
77 81 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
78 - chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 82 - ./scripts/aur-ssh-setup.sh
80 83 - ./scripts/publish-aur.sh
81 84
82 # Na een geslaagde build. Het script start de update en polt tot
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
85 # Na een geslaagde build. Het script doet alleen de POST en stopt.
86 # De service herstart tijdens de installatie; de poll zit in publish_aur.
87 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
85 88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
86 89 # CI_API_URL eindigt op /api/v1.
87 90 self_update:
@@ -65,6 +65,8 @@ jobs:
65 expire_in: 14d
65 expire_in: 14d
66
66
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
68 # Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.
69 # De herstart kan deze job doden; de volgende start zet hem op failed.
68 # allow_failure: een AUR-storing maakt de pipeline niet rood.
70 # allow_failure: een AUR-storing maakt de pipeline niet rood.
69 publish_aur:
71 publish_aur:
70 stage: release
72 stage: release
@@ -73,15 +75,16 @@ jobs:
73 needs: [self_update]
75 needs: [self_update]
74 allow_failure: true
76 allow_failure: true
75 script:
77 script:
78 - chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 - ./scripts/wait-self-update.sh
76 - pacman -Syu --noconfirm
80 - pacman -Syu --noconfirm
77 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
81 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
78 - chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 - ./scripts/aur-ssh-setup.sh
82 - ./scripts/aur-ssh-setup.sh
80 - ./scripts/publish-aur.sh
83 - ./scripts/publish-aur.sh
81
84
82 # Na een geslaagde build. Het script start de update en polt tot
85 # Na een geslaagde build. Het script doet alleen de POST en stopt.
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
86 # De service herstart tijdens de installatie; de poll zit in publish_aur.
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
87 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
85 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
86 # CI_API_URL eindigt op /api/v1.
89 # CI_API_URL eindigt op /api/v1.
87 self_update:
90 self_update:
cmd/bluegit/main.go +7 −0
@@ -107,6 +107,13 @@ func serve(args []string) error {
107 107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
108 108 srv.Mail = m
109 109 }
110 abandoned, err := st.FailAbandonedJobs(ctx)
111 if err != nil {
112 return err
113 }
114 if abandoned > 0 {
115 log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)
116 }
110 117 var rn *runner.Runner
111 118 if cfg.CI.Enabled {
112 119 rn = &runner.Runner{
@@ -107,6 +107,13 @@ func serve(args []string) error {
107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
107 if m, ok := provider.(auth.Mailer); ok && cfg.Auth.ClientSecret != "" {
108 srv.Mail = m
108 srv.Mail = m
109 }
109 }
110 abandoned, err := st.FailAbandonedJobs(ctx)
111 if err != nil {
112 return err
113 }
114 if abandoned > 0 {
115 log.Info("lopende jobs na herstart als mislukt gemarkeerd", "count", abandoned)
116 }
110 var rn *runner.Runner
117 var rn *runner.Runner
111 if cfg.CI.Enabled {
118 if cfg.CI.Enabled {
112 rn = &runner.Runner{
119 rn = &runner.Runner{
docs/AUR.md +7 −5
@@ -55,9 +55,9 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55 55 | `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56 56 | `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57 57
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59 59
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61 61
62 62 `CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63 63
@@ -71,9 +71,11 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71 71
72 72 ## Self-update
73 73
74 `self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
74 `self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.
75 75
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.
77
78 Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
77 79
78 80 De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79 81
@@ -81,7 +83,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81 83
82 84 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83 85
84 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
86 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85 87
86 88 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87 89
@@ -55,9 +55,9 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
60`self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61
61
62`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
62`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63
63
@@ -71,9 +71,11 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71
71
72## Self-update
72## Self-update
73
73
74`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
74`self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.
75
75
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.
77
78Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
77
79
78De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
80De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79
81
@@ -81,7 +83,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81
83
82Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
84Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83
85
84Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
86Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85
87
86`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
88`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87
89
internal/ci/example_test.go +24 −5
@@ -111,16 +111,35 @@ func TestBlueGitExampleFile(t *testing.T) {
111 111 if !strings.Contains(joined, "scripts/self-update.sh") {
112 112 t.Fatalf("self_update: %s", joined)
113 113 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
114 post, err := os.ReadFile("../../scripts/self-update.sh")
115 115 if err != nil {
116 116 t.Fatal(err)
117 117 }
118 text := string(script)
118 postText := string(post)
119 for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {
120 if !strings.Contains(postText, want) {
121 t.Fatalf("self-update.sh mist %q", want)
122 }
123 }
124 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
125 t.Fatal("self-update.sh hoort alleen de POST te doen")
126 }
127 aurScript := strings.Join(aur.Script, "\n")
128 waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")
129 publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")
130 if waitAt < 0 || publishAt < 0 || waitAt > publishAt {
131 t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)
132 }
133 wait, err := os.ReadFile("../../scripts/wait-self-update.sh")
134 if err != nil {
135 t.Fatal(err)
136 }
137 waitText := string(wait)
119 138 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
139 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",
121 140 } {
122 if !strings.Contains(text, want) {
123 t.Fatalf("self-update.sh mist %q", want)
141 if !strings.Contains(waitText, want) {
142 t.Fatalf("wait-self-update.sh mist %q", want)
124 143 }
125 144 }
126 145 if Gate(p.Jobs, map[string]string{
@@ -111,16 +111,35 @@ func TestBlueGitExampleFile(t *testing.T) {
111 if !strings.Contains(joined, "scripts/self-update.sh") {
111 if !strings.Contains(joined, "scripts/self-update.sh") {
112 t.Fatalf("self_update: %s", joined)
112 t.Fatalf("self_update: %s", joined)
113 }
113 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
114 post, err := os.ReadFile("../../scripts/self-update.sh")
115 if err != nil {
115 if err != nil {
116 t.Fatal(err)
116 t.Fatal(err)
117 }
117 }
118 text := string(script)
118 postText := string(post)
119 for _, want := range []string{`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", "POST"} {
120 if !strings.Contains(postText, want) {
121 t.Fatalf("self-update.sh mist %q", want)
122 }
123 }
124 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
125 t.Fatal("self-update.sh hoort alleen de POST te doen")
126 }
127 aurScript := strings.Join(aur.Script, "\n")
128 waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")
129 publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")
130 if waitAt < 0 || publishAt < 0 || waitAt > publishAt {
131 t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)
132 }
133 wait, err := os.ReadFile("../../scripts/wait-self-update.sh")
134 if err != nil {
135 t.Fatal(err)
136 }
137 waitText := string(wait)
119 for _, want := range []string{
138 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
139 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",
121 } {
140 } {
122 if !strings.Contains(text, want) {
141 if !strings.Contains(waitText, want) {
123 t.Fatalf("self-update.sh mist %q", want)
142 t.Fatalf("wait-self-update.sh mist %q", want)
124 }
143 }
125 }
144 }
126 if Gate(p.Jobs, map[string]string{
145 if Gate(p.Jobs, map[string]string{
internal/store/abandoned_jobs_test.go added +130 −0
@@ -0,0 +1,130 @@
1 package store
2
3 import (
4 "context"
5 "strings"
6 "testing"
7 )
8
9 func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
10 s := openTest(t)
11 ctx := context.Background()
12 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
13 if err != nil {
14 t.Fatal(err)
15 }
16 repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")
17 if err != nil {
18 t.Fatal(err)
19 }
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},
24 {Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
25 })
26 if err != nil {
27 t.Fatal(err)
28 }
29 queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{
30 {Name: "wait", Stage: "test", Script: "sleep"},
31 })
32 if err != nil {
33 t.Fatal(err)
34 }
35 softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{
36 {Name: "build", Stage: "build", Script: "go build"},
37 {Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},
38 })
39 if err != nil {
40 t.Fatal(err)
41 }
42 set := func(pipe int64, name, status, log string) {
43 t.Helper()
44 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {
45 t.Fatal(err)
46 }
47 }
48 set(id, "build", "success", "ok\n")
49 set(id, "self_update", "running", "post verstuurd\n")
50 set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")
51 set(queuedID, "wait", "queued", "")
52 set(softID, "build", "success", "ok\n")
53 set(softID, "publish_aur", "running", "bezig\n")
54 if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {
55 t.Fatal(err)
56 }
57
58 n, err := s.FailAbandonedJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("abandoned: %d %v", n, err)
61 }
62 jobs, err := s.JobsByPipeline(ctx, id)
63 if err != nil {
64 t.Fatal(err)
65 }
66 by := map[string]Job{}
67 for _, j := range jobs {
68 by[j.Name] = j
69 }
70 upd := by["self_update"]
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 }
77 p, err := s.PipelineByID(ctx, repo.ID, id)
78 if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {
79 t.Fatalf("pipeline: %+v %v", p, err)
80 }
81 if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {
82 t.Fatalf("wachtende job: %s", got)
83 }
84 queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)
85 if err != nil || queuedPipe.Status != "running" {
86 t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)
87 }
88 softJobs, err := s.JobsByPipeline(ctx, softID)
89 if err != nil {
90 t.Fatal(err)
91 }
92 for _, j := range softJobs {
93 if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {
94 t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)
95 }
96 }
97 softPipe, err := s.PipelineByID(ctx, repo.ID, softID)
98 if err != nil || softPipe.Status != "success" {
99 t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)
100 }
101 running, err := s.CountRunningJobs(ctx)
102 if err != nil || running != 0 {
103 t.Fatalf("running na herstart: %d %v", running, err)
104 }
105 again, err := s.FailAbandonedJobs(ctx)
106 if err != nil || again != 0 {
107 t.Fatalf("tweede start: %d %v", again, err)
108 }
109
110 ok, err := s.RetryFailedJobs(ctx, id)
111 if err != nil || !ok {
112 t.Fatalf("retry: %v %v", ok, err)
113 }
114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {
116 t.Fatalf("mode failed: %v", got)
117 }
118 retried, err := s.JobsByPipeline(ctx, id)
119 if err != nil {
120 t.Fatal(err)
121 }
122 for _, j := range retried {
123 if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {
124 t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)
125 }
126 }
127 if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {
128 t.Fatalf("retry van de release raakt de andere pipeline: %s", side)
129 }
130 }
@@ -0,0 +1,130 @@
1package store
2
3import (
4 "context"
5 "strings"
6 "testing"
7)
8
9func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
10 s := openTest(t)
11 ctx := context.Background()
12 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
13 if err != nil {
14 t.Fatal(err)
15 }
16 repo, err := s.CreateRepo(ctx, "user", tim.ID, "bluegit", "", "master", "public")
17 if err != nil {
18 t.Fatal(err)
19 }
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},
24 {Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
25 })
26 if err != nil {
27 t.Fatal(err)
28 }
29 queuedID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/topic", "push", "tim", "side", []NewJob{
30 {Name: "wait", Stage: "test", Script: "sleep"},
31 })
32 if err != nil {
33 t.Fatal(err)
34 }
35 softID, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/soft", "push", "tim", "soft", []NewJob{
36 {Name: "build", Stage: "build", Script: "go build"},
37 {Name: "publish_aur", Stage: "release", Script: "aur", AllowFailure: true},
38 })
39 if err != nil {
40 t.Fatal(err)
41 }
42 set := func(pipe int64, name, status, log string) {
43 t.Helper()
44 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ?, log = ?, started_at = ? WHERE pipeline_id = ? AND name = ?`, status, log, now(), pipe, name); err != nil {
45 t.Fatal(err)
46 }
47 }
48 set(id, "build", "success", "ok\n")
49 set(id, "self_update", "running", "post verstuurd\n")
50 set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")
51 set(queuedID, "wait", "queued", "")
52 set(softID, "build", "success", "ok\n")
53 set(softID, "publish_aur", "running", "bezig\n")
54 if _, err := s.db.ExecContext(ctx, `UPDATE pipelines SET status = 'running' WHERE id IN (?, ?, ?)`, id, queuedID, softID); err != nil {
55 t.Fatal(err)
56 }
57
58 n, err := s.FailAbandonedJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("abandoned: %d %v", n, err)
61 }
62 jobs, err := s.JobsByPipeline(ctx, id)
63 if err != nil {
64 t.Fatal(err)
65 }
66 by := map[string]Job{}
67 for _, j := range jobs {
68 by[j.Name] = j
69 }
70 upd := by["self_update"]
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 }
77 p, err := s.PipelineByID(ctx, repo.ID, id)
78 if err != nil || p.Status != "failed" || p.FinishedAt.IsZero() {
79 t.Fatalf("pipeline: %+v %v", p, err)
80 }
81 if got := jobStatus(t, s, queuedID)["wait"]; got != "queued" {
82 t.Fatalf("wachtende job: %s", got)
83 }
84 queuedPipe, err := s.PipelineByID(ctx, repo.ID, queuedID)
85 if err != nil || queuedPipe.Status != "running" {
86 t.Fatalf("pipeline zonder dode job: %+v %v", queuedPipe, err)
87 }
88 softJobs, err := s.JobsByPipeline(ctx, softID)
89 if err != nil {
90 t.Fatal(err)
91 }
92 for _, j := range softJobs {
93 if j.Name == "publish_aur" && (j.Status != "failed" || !strings.Contains(j.Log, AbandonedJobNote)) {
94 t.Fatalf("allow_failure job: status=%s log=%q", j.Status, j.Log)
95 }
96 }
97 softPipe, err := s.PipelineByID(ctx, repo.ID, softID)
98 if err != nil || softPipe.Status != "success" {
99 t.Fatalf("alleen een zachte mislukking: %+v %v", softPipe, err)
100 }
101 running, err := s.CountRunningJobs(ctx)
102 if err != nil || running != 0 {
103 t.Fatalf("running na herstart: %d %v", running, err)
104 }
105 again, err := s.FailAbandonedJobs(ctx)
106 if err != nil || again != 0 {
107 t.Fatalf("tweede start: %d %v", again, err)
108 }
109
110 ok, err := s.RetryFailedJobs(ctx, id)
111 if err != nil || !ok {
112 t.Fatalf("retry: %v %v", ok, err)
113 }
114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {
116 t.Fatalf("mode failed: %v", got)
117 }
118 retried, err := s.JobsByPipeline(ctx, id)
119 if err != nil {
120 t.Fatal(err)
121 }
122 for _, j := range retried {
123 if j.Name == "self_update" && (j.Log != "" || !j.FinishedAt.IsZero()) {
124 t.Fatalf("retry maakt de job leeg: log=%q finished=%v", j.Log, j.FinishedAt)
125 }
126 }
127 if side := jobStatus(t, s, queuedID)["wait"]; side != "queued" {
128 t.Fatalf("retry van de release raakt de andere pipeline: %s", side)
129 }
130}
internal/store/flow.go +56 −3
@@ -934,17 +934,70 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
934 934 return n == 1, nil
935 935 }
936 936
937 // AbandonedJobNote komt in het log van een job die de herstart niet haalde.
938 // Steve zit in dit proces. Een job die nog running is, heeft hier geen container.
939 const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"
940
941 // FailAbandonedJobs zet elke job met status running op failed.
942 // Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.
943 // Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,
944 // zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.
945 func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
946 rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)
947 if err != nil {
948 return 0, err
949 }
950 defer rows.Close()
951 type item struct{ id, pipe int64 }
952 var found []item
953 for rows.Next() {
954 var it item
955 if err := rows.Scan(&it.id, &it.pipe); err != nil {
956 return 0, err
957 }
958 found = append(found, it)
959 }
960 if err := rows.Err(); err != nil {
961 return 0, err
962 }
963 n := 0
964 seen := map[int64]struct{}{}
965 var pipes []int64
966 for _, it := range found {
967 res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)
968 if err != nil {
969 return n, err
970 }
971 affected, _ := res.RowsAffected()
972 if affected == 0 {
973 continue
974 }
975 n++
976 if _, ok := seen[it.pipe]; !ok {
977 seen[it.pipe] = struct{}{}
978 pipes = append(pipes, it.pipe)
979 }
980 }
981 for _, id := range pipes {
982 if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {
983 return n, err
984 }
985 }
986 return n, nil
987 }
988
937 989 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
990 // publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot
939 991 // deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940 // wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
992 // wachten, en de poll op pacman -U. self_update doet alleen de POST en telt
993 // mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.
941 994 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 995 var n int
943 996 err := s.db.QueryRowContext(ctx, `
944 997 SELECT COUNT(*) FROM jobs j
945 998 WHERE j.status = 'running'
946 999 AND NOT (
947 j.name = 'self_update'
1000 j.name = 'publish_aur'
948 1001 AND j.repo_id IN (
949 1002 SELECT r.id FROM repos r
950 1003 WHERE r.name = 'bluegit'
@@ -934,17 +934,70 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
934 return n == 1, nil
934 return n == 1, nil
935}
935}
936
936
937// AbandonedJobNote komt in het log van een job die de herstart niet haalde.
938// Steve zit in dit proces. Een job die nog running is, heeft hier geen container.
939const AbandonedJobNote = "BlueGit herstartte terwijl deze job liep; het proces is weg.\n"
940
941// FailAbandonedJobs zet elke job met status running op failed.
942// Aanroep dit bij het starten van de service, vóór de runner jobs oppakt.
943// Een tweede keer doet niets. De pipelinestatus wordt daarna opnieuw berekend,
944// zodat retry met mode failed deze jobs en hun wachtende vervolg oppakt.
945func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
946 rows, err := s.db.QueryContext(ctx, `SELECT id, pipeline_id FROM jobs WHERE status = 'running' ORDER BY id`)
947 if err != nil {
948 return 0, err
949 }
950 defer rows.Close()
951 type item struct{ id, pipe int64 }
952 var found []item
953 for rows.Next() {
954 var it item
955 if err := rows.Scan(&it.id, &it.pipe); err != nil {
956 return 0, err
957 }
958 found = append(found, it)
959 }
960 if err := rows.Err(); err != nil {
961 return 0, err
962 }
963 n := 0
964 seen := map[int64]struct{}{}
965 var pipes []int64
966 for _, it := range found {
967 res, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = 'failed', log = log || ?, finished_at = ? WHERE id = ? AND status = 'running'`, AbandonedJobNote, now(), it.id)
968 if err != nil {
969 return n, err
970 }
971 affected, _ := res.RowsAffected()
972 if affected == 0 {
973 continue
974 }
975 n++
976 if _, ok := seen[it.pipe]; !ok {
977 seen[it.pipe] = struct{}{}
978 pipes = append(pipes, it.pipe)
979 }
980 }
981 for _, id := range pipes {
982 if _, err := s.RefreshPipelineStatus(ctx, id); err != nil {
983 return n, err
984 }
985 }
986 return n, nil
987}
988
937// CountRunningJobs telt jobs die Steve nu uitvoert.
989// CountRunningJobs telt jobs die Steve nu uitvoert.
938// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
990// publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot
939// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
991// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
992// wachten, en de poll op pacman -U. self_update doet alleen de POST en telt
993// mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.
941func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
994func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 var n int
995 var n int
943 err := s.db.QueryRowContext(ctx, `
996 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
997 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
998 WHERE j.status = 'running'
946 AND NOT (
999 AND NOT (
947 j.name = 'self_update'
1000 j.name = 'publish_aur'
948 AND j.repo_id IN (
1001 AND j.repo_id IN (
949 SELECT r.id FROM repos r
1002 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
1003 WHERE r.name = 'bluegit'
internal/store/running_jobs_test.go +14 −8
@@ -5,7 +5,7 @@ import (
5 5 "testing"
6 6 )
7 7
8 func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
8 func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
9 9 s := openTest(t)
10 10 ctx := context.Background()
11 11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -26,13 +26,14 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
26 26 }
27 27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
29 {Name: "self_update", Stage: "release", Script: "post"},
30 {Name: "publish_aur", Stage: "release", Script: "aur"},
30 31 })
31 32 if err != nil {
32 33 t.Fatal(err)
33 34 }
34 35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "self_update", Stage: "release", Script: "post"},
36 37 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 38 })
38 39 if err != nil {
@@ -46,17 +47,22 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
46 47 }
47 48 set(blueID, "self_update", "running")
48 49 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
50 if err != nil || n != 1 {
51 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
51 52 }
52 53 set(otherID, "self_update", "running")
53 54 n, err = s.CountRunningJobs(ctx)
54 if err != nil || n != 1 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
55 if err != nil || n != 2 {
56 t.Fatalf("self_update in een andere repo: %d %v", n, err)
56 57 }
57 58 set(blueID, "publish_aur", "running")
58 59 n, err = s.CountRunningJobs(ctx)
59 60 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
61 t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)
62 }
63 set(otherID, "publish_aur", "running")
64 n, err = s.CountRunningJobs(ctx)
65 if err != nil || n != 3 {
66 t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)
61 67 }
62 68 }
@@ -5,7 +5,7 @@ import (
5 "testing"
5 "testing"
6)
6)
7
7
8func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
8func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
9 s := openTest(t)
9 s := openTest(t)
10 ctx := context.Background()
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -26,13 +26,14 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
26 }
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
29 {Name: "self_update", Stage: "release", Script: "post"},
30 {Name: "publish_aur", Stage: "release", Script: "aur"},
30 })
31 })
31 if err != nil {
32 if err != nil {
32 t.Fatal(err)
33 t.Fatal(err)
33 }
34 }
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "self_update", Stage: "release", Script: "post"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 })
38 })
38 if err != nil {
39 if err != nil {
@@ -46,17 +47,22 @@ func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
46 }
47 }
47 set(blueID, "self_update", "running")
48 set(blueID, "self_update", "running")
48 n, err := s.CountRunningJobs(ctx)
49 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 if err != nil || n != 1 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
51 }
52 }
52 set(otherID, "self_update", "running")
53 set(otherID, "self_update", "running")
53 n, err = s.CountRunningJobs(ctx)
54 n, err = s.CountRunningJobs(ctx)
54 if err != nil || n != 1 {
55 if err != nil || n != 2 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
56 t.Fatalf("self_update in een andere repo: %d %v", n, err)
56 }
57 }
57 set(blueID, "publish_aur", "running")
58 set(blueID, "publish_aur", "running")
58 n, err = s.CountRunningJobs(ctx)
59 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
60 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
61 t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)
62 }
63 set(otherID, "publish_aur", "running")
64 n, err = s.CountRunningJobs(ctx)
65 if err != nil || n != 3 {
66 t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)
61 }
67 }
62}
68}
packaging/bluegit-update.sh +2 −2
@@ -71,8 +71,8 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. self_update telt daar niet mee: die job polt
75 # tot deze installatie status ok schrijft.
74 # running komt uit de API. publish_aur van timfa/bluegit telt daar niet
75 # mee: die job polt tot deze installatie status ok schrijft.
76 76 wait_until_idle() {
77 77 local deadline body n poll
78 78 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,8 +71,8 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. self_update telt daar niet mee: die job polt
74# running komt uit de API. publish_aur van timfa/bluegit telt daar niet
75# tot deze installatie status ok schrijft.
75# mee: die job polt tot deze installatie status ok schrijft.
76wait_until_idle() {
76wait_until_idle() {
77 local deadline body n poll
77 local deadline body n poll
78 poll="$BLUEGIT_UPDATE_POLL"
78 poll="$BLUEGIT_UPDATE_POLL"
scripts/self-update.sh +9 −43
@@ -1,55 +1,21 @@
1 1 #!/usr/bin/env bash
2 # Start de self-update en wacht tot GET /api/v1/admin/self-update
3 # status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4 # dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5 # SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6 # is de pauze tussen pogingen (standaard 5).
2 # Start de self-update en stop meteen. POST /api/v1/admin/self-update
3 # antwoordt 202 zodra de unit start. De installatie herstart bluegit.service
4 # en daarmee Steve. Een job die dan nog loopt, sterft mee.
5 # De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van
6 # publish_aur (scripts/wait-self-update.sh). Die job heeft
7 # needs: [self_update] en draait dus pas nadat deze POST klaar is.
7 8 set -euo pipefail
8 9
9 10 : "${CI_API_URL:?CI_API_URL ontbreekt}"
10 11 : "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11 12 : "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12 13
13 timeout="${SELF_UPDATE_TIMEOUT:-300}"
14 interval="${SELF_UPDATE_INTERVAL:-5}"
15 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18 if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20 fi
21
22 14 api="${CI_API_URL%/}/admin/self-update"
23 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24 15
25 curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
16 curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \
17 -H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \
26 18 -H "Content-Type: application/json" \
27 19 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28 20
29 start="$(date +%s)"
30 while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55 done
21 echo "Self-update gestart: ${CI_COMMIT_SHA}"
@@ -1,55 +1,21 @@
1#!/usr/bin/env bash
1#!/usr/bin/env bash
2# Start de self-update en wacht tot GET /api/v1/admin/self-update
2# Start de self-update en stop meteen. POST /api/v1/admin/self-update
3# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
3# antwoordt 202 zodra de unit start. De installatie herstart bluegit.service
4# dus die job start pas hierna. Een mislukking of timeout faalt deze job.
4# en daarmee Steve. Een job die dan nog loopt, sterft mee.
5# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
5# De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van
6# is de pauze tussen pogingen (standaard 5).
6# publish_aur (scripts/wait-self-update.sh). Die job heeft
7# needs: [self_update] en draait dus pas nadat deze POST klaar is.
7set -euo pipefail
8set -euo pipefail
8
9
9: "${CI_API_URL:?CI_API_URL ontbreekt}"
10: "${CI_API_URL:?CI_API_URL ontbreekt}"
10: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
13
13timeout="${SELF_UPDATE_TIMEOUT:-300}"
14interval="${SELF_UPDATE_INTERVAL:-5}"
15[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20fi
21
22api="${CI_API_URL%/}/admin/self-update"
14api="${CI_API_URL%/}/admin/self-update"
23auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24
15
25curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
16curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" \
17 -H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}" \
26 -H "Content-Type: application/json" \
18 -H "Content-Type: application/json" \
27 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
19 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28
20
29start="$(date +%s)"
21echo "Self-update gestart: ${CI_COMMIT_SHA}"
30while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55done
scripts/self_update_test.go +54 −3
@@ -1,6 +1,7 @@
1 1 package scripts
2 2
3 3 import (
4 "context"
4 5 "net/http"
5 6 "net/http/httptest"
6 7 "os"
@@ -9,6 +10,7 @@ import (
9 10 "strings"
10 11 "sync"
11 12 "testing"
13 "time"
12 14 )
13 15
14 16 func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
@@ -21,7 +23,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
21 23 if _, err := exec.LookPath("jq"); err != nil {
22 24 t.Skip("jq ontbreekt")
23 25 }
24 script := filepath.Join("..", "scripts", "self-update.sh")
26 script := filepath.Join("..", "scripts", "wait-self-update.sh")
25 27 sha := "0123456789abcdef0123456789abcdef01234567"
26 28 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27 29
@@ -53,7 +55,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
53 55 if err != nil {
54 56 t.Fatalf("wacht: %v %s", err, out)
55 57 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
58 if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {
57 59 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 60 }
59 61 })
@@ -93,7 +95,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
93 95 if err != nil {
94 96 t.Fatalf("wacht: %v %s", err, out)
95 97 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
98 if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {
97 99 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 100 }
99 101 })
@@ -154,6 +156,55 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
154 156 })
155 157 }
156 158
159 func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
160 if _, err := exec.LookPath("bash"); err != nil {
161 t.Skip("bash ontbreekt")
162 }
163 if _, err := exec.LookPath("curl"); err != nil {
164 t.Skip("curl ontbreekt")
165 }
166 script := filepath.Join("..", "scripts", "self-update.sh")
167 sha := "0123456789abcdef0123456789abcdef01234567"
168 var posts, gets int
169 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
170 if r.URL.Path != "/api/v1/admin/self-update" {
171 http.NotFound(w, r)
172 return
173 }
174 if r.Method == http.MethodPost {
175 posts++
176 w.WriteHeader(http.StatusAccepted)
177 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
178 return
179 }
180 gets++
181 select {}
182 }))
183 t.Cleanup(srv.Close)
184 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
185 t.Cleanup(cancel)
186 cmd := exec.CommandContext(ctx, "bash", script)
187 cmd.Env = append(os.Environ(),
188 "CI_API_URL="+srv.URL+"/api/v1",
189 "BLUEGIT_UPDATE_TOKEN=test-token",
190 "CI_COMMIT_SHA="+sha,
191 )
192 out, err := cmd.CombinedOutput()
193 if err != nil {
194 t.Fatalf("post: %v %s", err, out)
195 }
196 if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {
197 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
198 }
199 raw, err := os.ReadFile(script)
200 if err != nil {
201 t.Fatal(err)
202 }
203 if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {
204 t.Fatal("self-update.sh polt nog")
205 }
206 }
207
157 208 func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 209 t.Helper()
159 210 var n int
@@ -1,6 +1,7 @@
1package scripts
1package scripts
2
2
3import (
3import (
4 "context"
4 "net/http"
5 "net/http"
5 "net/http/httptest"
6 "net/http/httptest"
6 "os"
7 "os"
@@ -9,6 +10,7 @@ import (
9 "strings"
10 "strings"
10 "sync"
11 "sync"
11 "testing"
12 "testing"
13 "time"
12)
14)
13
15
14func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
16func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
@@ -21,7 +23,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
21 if _, err := exec.LookPath("jq"); err != nil {
23 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
24 t.Skip("jq ontbreekt")
23 }
25 }
24 script := filepath.Join("..", "scripts", "self-update.sh")
26 script := filepath.Join("..", "scripts", "wait-self-update.sh")
25 sha := "0123456789abcdef0123456789abcdef01234567"
27 sha := "0123456789abcdef0123456789abcdef01234567"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27
29
@@ -53,7 +55,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
53 if err != nil {
55 if err != nil {
54 t.Fatalf("wacht: %v %s", err, out)
56 t.Fatalf("wacht: %v %s", err, out)
55 }
57 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
58 if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {
57 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
59 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 }
60 }
59 })
61 })
@@ -93,7 +95,7 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
93 if err != nil {
95 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
96 t.Fatalf("wacht: %v %s", err, out)
95 }
97 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
98 if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
99 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
100 }
99 })
101 })
@@ -154,6 +156,55 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
154 })
156 })
155}
157}
156
158
159func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
160 if _, err := exec.LookPath("bash"); err != nil {
161 t.Skip("bash ontbreekt")
162 }
163 if _, err := exec.LookPath("curl"); err != nil {
164 t.Skip("curl ontbreekt")
165 }
166 script := filepath.Join("..", "scripts", "self-update.sh")
167 sha := "0123456789abcdef0123456789abcdef01234567"
168 var posts, gets int
169 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
170 if r.URL.Path != "/api/v1/admin/self-update" {
171 http.NotFound(w, r)
172 return
173 }
174 if r.Method == http.MethodPost {
175 posts++
176 w.WriteHeader(http.StatusAccepted)
177 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
178 return
179 }
180 gets++
181 select {}
182 }))
183 t.Cleanup(srv.Close)
184 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
185 t.Cleanup(cancel)
186 cmd := exec.CommandContext(ctx, "bash", script)
187 cmd.Env = append(os.Environ(),
188 "CI_API_URL="+srv.URL+"/api/v1",
189 "BLUEGIT_UPDATE_TOKEN=test-token",
190 "CI_COMMIT_SHA="+sha,
191 )
192 out, err := cmd.CombinedOutput()
193 if err != nil {
194 t.Fatalf("post: %v %s", err, out)
195 }
196 if posts != 1 || gets != 0 || !strings.Contains(string(out), "Self-update gestart: "+sha) {
197 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
198 }
199 raw, err := os.ReadFile(script)
200 if err != nil {
201 t.Fatal(err)
202 }
203 if strings.Contains(string(raw), "jq") || strings.Contains(string(raw), "while true") {
204 t.Fatal("self-update.sh polt nog")
205 }
206}
207
157func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
208func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 t.Helper()
209 t.Helper()
159 var n int
210 var n int
scripts/wait-self-update.sh added +59 −0
@@ -0,0 +1,59 @@
1 #!/usr/bin/env bash
2 # Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.
3 # publish_aur roept dit aan het begin aan. needs: [self_update] houdt die
4 # job tegen tot de POST klaar is; daarna herstart de service en pas dan
5 # draait deze poll. Een mislukking of timeout faalt publish_aur.
6 # SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
7 # is de pauze tussen pogingen (standaard 5).
8 set -euo pipefail
9
10 : "${CI_API_URL:?CI_API_URL ontbreekt}"
11 : "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
12 : "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
13
14 timeout="${SELF_UPDATE_TIMEOUT:-300}"
15 interval="${SELF_UPDATE_INTERVAL:-5}"
16 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
17 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
18
19 if ! command -v jq >/dev/null 2>&1; then
20 if command -v pacman >/dev/null 2>&1; then
21 pacman -Sy --noconfirm --needed jq >&2
22 elif command -v apk >/dev/null 2>&1; then
23 apk add --no-cache jq >&2
24 else
25 echo "jq ontbreekt" >&2
26 exit 1
27 fi
28 fi
29
30 api="${CI_API_URL%/}/admin/self-update"
31 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
32
33 start="$(date +%s)"
34 while true; do
35 # Een korte storing tijdens de herstart mag de poll niet stoppen.
36 # log staat live als eerste key en bevat de tekst "status" en "sha".
37 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
38 status=""
39 sha=""
40 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
41 status="${parsed%%$'\t'*}"
42 sha="${parsed#*$'\t'}"
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
45 echo "self-update ok voor ${CI_COMMIT_SHA}"
46 exit 0
47 fi
48 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
49 echo "Self-update mislukt: $sha" >&2
50 exit 1
51 fi
52 now="$(date +%s)"
53 if (( now - start >= timeout )); then
54 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
55 exit 1
56 fi
57 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
58 sleep "$interval"
59 done
@@ -0,0 +1,59 @@
1#!/usr/bin/env bash
2# Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.
3# publish_aur roept dit aan het begin aan. needs: [self_update] houdt die
4# job tegen tot de POST klaar is; daarna herstart de service en pas dan
5# draait deze poll. Een mislukking of timeout faalt publish_aur.
6# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
7# is de pauze tussen pogingen (standaard 5).
8set -euo pipefail
9
10: "${CI_API_URL:?CI_API_URL ontbreekt}"
11: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
12: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
13
14timeout="${SELF_UPDATE_TIMEOUT:-300}"
15interval="${SELF_UPDATE_INTERVAL:-5}"
16[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
17[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
18
19if ! command -v jq >/dev/null 2>&1; then
20 if command -v pacman >/dev/null 2>&1; then
21 pacman -Sy --noconfirm --needed jq >&2
22 elif command -v apk >/dev/null 2>&1; then
23 apk add --no-cache jq >&2
24 else
25 echo "jq ontbreekt" >&2
26 exit 1
27 fi
28fi
29
30api="${CI_API_URL%/}/admin/self-update"
31auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
32
33start="$(date +%s)"
34while true; do
35 # Een korte storing tijdens de herstart mag de poll niet stoppen.
36 # log staat live als eerste key en bevat de tekst "status" en "sha".
37 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
38 status=""
39 sha=""
40 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
41 status="${parsed%%$'\t'*}"
42 sha="${parsed#*$'\t'}"
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
45 echo "self-update ok voor ${CI_COMMIT_SHA}"
46 exit 0
47 fi
48 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
49 echo "Self-update mislukt: $sha" >&2
50 exit 1
51 fi
52 now="$(date +%s)"
53 if (( now - start >= timeout )); then
54 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
55 exit 1
56 fi
57 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
58 sleep "$interval"
59done