BlueGit

timfa bluegit

fix: publiceer de AUR vóór de self-update

publish_aur wacht op build en self_update is de laatste job. Die doet
alleen de POST en eindigt groen. De poll, jq en de uitzondering in de
jobtelling zijn weg.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-23 · 3 weeks ago

Hash
dd3381a56730c517146393b46088da1569056791
Parent
e5b8fc72
Pipeline
Passed
13 files changed +69 −337
blue-ci-cd.yml +9 −10
@@ -64,26 +64,25 @@ jobs:
64 64 paths: [bluegit]
65 65 expire_in: 14d
66 66
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
68 # Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.
69 # De herstart kan deze job doden; de volgende start zet hem op failed.
70 # allow_failure: een AUR-storing maakt de pipeline niet rood.
67 # Vóór self_update. De archive-route staat live, dus de tarball van
68 # deze sha is te downloaden met de binary die al draait.
69 # allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70 # self_update niet tegen.
71 71 publish_aur:
72 72 stage: release
73 73 image: archlinux/archlinux:base-devel
74 74 extends: .on_master
75 needs: [self_update]
75 needs: [build]
76 76 allow_failure: true
77 77 script:
78 - chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 - ./scripts/wait-self-update.sh
80 78 - pacman -Syu --noconfirm
81 79 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
80 - chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh
82 81 - ./scripts/aur-ssh-setup.sh
83 82 - ./scripts/publish-aur.sh
84 83
85 # Na een geslaagde build. Het script doet alleen de POST en stopt.
86 # De service herstart tijdens de installatie; de poll zit in publish_aur.
84 # Laatste job. needs: [publish_aur] geldt ook als die job met
85 # allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
87 86 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
88 87 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 88 # CI_API_URL eindigt op /api/v1.
@@ -91,7 +90,7 @@ jobs:
91 90 stage: release
92 91 image: bluegit/base
93 92 extends: .on_master
94 needs: [build]
93 needs: [publish_aur]
95 94 script:
96 95 - chmod +x scripts/self-update.sh
97 96 - ./scripts/self-update.sh
@@ -64,26 +64,25 @@ jobs:
64 paths: [bluegit]
64 paths: [bluegit]
65 expire_in: 14d
65 expire_in: 14d
66
66
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
67 # Vóór self_update. De archive-route staat live, dus de tarball van
68 # Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.
68 # deze sha is te downloaden met de binary die al draait.
69 # De herstart kan deze job doden; de volgende start zet hem op failed.
69 # allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70 # allow_failure: een AUR-storing maakt de pipeline niet rood.
70 # self_update niet tegen.
71 publish_aur:
71 publish_aur:
72 stage: release
72 stage: release
73 image: archlinux/archlinux:base-devel
73 image: archlinux/archlinux:base-devel
74 extends: .on_master
74 extends: .on_master
75 needs: [self_update]
75 needs: [build]
76 allow_failure: true
76 allow_failure: true
77 script:
77 script:
78 - chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79 - ./scripts/wait-self-update.sh
80 - pacman -Syu --noconfirm
78 - pacman -Syu --noconfirm
81 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
79 - pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
80 - chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh
82 - ./scripts/aur-ssh-setup.sh
81 - ./scripts/aur-ssh-setup.sh
83 - ./scripts/publish-aur.sh
82 - ./scripts/publish-aur.sh
84
83
85 # Na een geslaagde build. Het script doet alleen de POST en stopt.
84 # Laatste job. needs: [publish_aur] geldt ook als die job met
86 # De service herstart tijdens de installatie; de poll zit in publish_aur.
85 # allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
87 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
86 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
87 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 # CI_API_URL eindigt op /api/v1.
88 # CI_API_URL eindigt op /api/v1.
@@ -91,7 +90,7 @@ jobs:
91 stage: release
90 stage: release
92 image: bluegit/base
91 image: bluegit/base
93 extends: .on_master
92 extends: .on_master
94 needs: [build]
93 needs: [publish_aur]
95 script:
94 script:
96 - chmod +x scripts/self-update.sh
95 - chmod +x scripts/self-update.sh
97 - ./scripts/self-update.sh
96 - ./scripts/self-update.sh
docs/AUR.md +10 −6
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55 55 | `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56 56 | `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57 57
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58 `publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59 59
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
60 Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62 `self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61 63
62 64 `CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63 65
@@ -71,11 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71 73
72 74 ## Self-update
73 75
74 `self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.
76 `publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78 Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
75 79
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.
80 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
77 81
78 Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
82 Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
79 83
80 84 De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
81 85
@@ -83,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
83 87
84 88 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
85 89
86 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
87 91
88 92 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
89 93
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
60Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61
63
62`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
64`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63
65
@@ -71,11 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71
73
72## Self-update
74## Self-update
73
75
74`self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.
76`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
75
79
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.
80`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
77
81
78Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
82Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
79
83
80De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
84De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
81
85
@@ -83,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
83
87
84Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
88Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
85
89
86Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
87
91
88`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
92`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
89
93
docs/CI.md +1 −1
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90 90
91 91 | Preset | Basis |
92 92 | --- | --- |
93 | `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93 | `bluegit/base` | Alpine 3.20, met git, curl en bash |
94 94 | `bluegit/node` | Node.js 22 |
95 95 | `bluegit/python` | Python 3.12 |
96 96 | `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91| Preset | Basis |
91| Preset | Basis |
92| --- | --- |
92| --- | --- |
93| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93| `bluegit/base` | Alpine 3.20, met git, curl en bash |
94| `bluegit/node` | Node.js 22 |
94| `bluegit/node` | Node.js 22 |
95| `bluegit/python` | Python 3.12 |
95| `bluegit/python` | Python 3.12 |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
internal/ci/example_test.go +24 −29
@@ -88,27 +88,31 @@ func TestBlueGitExampleFile(t *testing.T) {
88 88 t.Fatalf("master %d %v", len(active), err)
89 89 }
90 90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92 92 t.Fatalf("publish_aur: %+v", aur)
93 93 }
94 aurScript := strings.Join(aur.Script, "\n")
95 if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96 t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97 }
94 98 if Gate(p.Jobs, map[string]string{
95 99 "vet": "success", "test": "success", "frontend_checks": "success",
96 "build": "success", "self_update": "running",
100 "build": "running",
97 101 }, aur) != "wait" {
98 t.Fatal("publish_aur wacht tot self_update klaar is")
102 t.Fatal("publish_aur wacht op build")
99 103 }
100 104 if Gate(p.Jobs, map[string]string{
101 105 "vet": "success", "test": "success", "frontend_checks": "success",
102 "build": "success", "self_update": "success",
106 "build": "success", "self_update": "running",
103 107 }, aur) != "ready" {
104 t.Fatal("publish_aur start na self_update")
108 t.Fatal("publish_aur start na build, vóór self_update")
105 109 }
106 110 upd := by["self_update"]
107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
111 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
112 t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109 113 }
110 114 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "scripts/self-update.sh") {
115 if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112 116 t.Fatalf("self_update: %s", joined)
113 117 }
114 118 post, err := os.ReadFile("../../scripts/self-update.sh")
@@ -124,35 +128,26 @@ func TestBlueGitExampleFile(t *testing.T) {
124 128 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
125 129 t.Fatal("self-update.sh hoort alleen de POST te doen")
126 130 }
127 aurScript := strings.Join(aur.Script, "\n")
128 waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")
129 publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")
130 if waitAt < 0 || publishAt < 0 || waitAt > publishAt {
131 t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)
132 }
133 wait, err := os.ReadFile("../../scripts/wait-self-update.sh")
134 if err != nil {
135 t.Fatal(err)
136 }
137 waitText := string(wait)
138 for _, want := range []string{
139 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",
140 } {
141 if !strings.Contains(waitText, want) {
142 t.Fatalf("wait-self-update.sh mist %q", want)
143 }
131 if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
132 t.Fatal("de poll hoort weg te zijn")
144 133 }
145 134 if Gate(p.Jobs, map[string]string{
146 135 "vet": "success", "test": "success", "frontend_checks": "success",
147 "build": "queued", "publish_aur": "running",
136 "build": "success", "publish_aur": "running",
148 137 }, upd) != "wait" {
149 t.Fatal("self_update wacht op build")
138 t.Fatal("self_update wacht tot publish_aur klaar is")
150 139 }
151 140 if Gate(p.Jobs, map[string]string{
152 141 "vet": "success", "test": "success", "frontend_checks": "success",
153 "build": "success", "publish_aur": "running",
142 "build": "success", "publish_aur": "success",
143 }, upd) != "ready" {
144 t.Fatal("self_update start na een geslaagde publish_aur")
145 }
146 if Gate(p.Jobs, map[string]string{
147 "vet": "success", "test": "success", "frontend_checks": "success",
148 "build": "success", "publish_aur": "failed",
154 149 }, upd) != "ready" {
155 t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150 t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
156 151 }
157 152 }
158 153
@@ -88,27 +88,31 @@ func TestBlueGitExampleFile(t *testing.T) {
88 t.Fatalf("master %d %v", len(active), err)
88 t.Fatalf("master %d %v", len(active), err)
89 }
89 }
90 aur := by["publish_aur"]
90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92 t.Fatalf("publish_aur: %+v", aur)
92 t.Fatalf("publish_aur: %+v", aur)
93 }
93 }
94 aurScript := strings.Join(aur.Script, "\n")
95 if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96 t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97 }
94 if Gate(p.Jobs, map[string]string{
98 if Gate(p.Jobs, map[string]string{
95 "vet": "success", "test": "success", "frontend_checks": "success",
99 "vet": "success", "test": "success", "frontend_checks": "success",
96 "build": "success", "self_update": "running",
100 "build": "running",
97 }, aur) != "wait" {
101 }, aur) != "wait" {
98 t.Fatal("publish_aur wacht tot self_update klaar is")
102 t.Fatal("publish_aur wacht op build")
99 }
103 }
100 if Gate(p.Jobs, map[string]string{
104 if Gate(p.Jobs, map[string]string{
101 "vet": "success", "test": "success", "frontend_checks": "success",
105 "vet": "success", "test": "success", "frontend_checks": "success",
102 "build": "success", "self_update": "success",
106 "build": "success", "self_update": "running",
103 }, aur) != "ready" {
107 }, aur) != "ready" {
104 t.Fatal("publish_aur start na self_update")
108 t.Fatal("publish_aur start na build, vóór self_update")
105 }
109 }
106 upd := by["self_update"]
110 upd := by["self_update"]
107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
111 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
112 t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109 }
113 }
110 joined := strings.Join(upd.Script, "\n")
114 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "scripts/self-update.sh") {
115 if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112 t.Fatalf("self_update: %s", joined)
116 t.Fatalf("self_update: %s", joined)
113 }
117 }
114 post, err := os.ReadFile("../../scripts/self-update.sh")
118 post, err := os.ReadFile("../../scripts/self-update.sh")
@@ -124,35 +128,26 @@ func TestBlueGitExampleFile(t *testing.T) {
124 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
128 if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
125 t.Fatal("self-update.sh hoort alleen de POST te doen")
129 t.Fatal("self-update.sh hoort alleen de POST te doen")
126 }
130 }
127 aurScript := strings.Join(aur.Script, "\n")
131 if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
128 waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")
132 t.Fatal("de poll hoort weg te zijn")
129 publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")
130 if waitAt < 0 || publishAt < 0 || waitAt > publishAt {
131 t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)
132 }
133 wait, err := os.ReadFile("../../scripts/wait-self-update.sh")
134 if err != nil {
135 t.Fatal(err)
136 }
137 waitText := string(wait)
138 for _, want := range []string{
139 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",
140 } {
141 if !strings.Contains(waitText, want) {
142 t.Fatalf("wait-self-update.sh mist %q", want)
143 }
144 }
133 }
145 if Gate(p.Jobs, map[string]string{
134 if Gate(p.Jobs, map[string]string{
146 "vet": "success", "test": "success", "frontend_checks": "success",
135 "vet": "success", "test": "success", "frontend_checks": "success",
147 "build": "queued", "publish_aur": "running",
136 "build": "success", "publish_aur": "running",
148 }, upd) != "wait" {
137 }, upd) != "wait" {
149 t.Fatal("self_update wacht op build")
138 t.Fatal("self_update wacht tot publish_aur klaar is")
150 }
139 }
151 if Gate(p.Jobs, map[string]string{
140 if Gate(p.Jobs, map[string]string{
152 "vet": "success", "test": "success", "frontend_checks": "success",
141 "vet": "success", "test": "success", "frontend_checks": "success",
153 "build": "success", "publish_aur": "running",
142 "build": "success", "publish_aur": "success",
143 }, upd) != "ready" {
144 t.Fatal("self_update start na een geslaagde publish_aur")
145 }
146 if Gate(p.Jobs, map[string]string{
147 "vet": "success", "test": "success", "frontend_checks": "success",
148 "build": "success", "publish_aur": "failed",
154 }, upd) != "ready" {
149 }, upd) != "ready" {
155 t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150 t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
156 }
151 }
157}
152}
158
153
internal/images/dockerfiles/base/Dockerfile +1 −1
@@ -1,3 +1,3 @@
1 1 # runtime: Alpine 3.20
2 2 FROM alpine:3.20
3 RUN apk add --no-cache bash ca-certificates curl git jq
3 RUN apk add --no-cache bash ca-certificates curl git
@@ -1,3 +1,3 @@
1# runtime: Alpine 3.20
1# runtime: Alpine 3.20
2FROM alpine:3.20
2FROM alpine:3.20
3RUN apk add --no-cache bash ca-certificates curl git jq
3RUN apk add --no-cache bash ca-certificates curl git
internal/images/dockerfiles/go/Dockerfile +1 −1
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3 3 # git-daemon levert git-http-backend. Zonder die binary spreekt een
4 4 # testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5 5 # git-remote-http hoort bij git zelf en is de client voor die push.
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon
7 7 RUN test -x "$(git --exec-path)/git-http-backend" \
8 8 && test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5# git-remote-http hoort bij git zelf en is de client voor die push.
5# git-remote-http hoort bij git zelf en is de client voor die push.
6RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6RUN apk add --no-cache bash ca-certificates curl git git-daemon
7RUN test -x "$(git --exec-path)/git-http-backend" \
7RUN test -x "$(git --exec-path)/git-http-backend" \
8 && test -e "$(git --exec-path)/git-remote-http"
8 && test -e "$(git --exec-path)/git-remote-http"
internal/store/abandoned_jobs_test.go +5 −5
@@ -20,8 +20,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
20 20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},
24 {Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
23 {Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24 {Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25 25 })
26 26 if err != nil {
27 27 t.Fatal(err)
@@ -46,8 +46,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
46 46 }
47 47 }
48 48 set(id, "build", "success", "ok\n")
49 set(id, "publish_aur", "success", "aur ok\n")
49 50 set(id, "self_update", "running", "post verstuurd\n")
50 set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")
51 51 set(queuedID, "wait", "queued", "")
52 52 set(softID, "build", "success", "ok\n")
53 53 set(softID, "publish_aur", "running", "bezig\n")
@@ -71,7 +71,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
71 71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {
74 if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75 75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 76 }
77 77 p, err := s.PipelineByID(ctx, repo.ID, id)
@@ -112,7 +112,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
112 112 t.Fatalf("retry: %v %v", ok, err)
113 113 }
114 114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {
115 if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116 116 t.Fatalf("mode failed: %v", got)
117 117 }
118 118 retried, err := s.JobsByPipeline(ctx, id)
@@ -20,8 +20,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
20 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
21 id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
22 {Name: "build", Stage: "build", Position: 0, Script: "go build"},
23 {Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},
23 {Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24 {Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
24 {Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25 })
25 })
26 if err != nil {
26 if err != nil {
27 t.Fatal(err)
27 t.Fatal(err)
@@ -46,8 +46,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
46 }
46 }
47 }
47 }
48 set(id, "build", "success", "ok\n")
48 set(id, "build", "success", "ok\n")
49 set(id, "publish_aur", "success", "aur ok\n")
49 set(id, "self_update", "running", "post verstuurd\n")
50 set(id, "self_update", "running", "post verstuurd\n")
50 set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")
51 set(queuedID, "wait", "queued", "")
51 set(queuedID, "wait", "queued", "")
52 set(softID, "build", "success", "ok\n")
52 set(softID, "build", "success", "ok\n")
53 set(softID, "publish_aur", "running", "bezig\n")
53 set(softID, "publish_aur", "running", "bezig\n")
@@ -71,7 +71,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
71 if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
72 t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73 }
73 }
74 if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {
74 if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
75 t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76 }
76 }
77 p, err := s.PipelineByID(ctx, repo.ID, id)
77 p, err := s.PipelineByID(ctx, repo.ID, id)
@@ -112,7 +112,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
112 t.Fatalf("retry: %v %v", ok, err)
112 t.Fatalf("retry: %v %v", ok, err)
113 }
113 }
114 got := jobStatus(t, s, id)
114 got := jobStatus(t, s, id)
115 if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {
115 if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116 t.Fatalf("mode failed: %v", got)
116 t.Fatalf("mode failed: %v", got)
117 }
117 }
118 retried, err := s.JobsByPipeline(ctx, id)
118 retried, err := s.JobsByPipeline(ctx, id)
internal/store/flow.go +3 −18
@@ -987,26 +987,11 @@ func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
987 987 }
988 988
989 989 // CountRunningJobs telt jobs die Steve nu uitvoert.
990 // publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot
991 // deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
992 // wachten, en de poll op pacman -U. self_update doet alleen de POST en telt
993 // mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.
990 // publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
991 // dus er is geen job die tijdens de installatie op de updater wacht.
994 992 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
995 993 var n int
996 err := s.db.QueryRowContext(ctx, `
997 SELECT COUNT(*) FROM jobs j
998 WHERE j.status = 'running'
999 AND NOT (
1000 j.name = 'publish_aur'
1001 AND j.repo_id IN (
1002 SELECT r.id FROM repos r
1003 WHERE r.name = 'bluegit'
1004 AND (
1005 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
1006 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
1007 )
1008 )
1009 )`).Scan(&n)
994 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
1010 995 return n, err
1011 996 }
1012 997
@@ -987,26 +987,11 @@ func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
987}
987}
988
988
989// CountRunningJobs telt jobs die Steve nu uitvoert.
989// CountRunningJobs telt jobs die Steve nu uitvoert.
990// publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot
990// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
991// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
991// dus er is geen job die tijdens de installatie op de updater wacht.
992// wachten, en de poll op pacman -U. self_update doet alleen de POST en telt
993// mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.
994func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
992func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
995 var n int
993 var n int
996 err := s.db.QueryRowContext(ctx, `
994 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
997 SELECT COUNT(*) FROM jobs j
998 WHERE j.status = 'running'
999 AND NOT (
1000 j.name = 'publish_aur'
1001 AND j.repo_id IN (
1002 SELECT r.id FROM repos r
1003 WHERE r.name = 'bluegit'
1004 AND (
1005 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
1006 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
1007 )
1008 )
1009 )`).Scan(&n)
1010 return n, err
995 return n, err
1011}
996}
1012
997
internal/store/running_jobs_test.go +9 −13
@@ -5,7 +5,7 @@ import (
5 5 "testing"
6 6 )
7 7
8 func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
8 func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9 9 s := openTest(t)
10 10 ctx := context.Background()
11 11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -33,8 +33,8 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
33 33 t.Fatal(err)
34 34 }
35 35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
36 {Name: "self_update", Stage: "release", Script: "post"},
37 36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 {Name: "self_update", Stage: "release", Script: "post"},
38 38 })
39 39 if err != nil {
40 40 t.Fatal(err)
@@ -45,24 +45,20 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
45 45 t.Fatal(err)
46 46 }
47 47 }
48 set(blueID, "self_update", "running")
48 set(blueID, "publish_aur", "running")
49 49 n, err := s.CountRunningJobs(ctx)
50 50 if err != nil || n != 1 {
51 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
51 t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
52 52 }
53 set(otherID, "self_update", "running")
54 n, err = s.CountRunningJobs(ctx)
55 if err != nil || n != 2 {
56 t.Fatalf("self_update in een andere repo: %d %v", n, err)
57 }
58 set(blueID, "publish_aur", "running")
53 set(blueID, "self_update", "running")
59 54 n, err = s.CountRunningJobs(ctx)
60 55 if err != nil || n != 2 {
61 t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)
56 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
62 57 }
63 58 set(otherID, "publish_aur", "running")
59 set(otherID, "self_update", "running")
64 60 n, err = s.CountRunningJobs(ctx)
65 if err != nil || n != 3 {
66 t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)
61 if err != nil || n != 4 {
62 t.Fatalf("jobs in een andere repo: %d %v", n, err)
67 63 }
68 64 }
@@ -5,7 +5,7 @@ import (
5 "testing"
5 "testing"
6)
6)
7
7
8func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
8func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9 s := openTest(t)
9 s := openTest(t)
10 ctx := context.Background()
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -33,8 +33,8 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
33 t.Fatal(err)
33 t.Fatal(err)
34 }
34 }
35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
36 {Name: "self_update", Stage: "release", Script: "post"},
37 {Name: "publish_aur", Stage: "release", Script: "aur"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 {Name: "self_update", Stage: "release", Script: "post"},
38 })
38 })
39 if err != nil {
39 if err != nil {
40 t.Fatal(err)
40 t.Fatal(err)
@@ -45,24 +45,20 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
45 t.Fatal(err)
45 t.Fatal(err)
46 }
46 }
47 }
47 }
48 set(blueID, "self_update", "running")
48 set(blueID, "publish_aur", "running")
49 n, err := s.CountRunningJobs(ctx)
49 n, err := s.CountRunningJobs(ctx)
50 if err != nil || n != 1 {
50 if err != nil || n != 1 {
51 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
51 t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
52 }
52 }
53 set(otherID, "self_update", "running")
53 set(blueID, "self_update", "running")
54 n, err = s.CountRunningJobs(ctx)
55 if err != nil || n != 2 {
56 t.Fatalf("self_update in een andere repo: %d %v", n, err)
57 }
58 set(blueID, "publish_aur", "running")
59 n, err = s.CountRunningJobs(ctx)
54 n, err = s.CountRunningJobs(ctx)
60 if err != nil || n != 2 {
55 if err != nil || n != 2 {
61 t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)
56 t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
62 }
57 }
63 set(otherID, "publish_aur", "running")
58 set(otherID, "publish_aur", "running")
59 set(otherID, "self_update", "running")
64 n, err = s.CountRunningJobs(ctx)
60 n, err = s.CountRunningJobs(ctx)
65 if err != nil || n != 3 {
61 if err != nil || n != 4 {
66 t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)
62 t.Fatalf("jobs in een andere repo: %d %v", n, err)
67 }
63 }
68}
64}
packaging/bluegit-update.sh +1 −2
@@ -71,8 +71,7 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. publish_aur van timfa/bluegit telt daar niet
75 # mee: die job polt tot deze installatie status ok schrijft.
74 # running komt uit de API. Elke job met status running telt mee.
76 75 wait_until_idle() {
77 76 local deadline body n poll
78 77 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,8 +71,7 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. publish_aur van timfa/bluegit telt daar niet
74# running komt uit de API. Elke job met status running telt mee.
75# mee: die job polt tot deze installatie status ok schrijft.
76wait_until_idle() {
75wait_until_idle() {
77 local deadline body n poll
76 local deadline body n poll
78 poll="$BLUEGIT_UPDATE_POLL"
77 poll="$BLUEGIT_UPDATE_POLL"
scripts/self-update.sh +5 −6
@@ -1,10 +1,9 @@
1 1 #!/usr/bin/env bash
2 # Start de self-update en stop meteen. POST /api/v1/admin/self-update
3 # antwoordt 202 zodra de unit start. De installatie herstart bluegit.service
4 # en daarmee Steve. Een job die dan nog loopt, sterft mee.
5 # De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van
6 # publish_aur (scripts/wait-self-update.sh). Die job heeft
7 # needs: [self_update] en draait dus pas nadat deze POST klaar is.
2 # Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3 # antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4 # (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5 # job sterft mee als post_upgrade bluegit.service herstart, en de updater
6 # zou op die job blijven wachten.
8 7 set -euo pipefail
9 8
10 9 : "${CI_API_URL:?CI_API_URL ontbreekt}"
@@ -1,10 +1,9 @@
1#!/usr/bin/env bash
1#!/usr/bin/env bash
2# Start de self-update en stop meteen. POST /api/v1/admin/self-update
2# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3# antwoordt 202 zodra de unit start. De installatie herstart bluegit.service
3# antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4# en daarmee Steve. Een job die dan nog loopt, sterft mee.
4# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5# De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van
5# job sterft mee als post_upgrade bluegit.service herstart, en de updater
6# publish_aur (scripts/wait-self-update.sh). Die job heeft
6# zou op die job blijven wachten.
7# needs: [self_update] en draait dus pas nadat deze POST klaar is.
8set -euo pipefail
7set -euo pipefail
9
8
10: "${CI_API_URL:?CI_API_URL ontbreekt}"
9: "${CI_API_URL:?CI_API_URL ontbreekt}"
scripts/self_update_test.go +0 −186
@@ -8,154 +8,10 @@ import (
8 8 "os/exec"
9 9 "path/filepath"
10 10 "strings"
11 "sync"
12 11 "testing"
13 12 "time"
14 13 )
15 14
16 func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
17 if _, err := exec.LookPath("bash"); err != nil {
18 t.Skip("bash ontbreekt")
19 }
20 if _, err := exec.LookPath("curl"); err != nil {
21 t.Skip("curl ontbreekt")
22 }
23 if _, err := exec.LookPath("jq"); err != nil {
24 t.Skip("jq ontbreekt")
25 }
26 script := filepath.Join("..", "scripts", "wait-self-update.sh")
27 sha := "0123456789abcdef0123456789abcdef01234567"
28 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
29
30 t.Run("ok na running", func(t *testing.T) {
31 var posts int
32 var gets int
33 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
34 if r.URL.Path != "/api/v1/admin/self-update" {
35 http.NotFound(w, r)
36 return
37 }
38 if r.Method == http.MethodPost {
39 posts++
40 w.WriteHeader(http.StatusAccepted)
41 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
42 return
43 }
44 gets++
45 w.Header().Set("Content-Type", "application/json")
46 if gets < 3 {
47 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
48 return
49 }
50 // log bevat een andere status. Alleen het veld ervoor telt.
51 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
52 }))
53 t.Cleanup(srv.Close)
54 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
55 if err != nil {
56 t.Fatalf("wacht: %v %s", err, out)
57 }
58 if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {
59 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
60 }
61 })
62
63 t.Run("andere sha telt niet", func(t *testing.T) {
64 var gets int
65 srv := statusServer(t, func(gets int) string {
66 if gets == 1 {
67 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
68 }
69 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
70 }, &gets)
71 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
72 if err != nil {
73 t.Fatalf("wacht: %v %s", err, out)
74 }
75 if gets < 2 {
76 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
77 }
78 })
79
80 t.Run("log staat vooraan", func(t *testing.T) {
81 var gets int
82 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
83 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
84 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
85 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
86 t.Fatal("log hoort de eerste key te zijn")
87 }
88 srv := statusServer(t, func(n int) string {
89 if n == 1 {
90 return running
91 }
92 return done
93 }, &gets)
94 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
95 if err != nil {
96 t.Fatalf("wacht: %v %s", err, out)
97 }
98 if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {
99 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
100 }
101 })
102
103 t.Run("failed faalt meteen", func(t *testing.T) {
104 srv := statusServer(t, func(int) string {
105 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
106 }, nil)
107 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
108 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
109 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
110 }
111 })
112
113 t.Run("timeout", func(t *testing.T) {
114 srv := statusServer(t, func(int) string {
115 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
116 }, nil)
117 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
118 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
119 t.Fatalf("timeout: %v %s", err, out)
120 }
121 })
122
123 t.Run("korte storing tijdens herstart", func(t *testing.T) {
124 var gets int
125 var mu sync.Mutex
126 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
127 if r.Method == http.MethodPost {
128 w.WriteHeader(http.StatusAccepted)
129 _, _ = w.Write([]byte(`{"status":"accepted"}`))
130 return
131 }
132 mu.Lock()
133 gets++
134 n := gets
135 mu.Unlock()
136 if n == 1 {
137 hj, ok := w.(http.Hijacker)
138 if !ok {
139 http.Error(w, "down", http.StatusBadGateway)
140 return
141 }
142 conn, _, err := hj.Hijack()
143 if err != nil {
144 return
145 }
146 _ = conn.Close()
147 return
148 }
149 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
150 }))
151 t.Cleanup(srv.Close)
152 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
153 if err != nil {
154 t.Fatalf("na herstart: %v %s", err, out)
155 }
156 })
157 }
158
159 15 func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
160 16 if _, err := exec.LookPath("bash"); err != nil {
161 17 t.Skip("bash ontbreekt")
@@ -204,45 +60,3 @@ func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
204 60 t.Fatal("self-update.sh polt nog")
205 61 }
206 62 }
207
208 func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
209 t.Helper()
210 var n int
211 var mu sync.Mutex
212 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
213 if r.URL.Path != "/api/v1/admin/self-update" {
214 http.NotFound(w, r)
215 return
216 }
217 if r.Method == http.MethodPost {
218 w.WriteHeader(http.StatusAccepted)
219 _, _ = w.Write([]byte(`{"status":"accepted"}`))
220 return
221 }
222 mu.Lock()
223 n++
224 cur := n
225 if gets != nil {
226 *gets = n
227 }
228 mu.Unlock()
229 w.Header().Set("Content-Type", "application/json")
230 _, _ = w.Write([]byte(body(cur)))
231 }))
232 t.Cleanup(srv.Close)
233 return srv
234 }
235
236 func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
237 t.Helper()
238 cmd := exec.Command("bash", script)
239 cmd.Env = append(os.Environ(),
240 "CI_API_URL="+base+"/api/v1",
241 "BLUEGIT_UPDATE_TOKEN=test-token",
242 "CI_COMMIT_SHA="+sha,
243 "SELF_UPDATE_TIMEOUT="+timeout,
244 "SELF_UPDATE_INTERVAL="+interval,
245 )
246 out, err := cmd.CombinedOutput()
247 return string(out), err
248 }
@@ -8,154 +8,10 @@ import (
8 "os/exec"
8 "os/exec"
9 "path/filepath"
9 "path/filepath"
10 "strings"
10 "strings"
11 "sync"
12 "testing"
11 "testing"
13 "time"
12 "time"
14)
13)
15
14
16func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
17 if _, err := exec.LookPath("bash"); err != nil {
18 t.Skip("bash ontbreekt")
19 }
20 if _, err := exec.LookPath("curl"); err != nil {
21 t.Skip("curl ontbreekt")
22 }
23 if _, err := exec.LookPath("jq"); err != nil {
24 t.Skip("jq ontbreekt")
25 }
26 script := filepath.Join("..", "scripts", "wait-self-update.sh")
27 sha := "0123456789abcdef0123456789abcdef01234567"
28 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
29
30 t.Run("ok na running", func(t *testing.T) {
31 var posts int
32 var gets int
33 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
34 if r.URL.Path != "/api/v1/admin/self-update" {
35 http.NotFound(w, r)
36 return
37 }
38 if r.Method == http.MethodPost {
39 posts++
40 w.WriteHeader(http.StatusAccepted)
41 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
42 return
43 }
44 gets++
45 w.Header().Set("Content-Type", "application/json")
46 if gets < 3 {
47 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
48 return
49 }
50 // log bevat een andere status. Alleen het veld ervoor telt.
51 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
52 }))
53 t.Cleanup(srv.Close)
54 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
55 if err != nil {
56 t.Fatalf("wacht: %v %s", err, out)
57 }
58 if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {
59 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
60 }
61 })
62
63 t.Run("andere sha telt niet", func(t *testing.T) {
64 var gets int
65 srv := statusServer(t, func(gets int) string {
66 if gets == 1 {
67 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
68 }
69 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
70 }, &gets)
71 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
72 if err != nil {
73 t.Fatalf("wacht: %v %s", err, out)
74 }
75 if gets < 2 {
76 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
77 }
78 })
79
80 t.Run("log staat vooraan", func(t *testing.T) {
81 var gets int
82 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
83 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
84 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
85 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
86 t.Fatal("log hoort de eerste key te zijn")
87 }
88 srv := statusServer(t, func(n int) string {
89 if n == 1 {
90 return running
91 }
92 return done
93 }, &gets)
94 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
95 if err != nil {
96 t.Fatalf("wacht: %v %s", err, out)
97 }
98 if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {
99 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
100 }
101 })
102
103 t.Run("failed faalt meteen", func(t *testing.T) {
104 srv := statusServer(t, func(int) string {
105 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
106 }, nil)
107 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
108 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
109 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
110 }
111 })
112
113 t.Run("timeout", func(t *testing.T) {
114 srv := statusServer(t, func(int) string {
115 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
116 }, nil)
117 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
118 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
119 t.Fatalf("timeout: %v %s", err, out)
120 }
121 })
122
123 t.Run("korte storing tijdens herstart", func(t *testing.T) {
124 var gets int
125 var mu sync.Mutex
126 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
127 if r.Method == http.MethodPost {
128 w.WriteHeader(http.StatusAccepted)
129 _, _ = w.Write([]byte(`{"status":"accepted"}`))
130 return
131 }
132 mu.Lock()
133 gets++
134 n := gets
135 mu.Unlock()
136 if n == 1 {
137 hj, ok := w.(http.Hijacker)
138 if !ok {
139 http.Error(w, "down", http.StatusBadGateway)
140 return
141 }
142 conn, _, err := hj.Hijack()
143 if err != nil {
144 return
145 }
146 _ = conn.Close()
147 return
148 }
149 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
150 }))
151 t.Cleanup(srv.Close)
152 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
153 if err != nil {
154 t.Fatalf("na herstart: %v %s", err, out)
155 }
156 })
157}
158
159func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
15func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
160 if _, err := exec.LookPath("bash"); err != nil {
16 if _, err := exec.LookPath("bash"); err != nil {
161 t.Skip("bash ontbreekt")
17 t.Skip("bash ontbreekt")
@@ -204,45 +60,3 @@ func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
204 t.Fatal("self-update.sh polt nog")
60 t.Fatal("self-update.sh polt nog")
205 }
61 }
206}
62}
207
208func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
209 t.Helper()
210 var n int
211 var mu sync.Mutex
212 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
213 if r.URL.Path != "/api/v1/admin/self-update" {
214 http.NotFound(w, r)
215 return
216 }
217 if r.Method == http.MethodPost {
218 w.WriteHeader(http.StatusAccepted)
219 _, _ = w.Write([]byte(`{"status":"accepted"}`))
220 return
221 }
222 mu.Lock()
223 n++
224 cur := n
225 if gets != nil {
226 *gets = n
227 }
228 mu.Unlock()
229 w.Header().Set("Content-Type", "application/json")
230 _, _ = w.Write([]byte(body(cur)))
231 }))
232 t.Cleanup(srv.Close)
233 return srv
234}
235
236func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
237 t.Helper()
238 cmd := exec.Command("bash", script)
239 cmd.Env = append(os.Environ(),
240 "CI_API_URL="+base+"/api/v1",
241 "BLUEGIT_UPDATE_TOKEN=test-token",
242 "CI_COMMIT_SHA="+sha,
243 "SELF_UPDATE_TIMEOUT="+timeout,
244 "SELF_UPDATE_INTERVAL="+interval,
245 )
246 out, err := cmd.CombinedOutput()
247 return string(out), err
248}
scripts/wait-self-update.sh deleted +0 −59
@@ -1,59 +0,0 @@
1 #!/usr/bin/env bash
2 # Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.
3 # publish_aur roept dit aan het begin aan. needs: [self_update] houdt die
4 # job tegen tot de POST klaar is; daarna herstart de service en pas dan
5 # draait deze poll. Een mislukking of timeout faalt publish_aur.
6 # SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
7 # is de pauze tussen pogingen (standaard 5).
8 set -euo pipefail
9
10 : "${CI_API_URL:?CI_API_URL ontbreekt}"
11 : "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
12 : "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
13
14 timeout="${SELF_UPDATE_TIMEOUT:-300}"
15 interval="${SELF_UPDATE_INTERVAL:-5}"
16 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
17 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
18
19 if ! command -v jq >/dev/null 2>&1; then
20 if command -v pacman >/dev/null 2>&1; then
21 pacman -Sy --noconfirm --needed jq >&2
22 elif command -v apk >/dev/null 2>&1; then
23 apk add --no-cache jq >&2
24 else
25 echo "jq ontbreekt" >&2
26 exit 1
27 fi
28 fi
29
30 api="${CI_API_URL%/}/admin/self-update"
31 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
32
33 start="$(date +%s)"
34 while true; do
35 # Een korte storing tijdens de herstart mag de poll niet stoppen.
36 # log staat live als eerste key en bevat de tekst "status" en "sha".
37 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
38 status=""
39 sha=""
40 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
41 status="${parsed%%$'\t'*}"
42 sha="${parsed#*$'\t'}"
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
45 echo "self-update ok voor ${CI_COMMIT_SHA}"
46 exit 0
47 fi
48 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
49 echo "Self-update mislukt: $sha" >&2
50 exit 1
51 fi
52 now="$(date +%s)"
53 if (( now - start >= timeout )); then
54 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
55 exit 1
56 fi
57 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
58 sleep "$interval"
59 done
@@ -1,59 +0,0 @@
1#!/usr/bin/env bash
2# Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.
3# publish_aur roept dit aan het begin aan. needs: [self_update] houdt die
4# job tegen tot de POST klaar is; daarna herstart de service en pas dan
5# draait deze poll. Een mislukking of timeout faalt publish_aur.
6# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
7# is de pauze tussen pogingen (standaard 5).
8set -euo pipefail
9
10: "${CI_API_URL:?CI_API_URL ontbreekt}"
11: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
12: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
13
14timeout="${SELF_UPDATE_TIMEOUT:-300}"
15interval="${SELF_UPDATE_INTERVAL:-5}"
16[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
17[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
18
19if ! command -v jq >/dev/null 2>&1; then
20 if command -v pacman >/dev/null 2>&1; then
21 pacman -Sy --noconfirm --needed jq >&2
22 elif command -v apk >/dev/null 2>&1; then
23 apk add --no-cache jq >&2
24 else
25 echo "jq ontbreekt" >&2
26 exit 1
27 fi
28fi
29
30api="${CI_API_URL%/}/admin/self-update"
31auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
32
33start="$(date +%s)"
34while true; do
35 # Een korte storing tijdens de herstart mag de poll niet stoppen.
36 # log staat live als eerste key en bevat de tekst "status" en "sha".
37 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
38 status=""
39 sha=""
40 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
41 status="${parsed%%$'\t'*}"
42 sha="${parsed#*$'\t'}"
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
45 echo "self-update ok voor ${CI_COMMIT_SHA}"
46 exit 0
47 fi
48 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
49 echo "Self-update mislukt: $sha" >&2
50 exit 1
51 fi
52 now="$(date +%s)"
53 if (( now - start >= timeout )); then
54 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
55 exit 1
56 fi
57 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
58 sleep "$interval"
59done