fix: publiceer de AUR vóór de self-update
publish_aur wacht op build en self_update is de laatste job. Die doet alleen de POST en eindigt groen. De poll, jq en de uitzondering in de jobtelling zijn weg. Co-authored-by: tim <tim@timfalken.com>
@@ -64,26 +64,25 @@ jobs:
64
64
paths: [bluegit]
65
65
expire_in: 14d
66
66
67
# Na self_update. needs: [] liep tegen de binary van de vorige release.
68
# Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.
69
# De herstart kan deze job doden; de volgende start zet hem op failed.
70
# allow_failure: een AUR-storing maakt de pipeline niet rood.
67
# Vóór self_update. De archive-route staat live, dus de tarball van
68
# deze sha is te downloaden met de binary die al draait.
69
# allow_failure: een AUR-storing maakt de pipeline niet rood en houdt
70
# self_update niet tegen.
71
71
publish_aur:
72
72
stage: release
73
73
image: archlinux/archlinux:base-devel
74
74
extends: .on_master
75
needs: [self_update]
75
needs: [build]
76
76
allow_failure: true
77
77
script:
78
- chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh
79
- ./scripts/wait-self-update.sh
80
78
- pacman -Syu --noconfirm
81
79
- pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux
80
- chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh
82
81
- ./scripts/aur-ssh-setup.sh
83
82
- ./scripts/publish-aur.sh
84
83
85
# Na een geslaagde build. Het script doet alleen de POST en stopt.
86
# De service herstart tijdens de installatie; de poll zit in publish_aur.
84
# Laatste job. needs: [publish_aur] geldt ook als die job met
85
# allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.
87
86
# De updater bouwt zelf uit git; dit artifact gaat niet mee.
88
87
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89
88
# CI_API_URL eindigt op /api/v1.
@@ -91,7 +90,7 @@ jobs:
91
90
stage: release
92
91
image: bluegit/base
93
92
extends: .on_master
94
needs: [build]
93
needs: [publish_aur]
95
94
script:
96
95
- chmod +x scripts/self-update.sh
97
96
- ./scripts/self-update.sh
@@ -64,26 +64,25 @@ jobs:64
paths: [bluegit]64
paths: [bluegit]65
expire_in: 14d65
expire_in: 14d66
66
67
# Na self_update. needs: [] liep tegen de binary van de vorige release.67
# Vóór self_update. De archive-route staat live, dus de tarball van68
# Eerst wachten tot self-update ok is voor CI_COMMIT_SHA, dan publiceren.68
# deze sha is te downloaden met de binary die al draait.69
# De herstart kan deze job doden; de volgende start zet hem op failed.69
# allow_failure: een AUR-storing maakt de pipeline niet rood en houdt70
# allow_failure: een AUR-storing maakt de pipeline niet rood.70
# self_update niet tegen.71
publish_aur:71
publish_aur:72
stage: release72
stage: release73
image: archlinux/archlinux:base-devel73
image: archlinux/archlinux:base-devel74
extends: .on_master74
extends: .on_master75
needs: [self_update]75
needs: [build]76
allow_failure: true76
allow_failure: true77
script:77
script:78
- chmod +x scripts/wait-self-update.sh scripts/aur-ssh-setup.sh scripts/publish-aur.sh79
- ./scripts/wait-self-update.sh80
- pacman -Syu --noconfirm78
- pacman -Syu --noconfirm81
- pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux79
- pacman -S --noconfirm --needed git openssh curl coreutils shadow util-linux80
- chmod +x scripts/aur-ssh-setup.sh scripts/publish-aur.sh82
- ./scripts/aur-ssh-setup.sh81
- ./scripts/aur-ssh-setup.sh83
- ./scripts/publish-aur.sh82
- ./scripts/publish-aur.sh84
83
85
# Na een geslaagde build. Het script doet alleen de POST en stopt.84
# Laatste job. needs: [publish_aur] geldt ook als die job met86
# De service herstart tijdens de installatie; de poll zit in publish_aur.85
# allow_failure mislukt. Alleen de POST; de job eindigt meteen groen.87
# De updater bouwt zelf uit git; dit artifact gaat niet mee.86
# De updater bouwt zelf uit git; dit artifact gaat niet mee.88
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.87
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.89
# CI_API_URL eindigt op /api/v1.88
# CI_API_URL eindigt op /api/v1.@@ -91,7 +90,7 @@ jobs:91
stage: release90
stage: release92
image: bluegit/base91
image: bluegit/base93
extends: .on_master92
extends: .on_master94
needs: [build]93
needs: [publish_aur]95
script:94
script:96
- chmod +x scripts/self-update.sh95
- chmod +x scripts/self-update.sh97
- ./scripts/self-update.sh96
- ./scripts/self-update.sh@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55
55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56
56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58
`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.
59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
60
Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.
61
62
`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.
61
63
62
64
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
63
65
@@ -71,11 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
71
73
72
74
## Self-update
73
75
74
`self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.
76
`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.
77
78
Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.
75
79
76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.
80
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.
77
81
78
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
82
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.
79
83
80
84
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
81
85
@@ -83,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
83
87
84
88
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
85
89
86
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
90
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
87
91
88
92
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
89
93
@@ -55,9 +55,11 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`. Hij start dus pas als de POST-job klaar is. Aan het begin roept hij `scripts/wait-self-update.sh` aan. Dat script polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor `CI_COMMIT_SHA`. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt deze job. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.58
`publish_aur` draait op `master` en `main`, vóór `self_update`, met `allow_failure: true` en `needs: [build]`. De archive-route staat live, dus de tarball van `CI_COMMIT_SHA` is te downloaden met de binary die al draait. Een AUR-storing maakt de pipeline niet rood en houdt `self_update` niet tegen. Een merge-request-pipeline slaat hem over.59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen. De POST antwoordt 202 zodra de unit start. De job wacht niet op de installatie: Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.60
Een release die de archive-route zelf wijzigt, kan `publish_aur` één keer laten falen. Die job draait nog tegen de oude binary. `self_update` installeert daarna de nieuwe route. Een retry van alleen `publish_aur` publiceert dan alsnog.61
62
`self_update` is de laatste job in dezelfde stage en wacht op `publish_aur`. Omdat die job `allow_failure: true` heeft, start de deploy ook als de AUR-publicatie mislukt. `scripts/self-update.sh` stuurt de sha naar `POST /api/v1/admin/self-update` en stopt meteen, groen. Er is geen poll. De POST antwoordt 202 zodra de unit start. Steve draait in `bluegit.service`, en `post_upgrade` herstart die service. Een job die op dat moment nog `running` is, sterft mee en blijft anders voor altijd op `running` staan.61
63
62
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.64
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.63
65
@@ -71,11 +73,13 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b71
73
72
## Self-update74
## Self-update73
75
74
`self_update` wacht op `build`, doet alleen de POST en eindigt. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en polt dan tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten, en publiceert daarna. `status` `ok` wordt pas na `pacman -U` geschreven, en die installatie herstart de service. Sterft de poll daarbij, dan zet de volgende start de job op `failed`. Retry met mode `failed` draait hem opnieuw, tegen de binary die dan al draait.76
`publish_aur` wacht op `build` en publiceert de tarball van deze sha. Die URL werkt op de binary die al draait. `self_update` wacht op die job (`needs: [publish_aur]`), doet alleen de POST en eindigt groen. `publish_aur` heeft `allow_failure: true`, dus een AUR-fout blokkeert de deploy niet.77
78
Een release die de archive-route zelf wijzigt kan `publish_aur` één keer laten falen, omdat die job de oude binary gebruikt. De self-update daarna installeert de nieuwe route. Een retry van `publish_aur` publiceert dan alsnog.75
79
76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De poll zit niet in `self_update`: die container sterft bij de herstart, vóór `status` `ok` geschreven is. `publish_aur` leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat. Op de Arch-image installeert het wachtscript `jq` zelf als het nog ontbreekt.80
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job wacht daarna niet. Een poll in de job zou de herstart niet overleven, en de updater zou op die lopende job blijven wachten.77
81
78
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. `self_update` telt mee in `running`: de job eindigt bij de POST. `publish_aur` van `timfa/bluegit` telt niet mee, anders wacht de updater op de poll en de poll op `pacman -U`. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.82
Bij `bluegit serve` zet BlueGit elke job die nog `running` is op `failed`. In het nieuwe proces heeft geen van die jobs nog een container. Het log zegt dat BlueGit herstartte terwijl de job liep. Daarna pakt retry met mode `failed` die job op, plus een vervolg dat daardoor was overgeslagen. Elke job met status `running` telt mee. `publish_aur` is dan al klaar en `self_update` eindigt bij de POST, vóór de bouw en `pacman -U`.79
83
80
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.84
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.81
85
@@ -83,7 +87,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu83
87
84
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.88
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.85
89
86
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `publish_aur` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.90
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. Elke job met status `running` zit in die telling. `openapi.json` blijft 404 zolang de oude binary draait.87
91
88
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.92
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.89
93
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91
91
| Preset | Basis |
92
92
| --- | --- |
93
| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
93
| `bluegit/base` | Alpine 3.20, met git, curl en bash |
94
94
| `bluegit/node` | Node.js 22 |
95
95
| `bluegit/python` | Python 3.12 |
96
96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali90
90
91
| Preset | Basis |91
| Preset | Basis |92
| --- | --- |92
| --- | --- |93
| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |93
| `bluegit/base` | Alpine 3.20, met git, curl en bash |94
| `bluegit/node` | Node.js 22 |94
| `bluegit/node` | Node.js 22 |95
| `bluegit/python` | Python 3.12 |95
| `bluegit/python` | Python 3.12 |96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |96
| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |@@ -88,27 +88,31 @@ func TestBlueGitExampleFile(t *testing.T) {
88
88
t.Fatalf("master %d %v", len(active), err)
89
89
}
90
90
aur := by["publish_aur"]
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {
92
92
t.Fatalf("publish_aur: %+v", aur)
93
93
}
94
aurScript := strings.Join(aur.Script, "\n")
95
if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {
96
t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)
97
}
94
98
if Gate(p.Jobs, map[string]string{
95
99
"vet": "success", "test": "success", "frontend_checks": "success",
96
"build": "success", "self_update": "running",
100
"build": "running",
97
101
}, aur) != "wait" {
98
t.Fatal("publish_aur wacht tot self_update klaar is")
102
t.Fatal("publish_aur wacht op build")
99
103
}
100
104
if Gate(p.Jobs, map[string]string{
101
105
"vet": "success", "test": "success", "frontend_checks": "success",
102
"build": "success", "self_update": "success",
106
"build": "success", "self_update": "running",
103
107
}, aur) != "ready" {
104
t.Fatal("publish_aur start na self_update")
108
t.Fatal("publish_aur start na build, vóór self_update")
105
109
}
106
110
upd := by["self_update"]
107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
111
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {
112
t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)
109
113
}
110
114
joined := strings.Join(upd.Script, "\n")
111
if !strings.Contains(joined, "scripts/self-update.sh") {
115
if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {
112
116
t.Fatalf("self_update: %s", joined)
113
117
}
114
118
post, err := os.ReadFile("../../scripts/self-update.sh")
@@ -124,35 +128,26 @@ func TestBlueGitExampleFile(t *testing.T) {
124
128
if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {
125
129
t.Fatal("self-update.sh hoort alleen de POST te doen")
126
130
}
127
aurScript := strings.Join(aur.Script, "\n")
128
waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")
129
publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")
130
if waitAt < 0 || publishAt < 0 || waitAt > publishAt {
131
t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)
132
}
133
wait, err := os.ReadFile("../../scripts/wait-self-update.sh")
134
if err != nil {
135
t.Fatal(err)
136
}
137
waitText := string(wait)
138
for _, want := range []string{
139
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",
140
} {
141
if !strings.Contains(waitText, want) {
142
t.Fatalf("wait-self-update.sh mist %q", want)
143
}
131
if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {
132
t.Fatal("de poll hoort weg te zijn")
144
133
}
145
134
if Gate(p.Jobs, map[string]string{
146
135
"vet": "success", "test": "success", "frontend_checks": "success",
147
"build": "queued", "publish_aur": "running",
136
"build": "success", "publish_aur": "running",
148
137
}, upd) != "wait" {
149
t.Fatal("self_update wacht op build")
138
t.Fatal("self_update wacht tot publish_aur klaar is")
150
139
}
151
140
if Gate(p.Jobs, map[string]string{
152
141
"vet": "success", "test": "success", "frontend_checks": "success",
153
"build": "success", "publish_aur": "running",
142
"build": "success", "publish_aur": "success",
143
}, upd) != "ready" {
144
t.Fatal("self_update start na een geslaagde publish_aur")
145
}
146
if Gate(p.Jobs, map[string]string{
147
"vet": "success", "test": "success", "frontend_checks": "success",
148
"build": "success", "publish_aur": "failed",
154
149
}, upd) != "ready" {
155
t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")
150
t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")
156
151
}
157
152
}
158
153
@@ -88,27 +88,31 @@ func TestBlueGitExampleFile(t *testing.T) {88
t.Fatalf("master %d %v", len(active), err)88
t.Fatalf("master %d %v", len(active), err)89
}89
}90
aur := by["publish_aur"]90
aur := by["publish_aur"]91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "build" {92
t.Fatalf("publish_aur: %+v", aur)92
t.Fatalf("publish_aur: %+v", aur)93
}93
}94
aurScript := strings.Join(aur.Script, "\n")95
if strings.Contains(aurScript, "wait-self-update") || strings.Contains(aurScript, "jq") || !strings.Contains(aurScript, "scripts/publish-aur.sh") {96
t.Fatalf("publish_aur publiceert zonder poll: %s", aurScript)97
}94
if Gate(p.Jobs, map[string]string{98
if Gate(p.Jobs, map[string]string{95
"vet": "success", "test": "success", "frontend_checks": "success",99
"vet": "success", "test": "success", "frontend_checks": "success",96
"build": "success", "self_update": "running",100
"build": "running",97
}, aur) != "wait" {101
}, aur) != "wait" {98
t.Fatal("publish_aur wacht tot self_update klaar is")102
t.Fatal("publish_aur wacht op build")99
}103
}100
if Gate(p.Jobs, map[string]string{104
if Gate(p.Jobs, map[string]string{101
"vet": "success", "test": "success", "frontend_checks": "success",105
"vet": "success", "test": "success", "frontend_checks": "success",102
"build": "success", "self_update": "success",106
"build": "success", "self_update": "running",103
}, aur) != "ready" {107
}, aur) != "ready" {104
t.Fatal("publish_aur start na self_update")108
t.Fatal("publish_aur start na build, vóór self_update")105
}109
}106
upd := by["self_update"]110
upd := by["self_update"]107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {111
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "publish_aur" {108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)112
t.Fatalf("self_update hoort op publish_aur te wachten: %+v", upd)109
}113
}110
joined := strings.Join(upd.Script, "\n")114
joined := strings.Join(upd.Script, "\n")111
if !strings.Contains(joined, "scripts/self-update.sh") {115
if !strings.Contains(joined, "scripts/self-update.sh") || strings.Contains(joined, "jq") {112
t.Fatalf("self_update: %s", joined)116
t.Fatalf("self_update: %s", joined)113
}117
}114
post, err := os.ReadFile("../../scripts/self-update.sh")118
post, err := os.ReadFile("../../scripts/self-update.sh")@@ -124,35 +128,26 @@ func TestBlueGitExampleFile(t *testing.T) {124
if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {128
if strings.Contains(postText, "jq") || strings.Contains(postText, "while true") {125
t.Fatal("self-update.sh hoort alleen de POST te doen")129
t.Fatal("self-update.sh hoort alleen de POST te doen")126
}130
}127
aurScript := strings.Join(aur.Script, "\n")131
if _, err := os.Stat("../../scripts/wait-self-update.sh"); !os.IsNotExist(err) {128
waitAt := strings.Index(aurScript, "scripts/wait-self-update.sh")132
t.Fatal("de poll hoort weg te zijn")129
publishAt := strings.Index(aurScript, "scripts/publish-aur.sh")130
if waitAt < 0 || publishAt < 0 || waitAt > publishAt {131
t.Fatalf("de wacht hoort voor de publicatie: %s", aurScript)132
}133
wait, err := os.ReadFile("../../scripts/wait-self-update.sh")134
if err != nil {135
t.Fatal(err)136
}137
waitText := string(wait)138
for _, want := range []string{139
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er", "self-update ok voor",140
} {141
if !strings.Contains(waitText, want) {142
t.Fatalf("wait-self-update.sh mist %q", want)143
}144
}133
}145
if Gate(p.Jobs, map[string]string{134
if Gate(p.Jobs, map[string]string{146
"vet": "success", "test": "success", "frontend_checks": "success",135
"vet": "success", "test": "success", "frontend_checks": "success",147
"build": "queued", "publish_aur": "running",136
"build": "success", "publish_aur": "running",148
}, upd) != "wait" {137
}, upd) != "wait" {149
t.Fatal("self_update wacht op build")138
t.Fatal("self_update wacht tot publish_aur klaar is")150
}139
}151
if Gate(p.Jobs, map[string]string{140
if Gate(p.Jobs, map[string]string{152
"vet": "success", "test": "success", "frontend_checks": "success",141
"vet": "success", "test": "success", "frontend_checks": "success",153
"build": "success", "publish_aur": "running",142
"build": "success", "publish_aur": "success",143
}, upd) != "ready" {144
t.Fatal("self_update start na een geslaagde publish_aur")145
}146
if Gate(p.Jobs, map[string]string{147
"vet": "success", "test": "success", "frontend_checks": "success",148
"build": "success", "publish_aur": "failed",154
}, upd) != "ready" {149
}, upd) != "ready" {155
t.Fatal("self_update hoort klaar te zijn terwijl publish_aur nog loopt")150
t.Fatal("een AUR-fout met allow_failure hoort de deploy niet te blokkeren")156
}151
}157
}152
}158
153
@@ -1,3 +1,3 @@
1
1
# runtime: Alpine 3.20
2
2
FROM alpine:3.20
3
RUN apk add --no-cache bash ca-certificates curl git jq
3
RUN apk add --no-cache bash ca-certificates curl git
@@ -1,3 +1,3 @@1
# runtime: Alpine 3.201
# runtime: Alpine 3.202
FROM alpine:3.202
FROM alpine:3.203
RUN apk add --no-cache bash ca-certificates curl git jq3
RUN apk add --no-cache bash ca-certificates curl git@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3
3
# git-daemon levert git-http-backend. Zonder die binary spreekt een
4
4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5
5
# git-remote-http hoort bij git zelf en is de client voor die push.
6
RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
6
RUN apk add --no-cache bash ca-certificates curl git git-daemon
7
7
RUN test -x "$(git --exec-path)/git-http-backend" \
8
8
&& test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine3
# git-daemon levert git-http-backend. Zonder die binary spreekt een3
# git-daemon levert git-http-backend. Zonder die binary spreekt een4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).4
# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).5
# git-remote-http hoort bij git zelf en is de client voor die push.5
# git-remote-http hoort bij git zelf en is de client voor die push.6
RUN apk add --no-cache bash ca-certificates curl git git-daemon jq6
RUN apk add --no-cache bash ca-certificates curl git git-daemon7
RUN test -x "$(git --exec-path)/git-http-backend" \7
RUN test -x "$(git --exec-path)/git-http-backend" \8
&& test -e "$(git --exec-path)/git-remote-http"8
&& test -e "$(git --exec-path)/git-remote-http"@@ -20,8 +20,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
20
20
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
21
21
id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{
22
22
{Name: "build", Stage: "build", Position: 0, Script: "go build"},
23
{Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},
24
{Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
23
{Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},
24
{Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},
25
25
})
26
26
if err != nil {
27
27
t.Fatal(err)
@@ -46,8 +46,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
46
46
}
47
47
}
48
48
set(id, "build", "success", "ok\n")
49
set(id, "publish_aur", "success", "aur ok\n")
49
50
set(id, "self_update", "running", "post verstuurd\n")
50
set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")
51
51
set(queuedID, "wait", "queued", "")
52
52
set(softID, "build", "success", "ok\n")
53
53
set(softID, "publish_aur", "running", "bezig\n")
@@ -71,7 +71,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
71
71
if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {
72
72
t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)
73
73
}
74
if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {
74
if by["build"].Status != "success" || by["publish_aur"].Status != "success" {
75
75
t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)
76
76
}
77
77
p, err := s.PipelineByID(ctx, repo.ID, id)
@@ -112,7 +112,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {
112
112
t.Fatalf("retry: %v %v", ok, err)
113
113
}
114
114
got := jobStatus(t, s, id)
115
if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {
115
if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {
116
116
t.Fatalf("mode failed: %v", got)
117
117
}
118
118
retried, err := s.JobsByPipeline(ctx, id)
@@ -20,8 +20,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {20
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"20
sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"21
id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{21
id, err := s.CreatePipeline(ctx, repo.ID, sha, "refs/heads/master", "push", "tim", "release", []NewJob{22
{Name: "build", Stage: "build", Position: 0, Script: "go build"},22
{Name: "build", Stage: "build", Position: 0, Script: "go build"},23
{Name: "self_update", Stage: "release", Position: 1, Script: "post", Needs: []string{"build"}, NeedsSet: true},23
{Name: "publish_aur", Stage: "release", Position: 1, Script: "aur", Needs: []string{"build"}, NeedsSet: true, AllowFailure: true},24
{Name: "publish_aur", Stage: "release", Position: 2, Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},24
{Name: "self_update", Stage: "release", Position: 2, Script: "post", Needs: []string{"publish_aur"}, NeedsSet: true},25
})25
})26
if err != nil {26
if err != nil {27
t.Fatal(err)27
t.Fatal(err)@@ -46,8 +46,8 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {46
}46
}47
}47
}48
set(id, "build", "success", "ok\n")48
set(id, "build", "success", "ok\n")49
set(id, "publish_aur", "success", "aur ok\n")49
set(id, "self_update", "running", "post verstuurd\n")50
set(id, "self_update", "running", "post verstuurd\n")50
set(id, "publish_aur", "skipped", "skipped because an earlier job failed\n")51
set(queuedID, "wait", "queued", "")51
set(queuedID, "wait", "queued", "")52
set(softID, "build", "success", "ok\n")52
set(softID, "build", "success", "ok\n")53
set(softID, "publish_aur", "running", "bezig\n")53
set(softID, "publish_aur", "running", "bezig\n")@@ -71,7 +71,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {71
if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {71
if upd.Status != "failed" || upd.FinishedAt.IsZero() || upd.StartedAt.IsZero() || !strings.Contains(upd.Log, "post verstuurd\n") || !strings.Contains(upd.Log, AbandonedJobNote) {72
t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)72
t.Fatalf("self_update: status=%s log=%q started=%v finished=%v", upd.Status, upd.Log, upd.StartedAt, upd.FinishedAt)73
}73
}74
if by["build"].Status != "success" || by["publish_aur"].Status != "skipped" {74
if by["build"].Status != "success" || by["publish_aur"].Status != "success" {75
t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)75
t.Fatalf("andere jobs: build=%s publish=%s", by["build"].Status, by["publish_aur"].Status)76
}76
}77
p, err := s.PipelineByID(ctx, repo.ID, id)77
p, err := s.PipelineByID(ctx, repo.ID, id)@@ -112,7 +112,7 @@ func TestFailAbandonedJobsThenRetryFailed(t *testing.T) {112
t.Fatalf("retry: %v %v", ok, err)112
t.Fatalf("retry: %v %v", ok, err)113
}113
}114
got := jobStatus(t, s, id)114
got := jobStatus(t, s, id)115
if got["build"] != "success" || got["self_update"] != "queued" || got["publish_aur"] != "queued" {115
if got["build"] != "success" || got["publish_aur"] != "success" || got["self_update"] != "queued" {116
t.Fatalf("mode failed: %v", got)116
t.Fatalf("mode failed: %v", got)117
}117
}118
retried, err := s.JobsByPipeline(ctx, id)118
retried, err := s.JobsByPipeline(ctx, id)@@ -987,26 +987,11 @@ func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {
987
987
}
988
988
989
989
// CountRunningJobs telt jobs die Steve nu uitvoert.
990
// publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot
991
// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
992
// wachten, en de poll op pacman -U. self_update doet alleen de POST en telt
993
// mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.
990
// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,
991
// dus er is geen job die tijdens de installatie op de updater wacht.
994
992
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
995
993
var n int
996
err := s.db.QueryRowContext(ctx, `
997
SELECT COUNT(*) FROM jobs j
998
WHERE j.status = 'running'
999
AND NOT (
1000
j.name = 'publish_aur'
1001
AND j.repo_id IN (
1002
SELECT r.id FROM repos r
1003
WHERE r.name = 'bluegit'
1004
AND (
1005
(r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
1006
OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
1007
)
1008
)
1009
)`).Scan(&n)
994
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
1010
995
return n, err
1011
996
}
1012
997
@@ -987,26 +987,11 @@ func (s *Store) FailAbandonedJobs(ctx context.Context) (int, error) {987
}987
}988
988
989
// CountRunningJobs telt jobs die Steve nu uitvoert.989
// CountRunningJobs telt jobs die Steve nu uitvoert.990
// publish_aur van timfa/bluegit blijft buiten de telling. Die job polt tot990
// publish_aur eindigt vóór de POST en self_update eindigt meteen daarna,991
// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll991
// dus er is geen job die tijdens de installatie op de updater wacht.992
// wachten, en de poll op pacman -U. self_update doet alleen de POST en telt993
// mee. Dezelfde jobnaam publish_aur in een andere repo telt ook mee.994
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {992
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {995
var n int993
var n int996
err := s.db.QueryRowContext(ctx, `994
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)997
SELECT COUNT(*) FROM jobs j998
WHERE j.status = 'running'999
AND NOT (1000
j.name = 'publish_aur'1001
AND j.repo_id IN (1002
SELECT r.id FROM repos r1003
WHERE r.name = 'bluegit'1004
AND (1005
(r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))1006
OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))1007
)1008
)1009
)`).Scan(&n)1010
return n, err995
return n, err1011
}996
}1012
997
@@ -5,7 +5,7 @@ import (
5
5
"testing"
6
6
)
7
7
8
func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
8
func TestCountRunningJobsCountsEveryJob(t *testing.T) {
9
9
s := openTest(t)
10
10
ctx := context.Background()
11
11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
@@ -33,8 +33,8 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
33
33
t.Fatal(err)
34
34
}
35
35
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
36
{Name: "self_update", Stage: "release", Script: "post"},
37
36
{Name: "publish_aur", Stage: "release", Script: "aur"},
37
{Name: "self_update", Stage: "release", Script: "post"},
38
38
})
39
39
if err != nil {
40
40
t.Fatal(err)
@@ -45,24 +45,20 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {
45
45
t.Fatal(err)
46
46
}
47
47
}
48
set(blueID, "self_update", "running")
48
set(blueID, "publish_aur", "running")
49
49
n, err := s.CountRunningJobs(ctx)
50
50
if err != nil || n != 1 {
51
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
51
t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)
52
52
}
53
set(otherID, "self_update", "running")
54
n, err = s.CountRunningJobs(ctx)
55
if err != nil || n != 2 {
56
t.Fatalf("self_update in een andere repo: %d %v", n, err)
57
}
58
set(blueID, "publish_aur", "running")
53
set(blueID, "self_update", "running")
59
54
n, err = s.CountRunningJobs(ctx)
60
55
if err != nil || n != 2 {
61
t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)
56
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)
62
57
}
63
58
set(otherID, "publish_aur", "running")
59
set(otherID, "self_update", "running")
64
60
n, err = s.CountRunningJobs(ctx)
65
if err != nil || n != 3 {
66
t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)
61
if err != nil || n != 4 {
62
t.Fatalf("jobs in een andere repo: %d %v", n, err)
67
63
}
68
64
}
@@ -5,7 +5,7 @@ import (5
"testing"5
"testing"6
)6
)7
7
8
func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {8
func TestCountRunningJobsCountsEveryJob(t *testing.T) {9
s := openTest(t)9
s := openTest(t)10
ctx := context.Background()10
ctx := context.Background()11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)@@ -33,8 +33,8 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {33
t.Fatal(err)33
t.Fatal(err)34
}34
}35
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{35
blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{36
{Name: "self_update", Stage: "release", Script: "post"},37
{Name: "publish_aur", Stage: "release", Script: "aur"},36
{Name: "publish_aur", Stage: "release", Script: "aur"},37
{Name: "self_update", Stage: "release", Script: "post"},38
})38
})39
if err != nil {39
if err != nil {40
t.Fatal(err)40
t.Fatal(err)@@ -45,24 +45,20 @@ func TestCountRunningJobsSkipsPublishAurOnBlueGitOnly(t *testing.T) {45
t.Fatal(err)45
t.Fatal(err)46
}46
}47
}47
}48
set(blueID, "self_update", "running")48
set(blueID, "publish_aur", "running")49
n, err := s.CountRunningJobs(ctx)49
n, err := s.CountRunningJobs(ctx)50
if err != nil || n != 1 {50
if err != nil || n != 1 {51
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)51
t.Fatalf("publish_aur van timfa/bluegit hoort mee te tellen: %d %v", n, err)52
}52
}53
set(otherID, "self_update", "running")53
set(blueID, "self_update", "running")54
n, err = s.CountRunningJobs(ctx)55
if err != nil || n != 2 {56
t.Fatalf("self_update in een andere repo: %d %v", n, err)57
}58
set(blueID, "publish_aur", "running")59
n, err = s.CountRunningJobs(ctx)54
n, err = s.CountRunningJobs(ctx)60
if err != nil || n != 2 {55
if err != nil || n != 2 {61
t.Fatalf("publish_aur van timfa/bluegit hoort niet mee te tellen: %d %v", n, err)56
t.Fatalf("self_update van timfa/bluegit hoort mee te tellen: %d %v", n, err)62
}57
}63
set(otherID, "publish_aur", "running")58
set(otherID, "publish_aur", "running")59
set(otherID, "self_update", "running")64
n, err = s.CountRunningJobs(ctx)60
n, err = s.CountRunningJobs(ctx)65
if err != nil || n != 3 {61
if err != nil || n != 4 {66
t.Fatalf("publish_aur in een andere repo hoort mee te tellen: %d %v", n, err)62
t.Fatalf("jobs in een andere repo: %d %v", n, err)67
}63
}68
}64
}@@ -71,8 +71,7 @@ write_status() {
71
71
mv -f "$tmp" "$STATUS"
72
72
}
73
73
74
# running komt uit de API. publish_aur van timfa/bluegit telt daar niet
75
# mee: die job polt tot deze installatie status ok schrijft.
74
# running komt uit de API. Elke job met status running telt mee.
76
75
wait_until_idle() {
77
76
local deadline body n poll
78
77
poll="$BLUEGIT_UPDATE_POLL"
@@ -71,8 +71,7 @@ write_status() {71
mv -f "$tmp" "$STATUS"71
mv -f "$tmp" "$STATUS"72
}72
}73
73
74
# running komt uit de API. publish_aur van timfa/bluegit telt daar niet74
# running komt uit de API. Elke job met status running telt mee.75
# mee: die job polt tot deze installatie status ok schrijft.76
wait_until_idle() {75
wait_until_idle() {77
local deadline body n poll76
local deadline body n poll78
poll="$BLUEGIT_UPDATE_POLL"77
poll="$BLUEGIT_UPDATE_POLL"@@ -1,10 +1,9 @@
1
1
#!/usr/bin/env bash
2
# Start de self-update en stop meteen. POST /api/v1/admin/self-update
3
# antwoordt 202 zodra de unit start. De installatie herstart bluegit.service
4
# en daarmee Steve. Een job die dan nog loopt, sterft mee.
5
# De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van
6
# publish_aur (scripts/wait-self-update.sh). Die job heeft
7
# needs: [self_update] en draait dus pas nadat deze POST klaar is.
2
# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update
3
# antwoordt 202 zodra de unit start. publish_aur is dan al klaar
4
# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende
5
# job sterft mee als post_upgrade bluegit.service herstart, en de updater
6
# zou op die job blijven wachten.
8
7
set -euo pipefail
9
8
10
9
: "${CI_API_URL:?CI_API_URL ontbreekt}"
@@ -1,10 +1,9 @@1
#!/usr/bin/env bash1
#!/usr/bin/env bash2
# Start de self-update en stop meteen. POST /api/v1/admin/self-update2
# Start de self-update en stop meteen, groen. POST /api/v1/admin/self-update3
# antwoordt 202 zodra de unit start. De installatie herstart bluegit.service3
# antwoordt 202 zodra de unit start. publish_aur is dan al klaar4
# en daarmee Steve. Een job die dan nog loopt, sterft mee.4
# (needs: [publish_aur], allow_failure). Er is geen poll: een wachtende5
# De wacht "self-update ok voor CI_COMMIT_SHA" staat aan het begin van5
# job sterft mee als post_upgrade bluegit.service herstart, en de updater6
# publish_aur (scripts/wait-self-update.sh). Die job heeft6
# zou op die job blijven wachten.7
# needs: [self_update] en draait dus pas nadat deze POST klaar is.8
set -euo pipefail7
set -euo pipefail9
8
10
: "${CI_API_URL:?CI_API_URL ontbreekt}"9
: "${CI_API_URL:?CI_API_URL ontbreekt}"@@ -8,154 +8,10 @@ import (
8
8
"os/exec"
9
9
"path/filepath"
10
10
"strings"
11
"sync"
12
11
"testing"
13
12
"time"
14
13
)
15
14
16
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
17
if _, err := exec.LookPath("bash"); err != nil {
18
t.Skip("bash ontbreekt")
19
}
20
if _, err := exec.LookPath("curl"); err != nil {
21
t.Skip("curl ontbreekt")
22
}
23
if _, err := exec.LookPath("jq"); err != nil {
24
t.Skip("jq ontbreekt")
25
}
26
script := filepath.Join("..", "scripts", "wait-self-update.sh")
27
sha := "0123456789abcdef0123456789abcdef01234567"
28
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
29
30
t.Run("ok na running", func(t *testing.T) {
31
var posts int
32
var gets int
33
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
34
if r.URL.Path != "/api/v1/admin/self-update" {
35
http.NotFound(w, r)
36
return
37
}
38
if r.Method == http.MethodPost {
39
posts++
40
w.WriteHeader(http.StatusAccepted)
41
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
42
return
43
}
44
gets++
45
w.Header().Set("Content-Type", "application/json")
46
if gets < 3 {
47
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
48
return
49
}
50
// log bevat een andere status. Alleen het veld ervoor telt.
51
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
52
}))
53
t.Cleanup(srv.Close)
54
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
55
if err != nil {
56
t.Fatalf("wacht: %v %s", err, out)
57
}
58
if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {
59
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
60
}
61
})
62
63
t.Run("andere sha telt niet", func(t *testing.T) {
64
var gets int
65
srv := statusServer(t, func(gets int) string {
66
if gets == 1 {
67
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
68
}
69
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
70
}, &gets)
71
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
72
if err != nil {
73
t.Fatalf("wacht: %v %s", err, out)
74
}
75
if gets < 2 {
76
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
77
}
78
})
79
80
t.Run("log staat vooraan", func(t *testing.T) {
81
var gets int
82
// De live response begint met log. Daarin staat een nep-status en een nep-sha.
83
running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
84
done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
85
if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
86
t.Fatal("log hoort de eerste key te zijn")
87
}
88
srv := statusServer(t, func(n int) string {
89
if n == 1 {
90
return running
91
}
92
return done
93
}, &gets)
94
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
95
if err != nil {
96
t.Fatalf("wacht: %v %s", err, out)
97
}
98
if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {
99
t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
100
}
101
})
102
103
t.Run("failed faalt meteen", func(t *testing.T) {
104
srv := statusServer(t, func(int) string {
105
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
106
}, nil)
107
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
108
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
109
t.Fatalf("failed hoort te stoppen: %v %s", err, out)
110
}
111
})
112
113
t.Run("timeout", func(t *testing.T) {
114
srv := statusServer(t, func(int) string {
115
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
116
}, nil)
117
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
118
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
119
t.Fatalf("timeout: %v %s", err, out)
120
}
121
})
122
123
t.Run("korte storing tijdens herstart", func(t *testing.T) {
124
var gets int
125
var mu sync.Mutex
126
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
127
if r.Method == http.MethodPost {
128
w.WriteHeader(http.StatusAccepted)
129
_, _ = w.Write([]byte(`{"status":"accepted"}`))
130
return
131
}
132
mu.Lock()
133
gets++
134
n := gets
135
mu.Unlock()
136
if n == 1 {
137
hj, ok := w.(http.Hijacker)
138
if !ok {
139
http.Error(w, "down", http.StatusBadGateway)
140
return
141
}
142
conn, _, err := hj.Hijack()
143
if err != nil {
144
return
145
}
146
_ = conn.Close()
147
return
148
}
149
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
150
}))
151
t.Cleanup(srv.Close)
152
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
153
if err != nil {
154
t.Fatalf("na herstart: %v %s", err, out)
155
}
156
})
157
}
158
159
15
func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
160
16
if _, err := exec.LookPath("bash"); err != nil {
161
17
t.Skip("bash ontbreekt")
@@ -204,45 +60,3 @@ func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {
204
60
t.Fatal("self-update.sh polt nog")
205
61
}
206
62
}
207
208
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
209
t.Helper()
210
var n int
211
var mu sync.Mutex
212
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
213
if r.URL.Path != "/api/v1/admin/self-update" {
214
http.NotFound(w, r)
215
return
216
}
217
if r.Method == http.MethodPost {
218
w.WriteHeader(http.StatusAccepted)
219
_, _ = w.Write([]byte(`{"status":"accepted"}`))
220
return
221
}
222
mu.Lock()
223
n++
224
cur := n
225
if gets != nil {
226
*gets = n
227
}
228
mu.Unlock()
229
w.Header().Set("Content-Type", "application/json")
230
_, _ = w.Write([]byte(body(cur)))
231
}))
232
t.Cleanup(srv.Close)
233
return srv
234
}
235
236
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
237
t.Helper()
238
cmd := exec.Command("bash", script)
239
cmd.Env = append(os.Environ(),
240
"CI_API_URL="+base+"/api/v1",
241
"BLUEGIT_UPDATE_TOKEN=test-token",
242
"CI_COMMIT_SHA="+sha,
243
"SELF_UPDATE_TIMEOUT="+timeout,
244
"SELF_UPDATE_INTERVAL="+interval,
245
)
246
out, err := cmd.CombinedOutput()
247
return string(out), err
248
}
@@ -8,154 +8,10 @@ import (8
"os/exec"8
"os/exec"9
"path/filepath"9
"path/filepath"10
"strings"10
"strings"11
"sync"12
"testing"11
"testing"13
"time"12
"time"14
)13
)15
14
16
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {17
if _, err := exec.LookPath("bash"); err != nil {18
t.Skip("bash ontbreekt")19
}20
if _, err := exec.LookPath("curl"); err != nil {21
t.Skip("curl ontbreekt")22
}23
if _, err := exec.LookPath("jq"); err != nil {24
t.Skip("jq ontbreekt")25
}26
script := filepath.Join("..", "scripts", "wait-self-update.sh")27
sha := "0123456789abcdef0123456789abcdef01234567"28
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"29
30
t.Run("ok na running", func(t *testing.T) {31
var posts int32
var gets int33
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {34
if r.URL.Path != "/api/v1/admin/self-update" {35
http.NotFound(w, r)36
return37
}38
if r.Method == http.MethodPost {39
posts++40
w.WriteHeader(http.StatusAccepted)41
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))42
return43
}44
gets++45
w.Header().Set("Content-Type", "application/json")46
if gets < 3 {47
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))48
return49
}50
// log bevat een andere status. Alleen het veld ervoor telt.51
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))52
}))53
t.Cleanup(srv.Close)54
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")55
if err != nil {56
t.Fatalf("wacht: %v %s", err, out)57
}58
if posts != 0 || gets < 3 || !strings.Contains(out, "self-update ok voor "+sha) {59
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)60
}61
})62
63
t.Run("andere sha telt niet", func(t *testing.T) {64
var gets int65
srv := statusServer(t, func(gets int) string {66
if gets == 1 {67
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`68
}69
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`70
}, &gets)71
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")72
if err != nil {73
t.Fatalf("wacht: %v %s", err, out)74
}75
if gets < 2 {76
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)77
}78
})79
80
t.Run("log staat vooraan", func(t *testing.T) {81
var gets int82
// De live response begint met log. Daarin staat een nep-status en een nep-sha.83
running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`84
done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`85
if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {86
t.Fatal("log hoort de eerste key te zijn")87
}88
srv := statusServer(t, func(n int) string {89
if n == 1 {90
return running91
}92
return done93
}, &gets)94
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")95
if err != nil {96
t.Fatalf("wacht: %v %s", err, out)97
}98
if gets < 2 || !strings.Contains(out, "self-update ok voor "+sha) {99
t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)100
}101
})102
103
t.Run("failed faalt meteen", func(t *testing.T) {104
srv := statusServer(t, func(int) string {105
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`106
}, nil)107
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")108
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {109
t.Fatalf("failed hoort te stoppen: %v %s", err, out)110
}111
})112
113
t.Run("timeout", func(t *testing.T) {114
srv := statusServer(t, func(int) string {115
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`116
}, nil)117
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")118
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {119
t.Fatalf("timeout: %v %s", err, out)120
}121
})122
123
t.Run("korte storing tijdens herstart", func(t *testing.T) {124
var gets int125
var mu sync.Mutex126
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {127
if r.Method == http.MethodPost {128
w.WriteHeader(http.StatusAccepted)129
_, _ = w.Write([]byte(`{"status":"accepted"}`))130
return131
}132
mu.Lock()133
gets++134
n := gets135
mu.Unlock()136
if n == 1 {137
hj, ok := w.(http.Hijacker)138
if !ok {139
http.Error(w, "down", http.StatusBadGateway)140
return141
}142
conn, _, err := hj.Hijack()143
if err != nil {144
return145
}146
_ = conn.Close()147
return148
}149
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))150
}))151
t.Cleanup(srv.Close)152
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")153
if err != nil {154
t.Fatalf("na herstart: %v %s", err, out)155
}156
})157
}158
159
func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {15
func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {160
if _, err := exec.LookPath("bash"); err != nil {16
if _, err := exec.LookPath("bash"); err != nil {161
t.Skip("bash ontbreekt")17
t.Skip("bash ontbreekt")@@ -204,45 +60,3 @@ func TestSelfUpdatePostsWithoutWaiting(t *testing.T) {204
t.Fatal("self-update.sh polt nog")60
t.Fatal("self-update.sh polt nog")205
}61
}206
}62
}207
208
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {209
t.Helper()210
var n int211
var mu sync.Mutex212
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {213
if r.URL.Path != "/api/v1/admin/self-update" {214
http.NotFound(w, r)215
return216
}217
if r.Method == http.MethodPost {218
w.WriteHeader(http.StatusAccepted)219
_, _ = w.Write([]byte(`{"status":"accepted"}`))220
return221
}222
mu.Lock()223
n++224
cur := n225
if gets != nil {226
*gets = n227
}228
mu.Unlock()229
w.Header().Set("Content-Type", "application/json")230
_, _ = w.Write([]byte(body(cur)))231
}))232
t.Cleanup(srv.Close)233
return srv234
}235
236
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {237
t.Helper()238
cmd := exec.Command("bash", script)239
cmd.Env = append(os.Environ(),240
"CI_API_URL="+base+"/api/v1",241
"BLUEGIT_UPDATE_TOKEN=test-token",242
"CI_COMMIT_SHA="+sha,243
"SELF_UPDATE_TIMEOUT="+timeout,244
"SELF_UPDATE_INTERVAL="+interval,245
)246
out, err := cmd.CombinedOutput()247
return string(out), err248
}@@ -1,59 +0,0 @@
1
#!/usr/bin/env bash
2
# Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.
3
# publish_aur roept dit aan het begin aan. needs: [self_update] houdt die
4
# job tegen tot de POST klaar is; daarna herstart de service en pas dan
5
# draait deze poll. Een mislukking of timeout faalt publish_aur.
6
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
7
# is de pauze tussen pogingen (standaard 5).
8
set -euo pipefail
9
10
: "${CI_API_URL:?CI_API_URL ontbreekt}"
11
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
12
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
13
14
timeout="${SELF_UPDATE_TIMEOUT:-300}"
15
interval="${SELF_UPDATE_INTERVAL:-5}"
16
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
17
[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
18
19
if ! command -v jq >/dev/null 2>&1; then
20
if command -v pacman >/dev/null 2>&1; then
21
pacman -Sy --noconfirm --needed jq >&2
22
elif command -v apk >/dev/null 2>&1; then
23
apk add --no-cache jq >&2
24
else
25
echo "jq ontbreekt" >&2
26
exit 1
27
fi
28
fi
29
30
api="${CI_API_URL%/}/admin/self-update"
31
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
32
33
start="$(date +%s)"
34
while true; do
35
# Een korte storing tijdens de herstart mag de poll niet stoppen.
36
# log staat live als eerste key en bevat de tekst "status" en "sha".
37
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
38
status=""
39
sha=""
40
if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
41
status="${parsed%%$'\t'*}"
42
sha="${parsed#*$'\t'}"
43
fi
44
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
45
echo "self-update ok voor ${CI_COMMIT_SHA}"
46
exit 0
47
fi
48
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
49
echo "Self-update mislukt: $sha" >&2
50
exit 1
51
fi
52
now="$(date +%s)"
53
if (( now - start >= timeout )); then
54
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
55
exit 1
56
fi
57
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
58
sleep "$interval"
59
done
@@ -1,59 +0,0 @@1
#!/usr/bin/env bash2
# Wacht tot GET /api/v1/admin/self-update status ok meldt voor CI_COMMIT_SHA.3
# publish_aur roept dit aan het begin aan. needs: [self_update] houdt die4
# job tegen tot de POST klaar is; daarna herstart de service en pas dan5
# draait deze poll. Een mislukking of timeout faalt publish_aur.6
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL7
# is de pauze tussen pogingen (standaard 5).8
set -euo pipefail9
10
: "${CI_API_URL:?CI_API_URL ontbreekt}"11
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"12
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"13
14
timeout="${SELF_UPDATE_TIMEOUT:-300}"15
interval="${SELF_UPDATE_INTERVAL:-5}"16
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=30017
[[ "$interval" =~ ^[0-9]+$ ]] || interval=518
19
if ! command -v jq >/dev/null 2>&1; then20
if command -v pacman >/dev/null 2>&1; then21
pacman -Sy --noconfirm --needed jq >&222
elif command -v apk >/dev/null 2>&1; then23
apk add --no-cache jq >&224
else25
echo "jq ontbreekt" >&226
exit 127
fi28
fi29
30
api="${CI_API_URL%/}/admin/self-update"31
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")32
33
start="$(date +%s)"34
while true; do35
# Een korte storing tijdens de herstart mag de poll niet stoppen.36
# log staat live als eerste key en bevat de tekst "status" en "sha".37
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"38
status=""39
sha=""40
if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then41
status="${parsed%%$'\t'*}"42
sha="${parsed#*$'\t'}"43
fi44
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then45
echo "self-update ok voor ${CI_COMMIT_SHA}"46
exit 047
fi48
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then49
echo "Self-update mislukt: $sha" >&250
exit 151
fi52
now="$(date +%s)"53
if (( now - start >= timeout )); then54
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&255
exit 156
fi57
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"58
sleep "$interval"59
done