BlueGit

timfa bluegit

Merge branch 'stage' into 'master'

timfa

Authored 2026-10-23 · 3 weeks ago

Hash
ddc61a1f1441bbf00f907ae490a4d1d9f40e4dbd
Pipeline
Passed
11 files changed +358 −30
blue-ci-cd.yml +5 −7
@@ -79,8 +79,9 @@ jobs:
79 79 - ./scripts/aur-ssh-setup.sh
80 80 - ./scripts/publish-aur.sh
81 81
82 # Na een geslaagde build. publish_aur wacht op deze job.
83 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
82 # Na een geslaagde build. Het script start de update en polt tot
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
84 85 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
85 86 # CI_API_URL eindigt op /api/v1.
86 87 self_update:
@@ -89,8 +90,5 @@ jobs:
89 90 extends: .on_master
90 91 needs: [build]
91 92 script:
92 - >-
93 curl -fsS -X POST "$CI_API_URL/admin/self-update"
94 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN"
95 -H "Content-Type: application/json"
96 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
93 - chmod +x scripts/self-update.sh
94 - ./scripts/self-update.sh
@@ -79,8 +79,9 @@ jobs:
79 - ./scripts/aur-ssh-setup.sh
79 - ./scripts/aur-ssh-setup.sh
80 - ./scripts/publish-aur.sh
80 - ./scripts/publish-aur.sh
81
81
82 # Na een geslaagde build. publish_aur wacht op deze job.
82 # Na een geslaagde build. Het script start de update en polt tot
83 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
83 # status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84 # op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
84 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
85 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
85 # CI_API_URL eindigt op /api/v1.
86 # CI_API_URL eindigt op /api/v1.
86 self_update:
87 self_update:
@@ -89,8 +90,5 @@ jobs:
89 extends: .on_master
90 extends: .on_master
90 needs: [build]
91 needs: [build]
91 script:
92 script:
92 - >-
93 - chmod +x scripts/self-update.sh
93 curl -fsS -X POST "$CI_API_URL/admin/self-update"
94 - ./scripts/self-update.sh
94 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN"
95 -H "Content-Type: application/json"
96 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
docs/AUR.md +4 −18
@@ -57,14 +57,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
57 57
58 58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59 59
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
62 ```yaml
63 curl -fsS -X POST "$CI_API_URL/admin/self-update" \
64 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
65 -H "Content-Type: application/json" \
66 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
67 ```
60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
68 61
69 62 `CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
70 63
@@ -78,16 +71,9 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78 71
79 72 ## Self-update
80 73
81 `self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
82
83 ```yaml
84 curl -fsS -X POST "$CI_API_URL/admin/self-update" \
85 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
86 -H "Content-Type: application/json" \
87 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
88 ```
74 `self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
89 75
90 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). Het wacht de oneshot niet af: anders blijft de CI-job `running` en wacht de updater op de job die hem aanriep.
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
91 77
92 78 De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
93 79
@@ -95,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
95 81
96 82 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97 83
98 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
84 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
99 85
100 86 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101 87
@@ -57,14 +57,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
61
62```yaml
63curl -fsS -X POST "$CI_API_URL/admin/self-update" \
64 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
65 -H "Content-Type: application/json" \
66 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
67```
68
61
69`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
62`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
70
63
@@ -78,16 +71,9 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
71
79## Self-update
72## Self-update
80
73
81`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
74`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
82
83```yaml
84curl -fsS -X POST "$CI_API_URL/admin/self-update" \
85 -H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
86 -H "Content-Type: application/json" \
87 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
88```
89
75
90`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). Het wacht de oneshot niet af: anders blijft de CI-job `running` en wacht de updater op de job die hem aanriep.
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
91
77
92De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
78De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
93
79
@@ -95,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
95
81
96Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
82Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
83
98Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
84Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
99
85
100`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
86`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
87
docs/CI.md +1 −1
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90 90
91 91 | Preset | Basis |
92 92 | --- | --- |
93 | `bluegit/base` | Alpine 3.20, met git, curl en bash |
93 | `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
94 94 | `bluegit/node` | Node.js 22 |
95 95 | `bluegit/python` | Python 3.12 |
96 96 | `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91| Preset | Basis |
91| Preset | Basis |
92| --- | --- |
92| --- | --- |
93| `bluegit/base` | Alpine 3.20, met git, curl en bash |
93| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
94| `bluegit/node` | Node.js 22 |
94| `bluegit/node` | Node.js 22 |
95| `bluegit/python` | Python 3.12 |
95| `bluegit/python` | Python 3.12 |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
internal/ci/example_test.go +13 −1
@@ -108,9 +108,21 @@ func TestBlueGitExampleFile(t *testing.T) {
108 108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
109 109 }
110 110 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "/admin/self-update") || !strings.Contains(joined, "BLUEGIT_UPDATE_TOKEN") {
111 if !strings.Contains(joined, "scripts/self-update.sh") {
112 112 t.Fatalf("self_update: %s", joined)
113 113 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
115 if err != nil {
116 t.Fatal(err)
117 }
118 text := string(script)
119 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121 } {
122 if !strings.Contains(text, want) {
123 t.Fatalf("self-update.sh mist %q", want)
124 }
125 }
114 126 if Gate(p.Jobs, map[string]string{
115 127 "vet": "success", "test": "success", "frontend_checks": "success",
116 128 "build": "queued", "publish_aur": "running",
@@ -108,9 +108,21 @@ func TestBlueGitExampleFile(t *testing.T) {
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
108 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
109 }
109 }
110 joined := strings.Join(upd.Script, "\n")
110 joined := strings.Join(upd.Script, "\n")
111 if !strings.Contains(joined, "/admin/self-update") || !strings.Contains(joined, "BLUEGIT_UPDATE_TOKEN") {
111 if !strings.Contains(joined, "scripts/self-update.sh") {
112 t.Fatalf("self_update: %s", joined)
112 t.Fatalf("self_update: %s", joined)
113 }
113 }
114 script, err := os.ReadFile("../../scripts/self-update.sh")
115 if err != nil {
116 t.Fatal(err)
117 }
118 text := string(script)
119 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121 } {
122 if !strings.Contains(text, want) {
123 t.Fatalf("self-update.sh mist %q", want)
124 }
125 }
114 if Gate(p.Jobs, map[string]string{
126 if Gate(p.Jobs, map[string]string{
115 "vet": "success", "test": "success", "frontend_checks": "success",
127 "vet": "success", "test": "success", "frontend_checks": "success",
116 "build": "queued", "publish_aur": "running",
128 "build": "queued", "publish_aur": "running",
internal/images/dockerfiles/base/Dockerfile +1 −1
@@ -1,3 +1,3 @@
1 1 # runtime: Alpine 3.20
2 2 FROM alpine:3.20
3 RUN apk add --no-cache bash ca-certificates curl git
3 RUN apk add --no-cache bash ca-certificates curl git jq
@@ -1,3 +1,3 @@
1# runtime: Alpine 3.20
1# runtime: Alpine 3.20
2FROM alpine:3.20
2FROM alpine:3.20
3RUN apk add --no-cache bash ca-certificates curl git
3RUN apk add --no-cache bash ca-certificates curl git jq
internal/images/dockerfiles/go/Dockerfile +1 −1
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3 3 # git-daemon levert git-http-backend. Zonder die binary spreekt een
4 4 # testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5 5 # git-remote-http hoort bij git zelf en is de client voor die push.
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
7 7 RUN test -x "$(git --exec-path)/git-http-backend" \
8 8 && test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5# git-remote-http hoort bij git zelf en is de client voor die push.
5# git-remote-http hoort bij git zelf en is de client voor die push.
6RUN apk add --no-cache bash ca-certificates curl git git-daemon
6RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
7RUN test -x "$(git --exec-path)/git-http-backend" \
7RUN test -x "$(git --exec-path)/git-http-backend" \
8 && test -e "$(git --exec-path)/git-remote-http"
8 && test -e "$(git --exec-path)/git-remote-http"
internal/store/flow.go +17 −1
@@ -935,9 +935,25 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935 935 }
936 936
937 937 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939 // deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940 // wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
938 941 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939 942 var n int
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
943 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
941 957 return n, err
942 958 }
943 959
@@ -935,9 +935,25 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935}
935}
936
936
937// CountRunningJobs telt jobs die Steve nu uitvoert.
937// CountRunningJobs telt jobs die Steve nu uitvoert.
938// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
938func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
941func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939 var n int
942 var n int
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
943 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
941 return n, err
957 return n, err
942}
958}
943
959
internal/store/running_jobs_test.go added +62 −0
@@ -0,0 +1,62 @@
1 package store
2
3 import (
4 "context"
5 "testing"
6 )
7
8 func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 timfa, err := s.UpsertUser(ctx, 2, "timfa", "", false)
16 if err != nil {
17 t.Fatal(err)
18 }
19 other, err := s.CreateRepo(ctx, "user", tim.ID, "notes", "", "master", "private")
20 if err != nil {
21 t.Fatal(err)
22 }
23 blue, err := s.CreateRepo(ctx, "user", timfa.ID, "bluegit", "", "master", "public")
24 if err != nil {
25 t.Fatal(err)
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
30 })
31 if err != nil {
32 t.Fatal(err)
33 }
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 })
38 if err != nil {
39 t.Fatal(err)
40 }
41 set := func(pipe int64, name, status string) {
42 t.Helper()
43 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, pipe, name); err != nil {
44 t.Fatal(err)
45 }
46 }
47 set(blueID, "self_update", "running")
48 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51 }
52 set(otherID, "self_update", "running")
53 n, err = s.CountRunningJobs(ctx)
54 if err != nil || n != 1 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
56 }
57 set(blueID, "publish_aur", "running")
58 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
61 }
62 }
@@ -0,0 +1,62 @@
1package store
2
3import (
4 "context"
5 "testing"
6)
7
8func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 timfa, err := s.UpsertUser(ctx, 2, "timfa", "", false)
16 if err != nil {
17 t.Fatal(err)
18 }
19 other, err := s.CreateRepo(ctx, "user", tim.ID, "notes", "", "master", "private")
20 if err != nil {
21 t.Fatal(err)
22 }
23 blue, err := s.CreateRepo(ctx, "user", timfa.ID, "bluegit", "", "master", "public")
24 if err != nil {
25 t.Fatal(err)
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
29 {Name: "self_update", Stage: "release", Script: "poll"},
30 })
31 if err != nil {
32 t.Fatal(err)
33 }
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 })
38 if err != nil {
39 t.Fatal(err)
40 }
41 set := func(pipe int64, name, status string) {
42 t.Helper()
43 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, pipe, name); err != nil {
44 t.Fatal(err)
45 }
46 }
47 set(blueID, "self_update", "running")
48 n, err := s.CountRunningJobs(ctx)
49 if err != nil || n != 0 {
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
51 }
52 set(otherID, "self_update", "running")
53 n, err = s.CountRunningJobs(ctx)
54 if err != nil || n != 1 {
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
56 }
57 set(blueID, "publish_aur", "running")
58 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
61 }
62}
packaging/bluegit-update.sh +2 −0
@@ -71,6 +71,8 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. self_update telt daar niet mee: die job polt
75 # tot deze installatie status ok schrijft.
74 76 wait_until_idle() {
75 77 local deadline body n poll
76 78 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,6 +71,8 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. self_update telt daar niet mee: die job polt
75# tot deze installatie status ok schrijft.
74wait_until_idle() {
76wait_until_idle() {
75 local deadline body n poll
77 local deadline body n poll
76 poll="$BLUEGIT_UPDATE_POLL"
78 poll="$BLUEGIT_UPDATE_POLL"
scripts/self-update.sh added +55 −0
@@ -0,0 +1,55 @@
1 #!/usr/bin/env bash
2 # Start de self-update en wacht tot GET /api/v1/admin/self-update
3 # status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4 # dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5 # SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6 # is de pauze tussen pogingen (standaard 5).
7 set -euo pipefail
8
9 : "${CI_API_URL:?CI_API_URL ontbreekt}"
10 : "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11 : "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
13 timeout="${SELF_UPDATE_TIMEOUT:-300}"
14 interval="${SELF_UPDATE_INTERVAL:-5}"
15 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18 if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20 fi
21
22 api="${CI_API_URL%/}/admin/self-update"
23 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24
25 curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
26 -H "Content-Type: application/json" \
27 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28
29 start="$(date +%s)"
30 while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55 done
@@ -0,0 +1,55 @@
1#!/usr/bin/env bash
2# Start de self-update en wacht tot GET /api/v1/admin/self-update
3# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4# dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6# is de pauze tussen pogingen (standaard 5).
7set -euo pipefail
8
9: "${CI_API_URL:?CI_API_URL ontbreekt}"
10: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
13timeout="${SELF_UPDATE_TIMEOUT:-300}"
14interval="${SELF_UPDATE_INTERVAL:-5}"
15[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20fi
21
22api="${CI_API_URL%/}/admin/self-update"
23auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
24
25curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
26 -H "Content-Type: application/json" \
27 -d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
28
29start="$(date +%s)"
30while true; do
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
41 echo "Self-update ok: $sha"
42 exit 0
43 fi
44 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
45 echo "Self-update mislukt: $sha" >&2
46 exit 1
47 fi
48 now="$(date +%s)"
49 if (( now - start >= timeout )); then
50 echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
51 exit 1
52 fi
53 echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
54 sleep "$interval"
55done
scripts/self_update_test.go added +197 −0
@@ -0,0 +1,197 @@
1 package scripts
2
3 import (
4 "net/http"
5 "net/http/httptest"
6 "os"
7 "os/exec"
8 "path/filepath"
9 "strings"
10 "sync"
11 "testing"
12 )
13
14 func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15 if _, err := exec.LookPath("bash"); err != nil {
16 t.Skip("bash ontbreekt")
17 }
18 if _, err := exec.LookPath("curl"); err != nil {
19 t.Skip("curl ontbreekt")
20 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
24 script := filepath.Join("..", "scripts", "self-update.sh")
25 sha := "0123456789abcdef0123456789abcdef01234567"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27
28 t.Run("ok na running", func(t *testing.T) {
29 var posts int
30 var gets int
31 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
32 if r.URL.Path != "/api/v1/admin/self-update" {
33 http.NotFound(w, r)
34 return
35 }
36 if r.Method == http.MethodPost {
37 posts++
38 w.WriteHeader(http.StatusAccepted)
39 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
40 return
41 }
42 gets++
43 w.Header().Set("Content-Type", "application/json")
44 if gets < 3 {
45 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
46 return
47 }
48 // log bevat een andere status. Alleen het veld ervoor telt.
49 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
50 }))
51 t.Cleanup(srv.Close)
52 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
53 if err != nil {
54 t.Fatalf("wacht: %v %s", err, out)
55 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
57 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 }
59 })
60
61 t.Run("andere sha telt niet", func(t *testing.T) {
62 var gets int
63 srv := statusServer(t, func(gets int) string {
64 if gets == 1 {
65 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
66 }
67 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
68 }, &gets)
69 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
70 if err != nil {
71 t.Fatalf("wacht: %v %s", err, out)
72 }
73 if gets < 2 {
74 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
75 }
76 })
77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
101 t.Run("failed faalt meteen", func(t *testing.T) {
102 srv := statusServer(t, func(int) string {
103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
104 }, nil)
105 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
106 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
107 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
108 }
109 })
110
111 t.Run("timeout", func(t *testing.T) {
112 srv := statusServer(t, func(int) string {
113 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
114 }, nil)
115 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
116 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
117 t.Fatalf("timeout: %v %s", err, out)
118 }
119 })
120
121 t.Run("korte storing tijdens herstart", func(t *testing.T) {
122 var gets int
123 var mu sync.Mutex
124 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
125 if r.Method == http.MethodPost {
126 w.WriteHeader(http.StatusAccepted)
127 _, _ = w.Write([]byte(`{"status":"accepted"}`))
128 return
129 }
130 mu.Lock()
131 gets++
132 n := gets
133 mu.Unlock()
134 if n == 1 {
135 hj, ok := w.(http.Hijacker)
136 if !ok {
137 http.Error(w, "down", http.StatusBadGateway)
138 return
139 }
140 conn, _, err := hj.Hijack()
141 if err != nil {
142 return
143 }
144 _ = conn.Close()
145 return
146 }
147 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
148 }))
149 t.Cleanup(srv.Close)
150 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
151 if err != nil {
152 t.Fatalf("na herstart: %v %s", err, out)
153 }
154 })
155 }
156
157 func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 t.Helper()
159 var n int
160 var mu sync.Mutex
161 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
162 if r.URL.Path != "/api/v1/admin/self-update" {
163 http.NotFound(w, r)
164 return
165 }
166 if r.Method == http.MethodPost {
167 w.WriteHeader(http.StatusAccepted)
168 _, _ = w.Write([]byte(`{"status":"accepted"}`))
169 return
170 }
171 mu.Lock()
172 n++
173 cur := n
174 if gets != nil {
175 *gets = n
176 }
177 mu.Unlock()
178 w.Header().Set("Content-Type", "application/json")
179 _, _ = w.Write([]byte(body(cur)))
180 }))
181 t.Cleanup(srv.Close)
182 return srv
183 }
184
185 func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
186 t.Helper()
187 cmd := exec.Command("bash", script)
188 cmd.Env = append(os.Environ(),
189 "CI_API_URL="+base+"/api/v1",
190 "BLUEGIT_UPDATE_TOKEN=test-token",
191 "CI_COMMIT_SHA="+sha,
192 "SELF_UPDATE_TIMEOUT="+timeout,
193 "SELF_UPDATE_INTERVAL="+interval,
194 )
195 out, err := cmd.CombinedOutput()
196 return string(out), err
197 }
@@ -0,0 +1,197 @@
1package scripts
2
3import (
4 "net/http"
5 "net/http/httptest"
6 "os"
7 "os/exec"
8 "path/filepath"
9 "strings"
10 "sync"
11 "testing"
12)
13
14func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15 if _, err := exec.LookPath("bash"); err != nil {
16 t.Skip("bash ontbreekt")
17 }
18 if _, err := exec.LookPath("curl"); err != nil {
19 t.Skip("curl ontbreekt")
20 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
24 script := filepath.Join("..", "scripts", "self-update.sh")
25 sha := "0123456789abcdef0123456789abcdef01234567"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
27
28 t.Run("ok na running", func(t *testing.T) {
29 var posts int
30 var gets int
31 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
32 if r.URL.Path != "/api/v1/admin/self-update" {
33 http.NotFound(w, r)
34 return
35 }
36 if r.Method == http.MethodPost {
37 posts++
38 w.WriteHeader(http.StatusAccepted)
39 _, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
40 return
41 }
42 gets++
43 w.Header().Set("Content-Type", "application/json")
44 if gets < 3 {
45 _, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
46 return
47 }
48 // log bevat een andere status. Alleen het veld ervoor telt.
49 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
50 }))
51 t.Cleanup(srv.Close)
52 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
53 if err != nil {
54 t.Fatalf("wacht: %v %s", err, out)
55 }
56 if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
57 t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
58 }
59 })
60
61 t.Run("andere sha telt niet", func(t *testing.T) {
62 var gets int
63 srv := statusServer(t, func(gets int) string {
64 if gets == 1 {
65 return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
66 }
67 return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
68 }, &gets)
69 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
70 if err != nil {
71 t.Fatalf("wacht: %v %s", err, out)
72 }
73 if gets < 2 {
74 t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
75 }
76 })
77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
101 t.Run("failed faalt meteen", func(t *testing.T) {
102 srv := statusServer(t, func(int) string {
103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
104 }, nil)
105 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
106 if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
107 t.Fatalf("failed hoort te stoppen: %v %s", err, out)
108 }
109 })
110
111 t.Run("timeout", func(t *testing.T) {
112 srv := statusServer(t, func(int) string {
113 return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
114 }, nil)
115 out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
116 if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
117 t.Fatalf("timeout: %v %s", err, out)
118 }
119 })
120
121 t.Run("korte storing tijdens herstart", func(t *testing.T) {
122 var gets int
123 var mu sync.Mutex
124 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
125 if r.Method == http.MethodPost {
126 w.WriteHeader(http.StatusAccepted)
127 _, _ = w.Write([]byte(`{"status":"accepted"}`))
128 return
129 }
130 mu.Lock()
131 gets++
132 n := gets
133 mu.Unlock()
134 if n == 1 {
135 hj, ok := w.(http.Hijacker)
136 if !ok {
137 http.Error(w, "down", http.StatusBadGateway)
138 return
139 }
140 conn, _, err := hj.Hijack()
141 if err != nil {
142 return
143 }
144 _ = conn.Close()
145 return
146 }
147 _, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
148 }))
149 t.Cleanup(srv.Close)
150 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
151 if err != nil {
152 t.Fatalf("na herstart: %v %s", err, out)
153 }
154 })
155}
156
157func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
158 t.Helper()
159 var n int
160 var mu sync.Mutex
161 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
162 if r.URL.Path != "/api/v1/admin/self-update" {
163 http.NotFound(w, r)
164 return
165 }
166 if r.Method == http.MethodPost {
167 w.WriteHeader(http.StatusAccepted)
168 _, _ = w.Write([]byte(`{"status":"accepted"}`))
169 return
170 }
171 mu.Lock()
172 n++
173 cur := n
174 if gets != nil {
175 *gets = n
176 }
177 mu.Unlock()
178 w.Header().Set("Content-Type", "application/json")
179 _, _ = w.Write([]byte(body(cur)))
180 }))
181 t.Cleanup(srv.Close)
182 return srv
183}
184
185func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
186 t.Helper()
187 cmd := exec.Command("bash", script)
188 cmd.Env = append(os.Environ(),
189 "CI_API_URL="+base+"/api/v1",
190 "BLUEGIT_UPDATE_TOKEN=test-token",
191 "CI_COMMIT_SHA="+sha,
192 "SELF_UPDATE_TIMEOUT="+timeout,
193 "SELF_UPDATE_INTERVAL="+interval,
194 )
195 out, err := cmd.CombinedOutput()
196 return string(out), err
197}