BlueGit

timfa bluegit

fix: lees de self-update-status als JSON

log staat vooraan in de response en bevat de woorden status en sha.
jq leest de echte velden. self_update telt alleen bij timfa/bluegit
niet mee.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-23 · 3 weeks ago

Hash
f805a1bb4aff463cab19a9d633e77af17b948c54
Parent
91694978
Pipeline
Passed
9 files changed +90 −27
docs/AUR.md +2 −2
@@ -73,7 +73,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
73 73
74 74 `self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
75 75
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
76 `BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
77 77
78 78 De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79 79
@@ -81,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81 81
82 82 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83 83
84 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
84 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85 85
86 86 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87 87
@@ -73,7 +73,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
73
73
74`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
74`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
75
75
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
76`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` van `timfa/bluegit` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Een job met die naam in een andere repository telt wel. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. De poll leest `status` en `sha` met `jq`, omdat `log` vooraan in de JSON staat en die tekst dezelfde woorden bevat.
77
77
78De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
78De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
79
79
@@ -81,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
81
81
82Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
82Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
83
83
84Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
84Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` van `timfa/bluegit` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
85
85
86`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
86`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
87
87
docs/CI.md +1 −1
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90 90
91 91 | Preset | Basis |
92 92 | --- | --- |
93 | `bluegit/base` | Alpine 3.20, met git, curl en bash |
93 | `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
94 94 | `bluegit/node` | Node.js 22 |
95 95 | `bluegit/python` | Python 3.12 |
96 96 | `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
@@ -90,7 +90,7 @@ Steve heeft geen aparte runners per taal. `image: bluegit/base` en de andere ali
90
90
91| Preset | Basis |
91| Preset | Basis |
92| --- | --- |
92| --- | --- |
93| `bluegit/base` | Alpine 3.20, met git, curl en bash |
93| `bluegit/base` | Alpine 3.20, met git, curl, bash en jq |
94| `bluegit/node` | Node.js 22 |
94| `bluegit/node` | Node.js 22 |
95| `bluegit/python` | Python 3.12 |
95| `bluegit/python` | Python 3.12 |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
96| `bluegit/go` | Go 1.22, plus `git-daemon` zodat `git http-backend` aanwezig is |
internal/ci/example_test.go +1 −1
@@ -117,7 +117,7 @@ func TestBlueGitExampleFile(t *testing.T) {
117 117 }
118 118 text := string(script)
119 119 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300",
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121 121 } {
122 122 if !strings.Contains(text, want) {
123 123 t.Fatalf("self-update.sh mist %q", want)
@@ -117,7 +117,7 @@ func TestBlueGitExampleFile(t *testing.T) {
117 }
117 }
118 text := string(script)
118 text := string(script)
119 for _, want := range []string{
119 for _, want := range []string{
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300",
120 `/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300", "jq -er",
121 } {
121 } {
122 if !strings.Contains(text, want) {
122 if !strings.Contains(text, want) {
123 t.Fatalf("self-update.sh mist %q", want)
123 t.Fatalf("self-update.sh mist %q", want)
internal/images/dockerfiles/base/Dockerfile +1 −1
@@ -1,3 +1,3 @@
1 1 # runtime: Alpine 3.20
2 2 FROM alpine:3.20
3 RUN apk add --no-cache bash ca-certificates curl git
3 RUN apk add --no-cache bash ca-certificates curl git jq
@@ -1,3 +1,3 @@
1# runtime: Alpine 3.20
1# runtime: Alpine 3.20
2FROM alpine:3.20
2FROM alpine:3.20
3RUN apk add --no-cache bash ca-certificates curl git
3RUN apk add --no-cache bash ca-certificates curl git jq
internal/images/dockerfiles/go/Dockerfile +1 −1
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3 3 # git-daemon levert git-http-backend. Zonder die binary spreekt een
4 4 # testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5 5 # git-remote-http hoort bij git zelf en is de client voor die push.
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon
6 RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
7 7 RUN test -x "$(git --exec-path)/git-http-backend" \
8 8 && test -e "$(git --exec-path)/git-remote-http"
@@ -3,6 +3,6 @@ FROM golang:1.22-alpine
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
3# git-daemon levert git-http-backend. Zonder die binary spreekt een
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
4# testserver geen smart HTTP en valt git push terug op dumb HTTP (code 22).
5# git-remote-http hoort bij git zelf en is de client voor die push.
5# git-remote-http hoort bij git zelf en is de client voor die push.
6RUN apk add --no-cache bash ca-certificates curl git git-daemon
6RUN apk add --no-cache bash ca-certificates curl git git-daemon jq
7RUN test -x "$(git --exec-path)/git-http-backend" \
7RUN test -x "$(git --exec-path)/git-http-backend" \
8 && test -e "$(git --exec-path)/git-remote-http"
8 && test -e "$(git --exec-path)/git-remote-http"
internal/store/flow.go +17 −4
@@ -935,12 +935,25 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935 935 }
936 936
937 937 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // self_update blijft buiten de telling. Die job polt tot deze update
939 // status ok heeft. Meerekenen laat wait_until_idle op die poll wachten,
940 // en de poll op pacman -U.
938 // self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939 // deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940 // wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
941 941 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 942 var n int
943 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'self_update'`).Scan(&n)
943 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
944 957 return n, err
945 958 }
946 959
@@ -935,12 +935,25 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935}
935}
936
936
937// CountRunningJobs telt jobs die Steve nu uitvoert.
937// CountRunningJobs telt jobs die Steve nu uitvoert.
938// self_update blijft buiten de telling. Die job polt tot deze update
938// self_update van timfa/bluegit blijft buiten de telling. Die job polt tot
939// status ok heeft. Meerekenen laat wait_until_idle op die poll wachten,
939// deze update status ok heeft. Meerekenen laat wait_until_idle op die poll
940// en de poll op pacman -U.
940// wachten, en de poll op pacman -U. Dezelfde jobnaam in een andere repo telt wel.
941func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
941func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942 var n int
942 var n int
943 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'self_update'`).Scan(&n)
943 err := s.db.QueryRowContext(ctx, `
944 SELECT COUNT(*) FROM jobs j
945 WHERE j.status = 'running'
946 AND NOT (
947 j.name = 'self_update'
948 AND j.repo_id IN (
949 SELECT r.id FROM repos r
950 WHERE r.name = 'bluegit'
951 AND (
952 (r.owner_kind = 'user' AND r.owner_id = (SELECT id FROM users WHERE username = 'timfa'))
953 OR (r.owner_kind = 'group' AND r.owner_id = (SELECT id FROM groups WHERE path = 'timfa'))
954 )
955 )
956 )`).Scan(&n)
944 return n, err
957 return n, err
945}
958}
946
959
internal/store/running_jobs_test.go +30 −13
@@ -5,41 +5,58 @@ import (
5 5 "testing"
6 6 )
7 7
8 func TestCountRunningJobsSkipsSelfUpdate(t *testing.T) {
8 func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
9 9 s := openTest(t)
10 10 ctx := context.Background()
11 11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 12 if err != nil {
13 13 t.Fatal(err)
14 14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
15 timfa, err := s.UpsertUser(ctx, 2, "timfa", "", false)
16 16 if err != nil {
17 17 t.Fatal(err)
18 18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "update", []NewJob{
20 {Name: "build", Stage: "build", Script: "go build"},
19 other, err := s.CreateRepo(ctx, "user", tim.ID, "notes", "", "master", "private")
20 if err != nil {
21 t.Fatal(err)
22 }
23 blue, err := s.CreateRepo(ctx, "user", timfa.ID, "bluegit", "", "master", "public")
24 if err != nil {
25 t.Fatal(err)
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
21 29 {Name: "self_update", Stage: "release", Script: "poll"},
22 {Name: "publish_aur", Stage: "release", Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
23 30 })
24 31 if err != nil {
25 32 t.Fatal(err)
26 33 }
27 set := func(name, status string) {
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 })
38 if err != nil {
39 t.Fatal(err)
40 }
41 set := func(pipe int64, name, status string) {
28 42 t.Helper()
29 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
43 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, pipe, name); err != nil {
30 44 t.Fatal(err)
31 45 }
32 46 }
33 set("build", "success")
34 set("self_update", "running")
35 set("publish_aur", "queued")
47 set(blueID, "self_update", "running")
36 48 n, err := s.CountRunningJobs(ctx)
37 49 if err != nil || n != 0 {
38 t.Fatalf("alleen self_update: %d %v", n, err)
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
39 51 }
40 set("publish_aur", "running")
52 set(otherID, "self_update", "running")
41 53 n, err = s.CountRunningJobs(ctx)
42 54 if err != nil || n != 1 {
43 t.Fatalf("publish_aur hoort mee te tellen: %d %v", n, err)
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
56 }
57 set(blueID, "publish_aur", "running")
58 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
44 61 }
45 62 }
@@ -5,41 +5,58 @@ import (
5 "testing"
5 "testing"
6)
6)
7
7
8func TestCountRunningJobsSkipsSelfUpdate(t *testing.T) {
8func TestCountRunningJobsSkipsSelfUpdateOnBlueGitOnly(t *testing.T) {
9 s := openTest(t)
9 s := openTest(t)
10 ctx := context.Background()
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
12 if err != nil {
13 t.Fatal(err)
13 t.Fatal(err)
14 }
14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
15 timfa, err := s.UpsertUser(ctx, 2, "timfa", "", false)
16 if err != nil {
16 if err != nil {
17 t.Fatal(err)
17 t.Fatal(err)
18 }
18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "update", []NewJob{
19 other, err := s.CreateRepo(ctx, "user", tim.ID, "notes", "", "master", "private")
20 {Name: "build", Stage: "build", Script: "go build"},
20 if err != nil {
21 t.Fatal(err)
22 }
23 blue, err := s.CreateRepo(ctx, "user", timfa.ID, "bluegit", "", "master", "public")
24 if err != nil {
25 t.Fatal(err)
26 }
27 sha := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
28 otherID, err := s.CreatePipeline(ctx, other.ID, sha, "refs/heads/master", "push", "tim", "update", []NewJob{
21 {Name: "self_update", Stage: "release", Script: "poll"},
29 {Name: "self_update", Stage: "release", Script: "poll"},
22 {Name: "publish_aur", Stage: "release", Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
23 })
30 })
24 if err != nil {
31 if err != nil {
25 t.Fatal(err)
32 t.Fatal(err)
26 }
33 }
27 set := func(name, status string) {
34 blueID, err := s.CreatePipeline(ctx, blue.ID, sha, "refs/heads/master", "push", "timfa", "update", []NewJob{
35 {Name: "self_update", Stage: "release", Script: "poll"},
36 {Name: "publish_aur", Stage: "release", Script: "aur"},
37 })
38 if err != nil {
39 t.Fatal(err)
40 }
41 set := func(pipe int64, name, status string) {
28 t.Helper()
42 t.Helper()
29 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
43 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, pipe, name); err != nil {
30 t.Fatal(err)
44 t.Fatal(err)
31 }
45 }
32 }
46 }
33 set("build", "success")
47 set(blueID, "self_update", "running")
34 set("self_update", "running")
35 set("publish_aur", "queued")
36 n, err := s.CountRunningJobs(ctx)
48 n, err := s.CountRunningJobs(ctx)
37 if err != nil || n != 0 {
49 if err != nil || n != 0 {
38 t.Fatalf("alleen self_update: %d %v", n, err)
50 t.Fatalf("timfa/bluegit self_update: %d %v", n, err)
39 }
51 }
40 set("publish_aur", "running")
52 set(otherID, "self_update", "running")
41 n, err = s.CountRunningJobs(ctx)
53 n, err = s.CountRunningJobs(ctx)
42 if err != nil || n != 1 {
54 if err != nil || n != 1 {
43 t.Fatalf("publish_aur hoort mee te tellen: %d %v", n, err)
55 t.Fatalf("self_update in een andere repo hoort mee te tellen: %d %v", n, err)
56 }
57 set(blueID, "publish_aur", "running")
58 n, err = s.CountRunningJobs(ctx)
59 if err != nil || n != 2 {
60 t.Fatalf("publish_aur: %d %v", n, err)
44 }
61 }
45}
62}
scripts/self-update.sh +11 −4
@@ -15,6 +15,10 @@ interval="${SELF_UPDATE_INTERVAL:-5}"
15 15 [[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16 16 [[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17 17
18 if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20 fi
21
18 22 api="${CI_API_URL%/}/admin/self-update"
19 23 auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
20 24
@@ -25,11 +29,14 @@ curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
25 29 start="$(date +%s)"
26 30 while true; do
27 31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
28 33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
29 # log kan "status" of "sha" bevatten. Alleen de velden ervoor tellen.
30 prefix="${body%%\"log\":*}"
31 status="$(printf '%s' "$prefix" | sed -n 's/.*"status"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
32 sha="$(printf '%s' "$prefix" | sed -n 's/.*"sha"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
34 status=""
35 sha=""
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
33 40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
34 41 echo "Self-update ok: $sha"
35 42 exit 0
@@ -15,6 +15,10 @@ interval="${SELF_UPDATE_INTERVAL:-5}"
15[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
15[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
16[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
17
18if ! command -v jq >/dev/null 2>&1; then
19 apk add --no-cache jq >&2
20fi
21
18api="${CI_API_URL%/}/admin/self-update"
22api="${CI_API_URL%/}/admin/self-update"
19auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
23auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
20
24
@@ -25,11 +29,14 @@ curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
25start="$(date +%s)"
29start="$(date +%s)"
26while true; do
30while true; do
27 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
31 # Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
32 # log staat live als eerste key en bevat de tekst "status" en "sha".
28 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
33 body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
29 # log kan "status" of "sha" bevatten. Alleen de velden ervoor tellen.
34 status=""
30 prefix="${body%%\"log\":*}"
35 sha=""
31 status="$(printf '%s' "$prefix" | sed -n 's/.*"status"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
36 if parsed="$(printf '%s' "$body" | jq -er '[.status // "", .sha // ""] | @tsv' 2>/dev/null)"; then
32 sha="$(printf '%s' "$prefix" | sed -n 's/.*"sha"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
37 status="${parsed%%$'\t'*}"
38 sha="${parsed#*$'\t'}"
39 fi
33 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
40 if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
34 echo "Self-update ok: $sha"
41 echo "Self-update ok: $sha"
35 exit 0
42 exit 0
scripts/self_update_test.go +26 −0
@@ -18,6 +18,9 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
18 18 if _, err := exec.LookPath("curl"); err != nil {
19 19 t.Skip("curl ontbreekt")
20 20 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
21 24 script := filepath.Join("..", "scripts", "self-update.sh")
22 25 sha := "0123456789abcdef0123456789abcdef01234567"
23 26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
@@ -72,6 +75,29 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
72 75 }
73 76 })
74 77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
75 101 t.Run("failed faalt meteen", func(t *testing.T) {
76 102 srv := statusServer(t, func(int) string {
77 103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
@@ -18,6 +18,9 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
18 if _, err := exec.LookPath("curl"); err != nil {
18 if _, err := exec.LookPath("curl"); err != nil {
19 t.Skip("curl ontbreekt")
19 t.Skip("curl ontbreekt")
20 }
20 }
21 if _, err := exec.LookPath("jq"); err != nil {
22 t.Skip("jq ontbreekt")
23 }
21 script := filepath.Join("..", "scripts", "self-update.sh")
24 script := filepath.Join("..", "scripts", "self-update.sh")
22 sha := "0123456789abcdef0123456789abcdef01234567"
25 sha := "0123456789abcdef0123456789abcdef01234567"
23 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
26 other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
@@ -72,6 +75,29 @@ func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
72 }
75 }
73 })
76 })
74
77
78 t.Run("log staat vooraan", func(t *testing.T) {
79 var gets int
80 // De live response begint met log. Daarin staat een nep-status en een nep-sha.
81 running := `{"log":"Self-update naar iets\n\"status\":\"ok\"\n\"sha\":\"` + sha + `\"","running":1,"status":"running","sha":"` + sha + `","result":"running"}`
82 done := `{"log":"klaar\n\"status\":\"ok\"\n\"sha\":\"ffffffffffffffffffffffffffffffffffffffff\"","running":0,"status":"ok","sha":"` + sha + `","result":"ok"}`
83 if !strings.HasPrefix(running, `{"log":`) || !strings.HasPrefix(done, `{"log":`) {
84 t.Fatal("log hoort de eerste key te zijn")
85 }
86 srv := statusServer(t, func(n int) string {
87 if n == 1 {
88 return running
89 }
90 return done
91 }, &gets)
92 out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
93 if err != nil {
94 t.Fatalf("wacht: %v %s", err, out)
95 }
96 if gets < 2 || !strings.Contains(out, "Self-update ok: "+sha) {
97 t.Fatalf("nep-status in log telde mee, gets %d\n%s", gets, out)
98 }
99 })
100
75 t.Run("failed faalt meteen", func(t *testing.T) {
101 t.Run("failed faalt meteen", func(t *testing.T) {
76 srv := statusServer(t, func(int) string {
102 srv := statusServer(t, func(int) string {
77 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
103 return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`