fix: laat self_update wachten tot de update ok is
De job polt tot status ok is voor zijn eigen sha, ongeveer 5 minuten. publish_aur start daarna. self_update telt niet mee als lopende job, anders wacht de updater op deze poll. Co-authored-by: tim <tim@timfalken.com>
@@ -79,8 +79,9 @@ jobs:
79
79
- ./scripts/aur-ssh-setup.sh
80
80
- ./scripts/publish-aur.sh
81
81
82
# Na een geslaagde build. publish_aur wacht op deze job.
83
# De updater bouwt zelf uit git; dit artifact gaat niet mee.
82
# Na een geslaagde build. Het script start de update en polt tot
83
# status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht
84
# op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.
84
85
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
85
86
# CI_API_URL eindigt op /api/v1.
86
87
self_update:
@@ -89,8 +90,5 @@ jobs:
89
90
extends: .on_master
90
91
needs: [build]
91
92
script:
92
- >-
93
curl -fsS -X POST "$CI_API_URL/admin/self-update"
94
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN"
95
-H "Content-Type: application/json"
96
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
93
- chmod +x scripts/self-update.sh
94
- ./scripts/self-update.sh
@@ -79,8 +79,9 @@ jobs:79
- ./scripts/aur-ssh-setup.sh79
- ./scripts/aur-ssh-setup.sh80
- ./scripts/publish-aur.sh80
- ./scripts/publish-aur.sh81
81
82
# Na een geslaagde build. publish_aur wacht op deze job.82
# Na een geslaagde build. Het script start de update en polt tot83
# De updater bouwt zelf uit git; dit artifact gaat niet mee.83
# status ok is voor deze sha, ongeveer 5 minuten. publish_aur wacht84
# op deze job. De updater bouwt zelf uit git; dit artifact gaat niet mee.84
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.85
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.85
# CI_API_URL eindigt op /api/v1.86
# CI_API_URL eindigt op /api/v1.86
self_update:87
self_update:@@ -89,8 +90,5 @@ jobs:89
extends: .on_master90
extends: .on_master90
needs: [build]91
needs: [build]91
script:92
script:92
- >-93
- chmod +x scripts/self-update.sh93
curl -fsS -X POST "$CI_API_URL/admin/self-update"94
- ./scripts/self-update.sh94
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN"95
-H "Content-Type: application/json"96
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"@@ -57,14 +57,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
57
57
58
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
62
```yaml
63
curl -fsS -X POST "$CI_API_URL/admin/self-update" \
64
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
65
-H "Content-Type: application/json" \
66
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
67
```
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.
68
61
69
62
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.
70
63
@@ -78,16 +71,9 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
71
79
72
## Self-update
80
73
81
`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
82
83
```yaml
84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \
85
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \
86
-H "Content-Type: application/json" \
87
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
88
```
74
`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.
89
75
90
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). Het wacht de oneshot niet af: anders blijft de CI-job `running` en wacht de updater op de job die hem aanriep.
76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.
91
77
92
78
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.
93
79
@@ -95,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
95
81
96
82
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
83
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
84
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.
99
85
100
86
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
87
@@ -57,14 +57,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna `scripts/self-update.sh` aan. Dat script stuurt de sha naar `POST /api/v1/admin/self-update` en polt `GET /api/v1/admin/self-update` tot `status` `ok` is voor diezelfde sha. De timeout is 300 seconden. Een andere sha, ook met `ok`, telt niet. `failed` voor de eigen sha faalt meteen. Een time-out faalt de job, en daardoor start `publish_aur` niet.61
62
```yaml63
curl -fsS -X POST "$CI_API_URL/admin/self-update" \64
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \65
-H "Content-Type: application/json" \66
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"67
```68
61
69
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.62
`CI_API_URL` eindigt op `/api/v1`. De body mag `ref` zijn; de job stuurt de sha van de pipeline. Zonder `BLUEGIT_UPDATE_TOKEN` op de server antwoordt het endpoint met 404 en faalt de job. Een merge-request-pipeline draait deze job niet: alleen `vet`, `test`, `frontend_checks` en `build`.70
63
@@ -78,16 +71,9 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b78
71
79
## Self-update72
## Self-update80
73
81
`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:74
`self_update` wacht op `build`. Het script polt tot de update `ok` is voor de sha van de pipeline, ongeveer 5 minuten. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna.82
83
```yaml84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \85
-H "Authorization: Bearer $BLUEGIT_UPDATE_TOKEN" \86
-H "Content-Type: application/json" \87
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"88
```89
75
90
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). Het wacht de oneshot niet af: anders blijft de CI-job `running` en wacht de updater op de job die hem aanriep.76
`BLUEGIT_UPDATE_TOKEN` is een gemaskeerde, beschermde CI-variabele. Dezelfde waarde staat op de mini-PC in `/etc/bluegit/env` (EnvironmentFile, optioneel). Zonder die variabele antwoordt `POST /api/v1/admin/self-update` met 404. De vergelijking is constant-time, en een burst krijgt 429. De body mag leeg zijn of `ref` / `sha` bevatten. Het endpoint schrijft die ref naar `/var/lib/bluegit/update-request` en start alleen `bluegit-update.service` (`systemctl start --no-block`). De CI-job blijft daarna pollen. `self_update` telt niet mee in `running`, anders wacht de updater op de job die op hem wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is.91
77
92
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.78
De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitsluitend `start` van die ene unit toe. Geen stop, geen restart, geen andere unit. De unit is een oneshot als root.93
79
@@ -95,7 +81,7 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu95
81
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.82
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.97
83
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.84
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. De job `self_update` zit niet in die telling. `openapi.json` blijft 404 zolang de oude binary draait.99
85
100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.86
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.101
87
@@ -108,9 +108,21 @@ func TestBlueGitExampleFile(t *testing.T) {
108
108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
109
109
}
110
110
joined := strings.Join(upd.Script, "\n")
111
if !strings.Contains(joined, "/admin/self-update") || !strings.Contains(joined, "BLUEGIT_UPDATE_TOKEN") {
111
if !strings.Contains(joined, "scripts/self-update.sh") {
112
112
t.Fatalf("self_update: %s", joined)
113
113
}
114
script, err := os.ReadFile("../../scripts/self-update.sh")
115
if err != nil {
116
t.Fatal(err)
117
}
118
text := string(script)
119
for _, want := range []string{
120
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300",
121
} {
122
if !strings.Contains(text, want) {
123
t.Fatalf("self-update.sh mist %q", want)
124
}
125
}
114
126
if Gate(p.Jobs, map[string]string{
115
127
"vet": "success", "test": "success", "frontend_checks": "success",
116
128
"build": "queued", "publish_aur": "running",
@@ -108,9 +108,21 @@ func TestBlueGitExampleFile(t *testing.T) {108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)108
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)109
}109
}110
joined := strings.Join(upd.Script, "\n")110
joined := strings.Join(upd.Script, "\n")111
if !strings.Contains(joined, "/admin/self-update") || !strings.Contains(joined, "BLUEGIT_UPDATE_TOKEN") {111
if !strings.Contains(joined, "scripts/self-update.sh") {112
t.Fatalf("self_update: %s", joined)112
t.Fatalf("self_update: %s", joined)113
}113
}114
script, err := os.ReadFile("../../scripts/self-update.sh")115
if err != nil {116
t.Fatal(err)117
}118
text := string(script)119
for _, want := range []string{120
`/admin/self-update`, "BLUEGIT_UPDATE_TOKEN", "CI_COMMIT_SHA", `"ok"`, "300",121
} {122
if !strings.Contains(text, want) {123
t.Fatalf("self-update.sh mist %q", want)124
}125
}114
if Gate(p.Jobs, map[string]string{126
if Gate(p.Jobs, map[string]string{115
"vet": "success", "test": "success", "frontend_checks": "success",127
"vet": "success", "test": "success", "frontend_checks": "success",116
"build": "queued", "publish_aur": "running",128
"build": "queued", "publish_aur": "running",@@ -935,9 +935,12 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935
935
}
936
936
937
937
// CountRunningJobs telt jobs die Steve nu uitvoert.
938
// self_update blijft buiten de telling. Die job polt tot deze update
939
// status ok heeft. Meerekenen laat wait_until_idle op die poll wachten,
940
// en de poll op pacman -U.
938
941
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939
942
var n int
940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
943
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'self_update'`).Scan(&n)
941
944
return n, err
942
945
}
943
946
@@ -935,9 +935,12 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {935
}935
}936
936
937
// CountRunningJobs telt jobs die Steve nu uitvoert.937
// CountRunningJobs telt jobs die Steve nu uitvoert.938
// self_update blijft buiten de telling. Die job polt tot deze update939
// status ok heeft. Meerekenen laat wait_until_idle op die poll wachten,940
// en de poll op pacman -U.938
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {941
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {939
var n int942
var n int940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)943
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'self_update'`).Scan(&n)941
return n, err944
return n, err942
}945
}943
946
@@ -0,0 +1,45 @@
1
package store
2
3
import (
4
"context"
5
"testing"
6
)
7
8
func TestCountRunningJobsSkipsSelfUpdate(t *testing.T) {
9
s := openTest(t)
10
ctx := context.Background()
11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12
if err != nil {
13
t.Fatal(err)
14
}
15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16
if err != nil {
17
t.Fatal(err)
18
}
19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "update", []NewJob{
20
{Name: "build", Stage: "build", Script: "go build"},
21
{Name: "self_update", Stage: "release", Script: "poll"},
22
{Name: "publish_aur", Stage: "release", Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},
23
})
24
if err != nil {
25
t.Fatal(err)
26
}
27
set := func(name, status string) {
28
t.Helper()
29
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
30
t.Fatal(err)
31
}
32
}
33
set("build", "success")
34
set("self_update", "running")
35
set("publish_aur", "queued")
36
n, err := s.CountRunningJobs(ctx)
37
if err != nil || n != 0 {
38
t.Fatalf("alleen self_update: %d %v", n, err)
39
}
40
set("publish_aur", "running")
41
n, err = s.CountRunningJobs(ctx)
42
if err != nil || n != 1 {
43
t.Fatalf("publish_aur hoort mee te tellen: %d %v", n, err)
44
}
45
}
@@ -0,0 +1,45 @@1
package store2
3
import (4
"context"5
"testing"6
)7
8
func TestCountRunningJobsSkipsSelfUpdate(t *testing.T) {9
s := openTest(t)10
ctx := context.Background()11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)12
if err != nil {13
t.Fatal(err)14
}15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")16
if err != nil {17
t.Fatal(err)18
}19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "update", []NewJob{20
{Name: "build", Stage: "build", Script: "go build"},21
{Name: "self_update", Stage: "release", Script: "poll"},22
{Name: "publish_aur", Stage: "release", Script: "aur", Needs: []string{"self_update"}, NeedsSet: true, AllowFailure: true},23
})24
if err != nil {25
t.Fatal(err)26
}27
set := func(name, status string) {28
t.Helper()29
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {30
t.Fatal(err)31
}32
}33
set("build", "success")34
set("self_update", "running")35
set("publish_aur", "queued")36
n, err := s.CountRunningJobs(ctx)37
if err != nil || n != 0 {38
t.Fatalf("alleen self_update: %d %v", n, err)39
}40
set("publish_aur", "running")41
n, err = s.CountRunningJobs(ctx)42
if err != nil || n != 1 {43
t.Fatalf("publish_aur hoort mee te tellen: %d %v", n, err)44
}45
}@@ -71,6 +71,8 @@ write_status() {
71
71
mv -f "$tmp" "$STATUS"
72
72
}
73
73
74
# running komt uit de API. self_update telt daar niet mee: die job polt
75
# tot deze installatie status ok schrijft.
74
76
wait_until_idle() {
75
77
local deadline body n poll
76
78
poll="$BLUEGIT_UPDATE_POLL"
@@ -71,6 +71,8 @@ write_status() {71
mv -f "$tmp" "$STATUS"71
mv -f "$tmp" "$STATUS"72
}72
}73
73
74
# running komt uit de API. self_update telt daar niet mee: die job polt75
# tot deze installatie status ok schrijft.74
wait_until_idle() {76
wait_until_idle() {75
local deadline body n poll77
local deadline body n poll76
poll="$BLUEGIT_UPDATE_POLL"78
poll="$BLUEGIT_UPDATE_POLL"@@ -0,0 +1,48 @@
1
#!/usr/bin/env bash
2
# Start de self-update en wacht tot GET /api/v1/admin/self-update
3
# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],
4
# dus die job start pas hierna. Een mislukking of timeout faalt deze job.
5
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL
6
# is de pauze tussen pogingen (standaard 5).
7
set -euo pipefail
8
9
: "${CI_API_URL:?CI_API_URL ontbreekt}"
10
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"
11
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"
12
13
timeout="${SELF_UPDATE_TIMEOUT:-300}"
14
interval="${SELF_UPDATE_INTERVAL:-5}"
15
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=300
16
[[ "$interval" =~ ^[0-9]+$ ]] || interval=5
17
18
api="${CI_API_URL%/}/admin/self-update"
19
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")
20
21
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \
22
-H "Content-Type: application/json" \
23
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"
24
25
start="$(date +%s)"
26
while true; do
27
# Een herstart van de service tijdens pacman -U mag de poll niet stoppen.
28
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"
29
# log kan "status" of "sha" bevatten. Alleen de velden ervoor tellen.
30
prefix="${body%%\"log\":*}"
31
status="$(printf '%s' "$prefix" | sed -n 's/.*"status"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
32
sha="$(printf '%s' "$prefix" | sed -n 's/.*"sha"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"
33
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then
34
echo "Self-update ok: $sha"
35
exit 0
36
fi
37
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then
38
echo "Self-update mislukt: $sha" >&2
39
exit 1
40
fi
41
now="$(date +%s)"
42
if (( now - start >= timeout )); then
43
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&2
44
exit 1
45
fi
46
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"
47
sleep "$interval"
48
done
@@ -0,0 +1,48 @@1
#!/usr/bin/env bash2
# Start de self-update en wacht tot GET /api/v1/admin/self-update3
# status ok meldt voor CI_COMMIT_SHA. publish_aur heeft needs: [self_update],4
# dus die job start pas hierna. Een mislukking of timeout faalt deze job.5
# SELF_UPDATE_TIMEOUT is seconden (standaard 300). SELF_UPDATE_INTERVAL6
# is de pauze tussen pogingen (standaard 5).7
set -euo pipefail8
9
: "${CI_API_URL:?CI_API_URL ontbreekt}"10
: "${BLUEGIT_UPDATE_TOKEN:?BLUEGIT_UPDATE_TOKEN ontbreekt}"11
: "${CI_COMMIT_SHA:?CI_COMMIT_SHA ontbreekt}"12
13
timeout="${SELF_UPDATE_TIMEOUT:-300}"14
interval="${SELF_UPDATE_INTERVAL:-5}"15
[[ "$timeout" =~ ^[0-9]+$ ]] || timeout=30016
[[ "$interval" =~ ^[0-9]+$ ]] || interval=517
18
api="${CI_API_URL%/}/admin/self-update"19
auth=(-H "Authorization: Bearer ${BLUEGIT_UPDATE_TOKEN}")20
21
curl -fsS --connect-timeout 5 --max-time 20 -X POST "$api" "${auth[@]}" \22
-H "Content-Type: application/json" \23
-d "{\"ref\":\"${CI_COMMIT_SHA}\"}"24
25
start="$(date +%s)"26
while true; do27
# Een herstart van de service tijdens pacman -U mag de poll niet stoppen.28
body="$(curl -fsS --connect-timeout 5 --max-time 20 "$api" "${auth[@]}" || true)"29
# log kan "status" of "sha" bevatten. Alleen de velden ervoor tellen.30
prefix="${body%%\"log\":*}"31
status="$(printf '%s' "$prefix" | sed -n 's/.*"status"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"32
sha="$(printf '%s' "$prefix" | sed -n 's/.*"sha"[[:space:]]*:[[:space:]]*"\([^"]*\)".*/\1/p' | head -n 1)"33
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "ok" ]]; then34
echo "Self-update ok: $sha"35
exit 036
fi37
if [[ "$sha" == "$CI_COMMIT_SHA" && "$status" == "failed" ]]; then38
echo "Self-update mislukt: $sha" >&239
exit 140
fi41
now="$(date +%s)"42
if (( now - start >= timeout )); then43
echo "Self-update timeout na ${timeout}s (status ${status:-onbekend}, sha ${sha:-onbekend})" >&244
exit 145
fi46
echo "Self-update status ${status:-onbekend} voor ${sha:-onbekend}"47
sleep "$interval"48
done@@ -0,0 +1,171 @@
1
package scripts
2
3
import (
4
"net/http"
5
"net/http/httptest"
6
"os"
7
"os/exec"
8
"path/filepath"
9
"strings"
10
"sync"
11
"testing"
12
)
13
14
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {
15
if _, err := exec.LookPath("bash"); err != nil {
16
t.Skip("bash ontbreekt")
17
}
18
if _, err := exec.LookPath("curl"); err != nil {
19
t.Skip("curl ontbreekt")
20
}
21
script := filepath.Join("..", "scripts", "self-update.sh")
22
sha := "0123456789abcdef0123456789abcdef01234567"
23
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
24
25
t.Run("ok na running", func(t *testing.T) {
26
var posts int
27
var gets int
28
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
29
if r.URL.Path != "/api/v1/admin/self-update" {
30
http.NotFound(w, r)
31
return
32
}
33
if r.Method == http.MethodPost {
34
posts++
35
w.WriteHeader(http.StatusAccepted)
36
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))
37
return
38
}
39
gets++
40
w.Header().Set("Content-Type", "application/json")
41
if gets < 3 {
42
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))
43
return
44
}
45
// log bevat een andere status. Alleen het veld ervoor telt.
46
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))
47
}))
48
t.Cleanup(srv.Close)
49
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
50
if err != nil {
51
t.Fatalf("wacht: %v %s", err, out)
52
}
53
if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {
54
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)
55
}
56
})
57
58
t.Run("andere sha telt niet", func(t *testing.T) {
59
var gets int
60
srv := statusServer(t, func(gets int) string {
61
if gets == 1 {
62
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`
63
}
64
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`
65
}, &gets)
66
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
67
if err != nil {
68
t.Fatalf("wacht: %v %s", err, out)
69
}
70
if gets < 2 {
71
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)
72
}
73
})
74
75
t.Run("failed faalt meteen", func(t *testing.T) {
76
srv := statusServer(t, func(int) string {
77
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`
78
}, nil)
79
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
80
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {
81
t.Fatalf("failed hoort te stoppen: %v %s", err, out)
82
}
83
})
84
85
t.Run("timeout", func(t *testing.T) {
86
srv := statusServer(t, func(int) string {
87
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`
88
}, nil)
89
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")
90
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {
91
t.Fatalf("timeout: %v %s", err, out)
92
}
93
})
94
95
t.Run("korte storing tijdens herstart", func(t *testing.T) {
96
var gets int
97
var mu sync.Mutex
98
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
99
if r.Method == http.MethodPost {
100
w.WriteHeader(http.StatusAccepted)
101
_, _ = w.Write([]byte(`{"status":"accepted"}`))
102
return
103
}
104
mu.Lock()
105
gets++
106
n := gets
107
mu.Unlock()
108
if n == 1 {
109
hj, ok := w.(http.Hijacker)
110
if !ok {
111
http.Error(w, "down", http.StatusBadGateway)
112
return
113
}
114
conn, _, err := hj.Hijack()
115
if err != nil {
116
return
117
}
118
_ = conn.Close()
119
return
120
}
121
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))
122
}))
123
t.Cleanup(srv.Close)
124
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")
125
if err != nil {
126
t.Fatalf("na herstart: %v %s", err, out)
127
}
128
})
129
}
130
131
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {
132
t.Helper()
133
var n int
134
var mu sync.Mutex
135
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
136
if r.URL.Path != "/api/v1/admin/self-update" {
137
http.NotFound(w, r)
138
return
139
}
140
if r.Method == http.MethodPost {
141
w.WriteHeader(http.StatusAccepted)
142
_, _ = w.Write([]byte(`{"status":"accepted"}`))
143
return
144
}
145
mu.Lock()
146
n++
147
cur := n
148
if gets != nil {
149
*gets = n
150
}
151
mu.Unlock()
152
w.Header().Set("Content-Type", "application/json")
153
_, _ = w.Write([]byte(body(cur)))
154
}))
155
t.Cleanup(srv.Close)
156
return srv
157
}
158
159
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {
160
t.Helper()
161
cmd := exec.Command("bash", script)
162
cmd.Env = append(os.Environ(),
163
"CI_API_URL="+base+"/api/v1",
164
"BLUEGIT_UPDATE_TOKEN=test-token",
165
"CI_COMMIT_SHA="+sha,
166
"SELF_UPDATE_TIMEOUT="+timeout,
167
"SELF_UPDATE_INTERVAL="+interval,
168
)
169
out, err := cmd.CombinedOutput()
170
return string(out), err
171
}
@@ -0,0 +1,171 @@1
package scripts2
3
import (4
"net/http"5
"net/http/httptest"6
"os"7
"os/exec"8
"path/filepath"9
"strings"10
"sync"11
"testing"12
)13
14
func TestSelfUpdateWaitsForOwnSHA(t *testing.T) {15
if _, err := exec.LookPath("bash"); err != nil {16
t.Skip("bash ontbreekt")17
}18
if _, err := exec.LookPath("curl"); err != nil {19
t.Skip("curl ontbreekt")20
}21
script := filepath.Join("..", "scripts", "self-update.sh")22
sha := "0123456789abcdef0123456789abcdef01234567"23
other := "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"24
25
t.Run("ok na running", func(t *testing.T) {26
var posts int27
var gets int28
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {29
if r.URL.Path != "/api/v1/admin/self-update" {30
http.NotFound(w, r)31
return32
}33
if r.Method == http.MethodPost {34
posts++35
w.WriteHeader(http.StatusAccepted)36
_, _ = w.Write([]byte(`{"status":"accepted","ref":"` + sha + `"}`))37
return38
}39
gets++40
w.Header().Set("Content-Type", "application/json")41
if gets < 3 {42
_, _ = w.Write([]byte(`{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":"","update":{"sha":"` + sha + `","result":"running"}}`))43
return44
}45
// log bevat een andere status. Alleen het veld ervoor telt.46
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":"zie \"status\":\"failed\"","update":{"sha":"` + sha + `","result":"ok"}}`))47
}))48
t.Cleanup(srv.Close)49
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")50
if err != nil {51
t.Fatalf("wacht: %v %s", err, out)52
}53
if posts != 1 || gets < 3 || !strings.Contains(out, "Self-update ok: "+sha) {54
t.Fatalf("posts %d gets %d\n%s", posts, gets, out)55
}56
})57
58
t.Run("andere sha telt niet", func(t *testing.T) {59
var gets int60
srv := statusServer(t, func(gets int) string {61
if gets == 1 {62
return `{"running":0,"status":"ok","sha":"` + other + `","result":"ok","log":""}`63
}64
return `{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`65
}, &gets)66
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")67
if err != nil {68
t.Fatalf("wacht: %v %s", err, out)69
}70
if gets < 2 {71
t.Fatalf("stops bij de vorige sha, gets %d\n%s", gets, out)72
}73
})74
75
t.Run("failed faalt meteen", func(t *testing.T) {76
srv := statusServer(t, func(int) string {77
return `{"running":0,"status":"failed","sha":"` + sha + `","result":"failed","log":"exit 1"}`78
}, nil)79
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")80
if err == nil || !strings.Contains(out, "Self-update mislukt: "+sha) {81
t.Fatalf("failed hoort te stoppen: %v %s", err, out)82
}83
})84
85
t.Run("timeout", func(t *testing.T) {86
srv := statusServer(t, func(int) string {87
return `{"running":1,"status":"running","sha":"` + sha + `","result":"running","log":""}`88
}, nil)89
out, err := runSelfUpdate(t, script, srv.URL, sha, "0", "0")90
if err == nil || !strings.Contains(out, "Self-update timeout na 0s") {91
t.Fatalf("timeout: %v %s", err, out)92
}93
})94
95
t.Run("korte storing tijdens herstart", func(t *testing.T) {96
var gets int97
var mu sync.Mutex98
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {99
if r.Method == http.MethodPost {100
w.WriteHeader(http.StatusAccepted)101
_, _ = w.Write([]byte(`{"status":"accepted"}`))102
return103
}104
mu.Lock()105
gets++106
n := gets107
mu.Unlock()108
if n == 1 {109
hj, ok := w.(http.Hijacker)110
if !ok {111
http.Error(w, "down", http.StatusBadGateway)112
return113
}114
conn, _, err := hj.Hijack()115
if err != nil {116
return117
}118
_ = conn.Close()119
return120
}121
_, _ = w.Write([]byte(`{"running":0,"status":"ok","sha":"` + sha + `","result":"ok","log":""}`))122
}))123
t.Cleanup(srv.Close)124
out, err := runSelfUpdate(t, script, srv.URL, sha, "30", "0")125
if err != nil {126
t.Fatalf("na herstart: %v %s", err, out)127
}128
})129
}130
131
func statusServer(t *testing.T, body func(gets int) string, gets *int) *httptest.Server {132
t.Helper()133
var n int134
var mu sync.Mutex135
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {136
if r.URL.Path != "/api/v1/admin/self-update" {137
http.NotFound(w, r)138
return139
}140
if r.Method == http.MethodPost {141
w.WriteHeader(http.StatusAccepted)142
_, _ = w.Write([]byte(`{"status":"accepted"}`))143
return144
}145
mu.Lock()146
n++147
cur := n148
if gets != nil {149
*gets = n150
}151
mu.Unlock()152
w.Header().Set("Content-Type", "application/json")153
_, _ = w.Write([]byte(body(cur)))154
}))155
t.Cleanup(srv.Close)156
return srv157
}158
159
func runSelfUpdate(t *testing.T, script, base, sha, timeout, interval string) (string, error) {160
t.Helper()161
cmd := exec.Command("bash", script)162
cmd.Env = append(os.Environ(),163
"CI_API_URL="+base+"/api/v1",164
"BLUEGIT_UPDATE_TOKEN=test-token",165
"CI_COMMIT_SHA="+sha,166
"SELF_UPDATE_TIMEOUT="+timeout,167
"SELF_UPDATE_INTERVAL="+interval,168
)169
out, err := cmd.CombinedOutput()170
return string(out), err171
}