BlueGit

timfa bluegit

fix: laat publish_aur het sha-archief opnieuw ophalen

publish_aur startte met needs: [] en kreeg 404 zolang de binary zonder
archiefroute nog draaide. De job wacht nu op self_update en probeert de
PKGBUILD-url opnieuw. De updater telt die job niet mee.

/-/archive/master/ blijft 404: alleen een sha van 40 hex-tekens is stabiel.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-23 · 3 weeks ago

Hash
c6641e35b1e24869208129e16dab799d6a8a7d13
Parent
43e8e91a
Pipeline
Passed
9 files changed +286 −13
blue-ci-cd.yml +11 −5
@@ -64,12 +64,17 @@ jobs:
64 64 paths: [bluegit]
65 65 expire_in: 14d
66 66
67 # Start meteen (needs: []). Een AUR-storing maakt de pipeline niet rood.
67 # Na self_update. needs: [] haalde het archief op terwijl de vorige binary
68 # nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69 # publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70 # gezet. when: always zodat een mislukte update de publicatie niet skipt.
71 # allow_failure: een AUR-storing maakt de pipeline niet rood.
68 72 publish_aur:
69 73 stage: release
70 74 image: archlinux/archlinux:base-devel
71 75 extends: .on_master
72 needs: []
76 needs: [self_update]
77 when: always
73 78 allow_failure: true
74 79 script:
75 80 - pacman -Syu --noconfirm
@@ -78,9 +83,10 @@ jobs:
78 83 - ./scripts/aur-ssh-setup.sh
79 84 - ./scripts/publish-aur.sh
80 85
81 # Na een geslaagde build, naast publish_aur. De updater bouwt zelf uit git;
82 # dit artifact gaat niet mee. BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als
83 # in /etc/bluegit/env. CI_API_URL eindigt op /api/v1.
86 # Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
87 # gaat niet mee. publish_aur wacht op deze job, niet andersom.
88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 # CI_API_URL eindigt op /api/v1.
84 90 self_update:
85 91 stage: release
86 92 image: bluegit/base
@@ -64,12 +64,17 @@ jobs:
64 paths: [bluegit]
64 paths: [bluegit]
65 expire_in: 14d
65 expire_in: 14d
66
66
67 # Start meteen (needs: []). Een AUR-storing maakt de pipeline niet rood.
67 # Na self_update. needs: [] haalde het archief op terwijl de vorige binary
68 # nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69 # publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70 # gezet. when: always zodat een mislukte update de publicatie niet skipt.
71 # allow_failure: een AUR-storing maakt de pipeline niet rood.
68 publish_aur:
72 publish_aur:
69 stage: release
73 stage: release
70 image: archlinux/archlinux:base-devel
74 image: archlinux/archlinux:base-devel
71 extends: .on_master
75 extends: .on_master
72 needs: []
76 needs: [self_update]
77 when: always
73 allow_failure: true
78 allow_failure: true
74 script:
79 script:
75 - pacman -Syu --noconfirm
80 - pacman -Syu --noconfirm
@@ -78,9 +83,10 @@ jobs:
78 - ./scripts/aur-ssh-setup.sh
83 - ./scripts/aur-ssh-setup.sh
79 - ./scripts/publish-aur.sh
84 - ./scripts/publish-aur.sh
80
85
81 # Na een geslaagde build, naast publish_aur. De updater bouwt zelf uit git;
86 # Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
82 # dit artifact gaat niet mee. BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als
87 # gaat niet mee. publish_aur wacht op deze job, niet andersom.
83 # in /etc/bluegit/env. CI_API_URL eindigt op /api/v1.
88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 # CI_API_URL eindigt op /api/v1.
84 self_update:
90 self_update:
85 stage: release
91 stage: release
86 image: bluegit/base
92 image: bluegit/base
docs/AUR.md +4 −4
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55 55 | `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56 56 | `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57 57
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: []`, zodat hij meteen start en een AUR-storing de rest niet rood maakt. Een merge-request-pipeline slaat hem over.
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
59 59
60 60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61 61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78 78
79 79 ## Self-update
80 80
81 Een push naar `master` hoeft niet op de AUR te wachten. `publish_aur` publiceert parallel (`needs: []`, `allow_failure: true`). `self_update` staat in dezelfde stage en wacht alleen op `build`, niet op de AUR-job, en doet dan:
81 Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
82 82
83 83 ```yaml
84 84 curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93 93
94 94 `/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95 95
96 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97 97
98 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
98 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
99 99
100 100 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101 101
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: []`, zodat hij meteen start en een AUR-storing de rest niet rood maakt. Een merge-request-pipeline slaat hem over.
58`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
78
79## Self-update
79## Self-update
80
80
81Een push naar `master` hoeft niet op de AUR te wachten. `publish_aur` publiceert parallel (`needs: []`, `allow_failure: true`). `self_update` staat in dezelfde stage en wacht alleen op `build`, niet op de AUR-job, en doet dan:
81Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
82
82
83```yaml
83```yaml
84curl -fsS -X POST "$CI_API_URL/admin/self-update" \
84curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93
93
94`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
94`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95
95
96Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
97
98Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
98Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
99
99
100`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
100`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
101
internal/ci/example_test.go +28 −1
@@ -88,9 +88,36 @@ func TestBlueGitExampleFile(t *testing.T) {
88 88 t.Fatalf("master %d %v", len(active), err)
89 89 }
90 90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 0 {
91 if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92 92 t.Fatalf("publish_aur: %+v", aur)
93 93 }
94 var selected Job
95 for _, j := range active {
96 if j.Name == "publish_aur" {
97 selected = j
98 }
99 }
100 if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101 t.Fatalf("geselecteerde publish_aur: %+v", selected)
102 }
103 if Gate(p.Jobs, map[string]string{
104 "vet": "success", "test": "success", "frontend_checks": "success",
105 "build": "success", "self_update": "running",
106 }, aur) != "wait" {
107 t.Fatal("publish_aur wacht tot self_update klaar is")
108 }
109 if Gate(p.Jobs, map[string]string{
110 "vet": "success", "test": "success", "frontend_checks": "success",
111 "build": "success", "self_update": "success",
112 }, aur) != "ready" {
113 t.Fatal("publish_aur start na een geslaagde self_update")
114 }
115 if Gate(p.Jobs, map[string]string{
116 "vet": "failed", "test": "failed", "frontend_checks": "failed",
117 "build": "skipped", "self_update": "failed",
118 }, aur) != "ready" {
119 t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
120 }
94 121 upd := by["self_update"]
95 122 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
96 123 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
@@ -88,9 +88,36 @@ func TestBlueGitExampleFile(t *testing.T) {
88 t.Fatalf("master %d %v", len(active), err)
88 t.Fatalf("master %d %v", len(active), err)
89 }
89 }
90 aur := by["publish_aur"]
90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 0 {
91 if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92 t.Fatalf("publish_aur: %+v", aur)
92 t.Fatalf("publish_aur: %+v", aur)
93 }
93 }
94 var selected Job
95 for _, j := range active {
96 if j.Name == "publish_aur" {
97 selected = j
98 }
99 }
100 if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101 t.Fatalf("geselecteerde publish_aur: %+v", selected)
102 }
103 if Gate(p.Jobs, map[string]string{
104 "vet": "success", "test": "success", "frontend_checks": "success",
105 "build": "success", "self_update": "running",
106 }, aur) != "wait" {
107 t.Fatal("publish_aur wacht tot self_update klaar is")
108 }
109 if Gate(p.Jobs, map[string]string{
110 "vet": "success", "test": "success", "frontend_checks": "success",
111 "build": "success", "self_update": "success",
112 }, aur) != "ready" {
113 t.Fatal("publish_aur start na een geslaagde self_update")
114 }
115 if Gate(p.Jobs, map[string]string{
116 "vet": "failed", "test": "failed", "frontend_checks": "failed",
117 "build": "skipped", "self_update": "failed",
118 }, aur) != "ready" {
119 t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
120 }
94 upd := by["self_update"]
121 upd := by["self_update"]
95 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
122 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
96 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
123 t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
internal/server/archive_test.go +93 −0
@@ -12,6 +12,7 @@ import (
12 12 "net/http/cookiejar"
13 13 "net/http/httptest"
14 14 "net/url"
15 "os"
15 16 "os/exec"
16 17 "path/filepath"
17 18 "strings"
@@ -158,6 +159,98 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
158 159 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
159 160 }
160 161
162 // TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163 // Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164 // /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165 // 40 kleine hex-tekens, met en zonder Authorization-header.
166 func TestPKGBUILDArchiveURL(t *testing.T) {
167 if _, err := exec.LookPath("git"); err != nil {
168 t.Skip("git ontbreekt")
169 }
170 pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171 if err != nil {
172 t.Fatal(err)
173 }
174 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175 if !strings.Contains(string(pkg), published) {
176 t.Fatalf("PKGBUILD mist %s", published)
177 }
178
179 storage := t.TempDir()
180 st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181 if err != nil {
182 t.Fatal(err)
183 }
184 t.Cleanup(func() { _ = st.Close() })
185 cfg := config.Config{
186 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187 Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188 Git: config.Git{Binary: "git", DefaultBranch: "master"},
189 }
190 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191 ts := httptest.NewServer(srv.Handler())
192 t.Cleanup(ts.Close)
193 jar, _ := cookiejar.New(nil)
194 tim := &http.Client{Jar: jar}
195
196 page := read(t, mustGet(t, tim, ts.URL+"/login"))
197 page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198 "csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199 }))
200 page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201 "csrf": {csrfOf(t, page)}, "name": {"aur"},
202 }))
203 token := between(page, `<p class="code">`, "</p>")
204 if !strings.HasPrefix(token, "bg_") {
205 t.Fatalf("token %q", token)
206 }
207 work := t.TempDir()
208 git(t, work, "init", "-b", "master")
209 git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210 git(t, work, "config", "user.name", "timfa")
211 writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212 git(t, work, "add", "hello.txt")
213 git(t, work, "commit", "-m", "start")
214 remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215 git(t, work, "remote", "add", "origin", remote)
216 git(t, work, "push", "-u", "origin", "master")
217 sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219 path := strings.TrimPrefix(published, "https://git.timfalken.com")
220 path = strings.ReplaceAll(path, "${_commit}", sha)
221 tarURL := ts.URL + path
222 anon := getBody(t, &http.Client{}, tarURL)
223 if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224 t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225 }
226 if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227 t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228 }
229 want := "bluegit-" + sha + "/hello.txt"
230 if !containsString(tarNames(t, anon.body), want) {
231 t.Fatal("tar mist " + want)
232 }
233 tokenRes := getBearer(t, tarURL, token)
234 tokenBody := []byte(read(t, tokenRes))
235 if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236 t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237 }
238
239 masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240 anonMaster := getBody(t, &http.Client{}, masterURL)
241 masterToken := getBearer(t, masterURL, token)
242 masterTokenBody := read(t, masterToken)
243 if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244 t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245 }
246 if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247 t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248 }
249 if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250 t.Fatal("404 mist de BlueGit-headers")
251 }
252 }
253
161 254 func tarNames(t *testing.T, gz []byte) []string {
162 255 t.Helper()
163 256 zr, err := gzip.NewReader(bytes.NewReader(gz))
@@ -12,6 +12,7 @@ import (
12 "net/http/cookiejar"
12 "net/http/cookiejar"
13 "net/http/httptest"
13 "net/http/httptest"
14 "net/url"
14 "net/url"
15 "os"
15 "os/exec"
16 "os/exec"
16 "path/filepath"
17 "path/filepath"
17 "strings"
18 "strings"
@@ -158,6 +159,98 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
158 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
159 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
159}
160}
160
161
162// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165// 40 kleine hex-tekens, met en zonder Authorization-header.
166func TestPKGBUILDArchiveURL(t *testing.T) {
167 if _, err := exec.LookPath("git"); err != nil {
168 t.Skip("git ontbreekt")
169 }
170 pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171 if err != nil {
172 t.Fatal(err)
173 }
174 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175 if !strings.Contains(string(pkg), published) {
176 t.Fatalf("PKGBUILD mist %s", published)
177 }
178
179 storage := t.TempDir()
180 st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181 if err != nil {
182 t.Fatal(err)
183 }
184 t.Cleanup(func() { _ = st.Close() })
185 cfg := config.Config{
186 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187 Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188 Git: config.Git{Binary: "git", DefaultBranch: "master"},
189 }
190 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191 ts := httptest.NewServer(srv.Handler())
192 t.Cleanup(ts.Close)
193 jar, _ := cookiejar.New(nil)
194 tim := &http.Client{Jar: jar}
195
196 page := read(t, mustGet(t, tim, ts.URL+"/login"))
197 page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198 "csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199 }))
200 page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201 "csrf": {csrfOf(t, page)}, "name": {"aur"},
202 }))
203 token := between(page, `<p class="code">`, "</p>")
204 if !strings.HasPrefix(token, "bg_") {
205 t.Fatalf("token %q", token)
206 }
207 work := t.TempDir()
208 git(t, work, "init", "-b", "master")
209 git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210 git(t, work, "config", "user.name", "timfa")
211 writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212 git(t, work, "add", "hello.txt")
213 git(t, work, "commit", "-m", "start")
214 remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215 git(t, work, "remote", "add", "origin", remote)
216 git(t, work, "push", "-u", "origin", "master")
217 sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219 path := strings.TrimPrefix(published, "https://git.timfalken.com")
220 path = strings.ReplaceAll(path, "${_commit}", sha)
221 tarURL := ts.URL + path
222 anon := getBody(t, &http.Client{}, tarURL)
223 if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224 t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225 }
226 if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227 t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228 }
229 want := "bluegit-" + sha + "/hello.txt"
230 if !containsString(tarNames(t, anon.body), want) {
231 t.Fatal("tar mist " + want)
232 }
233 tokenRes := getBearer(t, tarURL, token)
234 tokenBody := []byte(read(t, tokenRes))
235 if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236 t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237 }
238
239 masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240 anonMaster := getBody(t, &http.Client{}, masterURL)
241 masterToken := getBearer(t, masterURL, token)
242 masterTokenBody := read(t, masterToken)
243 if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244 t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245 }
246 if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247 t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248 }
249 if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250 t.Fatal("404 mist de BlueGit-headers")
251 }
252}
253
161func tarNames(t *testing.T, gz []byte) []string {
254func tarNames(t *testing.T, gz []byte) []string {
162 t.Helper()
255 t.Helper()
163 zr, err := gzip.NewReader(bytes.NewReader(gz))
256 zr, err := gzip.NewReader(bytes.NewReader(gz))
internal/store/flow.go +5 −1
@@ -935,9 +935,13 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935 935 }
936 936
937 937 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939 // en probeert opnieuw tot de self-update de binary heeft vervangen.
940 // Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941 // pacman -U.
938 942 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939 943 var n int
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
944 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
941 945 return n, err
942 946 }
943 947
@@ -935,9 +935,13 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935}
935}
936
936
937// CountRunningJobs telt jobs die Steve nu uitvoert.
937// CountRunningJobs telt jobs die Steve nu uitvoert.
938// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939// en probeert opnieuw tot de self-update de binary heeft vervangen.
940// Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941// pacman -U.
938func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
942func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939 var n int
943 var n int
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
944 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
941 return n, err
945 return n, err
942}
946}
943
947
internal/store/running_jobs_test.go added +43 −0
@@ -0,0 +1,43 @@
1 package store
2
3 import (
4 "context"
5 "testing"
6 )
7
8 func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16 if err != nil {
17 t.Fatal(err)
18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20 {Name: "test", Stage: "test", Script: "go test"},
21 {Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22 })
23 if err != nil {
24 t.Fatal(err)
25 }
26 set := func(name, status string) {
27 t.Helper()
28 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29 t.Fatal(err)
30 }
31 }
32 set("test", "running")
33 set("publish_aur", "running")
34 n, err := s.CountRunningJobs(ctx)
35 if err != nil || n != 1 {
36 t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37 }
38 set("test", "success")
39 n, err = s.CountRunningJobs(ctx)
40 if err != nil || n != 0 {
41 t.Fatalf("alleen publish_aur: %d %v", n, err)
42 }
43 }
@@ -0,0 +1,43 @@
1package store
2
3import (
4 "context"
5 "testing"
6)
7
8func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16 if err != nil {
17 t.Fatal(err)
18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20 {Name: "test", Stage: "test", Script: "go test"},
21 {Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22 })
23 if err != nil {
24 t.Fatal(err)
25 }
26 set := func(name, status string) {
27 t.Helper()
28 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29 t.Fatal(err)
30 }
31 }
32 set("test", "running")
33 set("publish_aur", "running")
34 n, err := s.CountRunningJobs(ctx)
35 if err != nil || n != 1 {
36 t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37 }
38 set("test", "success")
39 n, err = s.CountRunningJobs(ctx)
40 if err != nil || n != 0 {
41 t.Fatalf("alleen publish_aur: %d %v", n, err)
42 }
43}
packaging/bluegit-update.sh +3 −0
@@ -71,6 +71,9 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. publish_aur telt daar niet mee: die job blijft
75 # draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76 # op de job die op pacman -U wacht.
74 77 wait_until_idle() {
75 78 local deadline body n poll
76 79 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,6 +71,9 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. publish_aur telt daar niet mee: die job blijft
75# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76# op de job die op pacman -U wacht.
74wait_until_idle() {
77wait_until_idle() {
75 local deadline body n poll
78 local deadline body n poll
76 poll="$BLUEGIT_UPDATE_POLL"
79 poll="$BLUEGIT_UPDATE_POLL"
scripts/aur_test.go +65 −0
@@ -1,6 +1,8 @@
1 1 package scripts
2 2
3 3 import (
4 "net/http"
5 "net/http/httptest"
4 6 "os"
5 7 "os/exec"
6 8 "path/filepath"
@@ -566,6 +568,69 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
566 568 return strings.TrimSpace(string(out))
567 569 }
568 570
571 func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572 if _, err := exec.LookPath("curl"); err != nil {
573 t.Skip("curl ontbreekt")
574 }
575 root := filepath.Join("..")
576 pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577 if err != nil {
578 t.Fatal(err)
579 }
580 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581 if !strings.Contains(string(pkg), published) {
582 t.Fatalf("PKGBUILD mist %s", published)
583 }
584 sha := "0123456789abcdef0123456789abcdef01234567"
585 path := strings.TrimPrefix(published, "https://git.timfalken.com")
586 path = strings.ReplaceAll(path, "${_commit}", sha)
587 var hits int
588 payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590 if r.URL.Path != path {
591 http.NotFound(w, r)
592 return
593 }
594 hits++
595 if hits < 3 {
596 http.NotFound(w, r)
597 return
598 }
599 w.Header().Set("Content-Type", "application/gzip")
600 _, _ = w.Write(payload)
601 }))
602 t.Cleanup(srv.Close)
603 dest := filepath.Join(t.TempDir(), "source.tar.gz")
604 script := filepath.Join(root, "scripts", "publish-aur.sh")
605 cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606 cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607 if out, err := cmd.CombinedOutput(); err != nil {
608 t.Fatalf("fetch: %v %s", err, out)
609 }
610 got, err := os.ReadFile(dest)
611 if err != nil {
612 t.Fatal(err)
613 }
614 if string(got) != string(payload) || hits != 3 {
615 t.Fatalf("hits %d body %q", hits, got)
616 }
617
618 miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619 http.NotFound(w, r)
620 }))
621 t.Cleanup(miss.Close)
622 failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623 fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624 fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625 out, err := fail.CombinedOutput()
626 if err == nil {
627 t.Fatal("een blijvende 404 hoort te falen")
628 }
629 if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630 t.Fatalf("melding: %s", out)
631 }
632 }
633
569 634 // skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
570 635 // kernel user namespaces weigert. In een container is de binary er vaak
571 636 // wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
@@ -1,6 +1,8 @@
1package scripts
1package scripts
2
2
3import (
3import (
4 "net/http"
5 "net/http/httptest"
4 "os"
6 "os"
5 "os/exec"
7 "os/exec"
6 "path/filepath"
8 "path/filepath"
@@ -566,6 +568,69 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
566 return strings.TrimSpace(string(out))
568 return strings.TrimSpace(string(out))
567}
569}
568
570
571func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572 if _, err := exec.LookPath("curl"); err != nil {
573 t.Skip("curl ontbreekt")
574 }
575 root := filepath.Join("..")
576 pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577 if err != nil {
578 t.Fatal(err)
579 }
580 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581 if !strings.Contains(string(pkg), published) {
582 t.Fatalf("PKGBUILD mist %s", published)
583 }
584 sha := "0123456789abcdef0123456789abcdef01234567"
585 path := strings.TrimPrefix(published, "https://git.timfalken.com")
586 path = strings.ReplaceAll(path, "${_commit}", sha)
587 var hits int
588 payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590 if r.URL.Path != path {
591 http.NotFound(w, r)
592 return
593 }
594 hits++
595 if hits < 3 {
596 http.NotFound(w, r)
597 return
598 }
599 w.Header().Set("Content-Type", "application/gzip")
600 _, _ = w.Write(payload)
601 }))
602 t.Cleanup(srv.Close)
603 dest := filepath.Join(t.TempDir(), "source.tar.gz")
604 script := filepath.Join(root, "scripts", "publish-aur.sh")
605 cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606 cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607 if out, err := cmd.CombinedOutput(); err != nil {
608 t.Fatalf("fetch: %v %s", err, out)
609 }
610 got, err := os.ReadFile(dest)
611 if err != nil {
612 t.Fatal(err)
613 }
614 if string(got) != string(payload) || hits != 3 {
615 t.Fatalf("hits %d body %q", hits, got)
616 }
617
618 miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619 http.NotFound(w, r)
620 }))
621 t.Cleanup(miss.Close)
622 failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623 fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624 fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625 out, err := fail.CombinedOutput()
626 if err == nil {
627 t.Fatal("een blijvende 404 hoort te falen")
628 }
629 if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630 t.Fatalf("melding: %s", out)
631 }
632}
633
569// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
634// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
570// kernel user namespaces weigert. In een container is de binary er vaak
635// kernel user namespaces weigert. In een container is de binary er vaak
571// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
636// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
scripts/publish-aur.sh +34 −2
@@ -67,6 +67,39 @@ utc_digits() {
67 67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68 68 }
69 69
70 # fetch_archive URL DEST
71 # De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72 # nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73 # AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74 fetch_archive() {
75 local url="$1" dest="$2"
76 local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77 local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78 local i=1
79 [[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80 [[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81 while true; do
82 if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83 return 0
84 fi
85 rm -f "$dest"
86 if (( i >= attempts )); then
87 echo "Could not download $url" >&2
88 return 1
89 fi
90 echo "Archive not ready (${i}/${attempts}): $url" >&2
91 sleep "$pause"
92 i=$((i + 1))
93 done
94 }
95
96 if [[ "${1:-}" == "--fetch-only" ]]; then
97 command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98 [[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99 fetch_archive "$2" "$3"
100 exit
101 fi
102
70 103 if [[ "${1:-}" == "--rewrite-only" ]]; then
71 104 rewrite_pkgbuild "$2" "$3" "$4" "$5"
72 105 exit 0
@@ -96,8 +129,7 @@ trap cleanup EXIT
96 129 SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
97 130 TMP_SOURCE="$WORKDIR/source.tar.gz"
98 131 echo "Checking source tarball: $SOURCE_URL"
99 if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
100 echo "Could not download $SOURCE_URL" >&2
132 if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
101 133 exit 1
102 134 fi
103 135 SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
@@ -67,6 +67,39 @@ utc_digits() {
67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68}
68}
69
69
70# fetch_archive URL DEST
71# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74fetch_archive() {
75 local url="$1" dest="$2"
76 local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77 local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78 local i=1
79 [[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80 [[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81 while true; do
82 if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83 return 0
84 fi
85 rm -f "$dest"
86 if (( i >= attempts )); then
87 echo "Could not download $url" >&2
88 return 1
89 fi
90 echo "Archive not ready (${i}/${attempts}): $url" >&2
91 sleep "$pause"
92 i=$((i + 1))
93 done
94}
95
96if [[ "${1:-}" == "--fetch-only" ]]; then
97 command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98 [[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99 fetch_archive "$2" "$3"
100 exit
101fi
102
70if [[ "${1:-}" == "--rewrite-only" ]]; then
103if [[ "${1:-}" == "--rewrite-only" ]]; then
71 rewrite_pkgbuild "$2" "$3" "$4" "$5"
104 rewrite_pkgbuild "$2" "$3" "$4" "$5"
72 exit 0
105 exit 0
@@ -96,8 +129,7 @@ trap cleanup EXIT
96SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
129SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
97TMP_SOURCE="$WORKDIR/source.tar.gz"
130TMP_SOURCE="$WORKDIR/source.tar.gz"
98echo "Checking source tarball: $SOURCE_URL"
131echo "Checking source tarball: $SOURCE_URL"
99if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
132if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
100 echo "Could not download $SOURCE_URL" >&2
101 exit 1
133 exit 1
102fi
134fi
103SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
135SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"