BlueGit

timfa bluegit

fix: laat publish_aur na self_update draaien

needs: [] haalde het archief op terwijl de vorige binary nog draaide.
De job wacht nu op self_update.

Co-authored-by: tim <tim@timfalken.com>

timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa

Authored 2026-10-23 · 3 weeks ago

Hash
ab139eeb8341a263816bbdb2df25da725f336a03
Parent
c6641e35
Pipeline
Passed
9 files changed +12 −271
blue-ci-cd.yml +3 −7
@@ -64,17 +64,13 @@ jobs:
64 64 paths: [bluegit]
65 65 expire_in: 14d
66 66
67 # Na self_update. needs: [] haalde het archief op terwijl de vorige binary
68 # nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69 # publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70 # gezet. when: always zodat een mislukte update de publicatie niet skipt.
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
71 68 # allow_failure: een AUR-storing maakt de pipeline niet rood.
72 69 publish_aur:
73 70 stage: release
74 71 image: archlinux/archlinux:base-devel
75 72 extends: .on_master
76 73 needs: [self_update]
77 when: always
78 74 allow_failure: true
79 75 script:
80 76 - pacman -Syu --noconfirm
@@ -83,8 +79,8 @@ jobs:
83 79 - ./scripts/aur-ssh-setup.sh
84 80 - ./scripts/publish-aur.sh
85 81
86 # Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
87 # gaat niet mee. publish_aur wacht op deze job, niet andersom.
82 # Na een geslaagde build. publish_aur wacht op deze job.
83 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
88 84 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 85 # CI_API_URL eindigt op /api/v1.
90 86 self_update:
@@ -64,17 +64,13 @@ jobs:
64 paths: [bluegit]
64 paths: [bluegit]
65 expire_in: 14d
65 expire_in: 14d
66
66
67 # Na self_update. needs: [] haalde het archief op terwijl de vorige binary
67 # Na self_update. needs: [] liep tegen de binary van de vorige release.
68 # nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69 # publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70 # gezet. when: always zodat een mislukte update de publicatie niet skipt.
71 # allow_failure: een AUR-storing maakt de pipeline niet rood.
68 # allow_failure: een AUR-storing maakt de pipeline niet rood.
72 publish_aur:
69 publish_aur:
73 stage: release
70 stage: release
74 image: archlinux/archlinux:base-devel
71 image: archlinux/archlinux:base-devel
75 extends: .on_master
72 extends: .on_master
76 needs: [self_update]
73 needs: [self_update]
77 when: always
78 allow_failure: true
74 allow_failure: true
79 script:
75 script:
80 - pacman -Syu --noconfirm
76 - pacman -Syu --noconfirm
@@ -83,8 +79,8 @@ jobs:
83 - ./scripts/aur-ssh-setup.sh
79 - ./scripts/aur-ssh-setup.sh
84 - ./scripts/publish-aur.sh
80 - ./scripts/publish-aur.sh
85
81
86 # Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
82 # Na een geslaagde build. publish_aur wacht op deze job.
87 # gaat niet mee. publish_aur wacht op deze job, niet andersom.
83 # De updater bouwt zelf uit git; dit artifact gaat niet mee.
88 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
84 # BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89 # CI_API_URL eindigt op /api/v1.
85 # CI_API_URL eindigt op /api/v1.
90 self_update:
86 self_update:
docs/AUR.md +4 −4
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55 55 | `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56 56 | `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57 57
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
58 `publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59 59
60 60 `self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61 61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78 78
79 79 ## Self-update
80 80
81 Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
81 `self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
82 82
83 83 ```yaml
84 84 curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93 93
94 94 `/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95 95
96 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96 Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97 97
98 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
98 Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
99 99
100 100 `packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101 101
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
55| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
56| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
58`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59
59
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
60`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
78
79## Self-update
79## Self-update
80
80
81Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
81`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
82
82
83```yaml
83```yaml
84curl -fsS -X POST "$CI_API_URL/admin/self-update" \
84curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93
93
94`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
94`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95
95
96Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
97
98Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
98Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
99
99
100`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
100`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
101
internal/ci/example_test.go +2 −17
@@ -88,18 +88,9 @@ func TestBlueGitExampleFile(t *testing.T) {
88 88 t.Fatalf("master %d %v", len(active), err)
89 89 }
90 90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92 92 t.Fatalf("publish_aur: %+v", aur)
93 93 }
94 var selected Job
95 for _, j := range active {
96 if j.Name == "publish_aur" {
97 selected = j
98 }
99 }
100 if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101 t.Fatalf("geselecteerde publish_aur: %+v", selected)
102 }
103 94 if Gate(p.Jobs, map[string]string{
104 95 "vet": "success", "test": "success", "frontend_checks": "success",
105 96 "build": "success", "self_update": "running",
@@ -110,13 +101,7 @@ func TestBlueGitExampleFile(t *testing.T) {
110 101 "vet": "success", "test": "success", "frontend_checks": "success",
111 102 "build": "success", "self_update": "success",
112 103 }, aur) != "ready" {
113 t.Fatal("publish_aur start na een geslaagde self_update")
114 }
115 if Gate(p.Jobs, map[string]string{
116 "vet": "failed", "test": "failed", "frontend_checks": "failed",
117 "build": "skipped", "self_update": "failed",
118 }, aur) != "ready" {
119 t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
104 t.Fatal("publish_aur start na self_update")
120 105 }
121 106 upd := by["self_update"]
122 107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
@@ -88,18 +88,9 @@ func TestBlueGitExampleFile(t *testing.T) {
88 t.Fatalf("master %d %v", len(active), err)
88 t.Fatalf("master %d %v", len(active), err)
89 }
89 }
90 aur := by["publish_aur"]
90 aur := by["publish_aur"]
91 if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91 if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92 t.Fatalf("publish_aur: %+v", aur)
92 t.Fatalf("publish_aur: %+v", aur)
93 }
93 }
94 var selected Job
95 for _, j := range active {
96 if j.Name == "publish_aur" {
97 selected = j
98 }
99 }
100 if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101 t.Fatalf("geselecteerde publish_aur: %+v", selected)
102 }
103 if Gate(p.Jobs, map[string]string{
94 if Gate(p.Jobs, map[string]string{
104 "vet": "success", "test": "success", "frontend_checks": "success",
95 "vet": "success", "test": "success", "frontend_checks": "success",
105 "build": "success", "self_update": "running",
96 "build": "success", "self_update": "running",
@@ -110,13 +101,7 @@ func TestBlueGitExampleFile(t *testing.T) {
110 "vet": "success", "test": "success", "frontend_checks": "success",
101 "vet": "success", "test": "success", "frontend_checks": "success",
111 "build": "success", "self_update": "success",
102 "build": "success", "self_update": "success",
112 }, aur) != "ready" {
103 }, aur) != "ready" {
113 t.Fatal("publish_aur start na een geslaagde self_update")
104 t.Fatal("publish_aur start na self_update")
114 }
115 if Gate(p.Jobs, map[string]string{
116 "vet": "failed", "test": "failed", "frontend_checks": "failed",
117 "build": "skipped", "self_update": "failed",
118 }, aur) != "ready" {
119 t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
120 }
105 }
121 upd := by["self_update"]
106 upd := by["self_update"]
122 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
107 if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
internal/server/archive_test.go +0 −93
@@ -12,7 +12,6 @@ import (
12 12 "net/http/cookiejar"
13 13 "net/http/httptest"
14 14 "net/url"
15 "os"
16 15 "os/exec"
17 16 "path/filepath"
18 17 "strings"
@@ -159,98 +158,6 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
159 158 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
160 159 }
161 160
162 // TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163 // Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164 // /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165 // 40 kleine hex-tekens, met en zonder Authorization-header.
166 func TestPKGBUILDArchiveURL(t *testing.T) {
167 if _, err := exec.LookPath("git"); err != nil {
168 t.Skip("git ontbreekt")
169 }
170 pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171 if err != nil {
172 t.Fatal(err)
173 }
174 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175 if !strings.Contains(string(pkg), published) {
176 t.Fatalf("PKGBUILD mist %s", published)
177 }
178
179 storage := t.TempDir()
180 st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181 if err != nil {
182 t.Fatal(err)
183 }
184 t.Cleanup(func() { _ = st.Close() })
185 cfg := config.Config{
186 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187 Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188 Git: config.Git{Binary: "git", DefaultBranch: "master"},
189 }
190 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191 ts := httptest.NewServer(srv.Handler())
192 t.Cleanup(ts.Close)
193 jar, _ := cookiejar.New(nil)
194 tim := &http.Client{Jar: jar}
195
196 page := read(t, mustGet(t, tim, ts.URL+"/login"))
197 page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198 "csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199 }))
200 page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201 "csrf": {csrfOf(t, page)}, "name": {"aur"},
202 }))
203 token := between(page, `<p class="code">`, "</p>")
204 if !strings.HasPrefix(token, "bg_") {
205 t.Fatalf("token %q", token)
206 }
207 work := t.TempDir()
208 git(t, work, "init", "-b", "master")
209 git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210 git(t, work, "config", "user.name", "timfa")
211 writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212 git(t, work, "add", "hello.txt")
213 git(t, work, "commit", "-m", "start")
214 remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215 git(t, work, "remote", "add", "origin", remote)
216 git(t, work, "push", "-u", "origin", "master")
217 sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219 path := strings.TrimPrefix(published, "https://git.timfalken.com")
220 path = strings.ReplaceAll(path, "${_commit}", sha)
221 tarURL := ts.URL + path
222 anon := getBody(t, &http.Client{}, tarURL)
223 if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224 t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225 }
226 if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227 t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228 }
229 want := "bluegit-" + sha + "/hello.txt"
230 if !containsString(tarNames(t, anon.body), want) {
231 t.Fatal("tar mist " + want)
232 }
233 tokenRes := getBearer(t, tarURL, token)
234 tokenBody := []byte(read(t, tokenRes))
235 if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236 t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237 }
238
239 masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240 anonMaster := getBody(t, &http.Client{}, masterURL)
241 masterToken := getBearer(t, masterURL, token)
242 masterTokenBody := read(t, masterToken)
243 if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244 t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245 }
246 if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247 t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248 }
249 if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250 t.Fatal("404 mist de BlueGit-headers")
251 }
252 }
253
254 161 func tarNames(t *testing.T, gz []byte) []string {
255 162 t.Helper()
256 163 zr, err := gzip.NewReader(bytes.NewReader(gz))
@@ -12,7 +12,6 @@ import (
12 "net/http/cookiejar"
12 "net/http/cookiejar"
13 "net/http/httptest"
13 "net/http/httptest"
14 "net/url"
14 "net/url"
15 "os"
16 "os/exec"
15 "os/exec"
17 "path/filepath"
16 "path/filepath"
18 "strings"
17 "strings"
@@ -159,98 +158,6 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
159 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
158 return bodyResult{code: res.StatusCode, header: res.Header, body: body}
160}
159}
161
160
162// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165// 40 kleine hex-tekens, met en zonder Authorization-header.
166func TestPKGBUILDArchiveURL(t *testing.T) {
167 if _, err := exec.LookPath("git"); err != nil {
168 t.Skip("git ontbreekt")
169 }
170 pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171 if err != nil {
172 t.Fatal(err)
173 }
174 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175 if !strings.Contains(string(pkg), published) {
176 t.Fatalf("PKGBUILD mist %s", published)
177 }
178
179 storage := t.TempDir()
180 st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181 if err != nil {
182 t.Fatal(err)
183 }
184 t.Cleanup(func() { _ = st.Close() })
185 cfg := config.Config{
186 BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187 Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188 Git: config.Git{Binary: "git", DefaultBranch: "master"},
189 }
190 srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191 ts := httptest.NewServer(srv.Handler())
192 t.Cleanup(ts.Close)
193 jar, _ := cookiejar.New(nil)
194 tim := &http.Client{Jar: jar}
195
196 page := read(t, mustGet(t, tim, ts.URL+"/login"))
197 page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198 "csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199 }))
200 page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201 "csrf": {csrfOf(t, page)}, "name": {"aur"},
202 }))
203 token := between(page, `<p class="code">`, "</p>")
204 if !strings.HasPrefix(token, "bg_") {
205 t.Fatalf("token %q", token)
206 }
207 work := t.TempDir()
208 git(t, work, "init", "-b", "master")
209 git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210 git(t, work, "config", "user.name", "timfa")
211 writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212 git(t, work, "add", "hello.txt")
213 git(t, work, "commit", "-m", "start")
214 remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215 git(t, work, "remote", "add", "origin", remote)
216 git(t, work, "push", "-u", "origin", "master")
217 sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219 path := strings.TrimPrefix(published, "https://git.timfalken.com")
220 path = strings.ReplaceAll(path, "${_commit}", sha)
221 tarURL := ts.URL + path
222 anon := getBody(t, &http.Client{}, tarURL)
223 if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224 t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225 }
226 if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227 t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228 }
229 want := "bluegit-" + sha + "/hello.txt"
230 if !containsString(tarNames(t, anon.body), want) {
231 t.Fatal("tar mist " + want)
232 }
233 tokenRes := getBearer(t, tarURL, token)
234 tokenBody := []byte(read(t, tokenRes))
235 if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236 t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237 }
238
239 masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240 anonMaster := getBody(t, &http.Client{}, masterURL)
241 masterToken := getBearer(t, masterURL, token)
242 masterTokenBody := read(t, masterToken)
243 if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244 t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245 }
246 if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247 t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248 }
249 if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250 t.Fatal("404 mist de BlueGit-headers")
251 }
252}
253
254func tarNames(t *testing.T, gz []byte) []string {
161func tarNames(t *testing.T, gz []byte) []string {
255 t.Helper()
162 t.Helper()
256 zr, err := gzip.NewReader(bytes.NewReader(gz))
163 zr, err := gzip.NewReader(bytes.NewReader(gz))
internal/store/flow.go +1 −5
@@ -935,13 +935,9 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935 935 }
936 936
937 937 // CountRunningJobs telt jobs die Steve nu uitvoert.
938 // publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939 // en probeert opnieuw tot de self-update de binary heeft vervangen.
940 // Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941 // pacman -U.
942 938 func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
943 939 var n int
944 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
945 941 return n, err
946 942 }
947 943
@@ -935,13 +935,9 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935}
935}
936
936
937// CountRunningJobs telt jobs die Steve nu uitvoert.
937// CountRunningJobs telt jobs die Steve nu uitvoert.
938// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939// en probeert opnieuw tot de self-update de binary heeft vervangen.
940// Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941// pacman -U.
942func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
938func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
943 var n int
939 var n int
944 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
940 err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
945 return n, err
941 return n, err
946}
942}
947
943
internal/store/running_jobs_test.go deleted +0 −43
@@ -1,43 +0,0 @@
1 package store
2
3 import (
4 "context"
5 "testing"
6 )
7
8 func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16 if err != nil {
17 t.Fatal(err)
18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20 {Name: "test", Stage: "test", Script: "go test"},
21 {Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22 })
23 if err != nil {
24 t.Fatal(err)
25 }
26 set := func(name, status string) {
27 t.Helper()
28 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29 t.Fatal(err)
30 }
31 }
32 set("test", "running")
33 set("publish_aur", "running")
34 n, err := s.CountRunningJobs(ctx)
35 if err != nil || n != 1 {
36 t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37 }
38 set("test", "success")
39 n, err = s.CountRunningJobs(ctx)
40 if err != nil || n != 0 {
41 t.Fatalf("alleen publish_aur: %d %v", n, err)
42 }
43 }
@@ -1,43 +0,0 @@
1package store
2
3import (
4 "context"
5 "testing"
6)
7
8func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9 s := openTest(t)
10 ctx := context.Background()
11 tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12 if err != nil {
13 t.Fatal(err)
14 }
15 repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16 if err != nil {
17 t.Fatal(err)
18 }
19 id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20 {Name: "test", Stage: "test", Script: "go test"},
21 {Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22 })
23 if err != nil {
24 t.Fatal(err)
25 }
26 set := func(name, status string) {
27 t.Helper()
28 if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29 t.Fatal(err)
30 }
31 }
32 set("test", "running")
33 set("publish_aur", "running")
34 n, err := s.CountRunningJobs(ctx)
35 if err != nil || n != 1 {
36 t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37 }
38 set("test", "success")
39 n, err = s.CountRunningJobs(ctx)
40 if err != nil || n != 0 {
41 t.Fatalf("alleen publish_aur: %d %v", n, err)
42 }
43}
packaging/bluegit-update.sh +0 −3
@@ -71,9 +71,6 @@ write_status() {
71 71 mv -f "$tmp" "$STATUS"
72 72 }
73 73
74 # running komt uit de API. publish_aur telt daar niet mee: die job blijft
75 # draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76 # op de job die op pacman -U wacht.
77 74 wait_until_idle() {
78 75 local deadline body n poll
79 76 poll="$BLUEGIT_UPDATE_POLL"
@@ -71,9 +71,6 @@ write_status() {
71 mv -f "$tmp" "$STATUS"
71 mv -f "$tmp" "$STATUS"
72}
72}
73
73
74# running komt uit de API. publish_aur telt daar niet mee: die job blijft
75# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76# op de job die op pacman -U wacht.
77wait_until_idle() {
74wait_until_idle() {
78 local deadline body n poll
75 local deadline body n poll
79 poll="$BLUEGIT_UPDATE_POLL"
76 poll="$BLUEGIT_UPDATE_POLL"
scripts/aur_test.go +0 −65
@@ -1,8 +1,6 @@
1 1 package scripts
2 2
3 3 import (
4 "net/http"
5 "net/http/httptest"
6 4 "os"
7 5 "os/exec"
8 6 "path/filepath"
@@ -568,69 +566,6 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
568 566 return strings.TrimSpace(string(out))
569 567 }
570 568
571 func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572 if _, err := exec.LookPath("curl"); err != nil {
573 t.Skip("curl ontbreekt")
574 }
575 root := filepath.Join("..")
576 pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577 if err != nil {
578 t.Fatal(err)
579 }
580 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581 if !strings.Contains(string(pkg), published) {
582 t.Fatalf("PKGBUILD mist %s", published)
583 }
584 sha := "0123456789abcdef0123456789abcdef01234567"
585 path := strings.TrimPrefix(published, "https://git.timfalken.com")
586 path = strings.ReplaceAll(path, "${_commit}", sha)
587 var hits int
588 payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590 if r.URL.Path != path {
591 http.NotFound(w, r)
592 return
593 }
594 hits++
595 if hits < 3 {
596 http.NotFound(w, r)
597 return
598 }
599 w.Header().Set("Content-Type", "application/gzip")
600 _, _ = w.Write(payload)
601 }))
602 t.Cleanup(srv.Close)
603 dest := filepath.Join(t.TempDir(), "source.tar.gz")
604 script := filepath.Join(root, "scripts", "publish-aur.sh")
605 cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606 cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607 if out, err := cmd.CombinedOutput(); err != nil {
608 t.Fatalf("fetch: %v %s", err, out)
609 }
610 got, err := os.ReadFile(dest)
611 if err != nil {
612 t.Fatal(err)
613 }
614 if string(got) != string(payload) || hits != 3 {
615 t.Fatalf("hits %d body %q", hits, got)
616 }
617
618 miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619 http.NotFound(w, r)
620 }))
621 t.Cleanup(miss.Close)
622 failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623 fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624 fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625 out, err := fail.CombinedOutput()
626 if err == nil {
627 t.Fatal("een blijvende 404 hoort te falen")
628 }
629 if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630 t.Fatalf("melding: %s", out)
631 }
632 }
633
634 569 // skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
635 570 // kernel user namespaces weigert. In een container is de binary er vaak
636 571 // wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
@@ -1,8 +1,6 @@
1package scripts
1package scripts
2
2
3import (
3import (
4 "net/http"
5 "net/http/httptest"
6 "os"
4 "os"
7 "os/exec"
5 "os/exec"
8 "path/filepath"
6 "path/filepath"
@@ -568,69 +566,6 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
568 return strings.TrimSpace(string(out))
566 return strings.TrimSpace(string(out))
569}
567}
570
568
571func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572 if _, err := exec.LookPath("curl"); err != nil {
573 t.Skip("curl ontbreekt")
574 }
575 root := filepath.Join("..")
576 pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577 if err != nil {
578 t.Fatal(err)
579 }
580 const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581 if !strings.Contains(string(pkg), published) {
582 t.Fatalf("PKGBUILD mist %s", published)
583 }
584 sha := "0123456789abcdef0123456789abcdef01234567"
585 path := strings.TrimPrefix(published, "https://git.timfalken.com")
586 path = strings.ReplaceAll(path, "${_commit}", sha)
587 var hits int
588 payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589 srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590 if r.URL.Path != path {
591 http.NotFound(w, r)
592 return
593 }
594 hits++
595 if hits < 3 {
596 http.NotFound(w, r)
597 return
598 }
599 w.Header().Set("Content-Type", "application/gzip")
600 _, _ = w.Write(payload)
601 }))
602 t.Cleanup(srv.Close)
603 dest := filepath.Join(t.TempDir(), "source.tar.gz")
604 script := filepath.Join(root, "scripts", "publish-aur.sh")
605 cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606 cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607 if out, err := cmd.CombinedOutput(); err != nil {
608 t.Fatalf("fetch: %v %s", err, out)
609 }
610 got, err := os.ReadFile(dest)
611 if err != nil {
612 t.Fatal(err)
613 }
614 if string(got) != string(payload) || hits != 3 {
615 t.Fatalf("hits %d body %q", hits, got)
616 }
617
618 miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619 http.NotFound(w, r)
620 }))
621 t.Cleanup(miss.Close)
622 failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623 fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624 fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625 out, err := fail.CombinedOutput()
626 if err == nil {
627 t.Fatal("een blijvende 404 hoort te falen")
628 }
629 if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630 t.Fatalf("melding: %s", out)
631 }
632}
633
634// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
569// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
635// kernel user namespaces weigert. In een container is de binary er vaak
570// kernel user namespaces weigert. In een container is de binary er vaak
636// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
571// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
scripts/publish-aur.sh +2 −34
@@ -67,39 +67,6 @@ utc_digits() {
67 67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68 68 }
69 69
70 # fetch_archive URL DEST
71 # De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72 # nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73 # AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74 fetch_archive() {
75 local url="$1" dest="$2"
76 local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77 local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78 local i=1
79 [[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80 [[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81 while true; do
82 if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83 return 0
84 fi
85 rm -f "$dest"
86 if (( i >= attempts )); then
87 echo "Could not download $url" >&2
88 return 1
89 fi
90 echo "Archive not ready (${i}/${attempts}): $url" >&2
91 sleep "$pause"
92 i=$((i + 1))
93 done
94 }
95
96 if [[ "${1:-}" == "--fetch-only" ]]; then
97 command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98 [[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99 fetch_archive "$2" "$3"
100 exit
101 fi
102
103 70 if [[ "${1:-}" == "--rewrite-only" ]]; then
104 71 rewrite_pkgbuild "$2" "$3" "$4" "$5"
105 72 exit 0
@@ -129,7 +96,8 @@ trap cleanup EXIT
129 96 SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
130 97 TMP_SOURCE="$WORKDIR/source.tar.gz"
131 98 echo "Checking source tarball: $SOURCE_URL"
132 if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
99 if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
100 echo "Could not download $SOURCE_URL" >&2
133 101 exit 1
134 102 fi
135 103 SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
@@ -67,39 +67,6 @@ utc_digits() {
67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
67 TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68}
68}
69
69
70# fetch_archive URL DEST
71# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74fetch_archive() {
75 local url="$1" dest="$2"
76 local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77 local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78 local i=1
79 [[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80 [[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81 while true; do
82 if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83 return 0
84 fi
85 rm -f "$dest"
86 if (( i >= attempts )); then
87 echo "Could not download $url" >&2
88 return 1
89 fi
90 echo "Archive not ready (${i}/${attempts}): $url" >&2
91 sleep "$pause"
92 i=$((i + 1))
93 done
94}
95
96if [[ "${1:-}" == "--fetch-only" ]]; then
97 command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98 [[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99 fetch_archive "$2" "$3"
100 exit
101fi
102
103if [[ "${1:-}" == "--rewrite-only" ]]; then
70if [[ "${1:-}" == "--rewrite-only" ]]; then
104 rewrite_pkgbuild "$2" "$3" "$4" "$5"
71 rewrite_pkgbuild "$2" "$3" "$4" "$5"
105 exit 0
72 exit 0
@@ -129,7 +96,8 @@ trap cleanup EXIT
129SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
96SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
130TMP_SOURCE="$WORKDIR/source.tar.gz"
97TMP_SOURCE="$WORKDIR/source.tar.gz"
131echo "Checking source tarball: $SOURCE_URL"
98echo "Checking source tarball: $SOURCE_URL"
132if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
99if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
100 echo "Could not download $SOURCE_URL" >&2
133 exit 1
101 exit 1
134fi
102fi
135SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
103SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"