fix: laat publish_aur het sha-archief opnieuw ophalen
publish_aur startte met needs: [] en kreeg 404 zolang de binary zonder archiefroute nog draaide. De job wacht nu op self_update en probeert de PKGBUILD-url opnieuw. De updater telt die job niet mee. /-/archive/master/ blijft 404: alleen een sha van 40 hex-tekens is stabiel. Co-authored-by: tim <tim@timfalken.com>
@@ -64,12 +64,17 @@ jobs:
64
64
paths: [bluegit]
65
65
expire_in: 14d
66
66
67
# Start meteen (needs: []). Een AUR-storing maakt de pipeline niet rood.
67
# Na self_update. needs: [] haalde het archief op terwijl de vorige binary
68
# nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69
# publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70
# gezet. when: always zodat een mislukte update de publicatie niet skipt.
71
# allow_failure: een AUR-storing maakt de pipeline niet rood.
68
72
publish_aur:
69
73
stage: release
70
74
image: archlinux/archlinux:base-devel
71
75
extends: .on_master
72
needs: []
76
needs: [self_update]
77
when: always
73
78
allow_failure: true
74
79
script:
75
80
- pacman -Syu --noconfirm
@@ -78,9 +83,10 @@ jobs:
78
83
- ./scripts/aur-ssh-setup.sh
79
84
- ./scripts/publish-aur.sh
80
85
81
# Na een geslaagde build, naast publish_aur. De updater bouwt zelf uit git;
82
# dit artifact gaat niet mee. BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als
83
# in /etc/bluegit/env. CI_API_URL eindigt op /api/v1.
86
# Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
87
# gaat niet mee. publish_aur wacht op deze job, niet andersom.
88
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89
# CI_API_URL eindigt op /api/v1.
84
90
self_update:
85
91
stage: release
86
92
image: bluegit/base
@@ -64,12 +64,17 @@ jobs:64
paths: [bluegit]64
paths: [bluegit]65
expire_in: 14d65
expire_in: 14d66
66
67
# Start meteen (needs: []). Een AUR-storing maakt de pipeline niet rood.67
# Na self_update. needs: [] haalde het archief op terwijl de vorige binary68
# nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;69
# publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft70
# gezet. when: always zodat een mislukte update de publicatie niet skipt.71
# allow_failure: een AUR-storing maakt de pipeline niet rood.68
publish_aur:72
publish_aur:69
stage: release73
stage: release70
image: archlinux/archlinux:base-devel74
image: archlinux/archlinux:base-devel71
extends: .on_master75
extends: .on_master72
needs: []76
needs: [self_update]77
when: always73
allow_failure: true78
allow_failure: true74
script:79
script:75
- pacman -Syu --noconfirm80
- pacman -Syu --noconfirm@@ -78,9 +83,10 @@ jobs:78
- ./scripts/aur-ssh-setup.sh83
- ./scripts/aur-ssh-setup.sh79
- ./scripts/publish-aur.sh84
- ./scripts/publish-aur.sh80
85
81
# Na een geslaagde build, naast publish_aur. De updater bouwt zelf uit git;86
# Na een geslaagde build. De updater bouwt zelf uit git; dit artifact82
# dit artifact gaat niet mee. BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als87
# gaat niet mee. publish_aur wacht op deze job, niet andersom.83
# in /etc/bluegit/env. CI_API_URL eindigt op /api/v1.88
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.89
# CI_API_URL eindigt op /api/v1.84
self_update:90
self_update:85
stage: release91
stage: release86
image: bluegit/base92
image: bluegit/base@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55
55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56
56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: []`, zodat hij meteen start en een AUR-storing de rest niet rood maakt. Een merge-request-pipeline slaat hem over.
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
59
59
60
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
78
79
79
## Self-update
80
80
81
Een push naar `master` hoeft niet op de AUR te wachten. `publish_aur` publiceert parallel (`needs: []`, `allow_failure: true`). `self_update` staat in dezelfde stage en wacht alleen op `build`, niet op de AUR-job, en doet dan:
81
Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
82
82
83
83
```yaml
84
84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93
93
94
94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95
95
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
97
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
99
99
100
100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
101
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: []`, zodat hij meteen start en een AUR-storing de rest niet rood maakt. Een merge-request-pipeline slaat hem over.58
`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b78
78
79
## Self-update79
## Self-update80
80
81
Een push naar `master` hoeft niet op de AUR te wachten. `publish_aur` publiceert parallel (`needs: []`, `allow_failure: true`). `self_update` staat in dezelfde stage en wacht alleen op `build`, niet op de AUR-job, en doet dan:81
Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:82
82
83
```yaml83
```yaml84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu93
93
94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.95
95
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.97
97
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.99
99
100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.101
101
@@ -88,9 +88,36 @@ func TestBlueGitExampleFile(t *testing.T) {
88
88
t.Fatalf("master %d %v", len(active), err)
89
89
}
90
90
aur := by["publish_aur"]
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 0 {
91
if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92
92
t.Fatalf("publish_aur: %+v", aur)
93
93
}
94
var selected Job
95
for _, j := range active {
96
if j.Name == "publish_aur" {
97
selected = j
98
}
99
}
100
if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101
t.Fatalf("geselecteerde publish_aur: %+v", selected)
102
}
103
if Gate(p.Jobs, map[string]string{
104
"vet": "success", "test": "success", "frontend_checks": "success",
105
"build": "success", "self_update": "running",
106
}, aur) != "wait" {
107
t.Fatal("publish_aur wacht tot self_update klaar is")
108
}
109
if Gate(p.Jobs, map[string]string{
110
"vet": "success", "test": "success", "frontend_checks": "success",
111
"build": "success", "self_update": "success",
112
}, aur) != "ready" {
113
t.Fatal("publish_aur start na een geslaagde self_update")
114
}
115
if Gate(p.Jobs, map[string]string{
116
"vet": "failed", "test": "failed", "frontend_checks": "failed",
117
"build": "skipped", "self_update": "failed",
118
}, aur) != "ready" {
119
t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
120
}
94
121
upd := by["self_update"]
95
122
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
96
123
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)
@@ -88,9 +88,36 @@ func TestBlueGitExampleFile(t *testing.T) {88
t.Fatalf("master %d %v", len(active), err)88
t.Fatalf("master %d %v", len(active), err)89
}89
}90
aur := by["publish_aur"]90
aur := by["publish_aur"]91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 0 {91
if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {92
t.Fatalf("publish_aur: %+v", aur)92
t.Fatalf("publish_aur: %+v", aur)93
}93
}94
var selected Job95
for _, j := range active {96
if j.Name == "publish_aur" {97
selected = j98
}99
}100
if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {101
t.Fatalf("geselecteerde publish_aur: %+v", selected)102
}103
if Gate(p.Jobs, map[string]string{104
"vet": "success", "test": "success", "frontend_checks": "success",105
"build": "success", "self_update": "running",106
}, aur) != "wait" {107
t.Fatal("publish_aur wacht tot self_update klaar is")108
}109
if Gate(p.Jobs, map[string]string{110
"vet": "success", "test": "success", "frontend_checks": "success",111
"build": "success", "self_update": "success",112
}, aur) != "ready" {113
t.Fatal("publish_aur start na een geslaagde self_update")114
}115
if Gate(p.Jobs, map[string]string{116
"vet": "failed", "test": "failed", "frontend_checks": "failed",117
"build": "skipped", "self_update": "failed",118
}, aur) != "ready" {119
t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")120
}94
upd := by["self_update"]121
upd := by["self_update"]95
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {122
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {96
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)123
t.Fatalf("self_update hoort alleen op build te wachten: %+v", upd)@@ -12,6 +12,7 @@ import (
12
12
"net/http/cookiejar"
13
13
"net/http/httptest"
14
14
"net/url"
15
"os"
15
16
"os/exec"
16
17
"path/filepath"
17
18
"strings"
@@ -158,6 +159,98 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
158
159
return bodyResult{code: res.StatusCode, header: res.Header, body: body}
159
160
}
160
161
162
// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163
// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164
// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165
// 40 kleine hex-tekens, met en zonder Authorization-header.
166
func TestPKGBUILDArchiveURL(t *testing.T) {
167
if _, err := exec.LookPath("git"); err != nil {
168
t.Skip("git ontbreekt")
169
}
170
pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171
if err != nil {
172
t.Fatal(err)
173
}
174
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175
if !strings.Contains(string(pkg), published) {
176
t.Fatalf("PKGBUILD mist %s", published)
177
}
178
179
storage := t.TempDir()
180
st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181
if err != nil {
182
t.Fatal(err)
183
}
184
t.Cleanup(func() { _ = st.Close() })
185
cfg := config.Config{
186
BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187
Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188
Git: config.Git{Binary: "git", DefaultBranch: "master"},
189
}
190
srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191
ts := httptest.NewServer(srv.Handler())
192
t.Cleanup(ts.Close)
193
jar, _ := cookiejar.New(nil)
194
tim := &http.Client{Jar: jar}
195
196
page := read(t, mustGet(t, tim, ts.URL+"/login"))
197
page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198
"csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199
}))
200
page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201
"csrf": {csrfOf(t, page)}, "name": {"aur"},
202
}))
203
token := between(page, `<p class="code">`, "</p>")
204
if !strings.HasPrefix(token, "bg_") {
205
t.Fatalf("token %q", token)
206
}
207
work := t.TempDir()
208
git(t, work, "init", "-b", "master")
209
git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210
git(t, work, "config", "user.name", "timfa")
211
writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212
git(t, work, "add", "hello.txt")
213
git(t, work, "commit", "-m", "start")
214
remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215
git(t, work, "remote", "add", "origin", remote)
216
git(t, work, "push", "-u", "origin", "master")
217
sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219
path := strings.TrimPrefix(published, "https://git.timfalken.com")
220
path = strings.ReplaceAll(path, "${_commit}", sha)
221
tarURL := ts.URL + path
222
anon := getBody(t, &http.Client{}, tarURL)
223
if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224
t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225
}
226
if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227
t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228
}
229
want := "bluegit-" + sha + "/hello.txt"
230
if !containsString(tarNames(t, anon.body), want) {
231
t.Fatal("tar mist " + want)
232
}
233
tokenRes := getBearer(t, tarURL, token)
234
tokenBody := []byte(read(t, tokenRes))
235
if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236
t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237
}
238
239
masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240
anonMaster := getBody(t, &http.Client{}, masterURL)
241
masterToken := getBearer(t, masterURL, token)
242
masterTokenBody := read(t, masterToken)
243
if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244
t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245
}
246
if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247
t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248
}
249
if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250
t.Fatal("404 mist de BlueGit-headers")
251
}
252
}
253
161
254
func tarNames(t *testing.T, gz []byte) []string {
162
255
t.Helper()
163
256
zr, err := gzip.NewReader(bytes.NewReader(gz))
@@ -12,6 +12,7 @@ import (12
"net/http/cookiejar"12
"net/http/cookiejar"13
"net/http/httptest"13
"net/http/httptest"14
"net/url"14
"net/url"15
"os"15
"os/exec"16
"os/exec"16
"path/filepath"17
"path/filepath"17
"strings"18
"strings"@@ -158,6 +159,98 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {158
return bodyResult{code: res.StatusCode, header: res.Header, body: body}159
return bodyResult{code: res.StatusCode, header: res.Header, body: body}159
}160
}160
161
162
// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.163
// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.164
// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist165
// 40 kleine hex-tekens, met en zonder Authorization-header.166
func TestPKGBUILDArchiveURL(t *testing.T) {167
if _, err := exec.LookPath("git"); err != nil {168
t.Skip("git ontbreekt")169
}170
pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))171
if err != nil {172
t.Fatal(err)173
}174
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"175
if !strings.Contains(string(pkg), published) {176
t.Fatalf("PKGBUILD mist %s", published)177
}178
179
storage := t.TempDir()180
st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())181
if err != nil {182
t.Fatal(err)183
}184
t.Cleanup(func() { _ = st.Close() })185
cfg := config.Config{186
BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,187
Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},188
Git: config.Git{Binary: "git", DefaultBranch: "master"},189
}190
srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}191
ts := httptest.NewServer(srv.Handler())192
t.Cleanup(ts.Close)193
jar, _ := cookiejar.New(nil)194
tim := &http.Client{Jar: jar}195
196
page := read(t, mustGet(t, tim, ts.URL+"/login"))197
page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{198
"csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},199
}))200
page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{201
"csrf": {csrfOf(t, page)}, "name": {"aur"},202
}))203
token := between(page, `<p class="code">`, "</p>")204
if !strings.HasPrefix(token, "bg_") {205
t.Fatalf("token %q", token)206
}207
work := t.TempDir()208
git(t, work, "init", "-b", "master")209
git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")210
git(t, work, "config", "user.name", "timfa")211
writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")212
git(t, work, "add", "hello.txt")213
git(t, work, "commit", "-m", "start")214
remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"215
git(t, work, "remote", "add", "origin", remote)216
git(t, work, "push", "-u", "origin", "master")217
sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))218
219
path := strings.TrimPrefix(published, "https://git.timfalken.com")220
path = strings.ReplaceAll(path, "${_commit}", sha)221
tarURL := ts.URL + path222
anon := getBody(t, &http.Client{}, tarURL)223
if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {224
t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))225
}226
if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {227
t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))228
}229
want := "bluegit-" + sha + "/hello.txt"230
if !containsString(tarNames(t, anon.body), want) {231
t.Fatal("tar mist " + want)232
}233
tokenRes := getBearer(t, tarURL, token)234
tokenBody := []byte(read(t, tokenRes))235
if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {236
t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))237
}238
239
masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"240
anonMaster := getBody(t, &http.Client{}, masterURL)241
masterToken := getBearer(t, masterURL, token)242
masterTokenBody := read(t, masterToken)243
if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {244
t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)245
}246
if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {247
t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)248
}249
if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {250
t.Fatal("404 mist de BlueGit-headers")251
}252
}253
161
func tarNames(t *testing.T, gz []byte) []string {254
func tarNames(t *testing.T, gz []byte) []string {162
t.Helper()255
t.Helper()163
zr, err := gzip.NewReader(bytes.NewReader(gz))256
zr, err := gzip.NewReader(bytes.NewReader(gz))@@ -935,9 +935,13 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935
935
}
936
936
937
937
// CountRunningJobs telt jobs die Steve nu uitvoert.
938
// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939
// en probeert opnieuw tot de self-update de binary heeft vervangen.
940
// Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941
// pacman -U.
938
942
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
939
943
var n int
940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
944
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
941
945
return n, err
942
946
}
943
947
@@ -935,9 +935,13 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {935
}935
}936
936
937
// CountRunningJobs telt jobs die Steve nu uitvoert.937
// CountRunningJobs telt jobs die Steve nu uitvoert.938
// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op939
// en probeert opnieuw tot de self-update de binary heeft vervangen.940
// Meerekenen laat wait_until_idle op die retry wachten, en de retry op941
// pacman -U.938
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {942
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {939
var n int943
var n int940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)944
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)941
return n, err945
return n, err942
}946
}943
947
@@ -0,0 +1,43 @@
1
package store
2
3
import (
4
"context"
5
"testing"
6
)
7
8
func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9
s := openTest(t)
10
ctx := context.Background()
11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12
if err != nil {
13
t.Fatal(err)
14
}
15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16
if err != nil {
17
t.Fatal(err)
18
}
19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20
{Name: "test", Stage: "test", Script: "go test"},
21
{Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22
})
23
if err != nil {
24
t.Fatal(err)
25
}
26
set := func(name, status string) {
27
t.Helper()
28
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29
t.Fatal(err)
30
}
31
}
32
set("test", "running")
33
set("publish_aur", "running")
34
n, err := s.CountRunningJobs(ctx)
35
if err != nil || n != 1 {
36
t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37
}
38
set("test", "success")
39
n, err = s.CountRunningJobs(ctx)
40
if err != nil || n != 0 {
41
t.Fatalf("alleen publish_aur: %d %v", n, err)
42
}
43
}
@@ -0,0 +1,43 @@1
package store2
3
import (4
"context"5
"testing"6
)7
8
func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {9
s := openTest(t)10
ctx := context.Background()11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)12
if err != nil {13
t.Fatal(err)14
}15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")16
if err != nil {17
t.Fatal(err)18
}19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{20
{Name: "test", Stage: "test", Script: "go test"},21
{Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},22
})23
if err != nil {24
t.Fatal(err)25
}26
set := func(name, status string) {27
t.Helper()28
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {29
t.Fatal(err)30
}31
}32
set("test", "running")33
set("publish_aur", "running")34
n, err := s.CountRunningJobs(ctx)35
if err != nil || n != 1 {36
t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)37
}38
set("test", "success")39
n, err = s.CountRunningJobs(ctx)40
if err != nil || n != 0 {41
t.Fatalf("alleen publish_aur: %d %v", n, err)42
}43
}@@ -71,6 +71,9 @@ write_status() {
71
71
mv -f "$tmp" "$STATUS"
72
72
}
73
73
74
# running komt uit de API. publish_aur telt daar niet mee: die job blijft
75
# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76
# op de job die op pacman -U wacht.
74
77
wait_until_idle() {
75
78
local deadline body n poll
76
79
poll="$BLUEGIT_UPDATE_POLL"
@@ -71,6 +71,9 @@ write_status() {71
mv -f "$tmp" "$STATUS"71
mv -f "$tmp" "$STATUS"72
}72
}73
73
74
# running komt uit de API. publish_aur telt daar niet mee: die job blijft75
# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop76
# op de job die op pacman -U wacht.74
wait_until_idle() {77
wait_until_idle() {75
local deadline body n poll78
local deadline body n poll76
poll="$BLUEGIT_UPDATE_POLL"79
poll="$BLUEGIT_UPDATE_POLL"@@ -1,6 +1,8 @@
1
1
package scripts
2
2
3
3
import (
4
"net/http"
5
"net/http/httptest"
4
6
"os"
5
7
"os/exec"
6
8
"path/filepath"
@@ -566,6 +568,69 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
566
568
return strings.TrimSpace(string(out))
567
569
}
568
570
571
func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572
if _, err := exec.LookPath("curl"); err != nil {
573
t.Skip("curl ontbreekt")
574
}
575
root := filepath.Join("..")
576
pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577
if err != nil {
578
t.Fatal(err)
579
}
580
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581
if !strings.Contains(string(pkg), published) {
582
t.Fatalf("PKGBUILD mist %s", published)
583
}
584
sha := "0123456789abcdef0123456789abcdef01234567"
585
path := strings.TrimPrefix(published, "https://git.timfalken.com")
586
path = strings.ReplaceAll(path, "${_commit}", sha)
587
var hits int
588
payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590
if r.URL.Path != path {
591
http.NotFound(w, r)
592
return
593
}
594
hits++
595
if hits < 3 {
596
http.NotFound(w, r)
597
return
598
}
599
w.Header().Set("Content-Type", "application/gzip")
600
_, _ = w.Write(payload)
601
}))
602
t.Cleanup(srv.Close)
603
dest := filepath.Join(t.TempDir(), "source.tar.gz")
604
script := filepath.Join(root, "scripts", "publish-aur.sh")
605
cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606
cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607
if out, err := cmd.CombinedOutput(); err != nil {
608
t.Fatalf("fetch: %v %s", err, out)
609
}
610
got, err := os.ReadFile(dest)
611
if err != nil {
612
t.Fatal(err)
613
}
614
if string(got) != string(payload) || hits != 3 {
615
t.Fatalf("hits %d body %q", hits, got)
616
}
617
618
miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619
http.NotFound(w, r)
620
}))
621
t.Cleanup(miss.Close)
622
failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623
fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624
fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625
out, err := fail.CombinedOutput()
626
if err == nil {
627
t.Fatal("een blijvende 404 hoort te falen")
628
}
629
if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630
t.Fatalf("melding: %s", out)
631
}
632
}
633
569
634
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
570
635
// kernel user namespaces weigert. In een container is de binary er vaak
571
636
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
@@ -1,6 +1,8 @@1
package scripts1
package scripts2
2
3
import (3
import (4
"net/http"5
"net/http/httptest"4
"os"6
"os"5
"os/exec"7
"os/exec"6
"path/filepath"8
"path/filepath"@@ -566,6 +568,69 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {566
return strings.TrimSpace(string(out))568
return strings.TrimSpace(string(out))567
}569
}568
570
571
func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {572
if _, err := exec.LookPath("curl"); err != nil {573
t.Skip("curl ontbreekt")574
}575
root := filepath.Join("..")576
pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))577
if err != nil {578
t.Fatal(err)579
}580
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"581
if !strings.Contains(string(pkg), published) {582
t.Fatalf("PKGBUILD mist %s", published)583
}584
sha := "0123456789abcdef0123456789abcdef01234567"585
path := strings.TrimPrefix(published, "https://git.timfalken.com")586
path = strings.ReplaceAll(path, "${_commit}", sha)587
var hits int588
payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}589
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {590
if r.URL.Path != path {591
http.NotFound(w, r)592
return593
}594
hits++595
if hits < 3 {596
http.NotFound(w, r)597
return598
}599
w.Header().Set("Content-Type", "application/gzip")600
_, _ = w.Write(payload)601
}))602
t.Cleanup(srv.Close)603
dest := filepath.Join(t.TempDir(), "source.tar.gz")604
script := filepath.Join(root, "scripts", "publish-aur.sh")605
cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)606
cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")607
if out, err := cmd.CombinedOutput(); err != nil {608
t.Fatalf("fetch: %v %s", err, out)609
}610
got, err := os.ReadFile(dest)611
if err != nil {612
t.Fatal(err)613
}614
if string(got) != string(payload) || hits != 3 {615
t.Fatalf("hits %d body %q", hits, got)616
}617
618
miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {619
http.NotFound(w, r)620
}))621
t.Cleanup(miss.Close)622
failDest := filepath.Join(t.TempDir(), "missing.tar.gz")623
fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)624
fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")625
out, err := fail.CombinedOutput()626
if err == nil {627
t.Fatal("een blijvende 404 hoort te falen")628
}629
if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {630
t.Fatalf("melding: %s", out)631
}632
}633
569
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de634
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de570
// kernel user namespaces weigert. In een container is de binary er vaak635
// kernel user namespaces weigert. In een container is de binary er vaak571
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.636
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.@@ -67,6 +67,39 @@ utc_digits() {
67
67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68
68
}
69
69
70
# fetch_archive URL DEST
71
# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72
# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73
# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74
fetch_archive() {
75
local url="$1" dest="$2"
76
local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77
local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78
local i=1
79
[[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80
[[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81
while true; do
82
if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83
return 0
84
fi
85
rm -f "$dest"
86
if (( i >= attempts )); then
87
echo "Could not download $url" >&2
88
return 1
89
fi
90
echo "Archive not ready (${i}/${attempts}): $url" >&2
91
sleep "$pause"
92
i=$((i + 1))
93
done
94
}
95
96
if [[ "${1:-}" == "--fetch-only" ]]; then
97
command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98
[[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99
fetch_archive "$2" "$3"
100
exit
101
fi
102
70
103
if [[ "${1:-}" == "--rewrite-only" ]]; then
71
104
rewrite_pkgbuild "$2" "$3" "$4" "$5"
72
105
exit 0
@@ -96,8 +129,7 @@ trap cleanup EXIT
96
129
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
97
130
TMP_SOURCE="$WORKDIR/source.tar.gz"
98
131
echo "Checking source tarball: $SOURCE_URL"
99
if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
100
echo "Could not download $SOURCE_URL" >&2
132
if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
101
133
exit 1
102
134
fi
103
135
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
@@ -67,6 +67,39 @@ utc_digits() {67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S68
}68
}69
69
70
# fetch_archive URL DEST71
# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,72
# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.73
# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.74
fetch_archive() {75
local url="$1" dest="$2"76
local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"77
local pause="${AUR_ARCHIVE_INTERVAL:-10}"78
local i=179
[[ "$attempts" =~ ^[0-9]+$ ]] || attempts=6080
[[ "$pause" =~ ^[0-9]+$ ]] || pause=1081
while true; do82
if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then83
return 084
fi85
rm -f "$dest"86
if (( i >= attempts )); then87
echo "Could not download $url" >&288
return 189
fi90
echo "Archive not ready (${i}/${attempts}): $url" >&291
sleep "$pause"92
i=$((i + 1))93
done94
}95
96
if [[ "${1:-}" == "--fetch-only" ]]; then97
command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }98
[[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }99
fetch_archive "$2" "$3"100
exit101
fi102
70
if [[ "${1:-}" == "--rewrite-only" ]]; then103
if [[ "${1:-}" == "--rewrite-only" ]]; then71
rewrite_pkgbuild "$2" "$3" "$4" "$5"104
rewrite_pkgbuild "$2" "$3" "$4" "$5"72
exit 0105
exit 0@@ -96,8 +129,7 @@ trap cleanup EXIT96
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"129
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"97
TMP_SOURCE="$WORKDIR/source.tar.gz"130
TMP_SOURCE="$WORKDIR/source.tar.gz"98
echo "Checking source tarball: $SOURCE_URL"131
echo "Checking source tarball: $SOURCE_URL"99
if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then132
if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then100
echo "Could not download $SOURCE_URL" >&2101
exit 1133
exit 1102
fi134
fi103
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"135
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"