fix: laat publish_aur na self_update draaien
needs: [] haalde het archief op terwijl de vorige binary nog draaide. De job wacht nu op self_update. Co-authored-by: tim <tim@timfalken.com>
@@ -64,17 +64,13 @@ jobs:
64
64
paths: [bluegit]
65
65
expire_in: 14d
66
66
67
# Na self_update. needs: [] haalde het archief op terwijl de vorige binary
68
# nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;
69
# publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft
70
# gezet. when: always zodat een mislukte update de publicatie niet skipt.
67
# Na self_update. needs: [] liep tegen de binary van de vorige release.
71
68
# allow_failure: een AUR-storing maakt de pipeline niet rood.
72
69
publish_aur:
73
70
stage: release
74
71
image: archlinux/archlinux:base-devel
75
72
extends: .on_master
76
73
needs: [self_update]
77
when: always
78
74
allow_failure: true
79
75
script:
80
76
- pacman -Syu --noconfirm
@@ -83,8 +79,8 @@ jobs:
83
79
- ./scripts/aur-ssh-setup.sh
84
80
- ./scripts/publish-aur.sh
85
81
86
# Na een geslaagde build. De updater bouwt zelf uit git; dit artifact
87
# gaat niet mee. publish_aur wacht op deze job, niet andersom.
82
# Na een geslaagde build. publish_aur wacht op deze job.
83
# De updater bouwt zelf uit git; dit artifact gaat niet mee.
88
84
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.
89
85
# CI_API_URL eindigt op /api/v1.
90
86
self_update:
@@ -64,17 +64,13 @@ jobs:64
paths: [bluegit]64
paths: [bluegit]65
expire_in: 14d65
expire_in: 14d66
66
67
# Na self_update. needs: [] haalde het archief op terwijl de vorige binary67
# Na self_update. needs: [] liep tegen de binary van de vorige release.68
# nog draaide en kreeg 404 op /-/archive/<sha>. De CI-job stopt bij HTTP 202;69
# publish-aur.sh probeert daarna opnieuw tot pacman de nieuwe binary heeft70
# gezet. when: always zodat een mislukte update de publicatie niet skipt.71
# allow_failure: een AUR-storing maakt de pipeline niet rood.68
# allow_failure: een AUR-storing maakt de pipeline niet rood.72
publish_aur:69
publish_aur:73
stage: release70
stage: release74
image: archlinux/archlinux:base-devel71
image: archlinux/archlinux:base-devel75
extends: .on_master72
extends: .on_master76
needs: [self_update]73
needs: [self_update]77
when: always78
allow_failure: true74
allow_failure: true79
script:75
script:80
- pacman -Syu --noconfirm76
- pacman -Syu --noconfirm@@ -83,8 +79,8 @@ jobs:83
- ./scripts/aur-ssh-setup.sh79
- ./scripts/aur-ssh-setup.sh84
- ./scripts/publish-aur.sh80
- ./scripts/publish-aur.sh85
81
86
# Na een geslaagde build. De updater bouwt zelf uit git; dit artifact82
# Na een geslaagde build. publish_aur wacht op deze job.87
# gaat niet mee. publish_aur wacht op deze job, niet andersom.83
# De updater bouwt zelf uit git; dit artifact gaat niet mee.88
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.84
# BLUEGIT_UPDATE_TOKEN is hetzelfde geheim als in /etc/bluegit/env.89
# CI_API_URL eindigt op /api/v1.85
# CI_API_URL eindigt op /api/v1.90
self_update:86
self_update:@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd
55
55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |
56
56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |
57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.
59
59
60
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:
61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b
78
78
79
79
## Self-update
80
80
81
Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:
81
`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:
82
82
83
83
```yaml
84
84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \
@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu
93
93
94
94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.
95
95
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.
97
97
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.
99
99
100
100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.
101
101
@@ -55,7 +55,7 @@ Markeer de geheimen als beschermd en bescherm de branch `master`. Een beschermd55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |55
| `AUR_GIT_AUTHOR_EMAIL` | e-mail in de AUR-commit |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |56
| `BLUEGIT_UPDATE_TOKEN` | dezelfde waarde als `BLUEGIT_UPDATE_TOKEN` in `/etc/bluegit/env` op de mini-PC |57
57
58
`publish_aur` draait op `master` en `main`, met `allow_failure: true`, `when: always` en `needs: [self_update]`. Hij start pas als de self-update-job klaar is. Die job stopt bij HTTP 202, nog vóór `pacman -U`, dus `scripts/publish-aur.sh` probeert het archief opnieuw tot de URL antwoordt (standaard 60 keer, 10 seconden ertussen). Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over. `/-/archive/master/` blijft 404: alleen een volledige sha van 40 hex-tekens geeft bytes die bij `sha256sums` horen.58
`publish_aur` draait op `master` en `main`, met `allow_failure: true` en `needs: [self_update]`, zodat hij pas start als de self-update-job klaar is. Een AUR-storing maakt de pipeline niet rood. Een merge-request-pipeline slaat hem over.59
59
60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:60
`self_update` draait in dezelfde stage, wacht op `build`, en roept daarna de draaiende instantie aan:61
61
@@ -78,7 +78,7 @@ Het clonet of werkt `ssh://aur@aur.archlinux.org/bluegit.git` bij in `~/.cache/b78
78
79
## Self-update79
## Self-update80
80
81
Een push naar `master` hoeft niet op de AUR te wachten. `self_update` wacht alleen op `build`, niet op `publish_aur`. `publish_aur` wacht wel op `self_update`. De updater telt `publish_aur` niet als lopende job, anders blijft `wait_until_idle` hangen op de retry die juist op de nieuwe binary wacht. Die telling zit in de binary en geldt pas nadat deze versie geïnstalleerd is. `self_update` doet dan:81
`self_update` wacht op `build`. `publish_aur` wacht op die job (`needs: [self_update]`, `allow_failure: true`) en publiceert daarna. `self_update` doet dan:82
82
83
```yaml83
```yaml84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \84
curl -fsS -X POST "$CI_API_URL/admin/self-update" \@@ -93,9 +93,9 @@ De polkit-regel `packaging/bluegit-update.rules` laat gebruiker `bluegit` uitslu93
93
94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.94
`/usr/lib/bluegit/update` (uit `packaging/bluegit-update.sh`) wacht tot `GET /api/v1/admin/self-update` `"running":0` meldt, ook na de bouw en vóór `pacman -U`. Hij cloont niet van GitLab: `BLUEGIT_UPDATE_REPO` in `/etc/bluegit/env` wijst naar de lokale bare repo, bijvoorbeeld `/srv/bluegit/tim/bluegit.git`. `pkgver` is de UTC-committertijd van die commit (`YYYYMMDDHHMMSS`), dezelfde regel als het lokale AUR-script, zodat `yay` later geen downgrade of upgrade verzint voor dezelfde sha. `makepkg` draait als `bluegit-build`. Die gebruiker maakt de install-hook aan via `systemd-sysusers` (`packaging/sysusers.conf`). `pacman -U --noconfirm` installeert het pakket. `post_upgrade` in `bluegit.install` doet `systemctl try-restart bluegit.service`.95
95
96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Een job met de naam `publish_aur` telt niet mee. Zonder sleutel is het antwoord 404, met een foute sleutel 401.96
Mislukt de bouw of de installatie, dan blijft de oude versie staan. De uitvoer staat in het journal van `bluegit-update.service` en, vanaf deze versie, in `/var/lib/bluegit/update.log`. Elke run maakt dat bestand leeg en schrijft het opnieuw (mode 644). `GET /api/v1/admin/self-update` met dezelfde Bearer als de POST geeft `running`, `status`, `sha`, `started_at`, `result`, `error` en `log` (de laatste 200 regels). Het object `update` blijft. Het veld `running` blijft, want de updater wacht tot dat 0 is. Zonder sleutel is het antwoord 404, met een foute sleutel 401.97
97
98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot `running` 0 is, ook vóór `pacman -U`. `publish_aur` zit niet in die telling, zodat de retry van het archief de installatie niet blokkeert. `openapi.json` blijft 404 zolang de oude binary draait.98
Een POST die 202 teruggeeft is nog geen installatie. De unit wacht tot `BLUEGIT_UPDATE_TIMEOUT` (standaard 1800 seconden) tot er geen job meer `queued` of `running` is, ook vóór `pacman -U`. `openapi.json` blijft 404 zolang de oude binary draait.99
99
100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.100
`packaging/aur/PKGBUILD` heeft geen `check()`. `makepkg` draait de testsuite niet en komt `unshare` dus niet tegen. De bouw is `go build`. `pkgver` komt uit `git show` op `BLUEGIT_UPDATE_REPO`. Die aanroep zet `safe.directory`: Git weigert ook als root een repo van een andere uid. Mislukt git, dan stopt het script en wordt de status `failed`. Het script dat nu geïnstalleerd is, is dat van het vorige pakket. Deze log en `safe.directory` gelden pas nadat een update deze versie echt geïnstalleerd heeft. Het script schrijft `/var/lib/bluegit/update-status.json` met tijd, sha en resultaat (`running`, `ok`, `failed`). Een installatiebeheerder ziet dat op de Info-pagina en op de setup-pagina.101
101
@@ -88,18 +88,9 @@ func TestBlueGitExampleFile(t *testing.T) {
88
88
t.Fatalf("master %d %v", len(active), err)
89
89
}
90
90
aur := by["publish_aur"]
91
if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {
92
92
t.Fatalf("publish_aur: %+v", aur)
93
93
}
94
var selected Job
95
for _, j := range active {
96
if j.Name == "publish_aur" {
97
selected = j
98
}
99
}
100
if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {
101
t.Fatalf("geselecteerde publish_aur: %+v", selected)
102
}
103
94
if Gate(p.Jobs, map[string]string{
104
95
"vet": "success", "test": "success", "frontend_checks": "success",
105
96
"build": "success", "self_update": "running",
@@ -110,13 +101,7 @@ func TestBlueGitExampleFile(t *testing.T) {
110
101
"vet": "success", "test": "success", "frontend_checks": "success",
111
102
"build": "success", "self_update": "success",
112
103
}, aur) != "ready" {
113
t.Fatal("publish_aur start na een geslaagde self_update")
114
}
115
if Gate(p.Jobs, map[string]string{
116
"vet": "failed", "test": "failed", "frontend_checks": "failed",
117
"build": "skipped", "self_update": "failed",
118
}, aur) != "ready" {
119
t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")
104
t.Fatal("publish_aur start na self_update")
120
105
}
121
106
upd := by["self_update"]
122
107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {
@@ -88,18 +88,9 @@ func TestBlueGitExampleFile(t *testing.T) {88
t.Fatalf("master %d %v", len(active), err)88
t.Fatalf("master %d %v", len(active), err)89
}89
}90
aur := by["publish_aur"]90
aur := by["publish_aur"]91
if !aur.AllowFailure || !aur.NeedsSet || aur.When != "always" || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {91
if !aur.AllowFailure || !aur.NeedsSet || len(aur.Needs) != 1 || aur.Needs[0] != "self_update" {92
t.Fatalf("publish_aur: %+v", aur)92
t.Fatalf("publish_aur: %+v", aur)93
}93
}94
var selected Job95
for _, j := range active {96
if j.Name == "publish_aur" {97
selected = j98
}99
}100
if selected.When != "always" || len(selected.Needs) != 1 || selected.Needs[0] != "self_update" {101
t.Fatalf("geselecteerde publish_aur: %+v", selected)102
}103
if Gate(p.Jobs, map[string]string{94
if Gate(p.Jobs, map[string]string{104
"vet": "success", "test": "success", "frontend_checks": "success",95
"vet": "success", "test": "success", "frontend_checks": "success",105
"build": "success", "self_update": "running",96
"build": "success", "self_update": "running",@@ -110,13 +101,7 @@ func TestBlueGitExampleFile(t *testing.T) {110
"vet": "success", "test": "success", "frontend_checks": "success",101
"vet": "success", "test": "success", "frontend_checks": "success",111
"build": "success", "self_update": "success",102
"build": "success", "self_update": "success",112
}, aur) != "ready" {103
}, aur) != "ready" {113
t.Fatal("publish_aur start na een geslaagde self_update")104
t.Fatal("publish_aur start na self_update")114
}115
if Gate(p.Jobs, map[string]string{116
"vet": "failed", "test": "failed", "frontend_checks": "failed",117
"build": "skipped", "self_update": "failed",118
}, aur) != "ready" {119
t.Fatal("een mislukte self_update hoort de AUR-publicatie niet over te slaan")120
}105
}121
upd := by["self_update"]106
upd := by["self_update"]122
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {107
if !upd.NeedsSet || len(upd.Needs) != 1 || upd.Needs[0] != "build" {@@ -12,7 +12,6 @@ import (
12
12
"net/http/cookiejar"
13
13
"net/http/httptest"
14
14
"net/url"
15
"os"
16
15
"os/exec"
17
16
"path/filepath"
18
17
"strings"
@@ -159,98 +158,6 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {
159
158
return bodyResult{code: res.StatusCode, header: res.Header, body: body}
160
159
}
161
160
162
// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.
163
// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.
164
// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist
165
// 40 kleine hex-tekens, met en zonder Authorization-header.
166
func TestPKGBUILDArchiveURL(t *testing.T) {
167
if _, err := exec.LookPath("git"); err != nil {
168
t.Skip("git ontbreekt")
169
}
170
pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))
171
if err != nil {
172
t.Fatal(err)
173
}
174
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
175
if !strings.Contains(string(pkg), published) {
176
t.Fatalf("PKGBUILD mist %s", published)
177
}
178
179
storage := t.TempDir()
180
st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())
181
if err != nil {
182
t.Fatal(err)
183
}
184
t.Cleanup(func() { _ = st.Close() })
185
cfg := config.Config{
186
BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,
187
Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},
188
Git: config.Git{Binary: "git", DefaultBranch: "master"},
189
}
190
srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}
191
ts := httptest.NewServer(srv.Handler())
192
t.Cleanup(ts.Close)
193
jar, _ := cookiejar.New(nil)
194
tim := &http.Client{Jar: jar}
195
196
page := read(t, mustGet(t, tim, ts.URL+"/login"))
197
page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{
198
"csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},
199
}))
200
page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{
201
"csrf": {csrfOf(t, page)}, "name": {"aur"},
202
}))
203
token := between(page, `<p class="code">`, "</p>")
204
if !strings.HasPrefix(token, "bg_") {
205
t.Fatalf("token %q", token)
206
}
207
work := t.TempDir()
208
git(t, work, "init", "-b", "master")
209
git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")
210
git(t, work, "config", "user.name", "timfa")
211
writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")
212
git(t, work, "add", "hello.txt")
213
git(t, work, "commit", "-m", "start")
214
remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"
215
git(t, work, "remote", "add", "origin", remote)
216
git(t, work, "push", "-u", "origin", "master")
217
sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))
218
219
path := strings.TrimPrefix(published, "https://git.timfalken.com")
220
path = strings.ReplaceAll(path, "${_commit}", sha)
221
tarURL := ts.URL + path
222
anon := getBody(t, &http.Client{}, tarURL)
223
if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {
224
t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))
225
}
226
if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {
227
t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))
228
}
229
want := "bluegit-" + sha + "/hello.txt"
230
if !containsString(tarNames(t, anon.body), want) {
231
t.Fatal("tar mist " + want)
232
}
233
tokenRes := getBearer(t, tarURL, token)
234
tokenBody := []byte(read(t, tokenRes))
235
if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {
236
t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))
237
}
238
239
masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"
240
anonMaster := getBody(t, &http.Client{}, masterURL)
241
masterToken := getBearer(t, masterURL, token)
242
masterTokenBody := read(t, masterToken)
243
if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {
244
t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)
245
}
246
if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {
247
t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)
248
}
249
if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {
250
t.Fatal("404 mist de BlueGit-headers")
251
}
252
}
253
254
161
func tarNames(t *testing.T, gz []byte) []string {
255
162
t.Helper()
256
163
zr, err := gzip.NewReader(bytes.NewReader(gz))
@@ -12,7 +12,6 @@ import (12
"net/http/cookiejar"12
"net/http/cookiejar"13
"net/http/httptest"13
"net/http/httptest"14
"net/url"14
"net/url"15
"os"16
"os/exec"15
"os/exec"17
"path/filepath"16
"path/filepath"18
"strings"17
"strings"@@ -159,98 +158,6 @@ func getBody(t *testing.T, c *http.Client, raw string) bodyResult {159
return bodyResult{code: res.StatusCode, header: res.Header, body: body}158
return bodyResult{code: res.StatusCode, header: res.Header, body: body}160
}159
}161
160
162
// TestPKGBUILDArchiveURL vraagt de bron-URL uit packaging/aur/PKGBUILD.163
// Die vorm is /timfa/bluegit/-/archive/<sha>/bluegit-<sha>.tar.gz.164
// /-/archive/master/bluegit-master.tar.gz blijft 404: fullHexSHA eist165
// 40 kleine hex-tekens, met en zonder Authorization-header.166
func TestPKGBUILDArchiveURL(t *testing.T) {167
if _, err := exec.LookPath("git"); err != nil {168
t.Skip("git ontbreekt")169
}170
pkg, err := os.ReadFile(filepath.Join("..", "..", "packaging", "aur", "PKGBUILD"))171
if err != nil {172
t.Fatal(err)173
}174
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"175
if !strings.Contains(string(pkg), published) {176
t.Fatalf("PKGBUILD mist %s", published)177
}178
179
storage := t.TempDir()180
st, err := store.Open(filepath.Join(storage, "bluegit.db"), bytes32())181
if err != nil {182
t.Fatal(err)183
}184
t.Cleanup(func() { _ = st.Close() })185
cfg := config.Config{186
BaseURL: "http://127.0.0.1:9", Listen: "127.0.0.1:0", StoragePath: storage,187
Auth: config.Auth{Mode: "dev", DevUser: "timfa", DevAuthID: 1, UserAgent: "test", BaseURL: "https://auth.timfalken.com"},188
Git: config.Git{Binary: "git", DefaultBranch: "master"},189
}190
srv := &Server{Cfg: cfg, Store: st, Auth: auth.Dev{Username: "timfa", AuthID: 1}, Dev: true, Git: "git", HookBin: "/bin/true"}191
ts := httptest.NewServer(srv.Handler())192
t.Cleanup(ts.Close)193
jar, _ := cookiejar.New(nil)194
tim := &http.Client{Jar: jar}195
196
page := read(t, mustGet(t, tim, ts.URL+"/login"))197
page = read(t, mustPost(t, tim, ts.URL+"/new/repo", url.Values{198
"csrf": {csrfOf(t, page)}, "name": {"bluegit"}, "visibility": {"public"},199
}))200
page = read(t, mustPost(t, tim, ts.URL+"/settings/tokens", url.Values{201
"csrf": {csrfOf(t, page)}, "name": {"aur"},202
}))203
token := between(page, `<p class="code">`, "</p>")204
if !strings.HasPrefix(token, "bg_") {205
t.Fatalf("token %q", token)206
}207
work := t.TempDir()208
git(t, work, "init", "-b", "master")209
git(t, work, "config", "user.email", "timfa@users.git.timfalken.com")210
git(t, work, "config", "user.name", "timfa")211
writeFile(t, filepath.Join(work, "hello.txt"), "alpha\n")212
git(t, work, "add", "hello.txt")213
git(t, work, "commit", "-m", "start")214
remote := strings.Replace(ts.URL, "http://", "http://timfa:"+token+"@", 1) + "/timfa/bluegit.git"215
git(t, work, "remote", "add", "origin", remote)216
git(t, work, "push", "-u", "origin", "master")217
sha := strings.TrimSpace(gitOutOK(t, work, "rev-parse", "HEAD"))218
219
path := strings.TrimPrefix(published, "https://git.timfalken.com")220
path = strings.ReplaceAll(path, "${_commit}", sha)221
tarURL := ts.URL + path222
anon := getBody(t, &http.Client{}, tarURL)223
if anon.code != http.StatusOK || len(anon.body) < 2 || anon.body[0] != 0x1f || anon.body[1] != 0x8b {224
t.Fatalf("PKGBUILD-archief %d, lengte %d", anon.code, len(anon.body))225
}226
if !strings.Contains(anon.header.Get("Content-Disposition"), "bluegit-"+sha+".tar.gz") {227
t.Fatalf("bestandsnaam: %s", anon.header.Get("Content-Disposition"))228
}229
want := "bluegit-" + sha + "/hello.txt"230
if !containsString(tarNames(t, anon.body), want) {231
t.Fatal("tar mist " + want)232
}233
tokenRes := getBearer(t, tarURL, token)234
tokenBody := []byte(read(t, tokenRes))235
if tokenRes.StatusCode != http.StatusOK || !bytes.Equal(anon.body, tokenBody) {236
t.Fatalf("met token %d, gelijk %v", tokenRes.StatusCode, bytes.Equal(anon.body, tokenBody))237
}238
239
masterURL := ts.URL + "/timfa/bluegit/-/archive/master/bluegit-master.tar.gz"240
anonMaster := getBody(t, &http.Client{}, masterURL)241
masterToken := getBearer(t, masterURL, token)242
masterTokenBody := read(t, masterToken)243
if anonMaster.code != http.StatusNotFound || string(anonMaster.body) != "404 page not found\n" {244
t.Fatalf("branch-archief anoniem %d %q", anonMaster.code, anonMaster.body)245
}246
if masterToken.StatusCode != http.StatusNotFound || masterTokenBody != "404 page not found\n" {247
t.Fatalf("branch-archief met token %d %q", masterToken.StatusCode, masterTokenBody)248
}249
if anonMaster.header.Get("Content-Security-Policy") == "" || masterToken.Header.Get("Content-Security-Policy") == "" {250
t.Fatal("404 mist de BlueGit-headers")251
}252
}253
254
func tarNames(t *testing.T, gz []byte) []string {161
func tarNames(t *testing.T, gz []byte) []string {255
t.Helper()162
t.Helper()256
zr, err := gzip.NewReader(bytes.NewReader(gz))163
zr, err := gzip.NewReader(bytes.NewReader(gz))@@ -935,13 +935,9 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {
935
935
}
936
936
937
937
// CountRunningJobs telt jobs die Steve nu uitvoert.
938
// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op
939
// en probeert opnieuw tot de self-update de binary heeft vervangen.
940
// Meerekenen laat wait_until_idle op die retry wachten, en de retry op
941
// pacman -U.
942
938
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {
943
939
var n int
944
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)
940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)
945
941
return n, err
946
942
}
947
943
@@ -935,13 +935,9 @@ func (s *Store) MarkJobRunning(ctx context.Context, id int64) (bool, error) {935
}935
}936
936
937
// CountRunningJobs telt jobs die Steve nu uitvoert.937
// CountRunningJobs telt jobs die Steve nu uitvoert.938
// publish_aur blijft buiten de telling. Die job haalt het AUR-archief op939
// en probeert opnieuw tot de self-update de binary heeft vervangen.940
// Meerekenen laat wait_until_idle op die retry wachten, en de retry op941
// pacman -U.942
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {938
func (s *Store) CountRunningJobs(ctx context.Context) (int, error) {943
var n int939
var n int944
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running' AND name != 'publish_aur'`).Scan(&n)940
err := s.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM jobs WHERE status = 'running'`).Scan(&n)945
return n, err941
return n, err946
}942
}947
943
@@ -1,43 +0,0 @@
1
package store
2
3
import (
4
"context"
5
"testing"
6
)
7
8
func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {
9
s := openTest(t)
10
ctx := context.Background()
11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
12
if err != nil {
13
t.Fatal(err)
14
}
15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")
16
if err != nil {
17
t.Fatal(err)
18
}
19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{
20
{Name: "test", Stage: "test", Script: "go test"},
21
{Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},
22
})
23
if err != nil {
24
t.Fatal(err)
25
}
26
set := func(name, status string) {
27
t.Helper()
28
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {
29
t.Fatal(err)
30
}
31
}
32
set("test", "running")
33
set("publish_aur", "running")
34
n, err := s.CountRunningJobs(ctx)
35
if err != nil || n != 1 {
36
t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)
37
}
38
set("test", "success")
39
n, err = s.CountRunningJobs(ctx)
40
if err != nil || n != 0 {
41
t.Fatalf("alleen publish_aur: %d %v", n, err)
42
}
43
}
@@ -1,43 +0,0 @@1
package store2
3
import (4
"context"5
"testing"6
)7
8
func TestCountRunningJobsSkipsPublishAUR(t *testing.T) {9
s := openTest(t)10
ctx := context.Background()11
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)12
if err != nil {13
t.Fatal(err)14
}15
repo, err := s.CreateRepo(ctx, "user", tim.ID, "ci", "", "master", "private")16
if err != nil {17
t.Fatal(err)18
}19
id, err := s.CreatePipeline(ctx, repo.ID, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "refs/heads/master", "push", "tim", "aur", []NewJob{20
{Name: "test", Stage: "test", Script: "go test"},21
{Name: "publish_aur", Stage: "release", Script: "aur", NeedsSet: true, AllowFailure: true},22
})23
if err != nil {24
t.Fatal(err)25
}26
set := func(name, status string) {27
t.Helper()28
if _, err := s.db.ExecContext(ctx, `UPDATE jobs SET status = ? WHERE pipeline_id = ? AND name = ?`, status, id, name); err != nil {29
t.Fatal(err)30
}31
}32
set("test", "running")33
set("publish_aur", "running")34
n, err := s.CountRunningJobs(ctx)35
if err != nil || n != 1 {36
t.Fatalf("running %d %v, publish_aur hoort niet mee te tellen", n, err)37
}38
set("test", "success")39
n, err = s.CountRunningJobs(ctx)40
if err != nil || n != 0 {41
t.Fatalf("alleen publish_aur: %d %v", n, err)42
}43
}@@ -71,9 +71,6 @@ write_status() {
71
71
mv -f "$tmp" "$STATUS"
72
72
}
73
73
74
# running komt uit de API. publish_aur telt daar niet mee: die job blijft
75
# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop
76
# op de job die op pacman -U wacht.
77
74
wait_until_idle() {
78
75
local deadline body n poll
79
76
poll="$BLUEGIT_UPDATE_POLL"
@@ -71,9 +71,6 @@ write_status() {71
mv -f "$tmp" "$STATUS"71
mv -f "$tmp" "$STATUS"72
}72
}73
73
74
# running komt uit de API. publish_aur telt daar niet mee: die job blijft75
# draaien tot deze installatie het archief uitdeelt. Anders wacht de loop76
# op de job die op pacman -U wacht.77
wait_until_idle() {74
wait_until_idle() {78
local deadline body n poll75
local deadline body n poll79
poll="$BLUEGIT_UPDATE_POLL"76
poll="$BLUEGIT_UPDATE_POLL"@@ -1,8 +1,6 @@
1
1
package scripts
2
2
3
3
import (
4
"net/http"
5
"net/http/httptest"
6
4
"os"
7
5
"os/exec"
8
6
"path/filepath"
@@ -568,69 +566,6 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {
568
566
return strings.TrimSpace(string(out))
569
567
}
570
568
571
func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {
572
if _, err := exec.LookPath("curl"); err != nil {
573
t.Skip("curl ontbreekt")
574
}
575
root := filepath.Join("..")
576
pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))
577
if err != nil {
578
t.Fatal(err)
579
}
580
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"
581
if !strings.Contains(string(pkg), published) {
582
t.Fatalf("PKGBUILD mist %s", published)
583
}
584
sha := "0123456789abcdef0123456789abcdef01234567"
585
path := strings.TrimPrefix(published, "https://git.timfalken.com")
586
path = strings.ReplaceAll(path, "${_commit}", sha)
587
var hits int
588
payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}
589
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
590
if r.URL.Path != path {
591
http.NotFound(w, r)
592
return
593
}
594
hits++
595
if hits < 3 {
596
http.NotFound(w, r)
597
return
598
}
599
w.Header().Set("Content-Type", "application/gzip")
600
_, _ = w.Write(payload)
601
}))
602
t.Cleanup(srv.Close)
603
dest := filepath.Join(t.TempDir(), "source.tar.gz")
604
script := filepath.Join(root, "scripts", "publish-aur.sh")
605
cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)
606
cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")
607
if out, err := cmd.CombinedOutput(); err != nil {
608
t.Fatalf("fetch: %v %s", err, out)
609
}
610
got, err := os.ReadFile(dest)
611
if err != nil {
612
t.Fatal(err)
613
}
614
if string(got) != string(payload) || hits != 3 {
615
t.Fatalf("hits %d body %q", hits, got)
616
}
617
618
miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
619
http.NotFound(w, r)
620
}))
621
t.Cleanup(miss.Close)
622
failDest := filepath.Join(t.TempDir(), "missing.tar.gz")
623
fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)
624
fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")
625
out, err := fail.CombinedOutput()
626
if err == nil {
627
t.Fatal("een blijvende 404 hoort te falen")
628
}
629
if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {
630
t.Fatalf("melding: %s", out)
631
}
632
}
633
634
569
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de
635
570
// kernel user namespaces weigert. In een container is de binary er vaak
636
571
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.
@@ -1,8 +1,6 @@1
package scripts1
package scripts2
2
3
import (3
import (4
"net/http"5
"net/http/httptest"6
"os"4
"os"7
"os/exec"5
"os/exec"8
"path/filepath"6
"path/filepath"@@ -568,69 +566,6 @@ func printPkgver(t *testing.T, script, sha, stamp string) string {568
return strings.TrimSpace(string(out))566
return strings.TrimSpace(string(out))569
}567
}570
568
571
func TestFetchUsesPKGBUILDArchiveURL(t *testing.T) {572
if _, err := exec.LookPath("curl"); err != nil {573
t.Skip("curl ontbreekt")574
}575
root := filepath.Join("..")576
pkg, err := os.ReadFile(filepath.Join(root, "packaging", "aur", "PKGBUILD"))577
if err != nil {578
t.Fatal(err)579
}580
const published = "https://git.timfalken.com/timfa/bluegit/-/archive/${_commit}/bluegit-${_commit}.tar.gz"581
if !strings.Contains(string(pkg), published) {582
t.Fatalf("PKGBUILD mist %s", published)583
}584
sha := "0123456789abcdef0123456789abcdef01234567"585
path := strings.TrimPrefix(published, "https://git.timfalken.com")586
path = strings.ReplaceAll(path, "${_commit}", sha)587
var hits int588
payload := []byte{0x1f, 0x8b, 0x08, 0x00, 'b', 'l', 'u', 'e'}589
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {590
if r.URL.Path != path {591
http.NotFound(w, r)592
return593
}594
hits++595
if hits < 3 {596
http.NotFound(w, r)597
return598
}599
w.Header().Set("Content-Type", "application/gzip")600
_, _ = w.Write(payload)601
}))602
t.Cleanup(srv.Close)603
dest := filepath.Join(t.TempDir(), "source.tar.gz")604
script := filepath.Join(root, "scripts", "publish-aur.sh")605
cmd := exec.Command("bash", script, "--fetch-only", srv.URL+path, dest)606
cmd.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=5", "AUR_ARCHIVE_INTERVAL=0")607
if out, err := cmd.CombinedOutput(); err != nil {608
t.Fatalf("fetch: %v %s", err, out)609
}610
got, err := os.ReadFile(dest)611
if err != nil {612
t.Fatal(err)613
}614
if string(got) != string(payload) || hits != 3 {615
t.Fatalf("hits %d body %q", hits, got)616
}617
618
miss := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {619
http.NotFound(w, r)620
}))621
t.Cleanup(miss.Close)622
failDest := filepath.Join(t.TempDir(), "missing.tar.gz")623
fail := exec.Command("bash", script, "--fetch-only", miss.URL+path, failDest)624
fail.Env = append(os.Environ(), "AUR_ARCHIVE_ATTEMPTS=2", "AUR_ARCHIVE_INTERVAL=0")625
out, err := fail.CombinedOutput()626
if err == nil {627
t.Fatal("een blijvende 404 hoort te falen")628
}629
if !strings.Contains(string(out), "Could not download") || !strings.Contains(string(out), path) {630
t.Fatalf("melding: %s", out)631
}632
}633
634
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de569
// skipWithoutUserNS slaat de test over als unshare ontbreekt of als de635
// kernel user namespaces weigert. In een container is de binary er vaak570
// kernel user namespaces weigert. In een container is de binary er vaak636
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.571
// wel, maar geeft unshare(CLONE_NEWUSER|CLONE_NEWNS) EPERM.@@ -67,39 +67,6 @@ utc_digits() {
67
67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S
68
68
}
69
69
70
# fetch_archive URL DEST
71
# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,
72
# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.
73
# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.
74
fetch_archive() {
75
local url="$1" dest="$2"
76
local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"
77
local pause="${AUR_ARCHIVE_INTERVAL:-10}"
78
local i=1
79
[[ "$attempts" =~ ^[0-9]+$ ]] || attempts=60
80
[[ "$pause" =~ ^[0-9]+$ ]] || pause=10
81
while true; do
82
if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then
83
return 0
84
fi
85
rm -f "$dest"
86
if (( i >= attempts )); then
87
echo "Could not download $url" >&2
88
return 1
89
fi
90
echo "Archive not ready (${i}/${attempts}): $url" >&2
91
sleep "$pause"
92
i=$((i + 1))
93
done
94
}
95
96
if [[ "${1:-}" == "--fetch-only" ]]; then
97
command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }
98
[[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }
99
fetch_archive "$2" "$3"
100
exit
101
fi
102
103
70
if [[ "${1:-}" == "--rewrite-only" ]]; then
104
71
rewrite_pkgbuild "$2" "$3" "$4" "$5"
105
72
exit 0
@@ -129,7 +96,8 @@ trap cleanup EXIT
129
96
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"
130
97
TMP_SOURCE="$WORKDIR/source.tar.gz"
131
98
echo "Checking source tarball: $SOURCE_URL"
132
if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then
99
if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then
100
echo "Could not download $SOURCE_URL" >&2
133
101
exit 1
134
102
fi
135
103
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"
@@ -67,39 +67,6 @@ utc_digits() {67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S67
TZ=UTC date -u -d "@$epoch" +%Y%m%d%H%M%S68
}68
}69
69
70
# fetch_archive URL DEST71
# De eerste poging is meteen. self_update antwoordt 202 zodra de unit start,72
# nog voor pacman de binary vervangt die /-/archive/<sha> uitdeelt.73
# AUR_ARCHIVE_ATTEMPTS (60) en AUR_ARCHIVE_INTERVAL (10s) overbruggen die bouw.74
fetch_archive() {75
local url="$1" dest="$2"76
local attempts="${AUR_ARCHIVE_ATTEMPTS:-60}"77
local pause="${AUR_ARCHIVE_INTERVAL:-10}"78
local i=179
[[ "$attempts" =~ ^[0-9]+$ ]] || attempts=6080
[[ "$pause" =~ ^[0-9]+$ ]] || pause=1081
while true; do82
if curl -fsSL --connect-timeout 5 --max-time 20 "$url" -o "$dest"; then83
return 084
fi85
rm -f "$dest"86
if (( i >= attempts )); then87
echo "Could not download $url" >&288
return 189
fi90
echo "Archive not ready (${i}/${attempts}): $url" >&291
sleep "$pause"92
i=$((i + 1))93
done94
}95
96
if [[ "${1:-}" == "--fetch-only" ]]; then97
command -v curl >/dev/null || { echo "Missing command: curl" >&2; exit 1; }98
[[ $# -eq 3 ]] || { echo "usage: publish-aur.sh --fetch-only URL DEST" >&2; exit 1; }99
fetch_archive "$2" "$3"100
exit101
fi102
103
if [[ "${1:-}" == "--rewrite-only" ]]; then70
if [[ "${1:-}" == "--rewrite-only" ]]; then104
rewrite_pkgbuild "$2" "$3" "$4" "$5"71
rewrite_pkgbuild "$2" "$3" "$4" "$5"105
exit 072
exit 0@@ -129,7 +96,8 @@ trap cleanup EXIT129
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"96
SOURCE_URL="https://git.timfalken.com/timfa/bluegit/-/archive/${COMMIT}/bluegit-${COMMIT}.tar.gz"130
TMP_SOURCE="$WORKDIR/source.tar.gz"97
TMP_SOURCE="$WORKDIR/source.tar.gz"131
echo "Checking source tarball: $SOURCE_URL"98
echo "Checking source tarball: $SOURCE_URL"132
if ! fetch_archive "$SOURCE_URL" "$TMP_SOURCE"; then99
if ! curl -fsSL "$SOURCE_URL" -o "$TMP_SOURCE"; then100
echo "Could not download $SOURCE_URL" >&2133
exit 1101
exit 1134
fi102
fi135
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"103
SOURCE_SHA="$(sha256sum "$TMP_SOURCE" | awk '{print $1}')"