Runner: werkmap echt leegmaken bij herstart, job-container met naam opruimen na annuleren
@@ -7,6 +7,7 @@ import (
7
7
"errors"
8
8
"fmt"
9
9
"io"
10
"io/fs"
10
11
"log/slog"
11
12
"os"
12
13
"os/exec"
@@ -406,7 +407,10 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) ([
406
407
sink := &logSink{store: r.Store, jobID: job.ID}
407
408
sink.section("prepare", "Preparing the docker executor")
408
409
work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))
409
_ = os.RemoveAll(work)
410
if err := clearWorkDir(work); err != nil {
411
sink.closeSection()
412
return nil, fmt.Errorf("runner_system_failure: work dir: %w", err)
413
}
410
414
if err := os.MkdirAll(work, 0o755); err != nil {
411
415
sink.closeSection()
412
416
return nil, err
@@ -507,7 +511,13 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
507
511
// -e NAAM zonder waarde laat Docker de variabele uit de omgeving van
508
512
// deze client overnemen. Zo blijft een meerregelige sleutel heel en
509
513
// staat de waarde niet in de proceslijst.
510
args := []string{"run", "--rm", "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
514
// Een vaste naam per job: een geannuleerde of afgebroken container
515
// (de docker-client stopt dan, de container niet) wordt voor de start en
516
// na afloop opgeruimd.
517
cname := fmt.Sprintf("bluegit-job-%d", job.ID)
518
removeContainer(r.Docker, cname)
519
defer removeContainer(r.Docker, cname)
520
args := []string{"run", "--rm", "--name", cname, "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
511
521
ctl := r.controls()
512
522
args = append(args, ctl.runArgs...)
513
523
if ctl.pull == runnercfg.PullNever {
@@ -531,6 +541,37 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
531
541
return nil
532
542
}
533
543
544
func removeContainer(docker, name string) {
545
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
546
defer cancel()
547
_, _ = execOut(ctx, docker, "rm", "-f", name)
548
}
549
550
// clearWorkDir maakt de werkmap leeg. Mappen zonder schrijfrecht (uit een
551
// container) worden eerst beschrijfbaar gemaakt. Lukt verwijderen dan nog
552
// niet (bestanden van root), dan gaat de oude map opzij, zodat de clone in
553
// een lege map begint. Alleen als ook dat faalt, is het een fout.
554
func clearWorkDir(work string) error {
555
if err := os.RemoveAll(work); err == nil {
556
return nil
557
}
558
_ = filepath.WalkDir(work, func(p string, d fs.DirEntry, err error) error {
559
if err == nil && d.IsDir() {
560
_ = os.Chmod(p, 0o755)
561
}
562
return nil
563
})
564
if err := os.RemoveAll(work); err == nil {
565
return nil
566
}
567
stale := fmt.Sprintf("%s.stale-%d", work, time.Now().UnixNano())
568
if err := os.Rename(work, stale); err != nil {
569
return err
570
}
571
go func() { _ = os.RemoveAll(stale) }()
572
return nil
573
}
574
534
575
// placeNote zijn de vaste regels in de sectie Preparing environment.
535
576
type placeNote struct {
536
577
Runner string
@@ -7,6 +7,7 @@ import (7
"errors"7
"errors"8
"fmt"8
"fmt"9
"io"9
"io"10
"io/fs"10
"log/slog"11
"log/slog"11
"os"12
"os"12
"os/exec"13
"os/exec"@@ -406,7 +407,10 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) ([406
sink := &logSink{store: r.Store, jobID: job.ID}407
sink := &logSink{store: r.Store, jobID: job.ID}407
sink.section("prepare", "Preparing the docker executor")408
sink.section("prepare", "Preparing the docker executor")408
work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))409
work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))409
_ = os.RemoveAll(work)410
if err := clearWorkDir(work); err != nil {411
sink.closeSection()412
return nil, fmt.Errorf("runner_system_failure: work dir: %w", err)413
}410
if err := os.MkdirAll(work, 0o755); err != nil {414
if err := os.MkdirAll(work, 0o755); err != nil {411
sink.closeSection()415
sink.closeSection()412
return nil, err416
return nil, err@@ -507,7 +511,13 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job507
// -e NAAM zonder waarde laat Docker de variabele uit de omgeving van511
// -e NAAM zonder waarde laat Docker de variabele uit de omgeving van508
// deze client overnemen. Zo blijft een meerregelige sleutel heel en512
// deze client overnemen. Zo blijft een meerregelige sleutel heel en509
// staat de waarde niet in de proceslijst.513
// staat de waarde niet in de proceslijst.510
args := []string{"run", "--rm", "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}514
// Een vaste naam per job: een geannuleerde of afgebroken container515
// (de docker-client stopt dan, de container niet) wordt voor de start en516
// na afloop opgeruimd.517
cname := fmt.Sprintf("bluegit-job-%d", job.ID)518
removeContainer(r.Docker, cname)519
defer removeContainer(r.Docker, cname)520
args := []string{"run", "--rm", "--name", cname, "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}511
ctl := r.controls()521
ctl := r.controls()512
args = append(args, ctl.runArgs...)522
args = append(args, ctl.runArgs...)513
if ctl.pull == runnercfg.PullNever {523
if ctl.pull == runnercfg.PullNever {@@ -531,6 +541,37 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job531
return nil541
return nil532
}542
}533
543
544
func removeContainer(docker, name string) {545
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)546
defer cancel()547
_, _ = execOut(ctx, docker, "rm", "-f", name)548
}549
550
// clearWorkDir maakt de werkmap leeg. Mappen zonder schrijfrecht (uit een551
// container) worden eerst beschrijfbaar gemaakt. Lukt verwijderen dan nog552
// niet (bestanden van root), dan gaat de oude map opzij, zodat de clone in553
// een lege map begint. Alleen als ook dat faalt, is het een fout.554
func clearWorkDir(work string) error {555
if err := os.RemoveAll(work); err == nil {556
return nil557
}558
_ = filepath.WalkDir(work, func(p string, d fs.DirEntry, err error) error {559
if err == nil && d.IsDir() {560
_ = os.Chmod(p, 0o755)561
}562
return nil563
})564
if err := os.RemoveAll(work); err == nil {565
return nil566
}567
stale := fmt.Sprintf("%s.stale-%d", work, time.Now().UnixNano())568
if err := os.Rename(work, stale); err != nil {569
return err570
}571
go func() { _ = os.RemoveAll(stale) }()572
return nil573
}574
534
// placeNote zijn de vaste regels in de sectie Preparing environment.575
// placeNote zijn de vaste regels in de sectie Preparing environment.535
type placeNote struct {576
type placeNote struct {536
Runner string577
Runner string@@ -0,0 +1,38 @@
1
package runner
2
3
import (
4
"os"
5
"path/filepath"
6
"testing"
7
)
8
9
// Een werkmap met mappen zonder schrijfrecht (zoals na een container) moet
10
// leeg kunnen voor een herstarte job.
11
func TestClearWorkDirReadOnly(t *testing.T) {
12
if os.Geteuid() == 0 {
13
t.Skip("root mag alles verwijderen")
14
}
15
work := filepath.Join(t.TempDir(), "work", "1", "build")
16
ro := filepath.Join(work, "target", "deep")
17
if err := os.MkdirAll(ro, 0o755); err != nil {
18
t.Fatal(err)
19
}
20
_ = os.WriteFile(filepath.Join(ro, "f"), []byte("x"), 0o444)
21
_ = os.Chmod(ro, 0o555)
22
_ = os.Chmod(filepath.Dir(ro), 0o555)
23
if err := os.RemoveAll(work); err == nil {
24
t.Skip("filesystem negeert rechten")
25
}
26
if err := clearWorkDir(work); err != nil {
27
t.Fatal(err)
28
}
29
if _, err := os.Stat(work); !os.IsNotExist(err) {
30
t.Fatalf("work still there: %v", err)
31
}
32
}
33
34
func TestClearWorkDirMissing(t *testing.T) {
35
if err := clearWorkDir(filepath.Join(t.TempDir(), "nope")); err != nil {
36
t.Fatal(err)
37
}
38
}
@@ -0,0 +1,38 @@1
package runner2
3
import (4
"os"5
"path/filepath"6
"testing"7
)8
9
// Een werkmap met mappen zonder schrijfrecht (zoals na een container) moet10
// leeg kunnen voor een herstarte job.11
func TestClearWorkDirReadOnly(t *testing.T) {12
if os.Geteuid() == 0 {13
t.Skip("root mag alles verwijderen")14
}15
work := filepath.Join(t.TempDir(), "work", "1", "build")16
ro := filepath.Join(work, "target", "deep")17
if err := os.MkdirAll(ro, 0o755); err != nil {18
t.Fatal(err)19
}20
_ = os.WriteFile(filepath.Join(ro, "f"), []byte("x"), 0o444)21
_ = os.Chmod(ro, 0o555)22
_ = os.Chmod(filepath.Dir(ro), 0o555)23
if err := os.RemoveAll(work); err == nil {24
t.Skip("filesystem negeert rechten")25
}26
if err := clearWorkDir(work); err != nil {27
t.Fatal(err)28
}29
if _, err := os.Stat(work); !os.IsNotExist(err) {30
t.Fatalf("work still there: %v", err)31
}32
}33
34
func TestClearWorkDirMissing(t *testing.T) {35
if err := clearWorkDir(filepath.Join(t.TempDir(), "nope")); err != nil {36
t.Fatal(err)37
}38
}