BlueGit

timfa bluegit

Merge branch 'cursor/runner-workdir' into 'stage'

timfa

Authored 2026-10-25 · 3 weeks ago

Hash
e8b73e16e76c9d6285e50067598a2e68c57052dd
Pipeline
Passed
2 files changed +81 −2
internal/runner/runner.go +43 −2
@@ -7,6 +7,7 @@ import (
7 7 "errors"
8 8 "fmt"
9 9 "io"
10 "io/fs"
10 11 "log/slog"
11 12 "os"
12 13 "os/exec"
@@ -406,7 +407,10 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) ([
406 407 sink := &logSink{store: r.Store, jobID: job.ID}
407 408 sink.section("prepare", "Preparing the docker executor")
408 409 work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))
409 _ = os.RemoveAll(work)
410 if err := clearWorkDir(work); err != nil {
411 sink.closeSection()
412 return nil, fmt.Errorf("runner_system_failure: work dir: %w", err)
413 }
410 414 if err := os.MkdirAll(work, 0o755); err != nil {
411 415 sink.closeSection()
412 416 return nil, err
@@ -507,7 +511,13 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
507 511 // -e NAAM zonder waarde laat Docker de variabele uit de omgeving van
508 512 // deze client overnemen. Zo blijft een meerregelige sleutel heel en
509 513 // staat de waarde niet in de proceslijst.
510 args := []string{"run", "--rm", "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
514 // Een vaste naam per job: een geannuleerde of afgebroken container
515 // (de docker-client stopt dan, de container niet) wordt voor de start en
516 // na afloop opgeruimd.
517 cname := fmt.Sprintf("bluegit-job-%d", job.ID)
518 removeContainer(r.Docker, cname)
519 defer removeContainer(r.Docker, cname)
520 args := []string{"run", "--rm", "--name", cname, "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
511 521 ctl := r.controls()
512 522 args = append(args, ctl.runArgs...)
513 523 if ctl.pull == runnercfg.PullNever {
@@ -531,6 +541,37 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
531 541 return nil
532 542 }
533 543
544 func removeContainer(docker, name string) {
545 ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
546 defer cancel()
547 _, _ = execOut(ctx, docker, "rm", "-f", name)
548 }
549
550 // clearWorkDir maakt de werkmap leeg. Mappen zonder schrijfrecht (uit een
551 // container) worden eerst beschrijfbaar gemaakt. Lukt verwijderen dan nog
552 // niet (bestanden van root), dan gaat de oude map opzij, zodat de clone in
553 // een lege map begint. Alleen als ook dat faalt, is het een fout.
554 func clearWorkDir(work string) error {
555 if err := os.RemoveAll(work); err == nil {
556 return nil
557 }
558 _ = filepath.WalkDir(work, func(p string, d fs.DirEntry, err error) error {
559 if err == nil && d.IsDir() {
560 _ = os.Chmod(p, 0o755)
561 }
562 return nil
563 })
564 if err := os.RemoveAll(work); err == nil {
565 return nil
566 }
567 stale := fmt.Sprintf("%s.stale-%d", work, time.Now().UnixNano())
568 if err := os.Rename(work, stale); err != nil {
569 return err
570 }
571 go func() { _ = os.RemoveAll(stale) }()
572 return nil
573 }
574
534 575 // placeNote zijn de vaste regels in de sectie Preparing environment.
535 576 type placeNote struct {
536 577 Runner string
@@ -7,6 +7,7 @@ import (
7 "errors"
7 "errors"
8 "fmt"
8 "fmt"
9 "io"
9 "io"
10 "io/fs"
10 "log/slog"
11 "log/slog"
11 "os"
12 "os"
12 "os/exec"
13 "os/exec"
@@ -406,7 +407,10 @@ func (r *Runner) runOne(ctx context.Context, p store.Pipeline, job store.Job) ([
406 sink := &logSink{store: r.Store, jobID: job.ID}
407 sink := &logSink{store: r.Store, jobID: job.ID}
407 sink.section("prepare", "Preparing the docker executor")
408 sink.section("prepare", "Preparing the docker executor")
408 work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))
409 work := filepath.Join(r.storage(), "work", fmt.Sprint(p.ID), safeSegment(job.Name))
409 _ = os.RemoveAll(work)
410 if err := clearWorkDir(work); err != nil {
411 sink.closeSection()
412 return nil, fmt.Errorf("runner_system_failure: work dir: %w", err)
413 }
410 if err := os.MkdirAll(work, 0o755); err != nil {
414 if err := os.MkdirAll(work, 0o755); err != nil {
411 sink.closeSection()
415 sink.closeSection()
412 return nil, err
416 return nil, err
@@ -507,7 +511,13 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
507 // -e NAAM zonder waarde laat Docker de variabele uit de omgeving van
511 // -e NAAM zonder waarde laat Docker de variabele uit de omgeving van
508 // deze client overnemen. Zo blijft een meerregelige sleutel heel en
512 // deze client overnemen. Zo blijft een meerregelige sleutel heel en
509 // staat de waarde niet in de proceslijst.
513 // staat de waarde niet in de proceslijst.
510 args := []string{"run", "--rm", "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
514 // Een vaste naam per job: een geannuleerde of afgebroken container
515 // (de docker-client stopt dan, de container niet) wordt voor de start en
516 // na afloop opgeruimd.
517 cname := fmt.Sprintf("bluegit-job-%d", job.ID)
518 removeContainer(r.Docker, cname)
519 defer removeContainer(r.Docker, cname)
520 args := []string{"run", "--rm", "--name", cname, "--network", network, "-v", work + ":/workspace", "-w", "/workspace"}
511 ctl := r.controls()
521 ctl := r.controls()
512 args = append(args, ctl.runArgs...)
522 args = append(args, ctl.runArgs...)
513 if ctl.pull == runnercfg.PullNever {
523 if ctl.pull == runnercfg.PullNever {
@@ -531,6 +541,37 @@ func (r *Runner) execContainer(ctx context.Context, sink *logSink, job store.Job
531 return nil
541 return nil
532}
542}
533
543
544func removeContainer(docker, name string) {
545 ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
546 defer cancel()
547 _, _ = execOut(ctx, docker, "rm", "-f", name)
548}
549
550// clearWorkDir maakt de werkmap leeg. Mappen zonder schrijfrecht (uit een
551// container) worden eerst beschrijfbaar gemaakt. Lukt verwijderen dan nog
552// niet (bestanden van root), dan gaat de oude map opzij, zodat de clone in
553// een lege map begint. Alleen als ook dat faalt, is het een fout.
554func clearWorkDir(work string) error {
555 if err := os.RemoveAll(work); err == nil {
556 return nil
557 }
558 _ = filepath.WalkDir(work, func(p string, d fs.DirEntry, err error) error {
559 if err == nil && d.IsDir() {
560 _ = os.Chmod(p, 0o755)
561 }
562 return nil
563 })
564 if err := os.RemoveAll(work); err == nil {
565 return nil
566 }
567 stale := fmt.Sprintf("%s.stale-%d", work, time.Now().UnixNano())
568 if err := os.Rename(work, stale); err != nil {
569 return err
570 }
571 go func() { _ = os.RemoveAll(stale) }()
572 return nil
573}
574
534// placeNote zijn de vaste regels in de sectie Preparing environment.
575// placeNote zijn de vaste regels in de sectie Preparing environment.
535type placeNote struct {
576type placeNote struct {
536 Runner string
577 Runner string
internal/runner/workdir_test.go added +38 −0
@@ -0,0 +1,38 @@
1 package runner
2
3 import (
4 "os"
5 "path/filepath"
6 "testing"
7 )
8
9 // Een werkmap met mappen zonder schrijfrecht (zoals na een container) moet
10 // leeg kunnen voor een herstarte job.
11 func TestClearWorkDirReadOnly(t *testing.T) {
12 if os.Geteuid() == 0 {
13 t.Skip("root mag alles verwijderen")
14 }
15 work := filepath.Join(t.TempDir(), "work", "1", "build")
16 ro := filepath.Join(work, "target", "deep")
17 if err := os.MkdirAll(ro, 0o755); err != nil {
18 t.Fatal(err)
19 }
20 _ = os.WriteFile(filepath.Join(ro, "f"), []byte("x"), 0o444)
21 _ = os.Chmod(ro, 0o555)
22 _ = os.Chmod(filepath.Dir(ro), 0o555)
23 if err := os.RemoveAll(work); err == nil {
24 t.Skip("filesystem negeert rechten")
25 }
26 if err := clearWorkDir(work); err != nil {
27 t.Fatal(err)
28 }
29 if _, err := os.Stat(work); !os.IsNotExist(err) {
30 t.Fatalf("work still there: %v", err)
31 }
32 }
33
34 func TestClearWorkDirMissing(t *testing.T) {
35 if err := clearWorkDir(filepath.Join(t.TempDir(), "nope")); err != nil {
36 t.Fatal(err)
37 }
38 }
@@ -0,0 +1,38 @@
1package runner
2
3import (
4 "os"
5 "path/filepath"
6 "testing"
7)
8
9// Een werkmap met mappen zonder schrijfrecht (zoals na een container) moet
10// leeg kunnen voor een herstarte job.
11func TestClearWorkDirReadOnly(t *testing.T) {
12 if os.Geteuid() == 0 {
13 t.Skip("root mag alles verwijderen")
14 }
15 work := filepath.Join(t.TempDir(), "work", "1", "build")
16 ro := filepath.Join(work, "target", "deep")
17 if err := os.MkdirAll(ro, 0o755); err != nil {
18 t.Fatal(err)
19 }
20 _ = os.WriteFile(filepath.Join(ro, "f"), []byte("x"), 0o444)
21 _ = os.Chmod(ro, 0o555)
22 _ = os.Chmod(filepath.Dir(ro), 0o555)
23 if err := os.RemoveAll(work); err == nil {
24 t.Skip("filesystem negeert rechten")
25 }
26 if err := clearWorkDir(work); err != nil {
27 t.Fatal(err)
28 }
29 if _, err := os.Stat(work); !os.IsNotExist(err) {
30 t.Fatalf("work still there: %v", err)
31 }
32}
33
34func TestClearWorkDirMissing(t *testing.T) {
35 if err := clearWorkDir(filepath.Join(t.TempDir(), "nope")); err != nil {
36 t.Fatal(err)
37 }
38}