feat: stream het joblog met ANSI-kleuren
De console haalt nieuwe regels op met een offset, scrolt mee zolang je onderaan staat, en kleurt ANSI via classes. Geheimen blijven gemaskeerd in de stream. Co-authored-by: tim <tim@timfalken.com>
@@ -110,3 +110,7 @@ Het commit moet in de repository bestaan. Het asset moet een artifact zijn van e
110
110
`Gate` in `internal/ci` geeft `ready`, `wait`, `skip` of `fail`. `skip` volgt op een harde mislukking bij `when: on_success`, of op succes bij `when: on_failure`. `when: always` wacht tot de voorgangers klaar zijn en draait dan toch. Een job met `allow_failure` telt niet als harde mislukking. De runner verwerkt pipelines elke twee seconden, met `ci.concurrency` tegelijk (standaard 1).
111
111
112
112
Ontbreekt Docker, dan faalt de job met een regel in het log. De time-out is `ci.timeout_seconds` (standaard 1800).
113
114
## Live log
115
116
De jobpagina vraagt nieuwe regels op zolang de job in de wachtrij staat of loopt, met `?offset=` op het log-adres. De console scrolt mee zolang je onderaan staat; scrol je omhoog, dan blijft de plek staan. ANSI-kleuren worden classes. Geheimen van acht tekens of meer zijn `[MASKED]` op het moment dat de regel wordt weggeschreven, ook in die stream.
@@ -110,3 +110,7 @@ Het commit moet in de repository bestaan. Het asset moet een artifact zijn van e110
`Gate` in `internal/ci` geeft `ready`, `wait`, `skip` of `fail`. `skip` volgt op een harde mislukking bij `when: on_success`, of op succes bij `when: on_failure`. `when: always` wacht tot de voorgangers klaar zijn en draait dan toch. Een job met `allow_failure` telt niet als harde mislukking. De runner verwerkt pipelines elke twee seconden, met `ci.concurrency` tegelijk (standaard 1).110
`Gate` in `internal/ci` geeft `ready`, `wait`, `skip` of `fail`. `skip` volgt op een harde mislukking bij `when: on_success`, of op succes bij `when: on_failure`. `when: always` wacht tot de voorgangers klaar zijn en draait dan toch. Een job met `allow_failure` telt niet als harde mislukking. De runner verwerkt pipelines elke twee seconden, met `ci.concurrency` tegelijk (standaard 1).111
111
112
Ontbreekt Docker, dan faalt de job met een regel in het log. De time-out is `ci.timeout_seconds` (standaard 1800).112
Ontbreekt Docker, dan faalt de job met een regel in het log. De time-out is `ci.timeout_seconds` (standaard 1800).113
114
## Live log115
116
De jobpagina vraagt nieuwe regels op zolang de job in de wachtrij staat of loopt, met `?offset=` op het log-adres. De console scrolt mee zolang je onderaan staat; scrol je omhoog, dan blijft de plek staan. ANSI-kleuren worden classes. Geheimen van acht tekens of meer zijn `[MASKED]` op het moment dat de regel wordt weggeschreven, ook in die stream.@@ -17,7 +17,7 @@ Deze basis is genoeg om repositories te bewaren, te klonen, een pipeline te draa
17
17
1. **Productie aanzetten.** Domein registreren, de schijf mounten, `ReadWritePaths` voor dat pad zetten, de ingress uit [INGRESS.md](INGRESS.md) aanzetten, eerste aanmelding en in `/setup` het pad bevestigen, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.
18
18
2. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.
19
19
3. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.
20
4. **CI.** Live logs tijdens een job, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt. `workflow`, `retry`, `parallel`, `services` en `environment` horen bij de ingebouwde runner; zie [CI.md](CI.md). `tags` sturen nog geen aparte runner aan.
20
4. **CI.** Het joblog streamt al mee terwijl de job loopt. `workflow`, `retry`, `parallel`, `services` en `environment` horen bij de ingebouwde runner; zie [CI.md](CI.md). Nog te doen: een cache, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt. `tags` sturen nog geen aparte runner aan.
21
21
5. **Webhooks.** Privénetwerken zijn dicht. Nog te doen: opnieuw proberen, en een knop die een testgebeurtenis stuurt.
22
22
6. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.
23
23
7. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.
@@ -17,7 +17,7 @@ Deze basis is genoeg om repositories te bewaren, te klonen, een pipeline te draa17
1. **Productie aanzetten.** Domein registreren, de schijf mounten, `ReadWritePaths` voor dat pad zetten, de ingress uit [INGRESS.md](INGRESS.md) aanzetten, eerste aanmelding en in `/setup` het pad bevestigen, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.17
1. **Productie aanzetten.** Domein registreren, de schijf mounten, `ReadWritePaths` voor dat pad zetten, de ingress uit [INGRESS.md](INGRESS.md) aanzetten, eerste aanmelding en in `/setup` het pad bevestigen, `master` beschermen, deploy-geheimen zetten, één keer met de hand deployen, daarna de pipeline.18
2. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.18
2. **SSH in de praktijk.** Hostkey publiceren en `known_hosts` vullen. De publieke poort is `ssh.public_port` op de ingress; op de mini-PC blijft `ssh.listen` configureerbaar. Foutmeldingen van de hook gaan al via stderr naar de git-client; de UX van een geweigerde push kan scherper.19
3. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.19
3. **Merge requests verder.** Opmerkingen, een echte diff in plaats van `git log --oneline`, en een pipeline die groen moet zijn voor het samenvoegen.20
4. **CI.** Live logs tijdens een job, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt. `workflow`, `retry`, `parallel`, `services` en `environment` horen bij de ingebouwde runner; zie [CI.md](CI.md). `tags` sturen nog geen aparte runner aan.20
4. **CI.** Het joblog streamt al mee terwijl de job loopt. `workflow`, `retry`, `parallel`, `services` en `environment` horen bij de ingebouwde runner; zie [CI.md](CI.md). Nog te doen: een cache, en opruimen van verlopen artifacts. Een tweede runner op een andere machine als de mini-PC het niet trekt. `tags` sturen nog geen aparte runner aan.21
5. **Webhooks.** Privénetwerken zijn dicht. Nog te doen: opnieuw proberen, en een knop die een testgebeurtenis stuurt.21
5. **Webhooks.** Privénetwerken zijn dicht. Nog te doen: opnieuw proberen, en een knop die een testgebeurtenis stuurt.22
6. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.22
6. **Git.** LFS als de 4 TB-schijf grote bestanden moet dragen, signed commits, en mirrors. Force-push op een beschermde branch is nu toegestaan voor een beheerder; een aparte schakelaar hoort daarbij.23
7. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.23
7. **Account.** Uitnodigen voordat iemand ooit is aangemeld werkt al op gebruikersnaam. Een zoekfunctie ontbreekt, omdat de auth-server geen lijst van alle gebruikers aan een site geeft. E-mail naar een gebruiker kan later via `POST /api/email` van de auth-server, zonder het adres te zien.@@ -0,0 +1,54 @@
1
package runner
2
3
import (
4
"context"
5
"path/filepath"
6
"strings"
7
"testing"
8
9
"gitlab.com/Timfa/bluegit/internal/store"
10
)
11
12
func TestLogSinkMasksSecrets(t *testing.T) {
13
key := make([]byte, 32)
14
for i := range key {
15
key[i] = byte(i + 1)
16
}
17
s, err := store.Open(filepath.Join(t.TempDir(), "bluegit.db"), key)
18
if err != nil {
19
t.Fatal(err)
20
}
21
t.Cleanup(func() { _ = s.Close() })
22
ctx := context.Background()
23
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)
24
if err != nil {
25
t.Fatal(err)
26
}
27
repo, err := s.CreateRepo(ctx, "user", tim.ID, "logs", "", "master", "private")
28
if err != nil {
29
t.Fatal(err)
30
}
31
id, err := s.CreatePipeline(ctx, repo.ID, "abc", "refs/heads/master", "push", "tim", "log", []store.NewJob{
32
{Name: "test", Stage: "test", Script: "echo"},
33
})
34
if err != nil {
35
t.Fatal(err)
36
}
37
jobs, err := s.JobsByPipeline(ctx, id)
38
if err != nil {
39
t.Fatal(err)
40
}
41
secret := "supersecretvalue"
42
sink := &logSink{store: s, jobID: jobs[0].ID, secrets: []string{secret}}
43
if _, err := sink.Write([]byte("token " + secret + "\nmore\n")); err != nil {
44
t.Fatal(err)
45
}
46
sink.flush()
47
again, err := s.JobsByPipeline(ctx, id)
48
if err != nil {
49
t.Fatal(err)
50
}
51
if strings.Contains(again[0].Log, secret) || !strings.Contains(again[0].Log, "[MASKED]") {
52
t.Fatalf("log: %s", again[0].Log)
53
}
54
}
@@ -0,0 +1,54 @@1
package runner2
3
import (4
"context"5
"path/filepath"6
"strings"7
"testing"8
9
"gitlab.com/Timfa/bluegit/internal/store"10
)11
12
func TestLogSinkMasksSecrets(t *testing.T) {13
key := make([]byte, 32)14
for i := range key {15
key[i] = byte(i + 1)16
}17
s, err := store.Open(filepath.Join(t.TempDir(), "bluegit.db"), key)18
if err != nil {19
t.Fatal(err)20
}21
t.Cleanup(func() { _ = s.Close() })22
ctx := context.Background()23
tim, err := s.UpsertUser(ctx, 1, "tim", "", false)24
if err != nil {25
t.Fatal(err)26
}27
repo, err := s.CreateRepo(ctx, "user", tim.ID, "logs", "", "master", "private")28
if err != nil {29
t.Fatal(err)30
}31
id, err := s.CreatePipeline(ctx, repo.ID, "abc", "refs/heads/master", "push", "tim", "log", []store.NewJob{32
{Name: "test", Stage: "test", Script: "echo"},33
})34
if err != nil {35
t.Fatal(err)36
}37
jobs, err := s.JobsByPipeline(ctx, id)38
if err != nil {39
t.Fatal(err)40
}41
secret := "supersecretvalue"42
sink := &logSink{store: s, jobID: jobs[0].ID, secrets: []string{secret}}43
if _, err := sink.Write([]byte("token " + secret + "\nmore\n")); err != nil {44
t.Fatal(err)45
}46
sink.flush()47
again, err := s.JobsByPipeline(ctx, id)48
if err != nil {49
t.Fatal(err)50
}51
if strings.Contains(again[0].Log, secret) || !strings.Contains(again[0].Log, "[MASKED]") {52
t.Fatalf("log: %s", again[0].Log)53
}54
}@@ -0,0 +1,181 @@
1
package server
2
3
import (
4
"strconv"
5
"strings"
6
)
7
8
// LogSpan is een stuk tekst met ANSI-classes. Class is leeg voor gewone tekst.
9
type LogSpan struct {
10
Class string
11
Text string
12
}
13
14
type ansiState struct {
15
bold bool
16
dim bool
17
italic bool
18
underline bool
19
fg string
20
bg string
21
}
22
23
func (st ansiState) class() string {
24
var parts []string
25
if st.bold {
26
parts = append(parts, "ansi-bold")
27
}
28
if st.dim {
29
parts = append(parts, "ansi-dim")
30
}
31
if st.italic {
32
parts = append(parts, "ansi-italic")
33
}
34
if st.underline {
35
parts = append(parts, "ansi-underline")
36
}
37
if st.fg != "" {
38
parts = append(parts, "ansi-fg-"+st.fg)
39
}
40
if st.bg != "" {
41
parts = append(parts, "ansi-bg-"+st.bg)
42
}
43
return strings.Join(parts, " ")
44
}
45
46
func ansiSpans(s string) []LogSpan {
47
var spans []LogSpan
48
var b strings.Builder
49
var st ansiState
50
flush := func() {
51
if b.Len() == 0 {
52
return
53
}
54
spans = append(spans, LogSpan{Class: st.class(), Text: b.String()})
55
b.Reset()
56
}
57
for i := 0; i < len(s); i++ {
58
if s[i] != 0x1b || i+1 >= len(s) {
59
b.WriteByte(s[i])
60
continue
61
}
62
if s[i+1] == '[' {
63
end := i + 2
64
for end < len(s) && s[end] >= 0x20 && s[end] <= 0x3f {
65
end++
66
}
67
if end < len(s) && s[end] >= 0x40 && s[end] <= 0x7e {
68
flush()
69
if s[end] == 'm' {
70
st.apply(s[i+2 : end])
71
}
72
i = end
73
continue
74
}
75
}
76
if s[i+1] == ']' {
77
end := i + 2
78
for end < len(s) && s[end] != 0x07 && !(s[end] == 0x1b && end+1 < len(s) && s[end+1] == '\\') {
79
end++
80
}
81
flush()
82
if end < len(s) && s[end] == 0x07 {
83
i = end
84
continue
85
}
86
if end+1 < len(s) && s[end] == 0x1b {
87
i = end + 1
88
continue
89
}
90
}
91
b.WriteByte(s[i])
92
}
93
flush()
94
if len(spans) == 0 {
95
return []LogSpan{{Text: s}}
96
}
97
return spans
98
}
99
100
func (st *ansiState) apply(params string) {
101
if params == "" {
102
*st = ansiState{}
103
return
104
}
105
parts := strings.Split(params, ";")
106
nums := make([]int, len(parts))
107
for i, part := range parts {
108
n, _ := strconv.Atoi(strings.TrimSpace(part))
109
nums[i] = n
110
}
111
for i := 0; i < len(nums); i++ {
112
n := nums[i]
113
switch {
114
case n == 0:
115
*st = ansiState{}
116
case n == 1:
117
st.bold = true
118
st.dim = false
119
case n == 2:
120
st.dim = true
121
case n == 3:
122
st.italic = true
123
case n == 4:
124
st.underline = true
125
case n == 22:
126
st.bold = false
127
st.dim = false
128
case n == 23:
129
st.italic = false
130
case n == 24:
131
st.underline = false
132
case n >= 30 && n <= 37:
133
st.fg = ansiColor(n - 30)
134
case n == 39:
135
st.fg = ""
136
case n >= 40 && n <= 47:
137
st.bg = ansiColor(n - 40)
138
case n == 49:
139
st.bg = ""
140
case n >= 90 && n <= 97:
141
st.fg = "bright-" + ansiColor(n-90)
142
case n >= 100 && n <= 107:
143
st.bg = "bright-" + ansiColor(n-100)
144
case n == 38 || n == 48:
145
name, ok, skip := ansiExtended(nums[i+1:])
146
i += skip
147
if !ok {
148
continue
149
}
150
if n == 38 {
151
st.fg = name
152
} else {
153
st.bg = name
154
}
155
}
156
}
157
}
158
159
func ansiExtended(rest []int) (string, bool, int) {
160
if len(rest) >= 2 && rest[0] == 5 {
161
if rest[1] >= 0 && rest[1] <= 7 {
162
return ansiColor(rest[1]), true, 2
163
}
164
if rest[1] >= 8 && rest[1] <= 15 {
165
return "bright-" + ansiColor(rest[1]-8), true, 2
166
}
167
return "", false, 2
168
}
169
if len(rest) >= 4 && rest[0] == 2 {
170
return "", false, 4
171
}
172
return "", false, 0
173
}
174
175
func ansiColor(n int) string {
176
names := []string{"black", "red", "green", "yellow", "blue", "magenta", "cyan", "white"}
177
if n < 0 || n >= len(names) {
178
return ""
179
}
180
return names[n]
181
}
@@ -0,0 +1,181 @@1
package server2
3
import (4
"strconv"5
"strings"6
)7
8
// LogSpan is een stuk tekst met ANSI-classes. Class is leeg voor gewone tekst.9
type LogSpan struct {10
Class string11
Text string12
}13
14
type ansiState struct {15
bold bool16
dim bool17
italic bool18
underline bool19
fg string20
bg string21
}22
23
func (st ansiState) class() string {24
var parts []string25
if st.bold {26
parts = append(parts, "ansi-bold")27
}28
if st.dim {29
parts = append(parts, "ansi-dim")30
}31
if st.italic {32
parts = append(parts, "ansi-italic")33
}34
if st.underline {35
parts = append(parts, "ansi-underline")36
}37
if st.fg != "" {38
parts = append(parts, "ansi-fg-"+st.fg)39
}40
if st.bg != "" {41
parts = append(parts, "ansi-bg-"+st.bg)42
}43
return strings.Join(parts, " ")44
}45
46
func ansiSpans(s string) []LogSpan {47
var spans []LogSpan48
var b strings.Builder49
var st ansiState50
flush := func() {51
if b.Len() == 0 {52
return53
}54
spans = append(spans, LogSpan{Class: st.class(), Text: b.String()})55
b.Reset()56
}57
for i := 0; i < len(s); i++ {58
if s[i] != 0x1b || i+1 >= len(s) {59
b.WriteByte(s[i])60
continue61
}62
if s[i+1] == '[' {63
end := i + 264
for end < len(s) && s[end] >= 0x20 && s[end] <= 0x3f {65
end++66
}67
if end < len(s) && s[end] >= 0x40 && s[end] <= 0x7e {68
flush()69
if s[end] == 'm' {70
st.apply(s[i+2 : end])71
}72
i = end73
continue74
}75
}76
if s[i+1] == ']' {77
end := i + 278
for end < len(s) && s[end] != 0x07 && !(s[end] == 0x1b && end+1 < len(s) && s[end+1] == '\\') {79
end++80
}81
flush()82
if end < len(s) && s[end] == 0x07 {83
i = end84
continue85
}86
if end+1 < len(s) && s[end] == 0x1b {87
i = end + 188
continue89
}90
}91
b.WriteByte(s[i])92
}93
flush()94
if len(spans) == 0 {95
return []LogSpan{{Text: s}}96
}97
return spans98
}99
100
func (st *ansiState) apply(params string) {101
if params == "" {102
*st = ansiState{}103
return104
}105
parts := strings.Split(params, ";")106
nums := make([]int, len(parts))107
for i, part := range parts {108
n, _ := strconv.Atoi(strings.TrimSpace(part))109
nums[i] = n110
}111
for i := 0; i < len(nums); i++ {112
n := nums[i]113
switch {114
case n == 0:115
*st = ansiState{}116
case n == 1:117
st.bold = true118
st.dim = false119
case n == 2:120
st.dim = true121
case n == 3:122
st.italic = true123
case n == 4:124
st.underline = true125
case n == 22:126
st.bold = false127
st.dim = false128
case n == 23:129
st.italic = false130
case n == 24:131
st.underline = false132
case n >= 30 && n <= 37:133
st.fg = ansiColor(n - 30)134
case n == 39:135
st.fg = ""136
case n >= 40 && n <= 47:137
st.bg = ansiColor(n - 40)138
case n == 49:139
st.bg = ""140
case n >= 90 && n <= 97:141
st.fg = "bright-" + ansiColor(n-90)142
case n >= 100 && n <= 107:143
st.bg = "bright-" + ansiColor(n-100)144
case n == 38 || n == 48:145
name, ok, skip := ansiExtended(nums[i+1:])146
i += skip147
if !ok {148
continue149
}150
if n == 38 {151
st.fg = name152
} else {153
st.bg = name154
}155
}156
}157
}158
159
func ansiExtended(rest []int) (string, bool, int) {160
if len(rest) >= 2 && rest[0] == 5 {161
if rest[1] >= 0 && rest[1] <= 7 {162
return ansiColor(rest[1]), true, 2163
}164
if rest[1] >= 8 && rest[1] <= 15 {165
return "bright-" + ansiColor(rest[1]-8), true, 2166
}167
return "", false, 2168
}169
if len(rest) >= 4 && rest[0] == 2 {170
return "", false, 4171
}172
return "", false, 0173
}174
175
func ansiColor(n int) string {176
names := []string{"black", "red", "green", "yellow", "blue", "magenta", "cyan", "white"}177
if n < 0 || n >= len(names) {178
return ""179
}180
return names[n]181
}@@ -0,0 +1,26 @@
1
package server
2
3
import "testing"
4
5
func TestANSISpans(t *testing.T) {
6
spans := ansiSpans("\x1b[1;31mrood\x1b[0m en \x1b[32mgroen\x1b[0m")
7
if len(spans) != 3 {
8
t.Fatalf("%+v", spans)
9
}
10
if spans[0].Class != "ansi-bold ansi-fg-red" || spans[0].Text != "rood" {
11
t.Fatalf("rood: %+v", spans[0])
12
}
13
if spans[1].Class != "" || spans[1].Text != " en " {
14
t.Fatalf("tussen: %+v", spans[1])
15
}
16
if spans[2].Class != "ansi-fg-green" || spans[2].Text != "groen" {
17
t.Fatalf("groen: %+v", spans[2])
18
}
19
plain := ansiSpans("hello")
20
if len(plain) != 1 || plain[0].Class != "" || plain[0].Text != "hello" {
21
t.Fatalf("plat: %+v", plain)
22
}
23
if got := ansiSpans("\x1b[38;5;1mhelder\x1b[0m"); len(got) != 1 || got[0].Class != "ansi-fg-red" || got[0].Text != "helder" {
24
t.Fatalf("256: %+v", got)
25
}
26
}
@@ -0,0 +1,26 @@1
package server2
3
import "testing"4
5
func TestANSISpans(t *testing.T) {6
spans := ansiSpans("\x1b[1;31mrood\x1b[0m en \x1b[32mgroen\x1b[0m")7
if len(spans) != 3 {8
t.Fatalf("%+v", spans)9
}10
if spans[0].Class != "ansi-bold ansi-fg-red" || spans[0].Text != "rood" {11
t.Fatalf("rood: %+v", spans[0])12
}13
if spans[1].Class != "" || spans[1].Text != " en " {14
t.Fatalf("tussen: %+v", spans[1])15
}16
if spans[2].Class != "ansi-fg-green" || spans[2].Text != "groen" {17
t.Fatalf("groen: %+v", spans[2])18
}19
plain := ansiSpans("hello")20
if len(plain) != 1 || plain[0].Class != "" || plain[0].Text != "hello" {21
t.Fatalf("plat: %+v", plain)22
}23
if got := ansiSpans("\x1b[38;5;1mhelder\x1b[0m"); len(got) != 1 || got[0].Class != "ansi-fg-red" || got[0].Text != "helder" {24
t.Fatalf("256: %+v", got)25
}26
}@@ -95,9 +95,10 @@ type LogBlock struct {
95
95
96
96
// LogLine is één regel in de console.
97
97
type LogLine struct {
98
N int
99
Time string
100
Text string
98
N int
99
Time string
100
Text string
101
Spans []LogSpan
101
102
}
102
103
103
104
func (s *Server) fillPipelines(r *http.Request, v *View, repo store.Repo) {
@@ -517,7 +518,7 @@ func parseLog(raw string) []LogBlock {
517
518
continue
518
519
}
519
520
n++
520
line := LogLine{N: n, Time: clockOf(ts), Text: text}
521
line := LogLine{N: n, Time: clockOf(ts), Text: text, Spans: ansiSpans(text)}
521
522
if cur != nil {
522
523
cur.Lines = append(cur.Lines, line)
523
524
continue
@@ -95,9 +95,10 @@ type LogBlock struct {95
95
96
// LogLine is één regel in de console.96
// LogLine is één regel in de console.97
type LogLine struct {97
type LogLine struct {98
N int98
N int99
Time string99
Time string100
Text string100
Text string101
Spans []LogSpan101
}102
}102
103
103
func (s *Server) fillPipelines(r *http.Request, v *View, repo store.Repo) {104
func (s *Server) fillPipelines(r *http.Request, v *View, repo store.Repo) {@@ -517,7 +518,7 @@ func parseLog(raw string) []LogBlock {517
continue518
continue518
}519
}519
n++520
n++520
line := LogLine{N: n, Time: clockOf(ts), Text: text}521
line := LogLine{N: n, Time: clockOf(ts), Text: text, Spans: ansiSpans(text)}521
if cur != nil {522
if cur != nil {522
cur.Lines = append(cur.Lines, line)523
cur.Lines = append(cur.Lines, line)523
continue524
continue@@ -105,6 +105,7 @@ func TestPipelinePages(t *testing.T) {
105
105
stamp := time.Now().UTC().Format(time.RFC3339)
106
106
log := stamp + "\tsection_start:script:Running script\n" +
107
107
stamp + "\thello from the job\n" +
108
stamp + "\t\x1b[1;31mrood\x1b[0m\n" +
108
109
stamp + "\tsection_end:script:done\t00:08\n"
109
110
for _, j := range failJobs {
110
111
if j.Name == "build" {
@@ -177,6 +178,7 @@ func TestPipelinePages(t *testing.T) {
177
178
jobPage := read(t, res)
178
179
for _, want := range []string{
179
180
"Running script", "hello from the job", "00:08",
181
`class="ansi-bold ansi-fg-red"`, ">rood<",
180
182
"Running on Steve", "Log timestamps in UTC.", "Related jobs", ">Steve<", "Push",
181
183
`data-stage="deploy" hidden`, `value="test" selected`,
182
184
"for", "v0.0.26",
@@ -195,6 +197,9 @@ func TestPipelinePages(t *testing.T) {
195
197
if !strings.Contains(string(raw), "hello from the job") {
196
198
t.Fatalf("ruwe log: %s", raw)
197
199
}
200
if strings.Contains(jobPage, "\x1b") {
201
t.Fatal("ANSI-stuurtekens horen niet in de HTML")
202
}
198
203
199
204
res, err = client.Get(ts.URL + "/tim/demo/-/pipelines/" + strconv.FormatInt(manualID, 10) + "/jobs/" + strconv.FormatInt(manualJobs[0].ID, 10))
200
205
if err != nil {
@@ -105,6 +105,7 @@ func TestPipelinePages(t *testing.T) {105
stamp := time.Now().UTC().Format(time.RFC3339)105
stamp := time.Now().UTC().Format(time.RFC3339)106
log := stamp + "\tsection_start:script:Running script\n" +106
log := stamp + "\tsection_start:script:Running script\n" +107
stamp + "\thello from the job\n" +107
stamp + "\thello from the job\n" +108
stamp + "\t\x1b[1;31mrood\x1b[0m\n" +108
stamp + "\tsection_end:script:done\t00:08\n"109
stamp + "\tsection_end:script:done\t00:08\n"109
for _, j := range failJobs {110
for _, j := range failJobs {110
if j.Name == "build" {111
if j.Name == "build" {@@ -177,6 +178,7 @@ func TestPipelinePages(t *testing.T) {177
jobPage := read(t, res)178
jobPage := read(t, res)178
for _, want := range []string{179
for _, want := range []string{179
"Running script", "hello from the job", "00:08",180
"Running script", "hello from the job", "00:08",181
`class="ansi-bold ansi-fg-red"`, ">rood<",180
"Running on Steve", "Log timestamps in UTC.", "Related jobs", ">Steve<", "Push",182
"Running on Steve", "Log timestamps in UTC.", "Related jobs", ">Steve<", "Push",181
`data-stage="deploy" hidden`, `value="test" selected`,183
`data-stage="deploy" hidden`, `value="test" selected`,182
"for", "v0.0.26",184
"for", "v0.0.26",@@ -195,6 +197,9 @@ func TestPipelinePages(t *testing.T) {195
if !strings.Contains(string(raw), "hello from the job") {197
if !strings.Contains(string(raw), "hello from the job") {196
t.Fatalf("ruwe log: %s", raw)198
t.Fatalf("ruwe log: %s", raw)197
}199
}200
if strings.Contains(jobPage, "\x1b") {201
t.Fatal("ANSI-stuurtekens horen niet in de HTML")202
}198
203
199
res, err = client.Get(ts.URL + "/tim/demo/-/pipelines/" + strconv.FormatInt(manualID, 10) + "/jobs/" + strconv.FormatInt(manualJobs[0].ID, 10))204
res, err = client.Get(ts.URL + "/tim/demo/-/pipelines/" + strconv.FormatInt(manualID, 10) + "/jobs/" + strconv.FormatInt(manualJobs[0].ID, 10))200
if err != nil {205
if err != nil {@@ -158,6 +158,105 @@
158
158
});
159
159
var currentSec = log.querySelector(".logsec.open:last-of-type");
160
160
161
var ansiNames = ["black", "red", "green", "yellow", "blue", "magenta", "cyan", "white"];
162
var follow = true;
163
log.scrollTop = log.scrollHeight;
164
log.addEventListener("scroll", function () {
165
follow = log.scrollHeight - log.scrollTop - log.clientHeight < 48;
166
});
167
168
function ansiClass(state) {
169
var parts = [];
170
if (state.bold) { parts.push("ansi-bold"); }
171
if (state.dim) { parts.push("ansi-dim"); }
172
if (state.italic) { parts.push("ansi-italic"); }
173
if (state.underline) { parts.push("ansi-underline"); }
174
if (state.fg) { parts.push("ansi-fg-" + state.fg); }
175
if (state.bg) { parts.push("ansi-bg-" + state.bg); }
176
return parts.join(" ");
177
}
178
179
function paint(code, text) {
180
var state = {};
181
var buf = "";
182
function flush() {
183
if (!buf) { return; }
184
var cls = ansiClass(state);
185
if (!cls) {
186
code.appendChild(document.createTextNode(buf));
187
} else {
188
var span = document.createElement("span");
189
span.className = cls;
190
span.textContent = buf;
191
code.appendChild(span);
192
}
193
buf = "";
194
}
195
for (var i = 0; i < text.length; i++) {
196
if (text.charCodeAt(i) !== 27 || i + 1 >= text.length) {
197
buf += text.charAt(i);
198
continue;
199
}
200
if (text.charAt(i + 1) === "[") {
201
var end = i + 2;
202
while (end < text.length) {
203
var c = text.charCodeAt(end);
204
if (c >= 32 && c <= 63) { end++; continue; }
205
break;
206
}
207
if (end < text.length && text.charCodeAt(end) >= 64 && text.charCodeAt(end) <= 126) {
208
flush();
209
if (text.charAt(end) === "m") {
210
applySGR(state, text.slice(i + 2, end));
211
}
212
i = end;
213
continue;
214
}
215
}
216
buf += text.charAt(i);
217
}
218
flush();
219
}
220
221
function applySGR(state, params) {
222
if (!params) {
223
state.bold = state.dim = state.italic = state.underline = false;
224
state.fg = state.bg = "";
225
return;
226
}
227
var nums = params.split(";").map(function (p) { return parseInt(p, 10) || 0; });
228
for (var i = 0; i < nums.length; i++) {
229
var n = nums[i];
230
if (n === 0) {
231
state.bold = state.dim = state.italic = state.underline = false;
232
state.fg = state.bg = "";
233
} else if (n === 1) { state.bold = true; state.dim = false; }
234
else if (n === 2) { state.dim = true; }
235
else if (n === 3) { state.italic = true; }
236
else if (n === 4) { state.underline = true; }
237
else if (n === 22) { state.bold = false; state.dim = false; }
238
else if (n === 23) { state.italic = false; }
239
else if (n === 24) { state.underline = false; }
240
else if (n >= 30 && n <= 37) { state.fg = ansiNames[n - 30]; }
241
else if (n === 39) { state.fg = ""; }
242
else if (n >= 40 && n <= 47) { state.bg = ansiNames[n - 40]; }
243
else if (n === 49) { state.bg = ""; }
244
else if (n >= 90 && n <= 97) { state.fg = "bright-" + ansiNames[n - 90]; }
245
else if (n >= 100 && n <= 107) { state.bg = "bright-" + ansiNames[n - 100]; }
246
else if ((n === 38 || n === 48) && nums[i + 1] === 5 && i + 2 < nums.length) {
247
var name = "";
248
if (nums[i + 2] >= 0 && nums[i + 2] <= 7) { name = ansiNames[nums[i + 2]]; }
249
else if (nums[i + 2] >= 8 && nums[i + 2] <= 15) { name = "bright-" + ansiNames[nums[i + 2] - 8]; }
250
if (name) {
251
if (n === 38) { state.fg = name; } else { state.bg = name; }
252
}
253
i += 2;
254
} else if ((n === 38 || n === 48) && nums[i + 1] === 2) {
255
i += 4;
256
}
257
}
258
}
259
161
260
function addLine(ts, text) {
162
261
lineNo += 1;
163
262
var row = document.createElement("div");
@@ -170,7 +269,7 @@
170
269
time.className = "ts";
171
270
time.textContent = ts;
172
271
var code = document.createElement("code");
173
code.textContent = text;
272
paint(code, text);
174
273
row.appendChild(ln);
175
274
row.appendChild(time);
176
275
row.appendChild(code);
@@ -187,7 +286,9 @@
187
286
} else {
188
287
log.appendChild(row);
189
288
}
190
log.scrollTop = log.scrollHeight;
289
if (follow) {
290
log.scrollTop = log.scrollHeight;
291
}
191
292
}
192
293
193
294
function openSection(title) {
@@ -158,6 +158,105 @@158
});158
});159
var currentSec = log.querySelector(".logsec.open:last-of-type");159
var currentSec = log.querySelector(".logsec.open:last-of-type");160
160
161
var ansiNames = ["black", "red", "green", "yellow", "blue", "magenta", "cyan", "white"];162
var follow = true;163
log.scrollTop = log.scrollHeight;164
log.addEventListener("scroll", function () {165
follow = log.scrollHeight - log.scrollTop - log.clientHeight < 48;166
});167
168
function ansiClass(state) {169
var parts = [];170
if (state.bold) { parts.push("ansi-bold"); }171
if (state.dim) { parts.push("ansi-dim"); }172
if (state.italic) { parts.push("ansi-italic"); }173
if (state.underline) { parts.push("ansi-underline"); }174
if (state.fg) { parts.push("ansi-fg-" + state.fg); }175
if (state.bg) { parts.push("ansi-bg-" + state.bg); }176
return parts.join(" ");177
}178
179
function paint(code, text) {180
var state = {};181
var buf = "";182
function flush() {183
if (!buf) { return; }184
var cls = ansiClass(state);185
if (!cls) {186
code.appendChild(document.createTextNode(buf));187
} else {188
var span = document.createElement("span");189
span.className = cls;190
span.textContent = buf;191
code.appendChild(span);192
}193
buf = "";194
}195
for (var i = 0; i < text.length; i++) {196
if (text.charCodeAt(i) !== 27 || i + 1 >= text.length) {197
buf += text.charAt(i);198
continue;199
}200
if (text.charAt(i + 1) === "[") {201
var end = i + 2;202
while (end < text.length) {203
var c = text.charCodeAt(end);204
if (c >= 32 && c <= 63) { end++; continue; }205
break;206
}207
if (end < text.length && text.charCodeAt(end) >= 64 && text.charCodeAt(end) <= 126) {208
flush();209
if (text.charAt(end) === "m") {210
applySGR(state, text.slice(i + 2, end));211
}212
i = end;213
continue;214
}215
}216
buf += text.charAt(i);217
}218
flush();219
}220
221
function applySGR(state, params) {222
if (!params) {223
state.bold = state.dim = state.italic = state.underline = false;224
state.fg = state.bg = "";225
return;226
}227
var nums = params.split(";").map(function (p) { return parseInt(p, 10) || 0; });228
for (var i = 0; i < nums.length; i++) {229
var n = nums[i];230
if (n === 0) {231
state.bold = state.dim = state.italic = state.underline = false;232
state.fg = state.bg = "";233
} else if (n === 1) { state.bold = true; state.dim = false; }234
else if (n === 2) { state.dim = true; }235
else if (n === 3) { state.italic = true; }236
else if (n === 4) { state.underline = true; }237
else if (n === 22) { state.bold = false; state.dim = false; }238
else if (n === 23) { state.italic = false; }239
else if (n === 24) { state.underline = false; }240
else if (n >= 30 && n <= 37) { state.fg = ansiNames[n - 30]; }241
else if (n === 39) { state.fg = ""; }242
else if (n >= 40 && n <= 47) { state.bg = ansiNames[n - 40]; }243
else if (n === 49) { state.bg = ""; }244
else if (n >= 90 && n <= 97) { state.fg = "bright-" + ansiNames[n - 90]; }245
else if (n >= 100 && n <= 107) { state.bg = "bright-" + ansiNames[n - 100]; }246
else if ((n === 38 || n === 48) && nums[i + 1] === 5 && i + 2 < nums.length) {247
var name = "";248
if (nums[i + 2] >= 0 && nums[i + 2] <= 7) { name = ansiNames[nums[i + 2]]; }249
else if (nums[i + 2] >= 8 && nums[i + 2] <= 15) { name = "bright-" + ansiNames[nums[i + 2] - 8]; }250
if (name) {251
if (n === 38) { state.fg = name; } else { state.bg = name; }252
}253
i += 2;254
} else if ((n === 38 || n === 48) && nums[i + 1] === 2) {255
i += 4;256
}257
}258
}259
161
function addLine(ts, text) {260
function addLine(ts, text) {162
lineNo += 1;261
lineNo += 1;163
var row = document.createElement("div");262
var row = document.createElement("div");@@ -170,7 +269,7 @@170
time.className = "ts";269
time.className = "ts";171
time.textContent = ts;270
time.textContent = ts;172
var code = document.createElement("code");271
var code = document.createElement("code");173
code.textContent = text;272
paint(code, text);174
row.appendChild(ln);273
row.appendChild(ln);175
row.appendChild(time);274
row.appendChild(time);176
row.appendChild(code);275
row.appendChild(code);@@ -187,7 +286,9 @@187
} else {286
} else {188
log.appendChild(row);287
log.appendChild(row);189
}288
}190
log.scrollTop = log.scrollHeight;289
if (follow) {290
log.scrollTop = log.scrollHeight;291
}191
}292
}192
293
193
function openSection(title) {294
function openSection(title) {@@ -429,6 +429,42 @@ button.stage-dot:hover::after, button.stage-dot:focus-visible::after {
429
429
}
430
430
.console.wrap code { white-space: pre-wrap; word-break: break-word; }
431
431
.console code { white-space: pre; }
432
.ansi-bold { font-weight: 700; }
433
.ansi-dim { opacity: 0.65; }
434
.ansi-italic { font-style: italic; }
435
.ansi-underline { text-decoration: underline; }
436
.ansi-fg-black { color: #6e7681; }
437
.ansi-fg-red { color: #ff7b72; }
438
.ansi-fg-green { color: #3fb950; }
439
.ansi-fg-yellow { color: #d29922; }
440
.ansi-fg-blue { color: #79c0ff; }
441
.ansi-fg-magenta { color: #d2a8ff; }
442
.ansi-fg-cyan { color: #56d4dd; }
443
.ansi-fg-white { color: #f0f6fc; }
444
.ansi-fg-bright-black { color: #8b949e; }
445
.ansi-fg-bright-red { color: #ffa198; }
446
.ansi-fg-bright-green { color: #56d364; }
447
.ansi-fg-bright-yellow { color: #e3b341; }
448
.ansi-fg-bright-blue { color: #a5d6ff; }
449
.ansi-fg-bright-magenta { color: #e2c5ff; }
450
.ansi-fg-bright-cyan { color: #7ee7ef; }
451
.ansi-fg-bright-white { color: #ffffff; }
452
.ansi-bg-black { background: #1c2128; }
453
.ansi-bg-red { background: #6e2b29; }
454
.ansi-bg-green { background: #1f4d32; }
455
.ansi-bg-yellow { background: #5c4a1f; }
456
.ansi-bg-blue { background: #1f3b5c; }
457
.ansi-bg-magenta { background: #4a2d5c; }
458
.ansi-bg-cyan { background: #1c4a4e; }
459
.ansi-bg-white { background: #d0d7de; color: #1c2128; }
460
.ansi-bg-bright-black { background: #2d333b; }
461
.ansi-bg-bright-red { background: #8a3834; }
462
.ansi-bg-bright-green { background: #2a6b3c; }
463
.ansi-bg-bright-yellow { background: #7a641f; }
464
.ansi-bg-bright-blue { background: #2a5580; }
465
.ansi-bg-bright-magenta { background: #684080; }
466
.ansi-bg-bright-cyan { background: #2a666c; }
467
.ansi-bg-bright-white { background: #f0f6fc; color: #1c2128; }
432
468
.lognote { margin: 0.2rem 0.8rem 0.45rem; color: #8b949e; font-family: inherit; }
433
469
.logline, .logsec ol li {
434
470
display: grid; grid-template-columns: 3rem 5.4rem minmax(0, 1fr);
@@ -429,6 +429,42 @@ button.stage-dot:hover::after, button.stage-dot:focus-visible::after {429
}429
}430
.console.wrap code { white-space: pre-wrap; word-break: break-word; }430
.console.wrap code { white-space: pre-wrap; word-break: break-word; }431
.console code { white-space: pre; }431
.console code { white-space: pre; }432
.ansi-bold { font-weight: 700; }433
.ansi-dim { opacity: 0.65; }434
.ansi-italic { font-style: italic; }435
.ansi-underline { text-decoration: underline; }436
.ansi-fg-black { color: #6e7681; }437
.ansi-fg-red { color: #ff7b72; }438
.ansi-fg-green { color: #3fb950; }439
.ansi-fg-yellow { color: #d29922; }440
.ansi-fg-blue { color: #79c0ff; }441
.ansi-fg-magenta { color: #d2a8ff; }442
.ansi-fg-cyan { color: #56d4dd; }443
.ansi-fg-white { color: #f0f6fc; }444
.ansi-fg-bright-black { color: #8b949e; }445
.ansi-fg-bright-red { color: #ffa198; }446
.ansi-fg-bright-green { color: #56d364; }447
.ansi-fg-bright-yellow { color: #e3b341; }448
.ansi-fg-bright-blue { color: #a5d6ff; }449
.ansi-fg-bright-magenta { color: #e2c5ff; }450
.ansi-fg-bright-cyan { color: #7ee7ef; }451
.ansi-fg-bright-white { color: #ffffff; }452
.ansi-bg-black { background: #1c2128; }453
.ansi-bg-red { background: #6e2b29; }454
.ansi-bg-green { background: #1f4d32; }455
.ansi-bg-yellow { background: #5c4a1f; }456
.ansi-bg-blue { background: #1f3b5c; }457
.ansi-bg-magenta { background: #4a2d5c; }458
.ansi-bg-cyan { background: #1c4a4e; }459
.ansi-bg-white { background: #d0d7de; color: #1c2128; }460
.ansi-bg-bright-black { background: #2d333b; }461
.ansi-bg-bright-red { background: #8a3834; }462
.ansi-bg-bright-green { background: #2a6b3c; }463
.ansi-bg-bright-yellow { background: #7a641f; }464
.ansi-bg-bright-blue { background: #2a5580; }465
.ansi-bg-bright-magenta { background: #684080; }466
.ansi-bg-bright-cyan { background: #2a666c; }467
.ansi-bg-bright-white { background: #f0f6fc; color: #1c2128; }432
.lognote { margin: 0.2rem 0.8rem 0.45rem; color: #8b949e; font-family: inherit; }468
.lognote { margin: 0.2rem 0.8rem 0.45rem; color: #8b949e; font-family: inherit; }433
.logline, .logsec ol li {469
.logline, .logsec ol li {434
display: grid; grid-template-columns: 3rem 5.4rem minmax(0, 1fr);470
display: grid; grid-template-columns: 3rem 5.4rem minmax(0, 1fr);@@ -280,10 +280,10 @@
280
280
<section class="logsec{{if .Open}} open{{end}}">
281
281
<button type="button" class="section-toggle"><span class="chev"></span><span class="sectitle">{{.Title}}</span>{{if .Duration}}<span class="pill">{{.Duration}}</span>{{end}}</button>
282
282
<ol>
283
{{range .Lines}}<li data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{.Text}}</code></li>{{end}}
283
{{range .Lines}}<li data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{range .Spans}}{{if .Class}}<span class="{{.Class}}">{{.Text}}</span>{{else}}{{.Text}}{{end}}{{end}}</code></li>{{end}}
284
284
</ol>
285
285
</section>
286
{{else}}{{range .Lines}}<div class="logline" data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{.Text}}</code></div>{{end}}{{end}}{{end}}
286
{{else}}{{range .Lines}}<div class="logline" data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{range .Spans}}{{if .Class}}<span class="{{.Class}}">{{.Text}}</span>{{else}}{{.Text}}{{end}}{{end}}</code></div>{{end}}{{end}}{{end}}
287
287
{{if not .Blocks}}<p class="muted">{{t "pipe.emptyLog"}}</p>{{end}}
288
288
</div>
289
289
</section>
@@ -280,10 +280,10 @@280
<section class="logsec{{if .Open}} open{{end}}">280
<section class="logsec{{if .Open}} open{{end}}">281
<button type="button" class="section-toggle"><span class="chev"></span><span class="sectitle">{{.Title}}</span>{{if .Duration}}<span class="pill">{{.Duration}}</span>{{end}}</button>281
<button type="button" class="section-toggle"><span class="chev"></span><span class="sectitle">{{.Title}}</span>{{if .Duration}}<span class="pill">{{.Duration}}</span>{{end}}</button>282
<ol>282
<ol>283
{{range .Lines}}<li data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{.Text}}</code></li>{{end}}283
{{range .Lines}}<li data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{range .Spans}}{{if .Class}}<span class="{{.Class}}">{{.Text}}</span>{{else}}{{.Text}}{{end}}{{end}}</code></li>{{end}}284
</ol>284
</ol>285
</section>285
</section>286
{{else}}{{range .Lines}}<div class="logline" data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{.Text}}</code></div>{{end}}{{end}}{{end}}286
{{else}}{{range .Lines}}<div class="logline" data-line="{{.N}}"><span class="ln">{{.N}}</span><span class="ts">{{.Time}}</span><code>{{range .Spans}}{{if .Class}}<span class="{{.Class}}">{{.Text}}</span>{{else}}{{.Text}}{{end}}{{end}}</code></div>{{end}}{{end}}{{end}}287
{{if not .Blocks}}<p class="muted">{{t "pipe.emptyLog"}}</p>{{end}}287
{{if not .Blocks}}<p class="muted">{{t "pipe.emptyLog"}}</p>{{end}}288
</div>288
</div>289
</section>289
</section>