BlueGit

timfa bluegit

Files

bluegit / docs / ARCHITECTURE.md

ARCHITECTURE.md

fix: installatiebeheerder ziet andermans gegevens niet
timfa project_87923614_bot_3aff574f6f98414b945a8799374f9092 · pushed by timfa · 3 weeks ago
77270b74 History
ARCHITECTURE.md 6.4 KiB Download Raw

Architectuur

BlueGit is één proces. Het bedient de website, de git-HTTP-server, de API en (als het aanstaat) de SSH-listener. Een tweede goroutine plant CI-jobs. Metadata staat in SQLite. Git-objecten staan in bare repositories op de datadisk.

browser ──HTTPS──▶ ingress ──HTTP──▶ bluegit (web + smart HTTP + API)
git     ──HTTPS──▶ ingress ──HTTP──▶ bluegit ──▶ git http-backend ──▶ pre-receive hook
git     ──SSH:22─▶ ingress ──TCP:2222──▶ bluegit ──▶ git-receive-pack ──▶ dezelfde hook
bluegit ──bearer──▶ auth.timfalken.com
bluegit ──docker run──▶ jobcontainer
jobcontainer ──CI_JOB_TOKEN──▶ API van bluegit (release)
jobcontainer ──SSH-geheim──▶ de host (deploy, gewone SSH)

De ingress staat op een andere machine en doet TLS en SSH-forwarding. BlueGit luistert plain HTTP op listen. Clone-URL's komen uit base_url en uit ssh.public_host / ssh.public_port, niet uit de binnenkomende request. X-Forwarded-For en X-Real-IP gelden alleen als de directe verbinding van een adres in trusted_proxies komt. Het voorbeeld staat in INGRESS.md.

Waarom deze vorm

De mini-PC moet één ding draaien dat je kunt vervangen door een nieuwe binary. Go levert die binary zonder runtime ernaast. SQLite hoeft geen tweede dienst. De git-binary is toch al nodig voor hooks en merges; smart HTTP gaat daarom via git http-backend in plaats van een eigen implementatie van het pack-protocol.

Docker is alleen de jobgrens die de eis stelt. BlueGit mount de Docker-socket niet in de job. Een job die de host wil wijzigen, doet dat via SSH met een geheim, net als elke andere repository.

Schijf

storage_path is de wortel. Het mountpoint van de 4 TB-schijf is nog niet gekozen. /mnt/storage/bluegit in de voorbeeldconfiguratie is alleen een voorbeeld; het echte pad komt in de configuratie en in de systemd-drop-in.

bluegit.db          metadata, mode via het proces van gebruiker bluegit
secret.key          32 bytes, AES-GCM voor geheimen, mode 0600
repos/eigenaar/naam.git
artifacts/job-id/…
releases/eigenaar/naam/tag/…
work/pipeline/job/  tijdelijke clone voor een job
ssh/host_ed25519    hostkey van de git-SSH

Geheimen in de database zijn versleuteld. Sessietokens van de auth-server staan als tekst in SQLite; de bestandsmachtiging van de database is de grens. Versleutelen van die sessies staat op de roadmap.

Auth

De interface auth.Provider heeft AuthorizeURL, Exchange, Extend en Logout. TimFalken praat met auth.timfalken.com. Dev vult dezelfde interface lokaal, zonder wachtwoord, en mag niet aan op het productiedomein.

Na de code-wissel bewaart BlueGit het bearer-token in de sessie. Korter dan zes uur voor het einde wordt POST /api/session/extend aangeroepen. Afmelden trekt het token in met POST /api/logout.

Git en de API gebruiken een apart toegangstoken (bg_…) of, alleen tijdens een job, een job-token (bgj_…). Dat zijn geen wachtwoorden: ze worden één keer getoond, als hash bewaard, en zijn in te trekken. Het OAuth-token leeft 24 uur en is een slechte git-credential.

Details en de eisen van de auth-server staan in AUTH.md.

Rechten

internal/access is bewust los van HTTP en SQL. Resolve kiest de hoogste rol uit persoonlijke eigenaar, groepslid en rechtstreeks lid. AuthorizeUpdate keurt een pre-receive-regel goed. De hook is die functie, aangeroepen als bluegit hook pre-receive, met de rol en de patronen in de omgeving. Zonder die omgeving weigert de hook, zodat een push om de server heen niet slaagt.

De eerste aangemelde gebruiker is installatiebeheerder. is_admin van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. De vlag is er voor instance-beheer; een scherm daarvoor is er nog niet.

Web

De pagina's zijn serverside HTML uit de binary. De router is de standaard ServeMux van Go 1.22. Een repository staat op /{eigenaar}/{naam}. Git staat op /{eigenaar}/{naam}.git. Vaste paden (/login, /groups, /settings, /api) winnen van die wildcard.

Formulieren sturen een CSRF-token uit de sessie mee. De API gebruikt een bearer-token en geen CSRF.

Push naar pipeline

Na een geslaagde smart-HTTP-push of SSH-push vergelijkt BlueGit de refs. Voor elke bijgewerkte branch leest het blue-ci-cd.yml op die commit. Ontbreekt het bestand, dan gebeurt er niets. Is het ongeldig, dan komt er een mislukte pipeline met de fout in het log, zodat de push zelf niet blokkeert. Jobs waarvan de rules niet kloppen, worden niet aangemaakt.

De runner zet een job op running, kloont de commit naar een werkmap, haalt artifacts van eerdere jobs binnen, en start:

docker run --rm --network <ci.network> -e NAAM …
  -v werkmap:/workspace --entrypoint sh IMAGE /workspace/.bluegit-job.sh

-e NAAM zonder waarde laat Docker de variabele uit de omgeving van BlueGit overnemen. Daardoor blijft een meerregelige SSH-sleutel heel, en staat de waarde niet in de proceslijst. Het netwerk van de container is het gewone Docker-netwerk, niet het hostnetwerk.

CI_JOB_TOKEN hoort bij die ene lopende job. De release-API eist dat het token bij deze repository hoort en dat de job nog loopt. Assets moeten al als artifact van een geslaagde job in dezelfde pipeline bestaan.

Webhooks

Een gebeurtenis gaat naar de webhooks van de repository en, als de repository van een groep is, ook naar die van de groep. Een repository-webhook ziet repositorygeheimen. Een groep-webhook ziet alleen groepgeheimen. Een beschermd geheim gaat mee als de branch van de gebeurtenis beschermd is.

Het branchfilter geldt alleen voor push. Andere gebeurtenissen negeren het. Een onbekend geheim of veld in het sjabloon is een fout en er gaat niets uit, zodat er geen webhook vertrekt met een leeg token.

Vertrouwensgrens

De systeemgebruiker bluegit kan alles lezen wat op de schijf staat, inclusief geheimen (hij heeft secret.key). Mensen op de website kunnen dat niet, behalve een beheerder via het JSON-export dat de auth-server verplicht stelt. CI-jobs zien de geheimen die de regel van beschermde branches toelaat. Ze zien de Docker-socket niet.

Webhooks mogen naar elk http(s)-adres, ook naar iets op het lokale netwerk. Redirects worden niet gevolgd. Of dat zo blijft, is nog open: Tim denkt erover na. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dat open is.

Source
1# Architectuur
2
3BlueGit is één proces. Het bedient de website, de git-HTTP-server, de API en (als het aanstaat) de SSH-listener. Een tweede goroutine plant CI-jobs. Metadata staat in SQLite. Git-objecten staan in bare repositories op de datadisk.
4
5```text
6browser ──HTTPS──▶ ingress ──HTTP──▶ bluegit (web + smart HTTP + API)
7git ──HTTPS──▶ ingress ──HTTP──▶ bluegit ──▶ git http-backend ──▶ pre-receive hook
8git ──SSH:22─▶ ingress ──TCP:2222──▶ bluegit ──▶ git-receive-pack ──▶ dezelfde hook
9bluegit ──bearer──▶ auth.timfalken.com
10bluegit ──docker run──▶ jobcontainer
11jobcontainer ──CI_JOB_TOKEN──▶ API van bluegit (release)
12jobcontainer ──SSH-geheim──▶ de host (deploy, gewone SSH)
13```
14
15De ingress staat op een andere machine en doet TLS en SSH-forwarding. BlueGit luistert plain HTTP op `listen`. Clone-URL's komen uit `base_url` en uit `ssh.public_host` / `ssh.public_port`, niet uit de binnenkomende request. `X-Forwarded-For` en `X-Real-IP` gelden alleen als de directe verbinding van een adres in `trusted_proxies` komt. Het voorbeeld staat in [INGRESS.md](INGRESS.md).
16
17## Waarom deze vorm
18
19De mini-PC moet één ding draaien dat je kunt vervangen door een nieuwe binary. Go levert die binary zonder runtime ernaast. SQLite hoeft geen tweede dienst. De git-binary is toch al nodig voor hooks en merges; smart HTTP gaat daarom via `git http-backend` in plaats van een eigen implementatie van het pack-protocol.
20
21Docker is alleen de jobgrens die de eis stelt. BlueGit mount de Docker-socket niet in de job. Een job die de host wil wijzigen, doet dat via SSH met een geheim, net als elke andere repository.
22
23## Schijf
24
25`storage_path` is de wortel. Het mountpoint van de 4 TB-schijf is nog niet gekozen. `/mnt/storage/bluegit` in de voorbeeldconfiguratie is alleen een voorbeeld; het echte pad komt in de configuratie en in de systemd-drop-in.
26
27```text
28bluegit.db metadata, mode via het proces van gebruiker bluegit
29secret.key 32 bytes, AES-GCM voor geheimen, mode 0600
30repos/eigenaar/naam.git
31artifacts/job-id/…
32releases/eigenaar/naam/tag/…
33work/pipeline/job/ tijdelijke clone voor een job
34ssh/host_ed25519 hostkey van de git-SSH
35```
36
37Geheimen in de database zijn versleuteld. Sessietokens van de auth-server staan als tekst in SQLite; de bestandsmachtiging van de database is de grens. Versleutelen van die sessies staat op de roadmap.
38
39## Auth
40
41De interface `auth.Provider` heeft `AuthorizeURL`, `Exchange`, `Extend` en `Logout`. `TimFalken` praat met auth.timfalken.com. `Dev` vult dezelfde interface lokaal, zonder wachtwoord, en mag niet aan op het productiedomein.
42
43Na de code-wissel bewaart BlueGit het bearer-token in de sessie. Korter dan zes uur voor het einde wordt `POST /api/session/extend` aangeroepen. Afmelden trekt het token in met `POST /api/logout`.
44
45Git en de API gebruiken een apart toegangstoken (`bg_…`) of, alleen tijdens een job, een job-token (`bgj_…`). Dat zijn geen wachtwoorden: ze worden één keer getoond, als hash bewaard, en zijn in te trekken. Het OAuth-token leeft 24 uur en is een slechte git-credential.
46
47Details en de eisen van de auth-server staan in [AUTH.md](AUTH.md).
48
49## Rechten
50
51`internal/access` is bewust los van HTTP en SQL. `Resolve` kiest de hoogste rol uit persoonlijke eigenaar, groepslid en rechtstreeks lid. `AuthorizeUpdate` keurt een pre-receive-regel goed. De hook is die functie, aangeroepen als `bluegit hook pre-receive`, met de rol en de patronen in de omgeving. Zonder die omgeving weigert de hook, zodat een push om de server heen niet slaagt.
52
53De eerste aangemelde gebruiker is installatiebeheerder. `is_admin` van de auth-server wordt opgeslagen en geeft die vlag niet. Installatiebeheer geeft geen lidmaatschap van andermans repositories of groepen en geen inzage in hun geheimen. De vlag is er voor instance-beheer; een scherm daarvoor is er nog niet.
54
55## Web
56
57De pagina's zijn serverside HTML uit de binary. De router is de standaard `ServeMux` van Go 1.22. Een repository staat op `/{eigenaar}/{naam}`. Git staat op `/{eigenaar}/{naam}.git`. Vaste paden (`/login`, `/groups`, `/settings`, `/api`) winnen van die wildcard.
58
59Formulieren sturen een CSRF-token uit de sessie mee. De API gebruikt een bearer-token en geen CSRF.
60
61## Push naar pipeline
62
63Na een geslaagde smart-HTTP-push of SSH-push vergelijkt BlueGit de refs. Voor elke bijgewerkte branch leest het `blue-ci-cd.yml` op die commit. Ontbreekt het bestand, dan gebeurt er niets. Is het ongeldig, dan komt er een mislukte pipeline met de fout in het log, zodat de push zelf niet blokkeert. Jobs waarvan de `rules` niet kloppen, worden niet aangemaakt.
64
65De runner zet een job op `running`, kloont de commit naar een werkmap, haalt artifacts van eerdere jobs binnen, en start:
66
67```text
68docker run --rm --network <ci.network> -e NAAM …
69 -v werkmap:/workspace --entrypoint sh IMAGE /workspace/.bluegit-job.sh
70```
71
72`-e NAAM` zonder waarde laat Docker de variabele uit de omgeving van BlueGit overnemen. Daardoor blijft een meerregelige SSH-sleutel heel, en staat de waarde niet in de proceslijst. Het netwerk van de container is het gewone Docker-netwerk, niet het hostnetwerk.
73
74`CI_JOB_TOKEN` hoort bij die ene lopende job. De release-API eist dat het token bij deze repository hoort en dat de job nog loopt. Assets moeten al als artifact van een geslaagde job in dezelfde pipeline bestaan.
75
76## Webhooks
77
78Een gebeurtenis gaat naar de webhooks van de repository en, als de repository van een groep is, ook naar die van de groep. Een repository-webhook ziet repositorygeheimen. Een groep-webhook ziet alleen groepgeheimen. Een beschermd geheim gaat mee als de branch van de gebeurtenis beschermd is.
79
80Het branchfilter geldt alleen voor `push`. Andere gebeurtenissen negeren het. Een onbekend geheim of veld in het sjabloon is een fout en er gaat niets uit, zodat er geen webhook vertrekt met een leeg token.
81
82## Vertrouwensgrens
83
84De systeemgebruiker `bluegit` kan alles lezen wat op de schijf staat, inclusief geheimen (hij heeft `secret.key`). Mensen op de website kunnen dat niet, behalve een beheerder via het JSON-export dat de auth-server verplicht stelt. CI-jobs zien de geheimen die de regel van beschermde branches toelaat. Ze zien de Docker-socket niet.
85
86Webhooks mogen naar elk http(s)-adres, ook naar iets op het lokale netwerk. Redirects worden niet gevolgd. Of dat zo blijft, is nog open: Tim denkt erover na. Een allowlist staat op de roadmap en wordt niet vastgezet zolang dat open is.