Aannames
Dit document legt vast wat deze repository wel en niet doet, en welke keuzes daaronder liggen.
LNReader-plugins zijn geen APK
LNReader laadt plugins als gecompileerd JavaScript via een repository-manifest (plugins.json of plugins.min.json). Je plakt in de app de URL van dat manifest, niet een APK. De officiële vorm is gedocumenteerd in lnreader/lnreader-plugins. Deze repo volgt die interface: popularNovels, searchNovels, parseNovel en parseChapter, plus optionele filters en pluginSettings.
De plugin-JS is met opzet CommonJS (require uit de allowlist van LNReader, exports.default = …), hetzelfde formaat als de officiële gebouwde plugins. Er is geen TypeScript-buildketen van die monorepo nodig.
Raw-URL op BlueGit
BlueGit serveert bestanden op /{owner}/{repo}/-/raw/{pad}?rev={branch}. Ontbreekt rev, dan gebruikt BlueGit de standaardbranch. Raw-JSON en -JS krijgen Content-Type: text/plain (bewust, zodat er geen script op git.timfalken.com draait). LNReader is een React Native-app en parst de body zelf; CORS speelt daar niet.
De vaste URL die je in LNReader plakt, wijst naar rev=master, zodat een feature-branch de geïnstalleerde plugin niet stilletjes verandert.
projects.timfalken.com is niet gebruikt. Die host hoort bij de groep projects-timfalken-com voor web-apps. Een raw-URL op deze repo is voldoende en vermijdt een aparte deploy-stap (en daarmee ook --delete bij een deploy, wat we niet doen).
Wat hfydl wel en niet is
hfydl is een lokale crawler die vanaf één start-URL een keten van Reddit-posts volgt (HTML + titel-embeddings) en die exporteert als EPUB/Markdown/JSON. Het bouwt geen catalogus van heel r/HFY, gebruikt geen Pushshift, en haalt de tekst via url/.json (anonieme Reddit-JSON). Die anonieme JSON is sinds mei 2026 door Reddit afgesloten.
Deze repo neemt het principe over (ketens van HFY-hoofdstukken vinden en leesbaar maken), niet de code. hfydl is GPL-3; onze indexer en plugin zijn opnieuw geschreven onder MIT. De lijst met series komt uit de r/HFY-wiki; hoofdstukken worden vanaf het eerste of index-deel gevolgd via next-links en titelgelijkenis (lexicale embedder, optioneel model2vec minishlab/potion-base-8M, cosine ≥ 0.5). Tags en part-nummers gaan van de titel af voordat het gemeenschappelijke voorvoegsel wordt bepaald.
Live catalogus op de telefoon, via de WebView-sessie
Vanaf plugin 0.3.0 haalt de plugin de catalogus live op, met fetchApi. Cookies uit de LNReader-WebView gaan automatisch mee naar reddit.com, per account op dat toestel. Er is geen Reddit-app, geen client_credentials en geen gedeelde bot-login nodig: ieder gebruikt zijn eigen inlog.
Volgorde voor zoeken, de wiki-index, recente OC-posts en de hoofdstuklijst: eerst Reddit-JSON (/r/HFY/search.json?restrict_sr=1, /r/HFY/wiki/series.json en subpagina’s, /r/HFY/new.json, daarna next-links), bij een fout, 403 of login-/blokpagina Arctic Shift, en als laatste de statische metadata-index in deze repo. De wiki-index wordt tot zes uur in @libs/storage bewaard (wikiSeriesIndex), zodat die niet bij elk bladerscherm opnieuw wordt opgehaald.
Bron van de statische fallback-index: de r/HFY-wiki, via Arctic Shift
Een index in CI opbouwen via de officiële Reddit Data API vereist OAuth, een geregistreerde app, een beschrijvende User-Agent, en 100 verzoeken per minuut per client-id. Verkeer zonder OAuth wordt geblokkeerd. Dat past slecht bij CI op een datacenter-IP. Die route is niet ingebouwd; de plugin authenticeert op de telefoon.
Daarom haalt de (handmatige) indexer de wiki en de post-metadata op bij Arctic Shift: /api/subreddits/wikis voor https://www.reddit.com/r/HFY/wiki/series/ en de gelinkte subpagina’s, en /api/posts/ids in plaats van url/.json. Arctic Shift is een onofficiële, best-effort-dienst. Als die wegvalt, blijft de live Reddit-route op de telefoon werken zolang de gebruiker is ingelogd; zonder login blijft bladeren in de laatste statische index werken.
Arctic Shift heeft (stand november 2026) de volledige serie-index, maar slechts een deel van de serie-subpagina’s (in een steekproef ongeveer een op de zes). Zonder subpagina is er vaak geen eerste-deel-link; titelzoeken op heel r/HFY wordt door de API geweigerd (HTTP 422, te actieve subreddit). Als de auteur wél bekend is, zoeken we op auteur + titel. Series die zo geen zaadpost krijgen, blijven buiten de index tot de wiki-subpagina in het archief verschijnt.
We slaan in public/ geen selftext op. Selftext wordt alleen in geheugen gebruikt om links te vinden. Een metadata-cache staat in public/.cache/ (gitignored) zodat een onderbroken run niet opnieuw hoeft te beginnen.
Auteursrecht en Reddit-voorwaarden
- De User Content op Reddit is van de auteurs, niet van Reddit en niet van ons. Reddit verleent via de Data API alleen een beperkte, herroepbare licentie om die inhoud te tonen in een app, niet om die te hergebruiken of te herpubliceren.
- Deze repository host daarom geen verhaaltekst, alleen verwijzingen (IDs, titels, permalinks).
- Persoonlijk een hoofdstuk openen in LNReader is vergelijkbaar met het openen van de post op Reddit of in een lokale downloader. Een openbare spiegel van de teksten, een “piratenbron”, of training van een model op die teksten is dat niet en doen we niet.
- Verwijderde posts moeten volgens de Reddit-voorwaarden ook uit eventuele caches. Omdat wij de tekst niet bewaren, verdwijnt die vanzelf zodra Arctic Shift (of Reddit) hem niet meer levert; de metadata-regel in de index kan tot de volgende verversing blijven staan.
- De plugin is bedoeld voor persoonlijk gebruik. We publiceren hem als broncode, niet als een dienst die teksten opnieuw verspreidt.
Omvang en volledigheid
r/HFY heeft honderdduizenden posts en ruim 385.000 leden (stand november 2026). We scannen die subreddit niet pagina voor pagina; de wiki is de catalogus. --max-pages is een budget voor API-verzoeken per run (wiki-batches en post-IDs). --full zet dat budget uit. Incrementeel (--incremental) behoudt bestaande reeksen en voegt nieuwe wiki-items of volgende hoofdstukken toe.
De statische index in de repo is een momentopname en is niet nodig voor dagelijkse updates: nieuwe verhalen worden op de telefoon ontdekt. Een handmatige update-index-run of een lokale indexer-run ververst alleen de fallback. Reeksen die live noch in die snapshot staan, ontbreken tot een van beide ze vindt.
Statusvelden (Ongoing, On Hiatus, Completed) zijn een schatting (oneshot = voltooid, meer dan 180 dagen stil = on hold). Auteurs markeren dat niet betrouwbaar in flairs.
CI en geheimen
- Tests draaien op elke branch. Er gaan geen geheimen in de logs; tokens worden niet geprint.
CI_JOB_TOKENmag niet pushen. Een handmatige index terugschrijven kan alleen met het optionele geheimINDEX_PUSH_TOKEN. Er is geen dagelijkse pipeline-trigger; die is bewust niet gebouwd.- Er is geen
--deletein een deploy, en er wordt niets gewijzigd op auth.timfalken.com. - Tags en releases worden niet automatisch gezet.
Plugin-runtime
De tests evalueren de plugin met new Function en een begrensde require, en serveren de fixture-index over HTTP als text/plain, hetzelfde type als BlueGit-raw. popularNovels, searchNovels, parseNovel en parseChapter worden getest met mocks van Reddit-JSON (succes, HTTP 403) en Arctic Shift, plus de statische fallback, en optioneel live (HFY_LIVE=1 voor parseChapter). We hebben de plugin niet in de LNReader-Android-app zelf geïnstalleerd.
LNReader's fetchApi is native fetch plus de app-User-Agent. Cookies uit de WebView worden door React Native automatisch meegestuurd naar hetzelfde domein; je hoeft geen Cookie-header te zetten. webStorageUtilized is niet gezet: dat kopieert alleen localStorage/sessionStorage, terwijl Reddit-login in cookies zit. De plugin-site is https://www.reddit.com/r/HFY/, zodat Website / Open in WebView op reddit.com opent. resolveUrl zet een reeks- of hoofdstukpad om naar https://www.reddit.com/r/HFY/comments/<id>/, en een wiki-pad naar https://www.reddit.com/r/HFY/wiki/series/<slug>/.
LNReader eist dat de repository-URL plugins.min.json bevat (regex in SettingsRepositoryScreen.tsx).
Covers
Verhalen op r/HFY hebben geen officiële omslag. Als een item geen cover heeft, maakt de indexer er een uit de titel: SHA-256 van de getrimde titel bepaalt de kleuren en het patroon, de titel zelf staat (afgebroken indien nodig) op een donkere band. Dat gebeurt tijdens write_index, in CI en lokaal, als statisch bestand onder public/covers/{hash[0:2]}/{hash}.png. Zonder Pillow wordt het een .svg.
LNReader toont covers met expo-image (NovelCoverImage, cachePolicy: 'memory-disk'). Die component is betrouwbaar voor PNG, niet altijd voor SVG. Daarom staat in de catalogus de PNG-URL, en gebruikt de plugin voor live verhalen een data:image/png;base64 (geen SVG-data-URI). Op BlueGit-raw krijgen PNG's image/png. Als de index toch naar een SVG wijst, voegt de plugin ?as=img toe zodat BlueGit image/svg+xml geeft.
BlueGit kan geen dynamische afbeeldingen serveren. Live gevonden reeksen (zonder bestand in public/covers/) krijgen daarom vanaf 0.3.1 in de plugin zelf een PNG, met dezelfde titelhash, palet, wrap en stijl als de indexcovers (DejaVu-bitmap op de layoutgroottes 16/18/22/26). expo-image kan die data-URI tonen. Bij toevoegen aan de bibliotheek probeert LNReader de cover te downloaden via OkHttp (downloadFile); dat lukt niet voor data:-URIs, maar de oorspronkelijke URI blijft in de database staan en blijft zichtbaar. Opslaan naar de galerij (useSaveNovelCover) downloadt alleen HTTP-URLs en kan voor gegenereerde covers mislukken.
De PNG gebruikt DejaVu Sans Bold (Bitstream Vera-licentie, indexer/fonts/). Zonder Pillow valt de indexer terug op alleen SVG. Twee verhalen met dezelfde weergavetitel delen dezelfde cover; dat is bewust, de hash is alleen de titel.
Source
| 1 | # Aannames |
| 2 | |
| 3 | Dit document legt vast wat deze repository wel en niet doet, en welke keuzes daaronder liggen. |
| 4 | |
| 5 | ## LNReader-plugins zijn geen APK |
| 6 | |
| 7 | LNReader laadt plugins als gecompileerd JavaScript via een repository-manifest (`plugins.json` of `plugins.min.json`). Je plakt in de app de URL van dat manifest, niet een APK. De officiële vorm is gedocumenteerd in [lnreader/lnreader-plugins](https://github.com/lnreader/lnreader-plugins). Deze repo volgt die interface: `popularNovels`, `searchNovels`, `parseNovel` en `parseChapter`, plus optionele `filters` en `pluginSettings`. |
| 8 | |
| 9 | De plugin-JS is met opzet CommonJS (`require` uit de allowlist van LNReader, `exports.default = …`), hetzelfde formaat als de officiële gebouwde plugins. Er is geen TypeScript-buildketen van die monorepo nodig. |
| 10 | |
| 11 | ## Raw-URL op BlueGit |
| 12 | |
| 13 | BlueGit serveert bestanden op `/{owner}/{repo}/-/raw/{pad}?rev={branch}`. Ontbreekt `rev`, dan gebruikt BlueGit de standaardbranch. Raw-JSON en -JS krijgen `Content-Type: text/plain` (bewust, zodat er geen script op git.timfalken.com draait). LNReader is een React Native-app en parst de body zelf; CORS speelt daar niet. |
| 14 | |
| 15 | De vaste URL die je in LNReader plakt, wijst naar `rev=master`, zodat een feature-branch de geïnstalleerde plugin niet stilletjes verandert. |
| 16 | |
| 17 | `projects.timfalken.com` is niet gebruikt. Die host hoort bij de groep `projects-timfalken-com` voor web-apps. Een raw-URL op deze repo is voldoende en vermijdt een aparte deploy-stap (en daarmee ook `--delete` bij een deploy, wat we niet doen). |
| 18 | |
| 19 | ## Wat hfydl wel en niet is |
| 20 | |
| 21 | [hfydl](https://github.com/lizard-demon/hfydl) is een lokale crawler die vanaf **één** start-URL een keten van Reddit-posts volgt (HTML + titel-embeddings) en die exporteert als EPUB/Markdown/JSON. Het bouwt geen catalogus van heel r/HFY, gebruikt geen Pushshift, en haalt de tekst via `url/.json` (anonieme Reddit-JSON). Die anonieme JSON is sinds mei 2026 door Reddit afgesloten. |
| 22 | |
| 23 | Deze repo neemt het *principe* over (ketens van HFY-hoofdstukken vinden en leesbaar maken), niet de code. hfydl is GPL-3; onze indexer en plugin zijn opnieuw geschreven onder MIT. De lijst met series komt uit de r/HFY-wiki; hoofdstukken worden vanaf het eerste of index-deel gevolgd via next-links en titelgelijkenis (lexicale embedder, optioneel model2vec `minishlab/potion-base-8M`, cosine ≥ 0.5). Tags en part-nummers gaan van de titel af voordat het gemeenschappelijke voorvoegsel wordt bepaald. |
| 24 | |
| 25 | ## Live catalogus op de telefoon, via de WebView-sessie |
| 26 | |
| 27 | Vanaf plugin 0.3.0 haalt de plugin de catalogus live op, met `fetchApi`. Cookies uit de LNReader-WebView gaan automatisch mee naar reddit.com, per account op dat toestel. Er is geen Reddit-app, geen `client_credentials` en geen gedeelde bot-login nodig: ieder gebruikt zijn eigen inlog. |
| 28 | |
| 29 | Volgorde voor zoeken, de wiki-index, recente OC-posts en de hoofdstuklijst: eerst Reddit-JSON (`/r/HFY/search.json?restrict_sr=1`, `/r/HFY/wiki/series.json` en subpagina’s, `/r/HFY/new.json`, daarna next-links), bij een fout, 403 of login-/blokpagina [Arctic Shift](https://github.com/ArthurHeitmann/arctic_shift), en als laatste de statische metadata-index in deze repo. De wiki-index wordt tot zes uur in `@libs/storage` bewaard (`wikiSeriesIndex`), zodat die niet bij elk bladerscherm opnieuw wordt opgehaald. |
| 30 | |
| 31 | ## Bron van de statische fallback-index: de r/HFY-wiki, via Arctic Shift |
| 32 | |
| 33 | Een index in CI opbouwen via de officiële Reddit Data API vereist OAuth, een geregistreerde app, een beschrijvende User-Agent, en 100 verzoeken per minuut per client-id. Verkeer zonder OAuth wordt geblokkeerd. Dat past slecht bij CI op een datacenter-IP. Die route is niet ingebouwd; de plugin authenticeert op de telefoon. |
| 34 | |
| 35 | Daarom haalt de (handmatige) indexer de wiki en de post-metadata op bij Arctic Shift: `/api/subreddits/wikis` voor https://www.reddit.com/r/HFY/wiki/series/ en de gelinkte subpagina’s, en `/api/posts/ids` in plaats van `url/.json`. Arctic Shift is een onofficiële, best-effort-dienst. Als die wegvalt, blijft de live Reddit-route op de telefoon werken zolang de gebruiker is ingelogd; zonder login blijft bladeren in de laatste statische index werken. |
| 36 | |
| 37 | Arctic Shift heeft (stand november 2026) de volledige serie-index, maar slechts een deel van de serie-subpagina’s (in een steekproef ongeveer een op de zes). Zonder subpagina is er vaak geen eerste-deel-link; titelzoeken op heel r/HFY wordt door de API geweigerd (HTTP 422, te actieve subreddit). Als de auteur wél bekend is, zoeken we op auteur + titel. Series die zo geen zaadpost krijgen, blijven buiten de index tot de wiki-subpagina in het archief verschijnt. |
| 38 | |
| 39 | We slaan in `public/` geen `selftext` op. Selftext wordt alleen in geheugen gebruikt om links te vinden. Een metadata-cache staat in `public/.cache/` (gitignored) zodat een onderbroken run niet opnieuw hoeft te beginnen. |
| 40 | |
| 41 | ## Auteursrecht en Reddit-voorwaarden |
| 42 | |
| 43 | - De User Content op Reddit is van de auteurs, niet van Reddit en niet van ons. Reddit verleent via de Data API alleen een beperkte, herroepbare licentie om die inhoud te tonen in een app, niet om die te hergebruiken of te herpubliceren. |
| 44 | - Deze repository host daarom geen verhaaltekst, alleen verwijzingen (IDs, titels, permalinks). |
| 45 | - Persoonlijk een hoofdstuk openen in LNReader is vergelijkbaar met het openen van de post op Reddit of in een lokale downloader. Een openbare spiegel van de teksten, een “piratenbron”, of training van een model op die teksten is dat niet en doen we niet. |
| 46 | - Verwijderde posts moeten volgens de Reddit-voorwaarden ook uit eventuele caches. Omdat wij de tekst niet bewaren, verdwijnt die vanzelf zodra Arctic Shift (of Reddit) hem niet meer levert; de metadata-regel in de index kan tot de volgende verversing blijven staan. |
| 47 | - De plugin is bedoeld voor persoonlijk gebruik. We publiceren hem als broncode, niet als een dienst die teksten opnieuw verspreidt. |
| 48 | |
| 49 | ## Omvang en volledigheid |
| 50 | |
| 51 | r/HFY heeft honderdduizenden posts en ruim 385.000 leden (stand november 2026). We scannen die subreddit niet pagina voor pagina; de wiki is de catalogus. `--max-pages` is een budget voor API-verzoeken per run (wiki-batches en post-IDs). `--full` zet dat budget uit. Incrementeel (`--incremental`) behoudt bestaande reeksen en voegt nieuwe wiki-items of volgende hoofdstukken toe. |
| 52 | |
| 53 | De statische index in de repo is een momentopname en is niet nodig voor dagelijkse updates: nieuwe verhalen worden op de telefoon ontdekt. Een handmatige `update-index`-run of een lokale indexer-run ververst alleen de fallback. Reeksen die live noch in die snapshot staan, ontbreken tot een van beide ze vindt. |
| 54 | |
| 55 | Statusvelden (`Ongoing`, `On Hiatus`, `Completed`) zijn een schatting (oneshot = voltooid, meer dan 180 dagen stil = on hold). Auteurs markeren dat niet betrouwbaar in flairs. |
| 56 | |
| 57 | ## CI en geheimen |
| 58 | |
| 59 | - Tests draaien op elke branch. Er gaan geen geheimen in de logs; tokens worden niet geprint. |
| 60 | - `CI_JOB_TOKEN` mag niet pushen. Een handmatige index terugschrijven kan alleen met het optionele geheim `INDEX_PUSH_TOKEN`. Er is geen dagelijkse pipeline-trigger; die is bewust niet gebouwd. |
| 61 | - Er is geen `--delete` in een deploy, en er wordt niets gewijzigd op auth.timfalken.com. |
| 62 | - Tags en releases worden niet automatisch gezet. |
| 63 | |
| 64 | ## Plugin-runtime |
| 65 | |
| 66 | De tests evalueren de plugin met `new Function` en een begrensde `require`, en serveren de fixture-index over HTTP als `text/plain`, hetzelfde type als BlueGit-raw. `popularNovels`, `searchNovels`, `parseNovel` en `parseChapter` worden getest met mocks van Reddit-JSON (succes, HTTP 403) en Arctic Shift, plus de statische fallback, en optioneel live (`HFY_LIVE=1` voor `parseChapter`). We hebben de plugin niet in de LNReader-Android-app zelf geïnstalleerd. |
| 67 | |
| 68 | LNReader's `fetchApi` is native `fetch` plus de app-User-Agent. Cookies uit de WebView worden door React Native automatisch meegestuurd naar hetzelfde domein; je hoeft geen `Cookie`-header te zetten. `webStorageUtilized` is niet gezet: dat kopieert alleen `localStorage`/`sessionStorage`, terwijl Reddit-login in cookies zit. De plugin-`site` is `https://www.reddit.com/r/HFY/`, zodat **Website** / **Open in WebView** op reddit.com opent. `resolveUrl` zet een reeks- of hoofdstukpad om naar `https://www.reddit.com/r/HFY/comments/<id>/`, en een wiki-pad naar `https://www.reddit.com/r/HFY/wiki/series/<slug>/`. |
| 69 | |
| 70 | LNReader eist dat de repository-URL `plugins.min.json` bevat (regex in `SettingsRepositoryScreen.tsx`). |
| 71 | |
| 72 | ## Covers |
| 73 | |
| 74 | Verhalen op r/HFY hebben geen officiële omslag. Als een item geen cover heeft, maakt de indexer er een uit de titel: SHA-256 van de getrimde titel bepaalt de kleuren en het patroon, de titel zelf staat (afgebroken indien nodig) op een donkere band. Dat gebeurt tijdens `write_index`, in CI en lokaal, als statisch bestand onder `public/covers/{hash[0:2]}/{hash}.png`. Zonder Pillow wordt het een `.svg`. |
| 75 | |
| 76 | LNReader toont covers met `expo-image` (`NovelCoverImage`, `cachePolicy: 'memory-disk'`). Die component is betrouwbaar voor PNG, niet altijd voor SVG. Daarom staat in de catalogus de PNG-URL, en gebruikt de plugin voor live verhalen een `data:image/png;base64` (geen SVG-data-URI). Op BlueGit-raw krijgen PNG's `image/png`. Als de index toch naar een SVG wijst, voegt de plugin `?as=img` toe zodat BlueGit `image/svg+xml` geeft. |
| 77 | |
| 78 | BlueGit kan geen dynamische afbeeldingen serveren. Live gevonden reeksen (zonder bestand in `public/covers/`) krijgen daarom vanaf 0.3.1 in de plugin zelf een PNG, met dezelfde titelhash, palet, wrap en stijl als de indexcovers (DejaVu-bitmap op de layoutgroottes 16/18/22/26). `expo-image` kan die data-URI tonen. Bij toevoegen aan de bibliotheek probeert LNReader de cover te downloaden via OkHttp (`downloadFile`); dat lukt niet voor `data:`-URIs, maar de oorspronkelijke URI blijft in de database staan en blijft zichtbaar. Opslaan naar de galerij (`useSaveNovelCover`) downloadt alleen HTTP-URLs en kan voor gegenereerde covers mislukken. |
| 79 | |
| 80 | De PNG gebruikt DejaVu Sans Bold (Bitstream Vera-licentie, `indexer/fonts/`). Zonder Pillow valt de indexer terug op alleen SVG. Twee verhalen met dezelfde weergavetitel delen dezelfde cover; dat is bewust, de hash is alleen de titel. |