Repository navigation
feat(pipeline): batch selettivo centralizzato — auto-detect del target run-batch - #40
Merged
Merged
Conversation
…t run-batch Centralizza il batch selettivo post-merge: i repo non devono più dichiarare `run-batch-command` nel YAML, basta un target `run-batch` nel Makefile. **Prima**: il batch funzionava solo se il repo impostava esplicitamente `run-batch-command`. 3 repo con `detect-paths` costruivano `batch.txt` e poi lo ignoravano (run completo a ogni merge); ~21 repo non facevano nemmeno il detect. **Ordine di risoluzione** (il primo che esiste vince): 1. `run-batch-command` esplicito — comportamento invariato, retrocompatibile 2. `make run-batch` se il Makefile del repo definisce il target — **nuova convenzione**: il target può includere i pre-step del repo (seeds, codelists, env) che un comando generico salterebbe 3. `run-command` se consuma già `batch.txt` (pattern di `eurostat`) 4. `run-command` (run completo) + **warning** che spiega come attivare il batch **Perché l'auto-detect e non un default generico.** Un default tipo `toolkit run --batch batch.txt` avrebbe rotto i 3 repo con pre-step: `giustizia-statistiche` ha bisogno di `TOOLKIT_ALLOW_SCRIPT_SOURCE=1` (6 dataset con source script), `filiere-agroalimentari` e `open-ccnl` di `make seeds` (config di support). L'auto-detect usa il comando del repo, che i pre-step li ha già dentro; dove non esiste resta il run completo con un warning. **Nessun cambio di comportamento non voluto**: l'auto-detect scatta solo se il Makefile definisce `run-batch`. Verificato su tutti i repo dell'org che usano il workflow riusabile: nessuno ha un target `run-batch` non dichiarato nel YAML (`dcl-bologna` ne ha uno ma usa una pipeline custom, non questo workflow). Logica verificata su 6 scenari (comando esplicito, auto-detect, run-command che consuma batch.txt, detect senza batch → warning, schedule → full, batch vuoto → full).
Finding Info della review di #40: `grep -q 'batch.txt' <<< "$RUN_COMMAND"` è un bashism che funziona solo perché il workflow non dichiara `shell:` (default bash). Sostituito con `printf '%s' "$RUN_COMMAND" | grep -q 'batch.txt'`: stesso comportamento, a prova di un futuro override di `shell:` o di un runner diverso. Rieseguiti i 6 scenari di risoluzione: esiti invariati.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Sintesi
Centralizza il batch selettivo post-merge: i repo non devono più dichiarare
run-batch-commandnel YAML — basta un targetrun-batchnel Makefile.Contesto collegato
Emerso lavorando su
dichiarazioni-italia(#29): con 15 dataset il run completo a ogni merge durava ~7 minuti per pubblicare spesso un dataset solo. Attivando il batch lì, è emerso che il problema è org-wide: 257 dataset su 389 stanno in repo dove il run è sempre completo.Cosa cambia
Ordine di risoluzione del comando (il primo che esiste vince):
run-batch-commandimpostatorun-batchmake run-batchrun-commandcontienebatch.txtrun-commandeurostat, già funzionanterun-command(full)Documentazione aggiornata nell'header del workflow e nella descrizione dell'input.
Perché l'auto-detect e non un default generico
Un default tipo
toolkit run --batch batch.txtavrebbe rotto i 3 repo condetect-pathsma senza batch, perché hanno pre-step repo-specifici che un comando generico salta:giustizia-statisticheTOOLKIT_ALLOW_SCRIPT_SOURCE=1(6 dataset con sourcescript)filiere-agroalimentarimake seeds(config di support) + script sourceopen-ccnlmake seeds+ script sourceL'auto-detect usa il comando del repo, che i pre-step li ha già dentro. Dove non esiste, resta il run completo con un warning che dice cosa aggiungere.
Impatto su contratti pubblici
dataset.yml(nuovo campo, cambio obbligatorietà)Nessuno: è un input del workflow riusabile, additivo e retrocompatibile. Chi oggi imposta
run-batch-commandcontinua a funzionare identico (caso 1).Verifica
Logica simulata su 6 scenari:
run-batch-commandesplicito (open-politica, open-inps, …)Batch mode: make run-batch— invariatorun-batchnel Makefile, YAML senzarun-batch-commandBatch mode: make run-batch← nuovorun-command: "toolkit run --batch batch.txt"(eurostat)Batch mode: toolkit run --batch batch.txt— invariatodetect-pathssenza batch (giustizia-statistiche, filiere-agroalimentari, open-ccnl)Full mode+ warning — nessuna rotturaFull mode(batch.txt = tutti i dataset)batch.txtvuotoFull modeNessun cambio di comportamento non voluto: l'auto-detect scatta solo se il Makefile definisce
run-batch. Verificato su tutti i repo dell'org che usano questo workflow: nessuno ha un targetrun-batchnon dichiarato nel YAML (dcl-bolognane ha uno ma usa una pipeline custom, non questa).pytest -m corepassa — n/a (nessun test nel repo .github)ruff check .passa — n/amypy toolkit/passa — n/aChecklist PR
dichiarazioni-italia#29Note per chi revisiona
Rischio residuo: l'auto-detect aggiunge un
grepsul Makefile. Se un repo definisse unrun-batchcon semantica diversa da quella attesa, verrebbe usato. Oggi non succede (verificato), e il log dice sempre quale comando è stato scelto ([run-batch-command]/[target run-batch nel Makefile]/[run-command consuma batch.txt]).Rollout: dopo il merge, i 3 repo che oggi sprecano il detect continueranno a funzionare come prima (full + warning). Per attivare il batch basta aggiungere un target
run-batchal loro Makefile — 3 righe, senza toccare il YAML. Posso farlo in PR separate se volete.Fix dalla review (commit
9a0e122)grep -q 'batch.txt' <<< "$RUN_COMMAND"è un bashismprintf '%s' "$RUN_COMMAND" | grep -q 'batch.txt': POSIX, stesso comportamento, a prova di un futuro override dishell:o di un runner diverso. Rieseguiti i 6 scenari: esiti invariati.grep -qE '^run-batch:' Makefileè la convenzione stretta (fileMakefile, target a colonna 0)run-batchcon semantica diversa verrebbe usato[run-batch-command]/[target run-batch nel Makefile]/[run-command consuma batch.txt]) → diagnosticabile.