Repository navigation
feat(pipeline): input sync-prefix + sync dei mart multi-anno - #46
Conversation
Due lacune del workflow condiviso, una visibile e una latente. 1. Il prefisso GCS era sempre `repo-slug`, hardcoded in tre punti. Serve un input perché `dataset-incubator` pubblica alla radice del bucket (`gs://dataciviclab-mart/<slug>/<anno>/`), non sotto un prefisso di repo: senza, allinearlo al reusable sposterebbe ~100 candidate. `sync-prefix: auto` (default) = `repo-slug`; stringa vuota = radice. Lo stesso valore va al registry (`--prefix`), così path su GCS e catalogo non possono divergere. 2. In modalità `per-dataset` i parquet a livello dataset non venivano caricati: il loop itera solo le cartelle anno, mentre `mart.tables[].years` produce `<slug>/<tabella>.parquet`. Il ramo `flat` (default, usato da tutti) li copre già; ora li copre anche `per-dataset`. Verificato: YAML valido; i due percorsi (flat e per-dataset) usano la stessa variabile `seg` derivata da un unico output `gcs-prefix`.
Review #46, due note di robustezza. - `sync-prefix: "foo/"` o `"/foo"` produceva `seg="foo//"` (o `"/foo/"`): path su GCS e path nel catalogo restavano coerenti tra loro ma sbagliati, senza che nessuno se ne accorgesse. Ora il prefisso viene normalizzato (`^/`, `/*$`) e un valore che sembra una URI (`gs://…`) viene rifiutato con un errore esplicito, perché è l'errore plausibile di chi legge "prefisso GCS". - L'intestazione diceva ancora `repo-slug: prefisso GCS e registry`: da questa PR il prefisso può essere sovrascritto e chi legge il commento per capire gli input non lo scopriva. - `gsutil cp` dei mart multi-anno: una invocazione per slug invece di una per file (il ramo `per-dataset` è quello pensato per i repo con molti dataset). Verificato sui casi: `auto` → repo-slug, `""` → radice, `foo/` `/foo` `/foo/` → `foo`, `gs://bucket/x` → errore.
|
Grazie. Applicate entrambe le note (commit 1. Normalizzazione del prefissoIl punto è esatto: case "$prefix" in
*://*) echo "::error::sync-prefix sembra una URI…"; exit 1 ;;
esac
prefix=$(printf '%s' "$prefix" | sed 's:^/::; s:/*$::')Casi verificati:
Il rifiuto della URI è la parte che vale di più: "prefisso GCS" invita davvero a scrivere 2. IntestazioneRiga 13 aggiornata: 3. Merge orderHai ragione, il body era rimasto alla versione «poi aprire la PR» mentre #942 esiste già. Riscritto:
4. Cosmetica
Sul primo run di #942Uso la checklist (a)/(b)/(c) così com'è. In particolare (c): se il registry post-merge mostra path diversi da quelli pubblicati, il |
…002)
Il repo era l'unico dato con un workflow proprio: duplicava detect, sync GCS e
registry, e il suo loop di sync si rompeva sui mart multi-anno.
for year in $(ls "out/data/mart/$slug/"); do
gsutil -m rsync -r "out/data/mart/$slug/$year/" "gs://.../$year/"
done
`ls` restituisce anche `mart_trend_regione.parquet`; `gsutil rsync` su un file
con lo slash finale esce 1 e con `bash -e` il passo si interrompe. Poiché il
sync viene prima del registry, il risultato era: job rosso e PR del registry
mai aperta. Verificato: `gsutil -m rsync -r "<file.parquet>/" …` → exit 1.
Ora il workflow è un orchestratore di ~20 righe:
- `uses: pipeline-reusable.yml@main`, con `detect-paths`, `extra-env`
(`TOOLKIT_ALLOW_SCRIPT_SOURCE=1`) e `secrets: inherit`.
- `sync-prefix: ""` — i candidate pubblicano alla radice del bucket, non sotto
`<repo>/`: è la ragione per cui il repo non poteva usare il reusable.
Richiede dataciviclab/.github#46 (nuovo input `sync-prefix`).
- `run-command` / `run-batch-command` → target del nuovo Makefile.
- `workflow_dispatch.datasets` secondo ADR-002: vuoto = tutti, altrimenti loop
sui singoli slug (stesso pattern di open-politica).
Nuovo `Makefile` (ADR-001, strato interfaccia): `run-all` e `run-batch` delegano
a `toolkit run --batch batch.txt`. Il target è volutamente tollerante: i
candidate dipendono da fonti instabili e un dataset rotto non deve bloccare il
publish degli altri. `toolkit run --batch` esce 1 se qualcuno fallisce; qui
l'errore diventa un warning e il Batch Report elenca i fallimenti.
Verificato:
- `make run-batch` con batch vuoto → exit 0;
- con un config inesistente → Batch Report FAILED + warning, exit 0;
- con un config reale (aifa-spesa-consumo, 10 anni) → SUCCESS, exit 0, e il
mart multi-anno finisce in `out/data/mart/aifa_spesa_consumo/` (livello
dataset, dove il sync `flat` lo prende).
…002) (#942) Il repo era l'unico dato con un workflow proprio: duplicava detect, sync GCS e registry, e il suo loop di sync si rompeva sui mart multi-anno. for year in $(ls "out/data/mart/$slug/"); do gsutil -m rsync -r "out/data/mart/$slug/$year/" "gs://.../$year/" done `ls` restituisce anche `mart_trend_regione.parquet`; `gsutil rsync` su un file con lo slash finale esce 1 e con `bash -e` il passo si interrompe. Poiché il sync viene prima del registry, il risultato era: job rosso e PR del registry mai aperta. Verificato: `gsutil -m rsync -r "<file.parquet>/" …` → exit 1. Ora il workflow è un orchestratore di ~20 righe: - `uses: pipeline-reusable.yml@main`, con `detect-paths`, `extra-env` (`TOOLKIT_ALLOW_SCRIPT_SOURCE=1`) e `secrets: inherit`. - `sync-prefix: ""` — i candidate pubblicano alla radice del bucket, non sotto `<repo>/`: è la ragione per cui il repo non poteva usare il reusable. Richiede dataciviclab/.github#46 (nuovo input `sync-prefix`). - `run-command` / `run-batch-command` → target del nuovo Makefile. - `workflow_dispatch.datasets` secondo ADR-002: vuoto = tutti, altrimenti loop sui singoli slug (stesso pattern di open-politica). Nuovo `Makefile` (ADR-001, strato interfaccia): `run-all` e `run-batch` delegano a `toolkit run --batch batch.txt`. Il target è volutamente tollerante: i candidate dipendono da fonti instabili e un dataset rotto non deve bloccare il publish degli altri. `toolkit run --batch` esce 1 se qualcuno fallisce; qui l'errore diventa un warning e il Batch Report elenca i fallimenti. Verificato: - `make run-batch` con batch vuoto → exit 0; - con un config inesistente → Batch Report FAILED + warning, exit 0; - con un config reale (aifa-spesa-consumo, 10 anni) → SUCCESS, exit 0, e il mart multi-anno finisce in `out/data/mart/aifa_spesa_consumo/` (livello dataset, dove il sync `flat` lo prende).
* fix(pipeline): il prefisso GCS si risolve anche su run fallito Regressione introdotta da #46. Lo step `Resolve GCS prefix` non aveva `if:`, quindi ereditava `success()`: quando il run falliva veniva **saltato**, `steps.gcs-prefix.outputs.value` restava vuoto e i due consumatori — che hanno `!cancelled()` apposta per salvare il salvabile — ricevevano `""`. Effetto: sync alla RADICE del bucket e registry riscritto senza prefisso. Successo il 2026-11-19 in open-politica (#121): il run è fallito, il prefisso è diventato vuoto e la PR di registry #122 ha riscritto 93 righe di path, togliendo `open-politica/` da tutti gli artifact. Il clean è finito in `gs://dataciviclab-clean/camera_iter/...` invece di `gs://dataciviclab-clean/open-politica/camera_iter/...`. Ora lo step ha `if: ${{ !cancelled() && ... }}`, allineato ai consumatori. Aggiunto anche un errore esplicito se `sync-prefix: auto` non riesce a risolvere un `repo-slug`: meglio fallire che scrivere alla radice. Riguarda tutti i repo chiamanti: il bug si manifestava solo sui run falliti, quindi su un ramo che si spera raro — e che è esattamente quello in cui pubblicare nel posto sbagliato fa più danni. * fix(pipeline): la guardia sul prefisso blocca davvero la scrittura Review #48: un `exit 1` nello step non ferma i consumatori con `!cancelled()` — è lo stesso meccanismo dell'incidente, dove il run è fallito alle 17:14:30 e il sync ha scritto alle 17:15:01. Quindi la guardia aggiunta dava falsa sicurezza: con `repo-slug` vuoto il job diventava rosso e scriveva lo stesso alla radice. Aggiunto `steps.gcs-prefix.outcome != 'failure'` alle condizioni di `Sync to GCS (flat)`, `Sync to GCS (per-dataset)` e `Registry update PR`, come si fa già con `steps.verify.outcome != 'failure'`. Commento nello step che lo dice, così la prossima guardia non ripete l'errore. L'invariante ora sta in ADR-001 (regola d'oro, punto 5): un output consumato da uno step `!cancelled()` deve essere prodotto da uno step `!cancelled()`, e il consumatore deve controllarne l'outcome. È la seconda occorrenza in due PR (`verify` in #47, `gcs-prefix` qui): scritta, non può diventare la terza. Corretto anche il conteggio nel body: i path che perdono il prefisso sono 73 su 107 (93 erano le righe di diff), e il path corretto è fermo al 16/11 — quindi dopo la pulizia serve il rilancio, non è un doppione.
Sintesi
Due lacune del workflow condiviso, una visibile e una latente. Servono per allineare
dataset-incubatoral reusable (ADR-002) e per pubblicare le tabelle multi-anno.Contesto collegato
Ref ADR-001 (workflow architecture), ADR-002 (input
datasets)Ref dataciviclab/dataset-incubator#941 (primo dataset con mart multi-anno)
Cosa cambia
1.
sync-prefixIl prefisso GCS era hardcoded a
repo-slugin tre punti. Serve configurabile perchédataset-incubatorpubblica alla radice del bucket:gs://dataciviclab-mart/dichiarazioni-italia/irpef_comunale/2024/…gs://dataciviclab-mart/aifa_spesa_consumo/2024/…Senza l'input, allineare dataset-incubator al reusable sposterebbe ~100 candidate e invaliderebbe tutti i path del catalogo.
Lo stesso valore va al registry (
--prefix): path su GCS e catalogo derivano da un unico outputgcs-prefix, così non possono divergere.2. Mart multi-anno in
per-datasetIn modalità
per-datasetil loop iterava solo le cartelle anno:mart.tables[].yearsproduce invece<slug>/<tabella>.parquet, che così non veniva mai caricato. Il ramoflat(default, usato da tutti i repo) lo copre già perché farsyncdell'albero intero; ora ancheper-datasetcopia i parquet di root.Impatto
sync-prefix: il default èauto→repo-slug, identico a prima.flatresta invariato nella sostanza (stessi path), cambia solo il modo di comporre la destinazione.per-datasetora carica anche i file a livello dataset.Checklist
yaml.safe_load)gcs-prefixcalcolato una volta e riusato da sync flat, per-dataset e registryifinvece di&&per il default, cosìbash -enon esce sul test falsoVerifica
python3 -c "import yaml; yaml.safe_load(open('.github/workflows/pipeline-reusable.yml'))"Non ho eseguito il workflow: si valida al primo chiamante. Il modo sicuro è mergiare questo, poi aprire la PR di allineamento di
dataset-incubatorconsync-prefix: ""e verificare il run sul campo.Ordine di merge
Questa PR va mergiata PRIMA di dataciviclab/dataset-incubator#942, che passa
sync-prefix: "": se il chiamante arriva prima del reusable, il run fallisce con invalid input (input non dichiarato).Sequenza: #46 → #942 → dataset-incubator#941.
Note / rischi
sync-prefixè un input testuale usato in shell: passato viaenv, non interpolato direttamente nel comando. Il valore viene normalizzato (foo/,/foo,/foo/→foo) e un valore che sembra una URI (gs://…) viene rifiutato con errore esplicito: senza normalizzazione, una barra residua produrrebbe un path su GCS e un path nel catalogo coerenti tra loro ma sbagliati, senza che nessuno se ne accorga.