Skip to content

feat(pipeline): input sync-prefix + sync dei mart multi-anno - #46

Merged
Gabrymi93 merged 2 commits into
mainfrom
feat/sync-prefix-multi-anno
Nov 17, 2026
Merged

Gabrymi93 merged 2 commits into
mainfrom
feat/sync-prefix-multi-anno

Conversation

@Gabrymi93

@Gabrymi93 Gabrymi93 commented Nov 17, 2026 •

Copy link
Copy Markdown
Member

Sintesi

Due lacune del workflow condiviso, una visibile e una latente. Servono per allineare dataset-incubator al reusable (ADR-002) e per pubblicare le tabelle multi-anno.

Contesto collegato

Ref ADR-001 (workflow architecture), ADR-002 (input datasets)
Ref dataciviclab/dataset-incubator#941 (primo dataset con mart multi-anno)

Cosa cambia

  • Workflow o CI

1. sync-prefix

Il prefisso GCS era hardcoded a repo-slug in tre punti. Serve configurabile perché dataset-incubator pubblica alla radice del bucket:

repo path
dichiarazioni-italia gs://dataciviclab-mart/dichiarazioni-italia/irpef_comunale/2024/…
dataset-incubator gs://dataciviclab-mart/aifa_spesa_consumo/2024/…

Senza l'input, allineare dataset-incubator al reusable sposterebbe ~100 candidate e invaliderebbe tutti i path del catalogo.

sync-prefix: "auto"   # default = repo-slug
sync-prefix: ""       # radice del bucket

Lo stesso valore va al registry (--prefix): path su GCS e catalogo derivano da un unico output gcs-prefix, così non possono divergere.

2. Mart multi-anno in per-dataset

In modalità per-dataset il loop iterava solo le cartelle anno:

for year_dir in "$slug_dir"*/; do ... done

mart.tables[].years produce invece <slug>/<tabella>.parquet, che così non veniva mai caricato. Il ramo flat (default, usato da tutti i repo) lo copre già perché fa rsync dell'albero intero; ora anche per-dataset copia i parquet di root.

Impatto

  • Nessun cambio per i repo che non passano sync-prefix: il default è auto → repo-slug, identico a prima.
  • flat resta invariato nella sostanza (stessi path), cambia solo il modo di comporre la destinazione.
  • per-dataset ora carica anche i file a livello dataset.

Checklist

  • YAML valido (yaml.safe_load)
  • Nessuna modifica ai repo chiamanti necessaria
  • gcs-prefix calcolato una volta e riusato da sync flat, per-dataset e registry
  • if invece di && per il default, così bash -e non esce sul test falso

Verifica

python3 -c "import yaml; yaml.safe_load(open('.github/workflows/pipeline-reusable.yml'))"

Non ho eseguito il workflow: si valida al primo chiamante. Il modo sicuro è mergiare questo, poi aprire la PR di allineamento di dataset-incubator con sync-prefix: "" e verificare il run sul campo.

Ordine di merge

Questa PR va mergiata PRIMA di dataciviclab/dataset-incubator#942, che passa sync-prefix: "": se il chiamante arriva prima del reusable, il run fallisce con invalid input (input non dichiarato).

Sequenza: #46 → #942 → dataset-incubator#941.

Note / rischi

sync-prefix è un input testuale usato in shell: passato via env, non interpolato direttamente nel comando. Il valore viene normalizzato (foo/, /foo, /foo/ → foo) e un valore che sembra una URI (gs://…) viene rifiutato con errore esplicito: senza normalizzazione, una barra residua produrrebbe un path su GCS e un path nel catalogo coerenti tra loro ma sbagliati, senza che nessuno se ne accorga.

Due lacune del workflow condiviso, una visibile e una latente.

1. Il prefisso GCS era sempre `repo-slug`, hardcoded in tre punti. Serve un
   input perché `dataset-incubator` pubblica alla radice del bucket
   (`gs://dataciviclab-mart/<slug>/<anno>/`), non sotto un prefisso di repo:
   senza, allinearlo al reusable sposterebbe ~100 candidate.
   `sync-prefix: auto` (default) = `repo-slug`; stringa vuota = radice.
   Lo stesso valore va al registry (`--prefix`), così path su GCS e catalogo
   non possono divergere.

2. In modalità `per-dataset` i parquet a livello dataset non venivano caricati:
   il loop itera solo le cartelle anno, mentre `mart.tables[].years` produce
   `<slug>/<tabella>.parquet`. Il ramo `flat` (default, usato da tutti) li
   copre già; ora li copre anche `per-dataset`.

Verificato: YAML valido; i due percorsi (flat e per-dataset) usano la stessa
variabile `seg` derivata da un unico output `gcs-prefix`.
Review #46, due note di robustezza.

- `sync-prefix: "foo/"` o `"/foo"` produceva `seg="foo//"` (o `"/foo/"`): path
  su GCS e path nel catalogo restavano coerenti tra loro ma sbagliati, senza che
  nessuno se ne accorgesse. Ora il prefisso viene normalizzato (`^/`, `/*$`) e un
  valore che sembra una URI (`gs://…`) viene rifiutato con un errore esplicito,
  perché è l'errore plausibile di chi legge "prefisso GCS".
- L'intestazione diceva ancora `repo-slug: prefisso GCS e registry`: da questa
  PR il prefisso può essere sovrascritto e chi legge il commento per capire gli
  input non lo scopriva.
- `gsutil cp` dei mart multi-anno: una invocazione per slug invece di una per
  file (il ramo `per-dataset` è quello pensato per i repo con molti dataset).

Verificato sui casi: `auto` → repo-slug, `""` → radice, `foo/` `/foo` `/foo/` →
`foo`, `gs://bucket/x` → errore.
@Gabrymi93

Copy link
Copy Markdown
Member Author

Grazie. Applicate entrambe le note (commit 86f1629), più quella cosmetica.

1. Normalizzazione del prefisso

Il punto è esatto: foo/ produceva un path coerente tra sync e catalogo ma sbagliato, che è la forma peggiore — tutti i controlli passano e il consumer scopre il problema dopo.

case "$prefix" in
  *://*) echo "::error::sync-prefix sembra una URI…"; exit 1 ;;
esac
prefix=$(printf '%s' "$prefix" | sed 's:^/::; s:/*$::')

Casi verificati:

input risultato
auto dataset-incubator
"" `` (radice)
foo/ · /foo · /foo/ foo
eurostat eurostat
gs://bucket/x errore

Il rifiuto della URI è la parte che vale di più: "prefisso GCS" invita davvero a scrivere gs://…, e a quel punto avremmo gs://bucket/gs://….

2. Intestazione

Riga 13 aggiornata: repo-slug ora è «slug del repo nel catalogo», e sync-prefix ha il suo blocco con il caso vuoto e la nota che, se valorizzato, path GCS e catalogo seguono quello e non repo-slug.

3. Merge order

Hai ragione, il body era rimasto alla versione «poi aprire la PR» mentre #942 esiste già. Riscritto:

Questa PR va mergiata PRIMA di dataset-incubator#942: se il chiamante arriva prima del reusable, il run fallisce con invalid input.
Sequenza: #46 → #942 → #941

4. Cosmetica

gsutil -m cp "$slug_dir"*.parquet "gs://…/" — una invocazione per slug invece di una per file.

Sul primo run di #942

Uso la checklist (a)/(b)/(c) così com'è. In particolare (c): se il registry post-merge mostra path diversi da quelli pubblicati, il prefix è stato passato in un posto e non nell'altro — ed è l'unico punto in cui i due potrebbero divergere, dato che ora derivano da un unico output gcs-prefix.

@Gabrymi93
Gabrymi93 merged commit 26988b1 into main Nov 17, 2026
2 checks passed
@Gabrymi93
Gabrymi93 deleted the feat/sync-prefix-multi-anno branch November 17, 2026 17:26
Gabrymi93 added a commit to dataciviclab/dataset-incubator that referenced this pull request Nov 17, 2026
…002)

Il repo era l'unico dato con un workflow proprio: duplicava detect, sync GCS e
registry, e il suo loop di sync si rompeva sui mart multi-anno.

    for year in $(ls "out/data/mart/$slug/"); do
      gsutil -m rsync -r "out/data/mart/$slug/$year/" "gs://.../$year/"
    done

`ls` restituisce anche `mart_trend_regione.parquet`; `gsutil rsync` su un file
con lo slash finale esce 1 e con `bash -e` il passo si interrompe. Poiché il
sync viene prima del registry, il risultato era: job rosso e PR del registry
mai aperta. Verificato: `gsutil -m rsync -r "<file.parquet>/" …` → exit 1.

Ora il workflow è un orchestratore di ~20 righe:

- `uses: pipeline-reusable.yml@main`, con `detect-paths`, `extra-env`
  (`TOOLKIT_ALLOW_SCRIPT_SOURCE=1`) e `secrets: inherit`.
- `sync-prefix: ""` — i candidate pubblicano alla radice del bucket, non sotto
  `<repo>/`: è la ragione per cui il repo non poteva usare il reusable.
  Richiede dataciviclab/.github#46 (nuovo input `sync-prefix`).
- `run-command` / `run-batch-command` → target del nuovo Makefile.
- `workflow_dispatch.datasets` secondo ADR-002: vuoto = tutti, altrimenti loop
  sui singoli slug (stesso pattern di open-politica).

Nuovo `Makefile` (ADR-001, strato interfaccia): `run-all` e `run-batch` delegano
a `toolkit run --batch batch.txt`. Il target è volutamente tollerante: i
candidate dipendono da fonti instabili e un dataset rotto non deve bloccare il
publish degli altri. `toolkit run --batch` esce 1 se qualcuno fallisce; qui
l'errore diventa un warning e il Batch Report elenca i fallimenti.

Verificato:
- `make run-batch` con batch vuoto → exit 0;
- con un config inesistente → Batch Report FAILED + warning, exit 0;
- con un config reale (aifa-spesa-consumo, 10 anni) → SUCCESS, exit 0, e il
  mart multi-anno finisce in `out/data/mart/aifa_spesa_consumo/` (livello
  dataset, dove il sync `flat` lo prende).
Gabrymi93 added a commit to dataciviclab/dataset-incubator that referenced this pull request Nov 17, 2026
…002) (#942)

Il repo era l'unico dato con un workflow proprio: duplicava detect, sync GCS e
registry, e il suo loop di sync si rompeva sui mart multi-anno.

    for year in $(ls "out/data/mart/$slug/"); do
      gsutil -m rsync -r "out/data/mart/$slug/$year/" "gs://.../$year/"
    done

`ls` restituisce anche `mart_trend_regione.parquet`; `gsutil rsync` su un file
con lo slash finale esce 1 e con `bash -e` il passo si interrompe. Poiché il
sync viene prima del registry, il risultato era: job rosso e PR del registry
mai aperta. Verificato: `gsutil -m rsync -r "<file.parquet>/" …` → exit 1.

Ora il workflow è un orchestratore di ~20 righe:

- `uses: pipeline-reusable.yml@main`, con `detect-paths`, `extra-env`
  (`TOOLKIT_ALLOW_SCRIPT_SOURCE=1`) e `secrets: inherit`.
- `sync-prefix: ""` — i candidate pubblicano alla radice del bucket, non sotto
  `<repo>/`: è la ragione per cui il repo non poteva usare il reusable.
  Richiede dataciviclab/.github#46 (nuovo input `sync-prefix`).
- `run-command` / `run-batch-command` → target del nuovo Makefile.
- `workflow_dispatch.datasets` secondo ADR-002: vuoto = tutti, altrimenti loop
  sui singoli slug (stesso pattern di open-politica).

Nuovo `Makefile` (ADR-001, strato interfaccia): `run-all` e `run-batch` delegano
a `toolkit run --batch batch.txt`. Il target è volutamente tollerante: i
candidate dipendono da fonti instabili e un dataset rotto non deve bloccare il
publish degli altri. `toolkit run --batch` esce 1 se qualcuno fallisce; qui
l'errore diventa un warning e il Batch Report elenca i fallimenti.

Verificato:
- `make run-batch` con batch vuoto → exit 0;
- con un config inesistente → Batch Report FAILED + warning, exit 0;
- con un config reale (aifa-spesa-consumo, 10 anni) → SUCCESS, exit 0, e il
  mart multi-anno finisce in `out/data/mart/aifa_spesa_consumo/` (livello
  dataset, dove il sync `flat` lo prende).
Gabrymi93 added a commit that referenced this pull request Nov 19, 2026
* fix(pipeline): il prefisso GCS si risolve anche su run fallito

Regressione introdotta da #46. Lo step `Resolve GCS prefix` non aveva `if:`,
quindi ereditava `success()`: quando il run falliva veniva **saltato**,
`steps.gcs-prefix.outputs.value` restava vuoto e i due consumatori — che hanno
`!cancelled()` apposta per salvare il salvabile — ricevevano `""`.

Effetto: sync alla RADICE del bucket e registry riscritto senza prefisso.

Successo il 2026-11-19 in open-politica (#121): il run è fallito, il prefisso è
diventato vuoto e la PR di registry #122 ha riscritto 93 righe di path,
togliendo `open-politica/` da tutti gli artifact. Il clean è finito in
`gs://dataciviclab-clean/camera_iter/...` invece di
`gs://dataciviclab-clean/open-politica/camera_iter/...`.

Ora lo step ha `if: ${{ !cancelled() && ... }}`, allineato ai consumatori.
Aggiunto anche un errore esplicito se `sync-prefix: auto` non riesce a
risolvere un `repo-slug`: meglio fallire che scrivere alla radice.

Riguarda tutti i repo chiamanti: il bug si manifestava solo sui run falliti,
quindi su un ramo che si spera raro — e che è esattamente quello in cui
pubblicare nel posto sbagliato fa più danni.

* fix(pipeline): la guardia sul prefisso blocca davvero la scrittura

Review #48: un `exit 1` nello step non ferma i consumatori con `!cancelled()`
— è lo stesso meccanismo dell'incidente, dove il run è fallito alle 17:14:30 e
il sync ha scritto alle 17:15:01. Quindi la guardia aggiunta dava falsa
sicurezza: con `repo-slug` vuoto il job diventava rosso e scriveva lo stesso
alla radice.

Aggiunto `steps.gcs-prefix.outcome != 'failure'` alle condizioni di
`Sync to GCS (flat)`, `Sync to GCS (per-dataset)` e `Registry update PR`, come
si fa già con `steps.verify.outcome != 'failure'`. Commento nello step che lo
dice, così la prossima guardia non ripete l'errore.

L'invariante ora sta in ADR-001 (regola d'oro, punto 5): un output consumato da
uno step `!cancelled()` deve essere prodotto da uno step `!cancelled()`, e il
consumatore deve controllarne l'outcome. È la seconda occorrenza in due PR
(`verify` in #47, `gcs-prefix` qui): scritta, non può diventare la terza.

Corretto anche il conteggio nel body: i path che perdono il prefisso sono 73 su
107 (93 erano le righe di diff), e il path corretto è fermo al 16/11 — quindi
dopo la pulizia serve il rilancio, non è un doppione.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant