Skip to content

fix(pipeline): il prefisso GCS si risolve anche su run fallito - #48

Merged
Gabrymi93 merged 2 commits into
mainfrom
hotfix/gcs-prefix-anche-su-run-fallito
Nov 19, 2026
Merged

Gabrymi93 merged 2 commits into
mainfrom
hotfix/gcs-prefix-anche-su-run-fallito

Conversation

@Gabrymi93

@Gabrymi93 Gabrymi93 commented Nov 19, 2026 •

Copy link
Copy Markdown
Member

Sintesi

Regressione mia, introdotta da #46. Su un run fallito il prefisso GCS diventava vuoto: sync alla radice del bucket e registry riscritto senza prefisso. È già successo in produzione.

Contesto collegato

Ripara dataciviclab/open-politica#122 (da non mergiare, va chiusa).
Regressione di #46.

Cos'è successo

  1. open-politica #121 mergiata → post-merge avviato.
  2. Run datasets fallisce (perf(senato-votazioni)).
  3. Resolve GCS prefix viene saltato: non ha if:, quindi eredita success(), che è falso dopo uno step fallito.
  4. steps.gcs-prefix.outputs.value = "".
  5. Auth, sync e registry hanno !cancelled() — apposta, per salvare il salvabile — e consumano quell'output vuoto.

Risultato dal log del run:

sync-prefix: auto
✅ Synced to gs://dataciviclab-mart|clean/          ← seg vuoto
if [ -n "" ]; then CMD="$CMD --prefix "; fi         ← registry senza --prefix

E la PR di registry #122 toglie open-politica/ a 73 path su 107 (93 sono le righe di diff, non i path):

- gs://dataciviclab-clean/open-politica/camera_iter/2026/…
+ gs://dataciviclab-clean/camera_iter/2026/…

Il danno non è in parallelo al path corretto. open-politica/camera_iter/2026/ è fermo al 2026-11-16 16:35: il run del 19 non l'ha aggiornato, ha scritto solo alla radice. Quindi è dato nuovo nel posto sbagliato e dato buono rimasto indietro di un run — dopo la pulizia serve il rilancio.

Cosa cambia

- name: Resolve GCS prefix
  id: gcs-prefix
  if: ${{ !cancelled() && (inputs.detect-paths == '' || github.event_name != 'pull_request' || steps.detect.outputs.found == 'true') }}

Allineato ai consumatori: deve girare anche su run fallito, perché sono proprio loro a girare in quel caso.

Aggiunto anche un errore esplicito se sync-prefix: auto non riesce a risolvere un repo-slug, e la condizione che lo rende un blocco vero:

steps.gcs-prefix.outcome != 'failure' &&

su Sync to GCS (flat), Sync to GCS (per-dataset) e Registry update PR. Un exit 1 da solo non ferma niente: gli step con !cancelled() girano comunque e riceverebbero il prefisso vuoto — è lo stesso meccanismo che ha causato l'incidente. Con sync-prefix: "" esplicito (dataset-incubator) il prefisso vuoto resta legittimo.

Impatto

  • Tutti i repo chiamanti: il bug si manifestava solo sui run falliti — un ramo raro, ed è esattamente quello in cui pubblicare nel posto sbagliato fa più danni.
  • Con verify configurato e success() sul verify, il caso «run fallito + verify saltato» resta coperto: lo step gira e il salvataggio del salvabile funziona come prima di feat(pipeline): input sync-prefix + sync dei mart multi-anno #46.

Invariante (aggiunta all'ADR-001)

# uno step il cui output è consumato da uno step `!cancelled()` deve avere `!cancelled()`
# e il consumatore deve controllare `steps.<id>.outcome != 'failure'`: un `exit 1` nel produttore non ferma la scrittura

Sta in docs/adr/001-workflow-architecture.md, regola d'oro punto 5. È la seconda occorrenza dello stesso tipo in due PR (verify in #47, gcs-prefix qui): senza la regola scritta arriva la terza.

Da fare a mano (non in questa PR)

  1. Chiudere open-politica#122 senza mergiare: se mergiata, il registry perde il prefisso in main.

  2. Pulire i 18 oggetti scritti alla radice dal run di ieri — 12 su dataciviclab-mart e 6 su dataciviclab-clean, tutti con timestamp 2026-11-19 17:14:

    • mart: camera_iter/2026/ (7: 3 parquet, metadata, 3 _run/*.sql) e camera_voti/2026/ (5)
    • clean: camera_iter/2026/ e camera_voti/2026/ (3 ciascuno: parquet, metadata, _run/clean_rendered.sql)

    Non ho credenziali GCS per rimuoverli, e cancellare al buio è peggio del disordine. Comandi e verifica sono nel commento.

  3. Rilanciare il post-merge di open-politica dopo il merge di questa PR: rigenera registry e sync con il prefisso giusto.

Regressione introdotta da #46. Lo step `Resolve GCS prefix` non aveva `if:`,
quindi ereditava `success()`: quando il run falliva veniva **saltato**,
`steps.gcs-prefix.outputs.value` restava vuoto e i due consumatori — che hanno
`!cancelled()` apposta per salvare il salvabile — ricevevano `""`.

Effetto: sync alla RADICE del bucket e registry riscritto senza prefisso.

Successo il 2026-11-19 in open-politica (#121): il run è fallito, il prefisso è
diventato vuoto e la PR di registry #122 ha riscritto 93 righe di path,
togliendo `open-politica/` da tutti gli artifact. Il clean è finito in
`gs://dataciviclab-clean/camera_iter/...` invece di
`gs://dataciviclab-clean/open-politica/camera_iter/...`.

Ora lo step ha `if: ${{ !cancelled() && ... }}`, allineato ai consumatori.
Aggiunto anche un errore esplicito se `sync-prefix: auto` non riesce a
risolvere un `repo-slug`: meglio fallire che scrivere alla radice.

Riguarda tutti i repo chiamanti: il bug si manifestava solo sui run falliti,
quindi su un ramo che si spera raro — e che è esattamente quello in cui
pubblicare nel posto sbagliato fa più danni.
Review #48: un `exit 1` nello step non ferma i consumatori con `!cancelled()`
— è lo stesso meccanismo dell'incidente, dove il run è fallito alle 17:14:30 e
il sync ha scritto alle 17:15:01. Quindi la guardia aggiunta dava falsa
sicurezza: con `repo-slug` vuoto il job diventava rosso e scriveva lo stesso
alla radice.

Aggiunto `steps.gcs-prefix.outcome != 'failure'` alle condizioni di
`Sync to GCS (flat)`, `Sync to GCS (per-dataset)` e `Registry update PR`, come
si fa già con `steps.verify.outcome != 'failure'`. Commento nello step che lo
dice, così la prossima guardia non ripete l'errore.

L'invariante ora sta in ADR-001 (regola d'oro, punto 5): un output consumato da
uno step `!cancelled()` deve essere prodotto da uno step `!cancelled()`, e il
consumatore deve controllarne l'outcome. È la seconda occorrenza in due PR
(`verify` in #47, `gcs-prefix` qui): scritta, non può diventare la terza.

Corretto anche il conteggio nel body: i path che perdono il prefisso sono 73 su
107 (93 erano le righe di diff), e il path corretto è fermo al 16/11 — quindi
dopo la pulizia serve il rilancio, non è un doppione.
@Gabrymi93

Copy link
Copy Markdown
Member Author

Il finding Medium è giusto e la correzione era incompleta: un exit 1 non ferma niente in un workflow dove i consumatori usano !cancelled(). È letteralmente lo stesso meccanismo dell'incidente — run fallito alle 17:14:30, sync alle 17:15:01.

Fix applicato

steps.gcs-prefix.outcome != 'failure' sulle tre condizioni che consumano l'output:

  • Sync to GCS (flat)
  • Sync to GCS (per-dataset)
  • Registry update PR

I due step GCP non lo prendono: autenticarsi senza scrivere è innocuo e verify già li copre.

if: ${{ !cancelled() && steps.verify.outcome != 'failure' && steps.gcs-prefix.outcome != 'failure' && … }}

E nello step produttore ho lasciato un commento che dice perché la guardia da sola non basta — è la cosa che mi è sfuggita scrivendola.

Invariante in ADR-001

Aggiunta alla «regola d'oro» come punto 5:

Un output consumato da step !cancelled() deve essere prodotto da uno step !cancelled(). !cancelled() esiste per «salva il salvabile» dopo un run fallito: uno step senza if: eredita invece success(), viene saltato e lascia il proprio output vuoto. Il consumatore riceve "" e agisce su un default sbagliato. […] Un exit 1 nel produttore non basta: non ferma i consumatori con !cancelled(), serve steps.<id>.outcome != 'failure' sulle loro condizioni.

Sono due occorrenze in due PR (verify in #47, gcs-prefix qui). Scritta, la terza non arriva per distrazione.

Body corretto

  • 73 path su 107 perdono il prefisso, non 93: 93 erano le righe di diff. Grazie, era un numero che avevo preso dal +93/-107 senza decodificarlo.
  • Entrambi i bucket nella lista di pulizia: 12 oggetti mart + 6 clean, con i path espliciti nel commento sopra.
  • Il danno non è in parallelo: open-politica/camera_iter/2026/ è fermo al 16/11 16:35, quindi è dato nuovo nel posto sbagliato e dato buono indietro di un run. Dopo la pulizia serve il rilancio — che era già il punto 3, ma ora il body lo dice per il motivo giusto.

Commit 90b25b6.

@Gabrymi93
Gabrymi93 merged commit 9c8720c into main Nov 19, 2026
3 of 4 checks passed
@Gabrymi93
Gabrymi93 deleted the hotfix/gcs-prefix-anche-su-run-fallito branch November 19, 2026 17:39
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant