Skip to content

fix(pipeline): sync GCS e registry anche se il run fallisce - #41

Merged
Gabrymi93 merged 2 commits into
mainfrom
fix/pipeline-sync-anche-su-fallimento
Nov 3, 2026
Merged

Gabrymi93 merged 2 commits into
mainfrom
fix/pipeline-sync-anche-su-fallimento

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

Auth GCP, sync GCS e registry PR ora girano anche se lo step "Run datasets" fallisce (!cancelled() invece del default success()).

Contesto

Il 1/11 il dispatch di open-politica (run 41330262522) è durato 1h37m e ha completato 34 dataset su 35 prima di fermarsi su senato-votazioni (timeout dello script a 1200s).

Siccome auth, sync e registry venivano dopo il run senza if:, tutto è stato saltato: zero upload, un'ora e mezza di lavoro persa. Lo stesso schema vale per tutti i repo che usano questo workflow.

Cosa cambia

!cancelled() su cinque step:

  • GCP Auth (for GCS push)
  • Set up gcloud
  • Sync to GCS (flat)
  • Sync to GCS (per-dataset)
  • Registry update PR

!cancelled() e non always(): se qualcuno annulla il run non vogliamo caricare output a metà. Le altre condizioni restano invariate, quindi il filtro detect-paths continua a valere.

Perché è sicuro aggiornare il registry su un out/ parziale

Verificato nel codice del toolkit: la lista dei dataset non viene dai parquet ma dai manifest (iter_manifests), e build_clean_catalog preserva l'entry esistente quando il parquet locale manca (if manifest.slug in editorial). _merge_existing_runs ripopola poi i blocchi run dei dataset non rieseguiti.

Quindi il registry resta completo: run nuovi per ciò che è girato, run precedenti per il resto. Nessun dataset sparisce dall'artifact.

Verifica

  • YAML validato con yaml.safe_load
  • condizioni rilette sull'albero parsato, le cinque sono come attese

Non ho potuto verificare il comportamento a runtime: serve un run reale con un dataset che fallisce. Il primo dispatch dopo il merge lo dirà.

Note per chi revisiona

  • Il complemento lato repo è open-politica#87: senza quel pezzo i dataset dopo il fallito non girano comunque, quindi il beneficio è parziale. Meglio mergiare i due insieme.
  • Il pattern || exit 1 nel target run è in quasi tutti i repo dati (verificato a campione su 6). Qui curo il workflow condiviso, che vale per tutti; i Makefile restano da allineare uno per uno — il template infra/project-template è il posto da cui partire.

La sync stava dopo "Run datasets" senza `if:`. Se un dataset falliva — è
successo il 1/11 su open-politica: senato-votazioni in timeout dopo 20 min,
dopo 1h37m di run con 34 dataset su 35 completati — la sync veniva saltata e
un'ora e mezza di lavoro restava sul disco del runner: zero upload.

Il registry è sicuro su un out/ parziale: la lista dei dataset viene dai
manifest, non dai parquet, e build_clean_catalog preserva le entry esistenti
quando il parquet locale manca. _merge_existing_runs ripopola i blocchi run
dei dataset non rieseguiti. Quindi il registry resta completo e mostra i run
nuovi per ciò che è girato, quelli vecchi per il resto.

`!cancelled()` e non `always()`: su una cancellazione esplicita non carichiamo
output a metà.
Serve all'estrazione incrementale: gli script di open-politica leggono il
loro output precedente (`--out .`) per estrarre solo le novità, ma su un
runner effimero quel file non c'è mai e ogni run rifà quattro anni di
estrazione. Con `cache-paths`/`cache-key` il repo conserva i parquet di
baseline tra un run e l'altro.

actions/cache ripristina nello step e salva nel post-step, che gira anche se
il job fallisce: quindi il baseline c'è prima del run e viene aggiornato
dopo, anche a run rosso.

Input vuoti = nessuna cache, comportamento invariato per gli altri repo.
@Gabrymi93
Gabrymi93 merged commit 49e9378 into main Nov 3, 2026
2 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/pipeline-sync-anche-su-fallimento branch November 3, 2026 15:16
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant