Repository navigation
fix(pipeline): sync GCS e registry anche se il run fallisce - #41
Merged
Merged
Conversation
La sync stava dopo "Run datasets" senza `if:`. Se un dataset falliva — è successo il 1/11 su open-politica: senato-votazioni in timeout dopo 20 min, dopo 1h37m di run con 34 dataset su 35 completati — la sync veniva saltata e un'ora e mezza di lavoro restava sul disco del runner: zero upload. Il registry è sicuro su un out/ parziale: la lista dei dataset viene dai manifest, non dai parquet, e build_clean_catalog preserva le entry esistenti quando il parquet locale manca. _merge_existing_runs ripopola i blocchi run dei dataset non rieseguiti. Quindi il registry resta completo e mostra i run nuovi per ciò che è girato, quelli vecchi per il resto. `!cancelled()` e non `always()`: su una cancellazione esplicita non carichiamo output a metà.
Serve all'estrazione incrementale: gli script di open-politica leggono il loro output precedente (`--out .`) per estrarre solo le novità, ma su un runner effimero quel file non c'è mai e ogni run rifà quattro anni di estrazione. Con `cache-paths`/`cache-key` il repo conserva i parquet di baseline tra un run e l'altro. actions/cache ripristina nello step e salva nel post-step, che gira anche se il job fallisce: quindi il baseline c'è prima del run e viene aggiornato dopo, anche a run rosso. Input vuoti = nessuna cache, comportamento invariato per gli altri repo.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Sintesi
Auth GCP, sync GCS e registry PR ora girano anche se lo step "Run datasets" fallisce (
!cancelled()invece del defaultsuccess()).Contesto
Il 1/11 il dispatch di
open-politica(run 41330262522) è durato 1h37m e ha completato 34 dataset su 35 prima di fermarsi susenato-votazioni(timeout dello script a 1200s).Siccome auth, sync e registry venivano dopo il run senza
if:, tutto è stato saltato: zero upload, un'ora e mezza di lavoro persa. Lo stesso schema vale per tutti i repo che usano questo workflow.Cosa cambia
!cancelled()su cinque step:GCP Auth (for GCS push)Set up gcloudSync to GCS (flat)Sync to GCS (per-dataset)Registry update PR!cancelled()e nonalways(): se qualcuno annulla il run non vogliamo caricare output a metà. Le altre condizioni restano invariate, quindi il filtrodetect-pathscontinua a valere.Perché è sicuro aggiornare il registry su un
out/parzialeVerificato nel codice del toolkit: la lista dei dataset non viene dai parquet ma dai manifest (
iter_manifests), ebuild_clean_catalogpreserva l'entry esistente quando il parquet locale manca (if manifest.slug in editorial)._merge_existing_runsripopola poi i blocchirundei dataset non rieseguiti.Quindi il registry resta completo: run nuovi per ciò che è girato, run precedenti per il resto. Nessun dataset sparisce dall'artifact.
Verifica
yaml.safe_loadNon ho potuto verificare il comportamento a runtime: serve un run reale con un dataset che fallisce. Il primo dispatch dopo il merge lo dirà.
Note per chi revisiona
open-politica#87: senza quel pezzo i dataset dopo il fallito non girano comunque, quindi il beneficio è parziale. Meglio mergiare i due insieme.|| exit 1nel targetrunè in quasi tutti i repo dati (verificato a campione su 6). Qui curo il workflow condiviso, che vale per tutti; i Makefile restano da allineare uno per uno — il templateinfra/project-templateè il posto da cui partire.