Skip to content

fix(dataset-config-check): configs accetta anche la directory del dataset - #45

Merged
Gabrymi93 merged 1 commit into
mainfrom
fix/dataset-config-check-configs-dirs
Nov 11, 2026
Merged

Gabrymi93 merged 1 commit into
mainfrom
fix/dataset-config-check-configs-dirs

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

dataset-config-check-reusable dichiara configs come lista di path a dataset.yml, ma detect-changed-datasets restituisce directory e i consumer le passano così. Il loop fa [ ! -f "$cfg" ] → SKIP (no dataset.yml) su ogni voce: il job resta verde senza aver validato nulla. Il componente ora risolve le directory in <dir>/dataset.yml, così i consumer esistenti tornano a validare senza essere toccati.

Contesto collegato

N/A — emerso dalla review di dataciviclab/project-template#18, dove lo stesso pattern rendeva vacuo il check del template.

Cosa cambia

  • configs: ogni voce che è una directory con dataset.yml viene risolta in <dir>/dataset.yml; i path a dataset.yml restano invariati (fix backward compatible, nessun consumer da modificare).
  • exclude continua a lavorare sul nome della directory del dataset (calcolato dopo la normalizzazione, quindi datasets/foo → foo).
  • Description dell'input configs aggiornata.

Impatto

  • Documentazione o testi
  • Policy GitHub o template
  • Codice o automazioni
  • Pipeline dati o trasformazioni
  • Contenuti o metadati di dataset
  • Nessun impatto visibile per chi usa il repository

Verifica

  • blocco run: estratto dal workflow ed eseguito su directory temporanee con stub di toolkit:
    • datasets/foo (con dataset.yml) → → datasets/foo/dataset.yml (years: 2022) ✅ OK
    • datasets/bar (senza config) → SKIP
    • path inesistente → SKIP
    • exclude: foo → (skip: foo)
    • modalità globs e years espliciti → invariate
  • actionlint (config del repo): 0 issue
  • pytest tests/test_01_static.py: 24 passed

Controlli

  • Questa PR e' nel repository giusto
  • Ho collegato issue o discussion quando serve
  • Ho verificato l'impatto su documentazione, codice o dati
  • Ho aggiornato solo quello che era davvero necessario
  • I test nuovi o modificati hanno marker (contract/policy/regression/adapter/pure_unit/smoke) — N/A, nessun test nel repo; verifica per esecuzione del blocco run:
  • Se la PR fixa un bug: il test che lo protegge e' marcato regression con link all'issue — N/A

Note per chi revisiona

  • Impatto sui consumer: ~22 repo in org passano configs: ${{ needs.detect.outputs.dirs }} (indice-pa, mercati-italia, costituzione-italiana, bilancio-pubblico, open-coesione, …). Dopo questo fix i loro log mostreranno i risultati reali del preflight.
  • Il componente resta non-blocking: su preflight fallito stampa ⚠️ FAILED … (non blocking) e chiude con ✅ Preflight completato. Il fix non cambia questa policy: nessun repo diventa rosso. Se il check deve bloccare un merge è una decisione separata (una riga di codice, ma cambia il comportamento di tutti i consumer).
  • Snapshot dei contratti: tests/tools/snapshot_contracts.py --check segnala dataset-config-check-reusable (per questo commit) e detect-changed-datasets (già diverso prima, per l'input datasets di ADR-002). Lo snapshot va rigenerato quando la baseline Fase 0A viene committata: in questo repo contracts/ e tests/ non sono tracciati su main, quindi non sono inclusi nella PR.

…aset

`detect-changed-datasets` restituisce directory, e i consumer le passano
così (22 repo in org): il loop faceva `[ ! -f "$cfg" ]` e saltava ogni voce
con "SKIP (no dataset.yml)", lasciando il job verde senza aver validato
nessun config — in un template l'errore si propaga a ogni repo nuovo.

Il componente ora risolve le directory in <dir>/dataset.yml; i path a
dataset.yml restano invariati (fix backward compatible, nessun consumer da
toccare). L'esclusione (`exclude`) continua a lavorare sul nome della dir.

Verificato eseguendo il blocco `run:` estratto dal workflow con stub di
toolkit: dir con config -> OK, dir senza config -> SKIP, path mancante ->
SKIP, globs e years espliciti invariati. actionlint + test_01_static verdi.
@Gabrymi93
Gabrymi93 merged commit bfac992 into main Nov 11, 2026
2 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/dataset-config-check-configs-dirs branch November 11, 2026 17:18
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant