Skip to content

fix(clean): unisce per nome i parquet multi-file - #549

Merged
Gabrymi93 merged 1 commit into
mainfrom
fix/parquet-union-by-name
Nov 17, 2026
Merged

Gabrymi93 merged 1 commit into
mainfrom
fix/parquet-union-by-name

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

Il ramo che legge più file parquet nella stessa view raw non passa union_by_name
a read_parquet. Con due export della stessa fonte dalla struttura diversa il dataset
non parte: DuckDB risponde schema mismatch in glob. Aggiunto union_by_name=true,
come già fa il ramo CSV.

Caso reale: dcl-bologna/centraline_aria unisce centraline-qualita-aria
(reftime/stazione/value/agente_atm) e dati-centraline-bologna-storico
(cod_staz/agente/data_inizio/valore/um) per avere la serie oraria 2016-2026 in un
solo dataset. Prima del fix: Binder Error: schema mismatch in glob. Dopo: run
completa con status: passed, 763.032 righe clean, readiness 8/8.

Contesto collegato

Nessuna issue: bug trovato a valle mentre si costruiva il dataset sopra. Se preferite
tracciarlo, lo apro e lo collego.

Cosa cambia

  • Bug fix
  • Nuova funzionalità del motore
  • Nuovo plugin sorgente
  • Modifica contratto pubblico (dataset.yml, path output, schema parquet)
  • Refactor / performance
  • Documentazione
  • Dipendenze o CI

Impatto su contratti pubblici

Nessuno. Cambia solo il caso eterogeneo; con file dallo stesso schema union_by_name
produce lo stesso risultato (DuckDB allinea per nome). Nessun campo di dataset.yml,
nessun path, nessuno schema parquet, nessuna firma pubblica toccata.

Verifica

pytest -q            # 1391 passed
ruff check .         # All checks passed
mypy toolkit/        # Success: no issues found in 127 source files

Test aggiunto con marker contract:
test_parquet_multi_file_different_schema_unions_by_name. Verificato che fallisce
senza il fix
('um' mancante nella union) e passa con.

End-to-end: dcl-bologna/centraline_aria, run 2016-2026 su root pulita, passed.

  • pytest -m core passa (suite completa verde)
  • ruff check . passa
  • mypy toolkit/ passa
  • Test aggiunto con marker contract

Checklist PR

  • Perimetro stretto: un solo comportamento, una riga di codice + test
  • Se nuovo plugin: n/a
  • Issue collegata o motivazione dell'assenza (sopra)
  • Nessuna rimozione di modulo/funzione pubblica

Note per chi revisiona

  • Rischio misurato: scansione di tutti i dataset.yml del workspace (68 con ≥2
    source o inject_column). I 15 dataset con inject_column sono tutti CSV e non
    passano da questo ramo. Gli unici con 2+ parquet sono centraline-aria (questo caso)
    e fabbisogno-settoriale, che usa mode: latest e legge il secondo parquet con un
    path hardcoded dentro clean.sql. Quindi oggi il ramo multi-file eterogeneo non è
    usato da nessuno: il fix abilita un caso nuovo, non cambia output esistenti.
  • Limite residuo, non toccato: il ramo con inject_column costruisce un
    UNION ALL posizionale di SELECT * per file, quindi inject_column + schemi
    eterogenei resta impossibile. Servirebbe un allineamento esplicito delle colonne ed è
    un disegno a sé: l'ho lasciato fuori dal perimetro.
  • Il cambiamento è in _execute_parquet_read; il ramo CSV aveva già la stessa logica
    (use_union), quindi il fix allinea i due percorsi.

Il ramo multi-file creava la view raw con read_parquet([...]) senza
union_by_name: con due export dalla struttura diversa (es. serie storica +
anno corrente della stessa fonte) DuckDB fallisce con "schema mismatch in
glob" e il dataset non parte.

Ora usa union_by_name=true, come fa gia' il ramo CSV. Per file con lo stesso
schema il risultato e' identico; cambia solo il caso eterogeneo, che oggi
nessun dataset del workspace usa (gli unici con 2+ parquet leggono una sola
source o un path hardcoded in clean.sql).

Caso reale: dcl-bologna / centraline_aria, che unisce
centraline-qualita-aria (reftime/stazione/value/agente_atm) e
dati-centraline-bologna-storico (cod_staz/agente/data_inizio/valore/um)
per avere la serie oraria 2017-2026 in un solo dataset.

Limite residuo, non toccato: il ramo con inject_column costruisce un
UNION ALL posizionale di SELECT * per file, quindi schemi eterogenei +
inject_column restano impossibili.

Test: test_parquet_multi_file_different_schema_unions_by_name (fallisce
senza il fix, passa con).
@Gabrymi93
Gabrymi93 merged commit 5d47812 into main Nov 17, 2026
3 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/parquet-union-by-name branch November 17, 2026 17:06
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant