Repository navigation
fix(geo-utils): riconosce le P.A. Trentino in tutte le grafie delle fonti - #296
Merged
Merged
Conversation
…onti
Le fonti scrivono la provincia autonoma in almeno tre modi e ognuno normalizza
in modo diverso:
"Trentino Alto Adige (P.A. Bolzano)" -> ...-(P.A.-BOLZANO)
"Trentino Alto Adige(P.A.Bolzano)" -> ...(P.A.BOLZANO)
"Trentino Alto Adige (Prov. Aut. Bolzano)" -> ...-(PROV.-AUT.-BOLZANO)
Un regex su /P\.A\./ o un confronto sulla stringa normalizzata ne perdono una.
- nuova `isTrentinoPA(nome)`: cerca i nomi delle due province, non la forma.
"TRENTINO" non contiene "TRENTO", quindi la riga aggregata resta esclusa.
- `buildRegLookupWithTrentino` usa `isTrentinoPA`; il parametro `trentinoKey`
resta per le fonti che usano un prefisso (ISTAT Gini: "Provincia Autonoma").
Corretto anche il filtro iniziale, che confrontava l'intera etichetta con "P.A."
e quindi non escludeva mai le province.
- `irpef-comunale.md` usa `isTrentinoPA` al posto di `/P\.A\./`.
- `irpef-regioni.json.py` esclude la pseudo-regione per codice ISTAT ('0'),
non per etichetta: 'Non indicato' fino al 2017, 'Mancante/errata' dal 2018.
Test: 10 varianti riconosciute, "Trentino Alto Adige" e
"Trentino-Alto Adige/Südtirol" no, e la fusione delle due P.A. verificata su
tutte e tre le grafie (37 test passano).
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Sintesi
Le etichette del Trentino Alto Adige cambiano forma tra dataset e, in un caso, dentro la stessa serie.
geo-utilsdichiara nel suo contratto che «i dataset possono avere nomi regione leggermente diversi (maiuscole/minuscole, trattini, slash, P.A. Trentino separato)»: qui si rende vera quella promessa, senza toccare i dataset.Contesto collegato
Closes #295
Cosa cambia
Il problema
Tre grafie per le stesse due province, che normalizzano in tre modi diversi:
normalizzaRegTrentino Alto Adige(P.A.Bolzano)…(P.A.BOLZANO)Trentino Alto Adige (P.A. Bolzano)…-(P.A.-BOLZANO)Trentino Alto Adige (Prov. Aut. Bolzano)…-(PROV.-AUT.-BOLZANO)Due conseguenze:
REG_FALLBACKSnon copre nessuna delle tre (P. A. BOLZANOè la forma BDAP, un'altra ancora);irpef-comunale.mdfondeva le P.A. con/P\.A\./, che non matcha(Prov. Aut. …), ebuildRegLookupWithTrentinofiltrava con un confronto sull'intera etichetta che non escludeva mai le province.La soluzione
Nuova
isTrentinoPA(nome): cerca i nomi delle due province (BOLZANO,TRENTO) invece della forma."TRENTINO"non contiene"TRENTO"(T-R-E-N-T-I-N-O), quindi una riga aggregataTrentino Alto Adigenon viene scambiata per una provincia — ed è il comportamento corretto.buildRegLookupWithTrentinousaisTrentinoPA. Il parametrotrentinoKeyresta per le fonti che usano un prefisso senza il nome della provincia (ISTAT Gini:"Provincia Autonoma").irpef-comunale.mdusaisTrentinoPAal posto del regex.irpef-regioni.json.pyesclude la pseudo-regione per codice ISTAT'0', non per etichetta:'Non indicato'fino al 2017,'Mancante/errata'dal 2018. Il filtro per nome nella pagina era fragile e ora è superfluo.Checklist
safe_connect()tramiteload_datasetgeo-utils.js)toLocaleStringbuildMapLookup()invariatoduckdb.connect()Verifica
node --test tests/test_shared-utils.test.mjs→ 37 test, 0 fail.Aggiunti:
isTrentinoPA(): 10 varianti riconosciute (incluse(P.A.Bolzano),(Prov. Aut. Bolzano),P. A. BOLZANO,Provincia Autonoma di Trento);Trentino Alto AdigeeTrentino-Alto Adige/Südtirolno; input vuoti no.buildRegLookupWithTrentino(): la fusione delle due P.A. è verificata su tutte e tre le grafie, con controllo che le chiavi separate non restino nella lookup; e il casotrentinoKey="Provincia Autonoma".I 16 blocchi JS di
irpef-comunale.mdpassanonode --check.Note / rischi
Perché non nei dataset. Standardizzare le etichette in 13
clean.sqlsignificherebbe 13 re-run e republish, più l'allineamento dell'Explorer — per un dato che chi analizza legge già tramitecod_regione. La normalizzazione è delegata all'Explorer dal suo stesso contratto: meglio renderla robusta in un punto solo.Dataset già sistemati a monte.
irpef_comunale(dichiarazioni-italia #59) eabpf_titolari_piva_regione(#60) normalizzano già le proprie etichette; questa PR rende l'Explorer tollerante anche verso i dataset che non lo fanno, presenti e futuri.