Skip to content

refactor(data): location_urls da lab-connectors, via gcs_manifest - #284

Merged
Gabrymi93 merged 2 commits into
mainfrom
refactor/lc-location-urls
Nov 6, 2026
Merged

Gabrymi93 merged 2 commits into
mainfrom
refactor/lc-location-urls

Conversation

@Gabrymi93

@Gabrymi93 Gabrymi93 commented Nov 6, 2026 •

Copy link
Copy Markdown
Member

Sintesi

Il data layer dell'Explorer smette di duplicare la risoluzione dei path e smette di scaricare gcs_manifest.json.

  • _parquet_exists() / _parquet_refs() usano lab_connectors.gcs.paths.location_urls() e object_exists();
  • resolve_url_slug() delega a lab_connectors.registry.to_url_slug;
  • via la copia locale di URL_SLUG_OVERRIDES e il download del manifest (7,3 MB per processo loader, ~55 processi per build).

Contesto collegato

Nessuna issue: segue lab-connectors#97 (merged, v0.16.0) e chiude l'ultimo consumer di gcs_manifest.json.

Cosa cambia

  • Nuovo dataset — pagina explorer
  • Bug fix frontend (data loader / layout / performance)
  • Aggiornamento config / catalogo
  • Modifica struttura dati upstream
  • Documentazione
  • Dipendenze o CI

Standard check

  • Niente toLocaleString
  • tableFormat e Inputs.table in celle separate
  • Mappe: buildMapLookup()
  • Niente duckdb.connect() — safe_connect()
  • Sidebar invariata

Verifica

../../.venv/bin/python -m pytest tests -q
../../.venv/bin/python -m ruff check src/data/_util.py src/data/_registry.py tests/test_util.py

Risultato: 31 passed; ruff pulito.

Note per chi revisiona

  • _parquet_exists con location glob fa una listing per dataset (poi match sull'anno) invece di una HEAD per anno; se la listing fallisce ricade su HEAD del singolo anno.
  • I loader che importano _parquet_exists/_parquet_refs/get_location non cambiano: le firme restano identiche.
  • Dopo questa PR gcs_manifest.json non ha più consumer funzionali: si può fermare lab-connectors/.github/workflows/gcs-manifest.yml e deprecare read_manifest().

Fix dopo review

  • Critical — voti-deputati: non importa più _load_manifest/_find_mart; risolve mart_sintesi col path contract mart (prefix dalla location clean, object_exists su MART_BUCKET). Aggiunto test statico che nessun loader usi i simboli privati rimossi.
  • Medium — listing per anno: la cache è in lab-connectors#100 (expand_glob con lru_cache), quindi N anni = 1 listing. Questa PR va mergiata dopo Pagine tematiche (territorio, finanza, sanità, welfare, giustizia) #100 per ottenere il beneficio.
  • Low — file singolo year-aware: _parquet_exists con location puntuale ritorna False se l'anno nel path non è quello richiesto (prima faceva HEAD e diceva sempre True). Test dedicato.
  • Low — docstring di tests/test_util.py aggiornata (niente più gcs_manifest).

Util e registry non duplicano più la logica di risoluzione:

- _parquet_exists/_parquet_refs usano location_urls() (path puntuale, glob
  per anno, espansione via listing) e object_exists() sul path canonico.
- rimosso il download di gcs_manifest.json (7,3 MB) da ogni processo loader:
  era l'unico consumer rimasto dell'artefatto in dismissione.
- resolve_url_slug() delega a lab_connectors.registry.to_url_slug: sparisce
  la copia locale degli override editoriali.

pytest tests: 29 passed.
Review #284:
- voti-deputati importava _load_manifest e risolveva mart_sintesi dal
  manifest (con bucket clean per errore). Ora usa il path contract mart
  (prefix dalla location clean + object_exists su MART_BUCKET).
- _parquet_exists su location puntuale è year-aware: se il path ha un anno
  diverso da quello richiesto ritorna False (prima faceva HEAD e diceva
  sempre True).
- test statico: nessun loader importa i simboli privati rimossi.
- docstring dei test aggiornata (niente più gcs_manifest).
@Gabrymi93
Gabrymi93 merged commit 1c92e3b into main Nov 6, 2026
1 check passed
@Gabrymi93
Gabrymi93 deleted the refactor/lc-location-urls branch November 6, 2026 21:35
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant