Skip to content

fix(script): stderr del comando visibile nel log mentre gira - #552

Merged
Gabrymi93 merged 2 commits into
mainfrom
fix/script-source-stderr
Nov 19, 2026
Merged

Gabrymi93 merged 2 commits into
mainfrom
fix/script-source-stderr

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

_fetch_script usava subprocess.run(capture_output=True): lo stderr del
preprocess restava nascosto fino alla fine e veniva mostrato solo (primi 500
caratteri) se il comando falliva. Un harvest lungo era un buco nero nel job
log: senato-votazioni ha girato 78 minuti senza una riga (verificato su
gh run view 43894488284: zero righe tra 15:17:25 e 16:35:29).

Contesto collegato

Nessuna issue. Emerso dall'analisi del run pesante di open-politica del 16/11.

Cosa cambia

  • Bug fix
  • Nuova funzionalità del motore
  • Nuovo plugin sorgente
  • Modifica contratto pubblico (dataset.yml, path output, schema parquet)
  • Refactor / performance
  • Documentazione
  • Dipendenze o CI

Il subprocess ora è Popen con stderr=STDOUT letto da un thread:

  • ogni riga va a sys.stderr con prefisso [script] mentre il comando gira;
  • le ultime 50 righe restano in un buffer per il messaggio di DownloadError;
  • client.timeout resta invariato e continua a sollevare TimeoutExpired
    (test esistente test_script_client_timeout_applied verde).

Impatto su contratti pubblici

Nessuno: firma, argomenti e semantica di script invariati. Cambia solo
l'osservabilità del processo figlio.

Verifica

pytest tests/test_script_source.py tests/test_layering_guard.py \
       tests/test_contracts.py tests/test_incremental_raw.py \
       tests/test_catalog_ops.py -q   # 102 passed
ruff check toolkit/core/source_types.py tests/test_script_source.py  # clean

Test nuovi:

  • test_script_stderr_forwarded_to_log (capfd): le righe del comando
    arrivano nel log;
  • test_script_failure_keeps_tail_in_error: sul fallimento il messaggio
    porta la coda dell'output.

Controlli

  • Questa PR e' nel repository giusto
  • Ho collegato issue o discussion quando serve
  • Ho verificato l'impatto su documentazione, codice o dati
  • Ho aggiornato solo quello che era davvero necessario
  • I test nuovi o modificati hanno marker (contract)
  • Se la PR fixa un bug: il test che lo protegge e' marcato regression con link all'issue

I test sono nel file tests/test_script_source.py con pytestmark = pytest.mark.contract (convenzione del file). Nessuna issue da linkare.

Note per chi revisiona

  • Il tee è su un thread daemon con join(timeout=5) dopo il wait: nessun
    deadlock sulla pipe, nessun blocco se il figlio chiude male.
  • Il comando può produrre molto output: il buffer è limitato (50 righe) e il
    log va a stderr, quindi non altera payload.

_fetch_script usava subprocess.run(capture_output=True): lo stderr del
preprocess restava nascosto fino alla fine e veniva mostrato solo (primi
500 caratteri) se il comando falliva. Un harvest lungo era un buco nero:
senato-votazioni ha girato 78 minuti senza una riga di log nel job.

Ora il subprocess è Popen con stderr=STDOUT letto da un thread: ogni riga
viene inoltrata a sys.stderr con prefisso [script] mentre il comando gira,
e le ultime 50 restano in un buffer per il messaggio d'errore. Il timeout
resta quello di client.timeout e continua a sollevare TimeoutExpired.

Test: stderr inoltrato (capfd) e coda dell'errore nel messaggio di
DownloadError.
Review #552 (Low): con errors="strict" un byte non-UTF-8 nello stderr
uccideva la thread che drena la pipe. La pipe smetteva di essere letta e il
figlio poteva bloccarsi quando il buffer si riempiva, fino a client.timeout
(7200s per senato-votazioni): da errore immediato a possibile stallo lungo.

Ora i byte non decodificabili diventano U+FFFD e le righe successive
continuano ad arrivare nel log.

Test: stderr con 0xFF 0xFE in mezzo a due righe valide → entrambe nel log
(senza il fix la seconda si perde).
@Gabrymi93

Copy link
Copy Markdown
Member Author

Review fix (44733f2)

Low — non-UTF-8 sullo stderr. Aggiunto errors="replace" al Popen: un
byte non decodificabile diventa U+FFFD invece di uccidere la thread che drena
la pipe (che avrebbe potuto bloccare il figlio fino a client.timeout).

Test nuovo: il comando scrive prima, poi 0xFF 0xFE, poi dopo; entrambe le
righe valide arrivano nel log. Prova del fuoco: senza il fix la seconda si
perde (UnicodeDecodeError nella thread).

test (3.12) pass, audit-markers pass, build in corso. Gli altri
due punti del review (buffer delle ultime 50 righe, shell=True + orfano) sono
info, non li ho toccati.

@Gabrymi93
Gabrymi93 merged commit 12bdefe into main Nov 19, 2026
3 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/script-source-stderr branch November 19, 2026 17:02
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant