Hygiène scrapers : curl -f, imports morts, User-Agent, .gitignore#9
Open
hermias1 wants to merge 1 commit into
Open
Hygiène scrapers : curl -f, imports morts, User-Agent, .gitignore#9hermias1 wants to merge 1 commit into
hermias1 wants to merge 1 commit into
Conversation
Micro-fixes issus de l'audit des scrapers, sans changement de comportement : - update_dila.sh : ajoute -f aux curl de téléchargement. Sans lui, une réponse HTTP 4xx/5xx est enregistrée comme fichier, puis tar échoue — incohérent avec les autres scripts qui utilisent déjà curl -sf. - scrape_ariane.py : retire 'import os' inutilisé. - rescrape_cedh.py : retire 'from urllib.parse import quote' inutilisé. - scrape_cedh_gaps.py : User-Agent aligné sur les autres scrapers (avec contact) au lieu de 'gap-filler' sans contact. - .gitignore : ajoute .DS_Store.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Micro-fixes issus de l'audit des scrapers — aucun changement de comportement fonctionnel, tout est autoportant.
update_dila.sh: ajoute-faux 3curlde téléchargement. Sans lui, une réponse HTTP 4xx/5xx est enregistrée telle quelle comme fichier.tar.gz, puistar xzféchoue sur une page d'erreur. Aligne le comportement sur les autres scripts qui utilisent déjàcurl -sf. (Lescurlde listing restent en-s: leur échec produit unLATESTvide déjà géré par le gardeif.)scrape_ariane.py: retireimport osinutilisé.rescrape_cedh.py: retirefrom urllib.parse import quoteinutilisé.scrape_cedh_gaps.py: User-Agent aligné sur les autres scrapers (... contact: dahliyaal@justicelibre.org) au lieu degap-fillersans contact — politesse cohérente envers HUDOC..gitignore: ajoute.DS_Store.Vérifié :
py_compilesur les 3 fichiers Python,bash -n update_dila.sh.À noter (hors périmètre, non touché ici) :
export_piste.pyest du code mort superseded parexport_piste_v2.py— suppression laissée à votre appréciation.