openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 31
- Fork
- 27
- Merge medio
- 3g 7h
- PR unite (30g)
- 2
Descrizione
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Individua l’implementazione di stream_file e verifica come gestisce i download per upload.wikimedia.org. Leggi la policy di Wikimedia relativa a User-Agent collegata, quindi verifica che le richieste a quell’host utilizzino uno User-Agent conforme senza richiedere modifiche a ogni scraper. L’issue non indica alcun file di test specifico, quindi aggiungi o aggiorna la copertura dove si trovano i test stream_file esistenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- backend
- Tipo di issue
- Funzionalità
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100