openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 31
- Forks
- 27
- Ø Merge
- 3 T. 7 Std.
- Gemergte PRs (30 T.)
- 2
Beschreibung
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Lokalisieren Sie die Implementierung von stream_file und überprüfen Sie, wie sie Downloads für upload.wikimedia.org verarbeitet. Lesen Sie die verknüpfte Wikimedia User-Agent-Richtlinie und überprüfen Sie anschließend, dass Anfragen an diesen Host einen konformen User-Agent verwenden, ohne Änderungen an jedem einzelnen Scraper zu erfordern. Das Issue nennt keine bestimmte Testdatei, fügen Sie daher Tests hinzu oder aktualisieren Sie die Abdeckung dort, wo sich die vorhandenen stream_file-Tests befinden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- backend
- Issue-Typ
- Feature
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100