openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Personne n'a encore pris cette issue.
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 27
- Merge moyen
- 3 j 7 h
- PR mergées (30 j)
- 2
Description
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Localisez l’implémentation de stream_file et examinez la manière dont elle gère les téléchargements pour upload.wikimedia.org. Lisez la politique Wikimedia relative à User-Agent vers laquelle pointe le lien, puis vérifiez que les requêtes adressées à cet hôte utilisent un User-Agent conforme sans nécessiter de modifications dans chaque scraper. L’issue ne mentionne aucun fichier de test précis ; ajoutez ou mettez donc à jour la couverture là où se trouvent les tests stream_file existants.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- backend
- Type d'issue
- Fonctionnalité
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100