openzim / openzim/python-scraperlib
Integrate KiwixStorage
Personne n'a encore pris cette issue.
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 27
- Merge moyen
- 3 j 7 h
- PR mergées (30 j)
- 2
Description
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par examiner comment scraperlib et ses scrapers utilisent actuellement S3 et KiwixStorage, puis comparez cette utilisation avec l’API de python-storagelib. Le travail est considéré comme terminé lorsque les tests et l’intégration demandés ont été ajoutés, que les dépendances ont été mises à jour et que l’API plus réduite ainsi que la structure modulaire des dépendances décrites dans l’issue ont été définies.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- aws, python
- Domaine
- backend-api-design, cloud
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100