openzim / openzim/python-scraperlib
Integrate KiwixStorage
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 31
- Forks
- 27
- Ø Merge
- 3 T. 7 Std.
- Gemergte PRs (30 T.)
- 2
Beschreibung
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit zu prüfen, wie scraperlib und seine Scraper derzeit S3 und KiwixStorage verwenden, und vergleiche diese Verwendung anschließend mit der API von python-storagelib. Als abgeschlossen gilt die Aufgabe, wenn die angeforderten Tests und die Integration hinzugefügt, die Abhängigkeiten aktualisiert und die in diesem Issue beschriebene kleinere API sowie die modulare Abhängigkeitsstruktur definiert wurden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, python
- Bereich
- backend-api-design, cloud
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100