openzim / openzim/python-scraperlib
Integrate KiwixStorage
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 31
- Forks
- 27
- Merge medio
- 3 d 7 h
- PR fusionados (30 d)
- 2
Descripción
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza revisando cómo usan actualmente scraperlib y sus scrapers S3 y KiwixStorage, y después compara ese uso con la API de python-storagelib. Se considera terminado cuando se hayan añadido las pruebas y la integración solicitadas, se hayan actualizado las dependencias y se hayan definido la API más pequeña y la estructura modular de dependencias descritas en el issue.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, python
- Área
- backend-api-design, cloud
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100