openzim / openzim/python-scraperlib
Integrate KiwixStorage
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 31
- Fork
- 27
- Merge trung bình
- 3 ngày 7 giờ
- Pull request đã merge (30 ngày)
- 2
Mô tả
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu bằng việc xem xét cách scraperlib và các scraper của nó hiện đang sử dụng S3 và KiwixStorage, sau đó so sánh cách sử dụng đó với API của python-storagelib. Công việc được xem là hoàn tất khi đã thêm các bài kiểm thử và phần tích hợp được yêu cầu, cập nhật các dependency, đồng thời định nghĩa API nhỏ hơn và cấu trúc dependency dạng mô-đun được mô tả trong issue.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, python
- Lĩnh vực
- backend-api-design, cloud
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100