openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 31
- Fork
- 27
- Merge trung bình
- 3 ngày 7 giờ
- Pull request đã merge (30 ngày)
- 2
Mô tả
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Xác định phần triển khai của stream_file và xem xét cách nó xử lý các lượt tải xuống đối với upload.wikimedia.org. Đọc chính sách Wikimedia User-Agent được liên kết, sau đó xác minh rằng các yêu cầu đến host đó sử dụng User-Agent tuân thủ quy định mà không yêu cầu thay đổi trong từng scraper. Issue không đề cập đến tệp kiểm thử cụ thể nào, vì vậy hãy thêm hoặc cập nhật coverage ở nơi các kiểm thử stream_file hiện có được đặt.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- backend
- Loại issue
- Tính năng
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100