Fix or rewrite scraper engine and scrapers
- Ngôn ngữ chính
- C
- Star
- 95
- Fork
- 52
- Merge trung bình
- 7 giờ 33 phút
- Pull request đã merge (30 ngày)
- 1
Mô tả
Many years have passed since its first release.
Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one
Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb
Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách xác định scraper engine, master scraper, các scraper riêng lẻ và phần xử lý manifest được đề cập trong issue, sau đó kiểm tra cách các nguồn, ảnh chụp màn hình và phần mở rộng tệp được lựa chọn. Công việc được xem là hoàn tất khi các lỗi Demozoo và engine được liệt kê đã được sửa, các scraper khác đã được kiểm tra và một bộ kiểm thử cơ bản bao quát hành vi mong đợi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100