gbdev / gbdev/database

Fix or rewrite scraper engine and scrapers

Đang mở
#259 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C
Star
95
Fork
52
Merge trung bình
7 giờ 33 phút
Pull request đã merge (30 ngày)
1

Mô tả

Many years have passed since its first release.

Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one

Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb

Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách xác định scraper engine, master scraper, các scraper riêng lẻ và phần xử lý manifest được đề cập trong issue, sau đó kiểm tra cách các nguồn, ảnh chụp màn hình và phần mở rộng tệp được lựa chọn. Công việc được xem là hoàn tất khi các lỗi Demozoo và engine được liệt kê đã được sửa, các scraper khác đã được kiểm tra và một bộ kiểm thử cơ bản bao quát hành vi mong đợi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.