gbdev / gbdev/database

Fix or rewrite scraper engine and scrapers

オープン
#259 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
C
スター
95
フォーク
52
平均マージ
7時間 33分
マージ済み PR(30日)
1

説明

Many years have passed since its first release.

Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one

Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb

Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、issue で言及されているスクレーパーエンジン、マスタースクレーパー、個々のスクレーパー、マニフェスト処理を見つけ、次にソース、スクリーンショット、ファイル拡張子がどのように選択されるかを確認します。列挙された Demozoo とエンジンのバグが修正され、他のスクレーパーが確認され、期待される動作をカバーする基本的なテストスイートが用意されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

領域
data-engineering
issue の種類
バグ
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。