Fix or rewrite scraper engine and scrapers
- 主要言語
- C
- スター
- 95
- フォーク
- 52
- 平均マージ
- 7時間 33分
- マージ済み PR(30日)
- 1
説明
Many years have passed since its first release.
Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one
Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb
Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper
コントリビューションガイド
調査の方向性
まず、issue で言及されているスクレーパーエンジン、マスタースクレーパー、個々のスクレーパー、マニフェスト処理を見つけ、次にソース、スクリーンショット、ファイル拡張子がどのように選択されるかを確認します。列挙された Demozoo とエンジンのバグが修正され、他のスクレーパーが確認され、期待される動作をカバーする基本的なテストスイートが用意されれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100