gbdev / gbdev/database

Fix or rewrite scraper engine and scrapers

Ouverte
#259 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
C
Étoiles
95
Forks
52
Merge moyen
7 h 33 min
PR mergées (30 j)
1

Description

Many years have passed since its first release.

Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one

Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb

Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par localiser le moteur de scraping, le scraper maître, les scrapers individuels et la gestion du manifeste mentionnés dans l’issue, puis examinez comment sont sélectionnées les sources, les captures d’écran et les extensions de fichier. Le travail est terminé lorsque les bugs Demozoo et du moteur listés sont corrigés, que les autres scrapers ont été vérifiés et qu’une suite de tests de base couvre le comportement attendu.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Domaine
data-engineering
Type d'issue
Bug
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
20/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.