CodeForPhilly / CodeForPhilly/pbf-scraping

New Criminal Filings still not getting all cases

Offen
#54 9 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug data-scraping
Vorherrschende Sprache
Python
Sterne
10
Forks
4
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Even after merging in the fix for getting the correct page count, our New Criminal Filings scraping script (0_scrape.py) is not getting the right number of cases. Today's run, which scraped cases from yesterday, scraped 32 cases. There are 44 total: https://www.courts.phila.gov/NewCriminalFilings/date/default.aspx?search=2020-11-10

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit 0_scrape.py und reproduzieren Sie die Ausführung für die Seite „New Criminal Filings“ für den 2020-11-10. Vergleichen Sie die Ergebnisse des Scrapers mit den 44 auf der Gerichtswebsite angezeigten Fällen und verfolgen Sie zurück, wo 12 Fälle ausgelassen werden. Erledigt ist die Aufgabe, wenn das Skript alle Fälle für dieses Datum abruft und seine Ausgabe anhand der Quellseite verifiziert ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.