CodeForPhilly / CodeForPhilly/pbf-scraping

New Criminal Filings still not getting all cases

Aperta
#54 9 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug data-scraping
Lingua principale
Python
Stelle
10
Fork
4
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Even after merging in the fix for getting the correct page count, our New Criminal Filings scraping script (0_scrape.py) is not getting the right number of cases. Today's run, which scraped cases from yesterday, scraped 32 cases. There are 44 total: https://www.courts.phila.gov/NewCriminalFilings/date/default.aspx?search=2020-11-10

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da 0_scrape.py e riproduci l’esecuzione sulla pagina “New Criminal Filings” per il 2020-11-10. Confronta i risultati dello scraper con i 44 casi mostrati dal sito del tribunale e individua dove vengono omessi 12 casi. Il lavoro è completato quando lo script recupera tutti i casi per quella data e il suo output è verificato rispetto alla pagina sorgente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.