CodeForPhilly / CodeForPhilly/pbf-scraping

New Criminal Filings still not getting all cases

Abierto
#54 9 comentarios 0 reacciones 0 asignados Ver en GitHub
bug data-scraping
Lenguaje dominante
Python
Estrellas
10
Forks
4
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Even after merging in the fix for getting the correct page count, our New Criminal Filings scraping script (0_scrape.py) is not getting the right number of cases. Today's run, which scraped cases from yesterday, scraped 32 cases. There are 44 total: https://www.courts.phila.gov/NewCriminalFilings/date/default.aspx?search=2020-11-10

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza con 0_scrape.py y reproduce la ejecución contra la página „New Criminal Filings“ para 2020-11-10. Compara los resultados del scraper con los 44 casos que muestra el sitio web del tribunal y rastrea dónde se omiten 12 casos. Se considera terminado cuando el script recupera todos los casos de esa fecha y su salida se verifica con la página de origen.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data-engineering
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.