dogsheep / dogsheep/github-to-sqlite
Copying very large repo (30k issues, 33k PRs)
- Lenguaje dominante
- Python
- Estrellas
- 473
- Forks
- 50
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?
The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).
So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?
Sincerely, Thomas
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza leyendo el comando o la documentación de github-to-sqlite para obtener issues y pull requests; después, comprueba cómo gestiona los límites de velocidad de GitHub API y cuándo escribe los registros en SQLite. El issue pregunta si los repositorios grandes se pueden obtener por subconjuntos y si los datos obtenidos sobreviven a una interrupción; se consideraría terminado confirmar el comportamiento actual o identificar una forma compatible de satisfacer esas necesidades.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- github, python, sqlite
- Área
- databases, tooling
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 30/100