dogsheep / dogsheep/github-to-sqlite

Copying very large repo (30k issues, 33k PRs)

Abierto
#84 1 comentario 1 reacción 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
473
Forks
50
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?

The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).

So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?

Sincerely, Thomas

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo el comando o la documentación de github-to-sqlite para obtener issues y pull requests; después, comprueba cómo gestiona los límites de velocidad de GitHub API y cuándo escribe los registros en SQLite. El issue pregunta si los repositorios grandes se pueden obtener por subconjuntos y si los datos obtenidos sobreviven a una interrupción; se consideraría terminado confirmar el comportamiento actual o identificar una forma compatible de satisfacer esas necesidades.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
github, python, sqlite
Área
databases, tooling
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.