dogsheep / dogsheep/github-to-sqlite

Does subsequent calls fetch all data or only new/updated data?

Abierto
#83 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
474
Forks
50
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

I was hoping/expecting that subsequent calls to github-to-sqlite would only fetch and update new or updated data. Ie, first call for populating the entire database might be heavy, with thousands of API calls, while subsequent calls most of the time will be only dozens of api calls.

However, I just did this test, for a repo with 845 issues:

$ time github-to-sqlite issues github.db simonw/llm

real 1m50.375s
user 0m10.361s
sys 0m6.230s

$ time github-to-sqlite issues github.db simonw/llm

real 1m49.710s
user 0m10.277s
sys 0m5.981s

It seems that it fetches from scratch, every time. Can you confirm?

If yes, please consider this a feature request for a smarter update, or secondarily a request for improving the docs to make this behavior clear :)

Thanks for providing this tool, sincerely, Thomas

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza con el comando `github-to-sqlite issues` y reproduce las dos ejecuciones contra `simonw/llm` para confirmar si la segunda llamada repite todas las solicitudes a la API. Da por terminado el trabajo cuando las llamadas posteriores obtengan únicamente issues nuevos o actualizados, o cuando se documente claramente el comportamiento actual de realizar una obtención completa si no se han implementado actualizaciones incrementales.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
github, python, sqlite
Área
api, cli, databases
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
38/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.