dogsheep / dogsheep/github-to-sqlite

Does subsequent calls fetch all data or only new/updated data?

Ouverte
#83 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
474
Forks
50
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

I was hoping/expecting that subsequent calls to github-to-sqlite would only fetch and update new or updated data. Ie, first call for populating the entire database might be heavy, with thousands of API calls, while subsequent calls most of the time will be only dozens of api calls.

However, I just did this test, for a repo with 845 issues:

$ time github-to-sqlite issues github.db simonw/llm

real 1m50.375s
user 0m10.361s
sys 0m6.230s

$ time github-to-sqlite issues github.db simonw/llm

real 1m49.710s
user 0m10.277s
sys 0m5.981s

It seems that it fetches from scratch, every time. Can you confirm?

If yes, please consider this a feature request for a smarter update, or secondarily a request for improving the docs to make this behavior clear :)

Thanks for providing this tool, sincerely, Thomas

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par la commande `github-to-sqlite issues` et reproduisez les deux exécutions sur `simonw/llm` afin de confirmer si le deuxième appel répète toutes les requêtes API. Considérez le travail comme terminé lorsque les appels suivants ne récupèrent que les issues nouvelles ou mises à jour, ou lorsque le comportement actuel de récupération complète est clairement documenté si les mises à jour incrémentielles ne sont pas implémentées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
github, python, sqlite
Domaine
api, cli, databases
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
38/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.