dogsheep / dogsheep/github-to-sqlite
Does subsequent calls fetch all data or only new/updated data?
- 主要言語
- Python
- スター
- 474
- フォーク
- 50
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
I was hoping/expecting that subsequent calls to github-to-sqlite would only fetch and update new or updated data. Ie, first call for populating the entire database might be heavy, with thousands of API calls, while subsequent calls most of the time will be only dozens of api calls.
However, I just did this test, for a repo with 845 issues:
$ time github-to-sqlite issues github.db simonw/llm
real 1m50.375s
user 0m10.361s
sys 0m6.230s
$ time github-to-sqlite issues github.db simonw/llm
real 1m49.710s
user 0m10.277s
sys 0m5.981s
It seems that it fetches from scratch, every time. Can you confirm?
If yes, please consider this a feature request for a smarter update, or secondarily a request for improving the docs to make this behavior clear :)
Thanks for providing this tool, sincerely, Thomas
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
`github-to-sqlite issues` コマンドから始め、`simonw/llm` に対する 2 回の実行を再現して、2 回目の呼び出しですべての API リクエストが繰り返されるかどうかを確認します。後続の呼び出しで新しい Issue または更新された Issue のみが取得されること、または増分更新が実装されていない場合は現在の全件取得の動作が明確に文書化されていることを完了条件とします。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- github, python, sqlite
- 領域
- api, cli, databases
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 38/100