dogsheep / dogsheep/github-to-sqlite

Does subsequent calls fetch all data or only new/updated data?

オープン
#83 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
474
フォーク
50
PR マージ指標
30日以内にマージされた PR はありません

説明

I was hoping/expecting that subsequent calls to github-to-sqlite would only fetch and update new or updated data. Ie, first call for populating the entire database might be heavy, with thousands of API calls, while subsequent calls most of the time will be only dozens of api calls.

However, I just did this test, for a repo with 845 issues:

$ time github-to-sqlite issues github.db simonw/llm

real 1m50.375s
user 0m10.361s
sys 0m6.230s

$ time github-to-sqlite issues github.db simonw/llm

real 1m49.710s
user 0m10.277s
sys 0m5.981s

It seems that it fetches from scratch, every time. Can you confirm?

If yes, please consider this a feature request for a smarter update, or secondarily a request for improving the docs to make this behavior clear :)

Thanks for providing this tool, sincerely, Thomas

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

`github-to-sqlite issues` コマンドから始め、`simonw/llm` に対する 2 回の実行を再現して、2 回目の呼び出しですべての API リクエストが繰り返されるかどうかを確認します。後続の呼び出しで新しい Issue または更新された Issue のみが取得されること、または増分更新が実装されていない場合は現在の全件取得の動作が明確に文書化されていることを完了条件とします。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
github, python, sqlite
領域
api, cli, databases
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
38/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。