dogsheep / dogsheep/github-to-sqlite
Copying very large repo (30k issues, 33k PRs)
- 主要言語
- Python
- スター
- 474
- フォーク
- 50
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?
The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).
So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?
Sincerely, Thomas
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、issues と pull requests を取得するための github-to-sqlite コマンドまたはドキュメントを読み、次に GitHub API のレート制限をどのように処理しているか、また SQLite にレコードを書き込むタイミングを確認します。この issue では、大規模なリポジトリをサブセット単位で取得できるか、また取得したデータが中断後も保持されるかを問うています。完了とは、現在の動作を確認するか、これらの要件を満たすためのサポートされた方法を特定することです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- github, python, sqlite
- 領域
- databases, tooling
- issue の種類
- 機能追加
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 30/100