dogsheep / dogsheep/github-to-sqlite

Copying very large repo (30k issues, 33k PRs)

オープン
#84 コメント 1 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
474
フォーク
50
PR マージ指標
30日以内にマージされた PR はありません

説明

I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?

The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).

So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?

Sincerely, Thomas

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、issues と pull requests を取得するための github-to-sqlite コマンドまたはドキュメントを読み、次に GitHub API のレート制限をどのように処理しているか、また SQLite にレコードを書き込むタイミングを確認します。この issue では、大規模なリポジトリをサブセット単位で取得できるか、また取得したデータが中断後も保持されるかを問うています。完了とは、現在の動作を確認するか、これらの要件を満たすためのサポートされた方法を特定することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
github, python, sqlite
領域
databases, tooling
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。