dogsheep / dogsheep/github-to-sqlite
Copying very large repo (30k issues, 33k PRs)
- Vorherrschende Sprache
- Python
- Sterne
- 474
- Forks
- 50
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?
The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).
So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?
Sincerely, Thomas
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Lies zunächst den github-to-sqlite-Befehl oder die Dokumentation zum Abrufen von Issues und Pull Requests und prüfe dann, wie dabei GitHub API-Ratenlimits behandelt werden und wann Datensätze in SQLite geschrieben werden. Im Issue wird gefragt, ob große Repositories in Teilmengen abgerufen werden können und ob abgerufene Daten eine Unterbrechung überstehen; als erledigt gilt, das aktuelle Verhalten zu bestätigen oder eine unterstützte Möglichkeit zu identifizieren, diese Anforderungen zu erfüllen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- github, python, sqlite
- Bereich
- databases, tooling
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 30/100