dogsheep / dogsheep/github-to-sqlite

Copying very large repo (30k issues, 33k PRs)

Offen
#84 1 Kommentar 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
474
Forks
50
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I want to keep a local copy of metadata for qgis/QGIS, which is quite large with 30k issues and 33k pull requests. Has anyone used github-to-sqlite for anything like that?

The GitHub API has a rate limit of 5,000 API calls per hours, for authenticated users. And I think it takes one call for each issue - am I right? And github-to-sqlite does not offer only fetching only some subset of the issues, and furthermore does not commit to sqlite before all issues are fetched (so in case a call is interrupted, e.g. by the rate limit, the fetched data is simply discarded).

So I don't see any way that I can actually use github-to-sqlite for this (unless I pay for such privileges to github). Can you confirm?

Sincerely, Thomas

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Lies zunächst den github-to-sqlite-Befehl oder die Dokumentation zum Abrufen von Issues und Pull Requests und prüfe dann, wie dabei GitHub API-Ratenlimits behandelt werden und wann Datensätze in SQLite geschrieben werden. Im Issue wird gefragt, ob große Repositories in Teilmengen abgerufen werden können und ob abgerufene Daten eine Unterbrechung überstehen; als erledigt gilt, das aktuelle Verhalten zu bestätigen oder eine unterstützte Möglichkeit zu identifizieren, diese Anforderungen zu erfüllen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
github, python, sqlite
Bereich
databases, tooling
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.