graphprotocol / graphprotocol/graph-node

Large arrays take a long time to copy during grafting

Offen
#3,515 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Stale
Vorherrschende Sprache
Rust
Sterne
3.2k
Forks
1.1k
Ø Merge
4 T. 1 Std.
Gemergte PRs (30 T.)
1

Beschreibung

We really need to do something about large arrays - there are some grafts in shard_i involving subgraphs with large arrays where a batch to copy data took over an hour when each batch should really only take 5 minutes. This PR tries to mitigate that, but a lot of the data we store comes from large arrays, and we need to do something better there.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit der Überprüfung von PR #3488 und der Grafts in shard_i, die Subgraphen mit großen Arrays kopieren. Verfolge, wie diese Batches gespeicherte Daten kopieren, und vergleiche ihre Laufzeit mit dem angegebenen Ziel von fünf Minuten. Als abgeschlossen gilt die Aufgabe, wenn Graft-Batches für große Arrays nicht mehr über eine Stunde benötigen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust
Bereich
backend
Issue-Typ
Bug
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.