github / github/gh-ost

option to auto adjust chunk size

Offen
#397 8 Kommentare 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Go
Sterne
13.6k
Forks
1.4k
Ø Merge
2 Std. 31 Min.
Gemergte PRs (30 T.)
4

Beschreibung

Similar to what pt-osc does, give the option to adjust chunk size dynamically to try to make chunks run in exactly --chunk-time seconds. In our testing this can make a big difference in reducing the time it takes to run a schema change.
From pt-osc doc:
The tool tracks the copy rate (rows per second) and adjusts the chunk size after each data-copy query, so that the next query takes this amount of time (in seconds) to execute. It keeps an exponentially decaying moving average of queries per second, so that if the server’s performance changes due to changes in server load, the tool adapts quickly.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den bestehenden Chunk-Copy-Ablauf und die Verarbeitung von --chunk-time nachzuverfolgen; das Issue nennt keine Dateien oder Tests. Vergleiche das gewünschte Verhalten mit der Erfassung der Kopierrate und dem gleitenden Mittelwert von pt-osc, und definiere den Abschluss so, dass dynamisch aufeinanderfolgende Chunk-Größen gewählt werden, die auf die konfigurierte Chunk-Zeit abzielen und sich gleichzeitig an wechselnde Last anpassen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
go, mysql
Bereich
database
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.