option to auto adjust chunk size
- Vorherrschende Sprache
- Go
- Sterne
- 13.6k
- Forks
- 1.4k
- Ø Merge
- 2 Std. 31 Min.
- Gemergte PRs (30 T.)
- 4
Beschreibung
Similar to what pt-osc does, give the option to adjust chunk size dynamically to try to make chunks run in exactly --chunk-time seconds. In our testing this can make a big difference in reducing the time it takes to run a schema change.
From pt-osc doc:
The tool tracks the copy rate (rows per second) and adjusts the chunk size after each data-copy query, so that the next query takes this amount of time (in seconds) to execute. It keeps an exponentially decaying moving average of queries per second, so that if the server’s performance changes due to changes in server load, the tool adapts quickly.
Beitragsleitfaden
Rechercherichtung
Beginne damit, den bestehenden Chunk-Copy-Ablauf und die Verarbeitung von --chunk-time nachzuverfolgen; das Issue nennt keine Dateien oder Tests. Vergleiche das gewünschte Verhalten mit der Erfassung der Kopierrate und dem gleitenden Mittelwert von pt-osc, und definiere den Abschluss so, dass dynamisch aufeinanderfolgende Chunk-Größen gewählt werden, die auf die konfigurierte Chunk-Zeit abzielen und sich gleichzeitig an wechselnde Last anpassen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- go, mysql
- Bereich
- database
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 30/100