Improve speed of benchmark verification tests
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 360
Beschreibung
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
PR https://github.com/apache/arrow-datafusion/pull/4015 added a new CI workflow to verify that the benchmark queries produce the correct results. This prevents regressions so is important, but it takes a long time to run.
**Describe the solution you'd like**
I think the ideal solution would be to just run on more powerful hardware. I would also like be able to be able to run the benchmarks in CI against larger datasets. I would be willing to provide self-hosted hardware if there is a simple and secure way of doing this. I am looking into some ideas.
**Describe alternatives you've considered**
None
**Additional context**
None
Beitragsleitfaden
Rechercherichtung
Der relevante Einstiegspunkt ist der durch PR #4015 eingeführte CI-Workflow zur Benchmark-Verifizierung; beginne dort und ermittle, welche Benchmark-Schritte die Laufzeit dominieren. Vergleiche schnellere Runner mit größeren Datensätzen und bewerte eine sichere self-hosted-Option; als abgeschlossen gilt die Arbeit, wenn CI weiterhin korrekte Ergebnisse verifiziert und dabei die vereinbarten Laufzeit- und Datensatz-Ziele erfüllt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- github-actions
- Bereich
- ci-cd, performance, testing
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100