Improve speed of benchmark verification tests
Nessuno ha ancora preso questa issue.
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 6h
- PR unite (30g)
- 363
Descrizione
Is your feature request related to a problem or challenge? Please describe what you are trying to do.
PR https://github.com/apache/arrow-datafusion/pull/4015 added a new CI workflow to verify that the benchmark queries produce the correct results. This prevents regressions so is important, but it takes a long time to run.
Describe the solution you'd like
I think the ideal solution would be to just run on more powerful hardware. I would also like be able to be able to run the benchmarks in CI against larger datasets. I would be willing to provide self-hosted hardware if there is a simple and secure way of doing this. I am looking into some ideas.
Describe alternatives you've considered
None
Additional context
None
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Il punto di ingresso rilevante è il workflow CI di verifica dei benchmark introdotto da PR #4015; inizia da lì e identifica quali passaggi di benchmark dominano il tempo di esecuzione. Confronta runner più veloci con dataset più grandi e valuta un'opzione self-hosted sicura; il lavoro è completo quando CI continua a verificare risultati corretti rispettando gli obiettivi concordati per il tempo di esecuzione e i dataset.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- github-actions
- Ambito
- ci-cd, performance, testing
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100