apache / apache/datafusion-ray

[EPIC] DataFusion on Ray 0.1.0 release

Aperta
#2 0 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
230
Fork
29
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Manage donation

- [x] Propose donation of Ray SQL into Apache DataFusion - https://github.com/apache/datafusion-python/issues/872
- [x] Vote to accept donation - https://lists.apache.org/thread/2cff6k3jtzg8ob1x1qz22150swwnkqsn
- [x] Complete the IP clearance process - https://lists.apache.org/thread/hytm7fl0z3c24sdhf9wbdvnpk2o5o9or
- [x] Merge https://github.com/apache/datafusion-ray/pull/1
- [x] Update the README in the ray-sql repo to state that the project has moved, and archive the repo

## Initial tasks once the donation has been accepted

- [x] Update packaging and documentation to reflect the new project name and purpose (it is no longer a research project, for example)
- [x] Upgrade to use DataFusion 41 (based on https://github.com/datafusion-contrib/ray-sql/pull/51)
- [x] Get the Rust unit tests in `planner.rs` running in CI and update the expected plans under `testdata/expected-plans`
- [x] Manually test on a distributed cluster to confirm that everything is working - https://github.com/apache/datafusion-ray/pull/20

## Benchmarking

- [x] Add documentation for running benchmarks
- [ ] Automate running benchmarks against PRs using compute infrastructure provided by @andygrove
- [ ] Update performance charts in README

## Set up release process

- [x] Add scripts for creating and publishing source releases
- [ ] Add CI scripts for building Python wheels
- [ ] Add CI scripts for building Docker images
- [ ] Set up RAT checks in CI

## First Release

- [ ] Release datafusion-ray 0.1.0
- [ ] Write a blog post to announce the new project - Google doc: https://docs.google.com/document/d/18Yd10y9fhIKiAfUPifQk5BSFytOGV0tcbmnK2Xy7_Ro/edit?usp=sharing

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Esamina la checklist rimanente, iniziando dall’automazione dei benchmark e dal lavoro sulla release CI; l’issue cita grafici delle prestazioni nel README, script CI per Python wheels e Docker images, controlli RAT e la release 0.1.0 e il post sul blog. Scegli un’attività chiaramente delimitata e considerala completata quando quell’elemento della checklist è stato implementato e verificato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
docker, python, rust
Ambito
ci-cd, data-engineering, release
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.