Tracking issues of 0.1.0 version for Apache Paimon Rust
- Lingua principale
- Rust
- Stelle
- 197
- Fork
- 92
- Merge medio
- 1g 16h
- PR unite (30g)
- 91
Descrizione
Hello everyone, this is the tracking update for the paimon rust 0.1.0 release.
## Goal
Before we outline the tasks for the 0.1.0 release, let me clarify the project's goal:
**Developing a complete implementation of Paimon in pure Rust.**
- Users can read/write paimon table like they do in java API.
- Users can read/write paimon table in arrow format.
- Native support for DataFusion
- But also enable users to implement their own query engines based on this project.
- Native WASM support (a.k.a `paimon-wasm`)
- Native Python binding based on rust core (a.k.a `paimon-py`)
- Hive catalog support
## Tasks
This will be our initial release, and I aim to include basic read support in it.
- [Spec](https://paimon.apache.org/docs/master/concepts/specification/): Implement types that needed by paimon.
- [x] https://github.com/apache/paimon-rust/pull/5
- [x] Datatypes
- [x] https://github.com/apache/paimon-rust/issues/6
- [x] https://github.com/apache/paimon-rust/issues/14
- [x] https://github.com/apache/paimon-rust/issues/7
- [x] https://github.com/apache/paimon-rust/issues/10
- [ ] Global Index
- [ ] Data File Index
- Catalog
- [x] https://github.com/apache/paimon-rust/pull/62
- [x] https://github.com/apache/paimon-rust/issues/70 (leave hive catalog in next release)
- Arrow Integration:
- [x] https://github.com/apache/paimon-rust/issues/71
- Basic Read Process: No schema evolution, no merging, no deletion.
- [x] https://github.com/apache/paimon-rust/issues/72 (filter & project push down are not required in v0.1)
- IO: Integrate with [Apache OpenDAL](https://github.com/apache/opendal) for IO.
- Release Utils: Impelment scripts to help generate and verify ASF releases.
After all those tasks, I expect users can read an existing paimon table from storage services.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Esamina la specifica collegata, gli Issues 6, 7, 10, 14, 70, 71 e 72, insieme alle attività non selezionate Global Index, Data File Index, IO e Release Utils. Inizia identificando quale attività è ancora aperta e quali sono le sue dipendenze. Il lavoro è considerato completato quando le attività della 0.1.0 sono complete e gli utenti possono leggere una tabella Paimon esistente dai servizi di storage.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, rust, wasm
- Ambito
- data-engineering, release
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 25/100