apache / apache/paimon-rust

Tracking issues of 0.1.0 version for Apache Paimon Rust

Aperta
#3 21 commenti 21 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Rust
Stelle
197
Fork
92
Merge medio
1g 16h
PR unite (30g)
91

Descrizione

Hello everyone, this is the tracking update for the paimon rust 0.1.0 release.

## Goal

Before we outline the tasks for the 0.1.0 release, let me clarify the project's goal:

**Developing a complete implementation of Paimon in pure Rust.**

- Users can read/write paimon table like they do in java API.
- Users can read/write paimon table in arrow format.
- Native support for DataFusion
- But also enable users to implement their own query engines based on this project.
- Native WASM support (a.k.a `paimon-wasm`)
- Native Python binding based on rust core (a.k.a `paimon-py`)
- Hive catalog support

## Tasks

This will be our initial release, and I aim to include basic read support in it.

- [Spec](https://paimon.apache.org/docs/master/concepts/specification/): Implement types that needed by paimon.
- [x] https://github.com/apache/paimon-rust/pull/5
- [x] Datatypes
- [x] https://github.com/apache/paimon-rust/issues/6
- [x] https://github.com/apache/paimon-rust/issues/14
- [x] https://github.com/apache/paimon-rust/issues/7
- [x] https://github.com/apache/paimon-rust/issues/10
- [ ] Global Index
- [ ] Data File Index
- Catalog
- [x] https://github.com/apache/paimon-rust/pull/62
- [x] https://github.com/apache/paimon-rust/issues/70 (leave hive catalog in next release)
- Arrow Integration:
- [x] https://github.com/apache/paimon-rust/issues/71
- Basic Read Process: No schema evolution, no merging, no deletion.
- [x] https://github.com/apache/paimon-rust/issues/72 (filter & project push down are not required in v0.1)
- IO: Integrate with [Apache OpenDAL](https://github.com/apache/opendal) for IO.
- Release Utils: Impelment scripts to help generate and verify ASF releases.

After all those tasks, I expect users can read an existing paimon table from storage services.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Esamina la specifica collegata, gli Issues 6, 7, 10, 14, 70, 71 e 72, insieme alle attività non selezionate Global Index, Data File Index, IO e Release Utils. Inizia identificando quale attività è ancora aperta e quali sono le sue dipendenze. Il lavoro è considerato completato quando le attività della 0.1.0 sono complete e gli utenti possono leggere una tabella Paimon esistente dai servizi di storage.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, rust, wasm
Ambito
data-engineering, release
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.