apache / apache/paimon-rust

Tracking issues of 0.1.0 version for Apache Paimon Rust

Offen
#3 21 Kommentare 21 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Rust
Sterne
197
Forks
92
Ø Merge
1 T. 16 Std.
Gemergte PRs (30 T.)
91

Beschreibung

Hello everyone, this is the tracking update for the paimon rust 0.1.0 release.

## Goal

Before we outline the tasks for the 0.1.0 release, let me clarify the project's goal:

**Developing a complete implementation of Paimon in pure Rust.**

- Users can read/write paimon table like they do in java API.
- Users can read/write paimon table in arrow format.
- Native support for DataFusion
- But also enable users to implement their own query engines based on this project.
- Native WASM support (a.k.a `paimon-wasm`)
- Native Python binding based on rust core (a.k.a `paimon-py`)
- Hive catalog support

## Tasks

This will be our initial release, and I aim to include basic read support in it.

- [Spec](https://paimon.apache.org/docs/master/concepts/specification/): Implement types that needed by paimon.
- [x] https://github.com/apache/paimon-rust/pull/5
- [x] Datatypes
- [x] https://github.com/apache/paimon-rust/issues/6
- [x] https://github.com/apache/paimon-rust/issues/14
- [x] https://github.com/apache/paimon-rust/issues/7
- [x] https://github.com/apache/paimon-rust/issues/10
- [ ] Global Index
- [ ] Data File Index
- Catalog
- [x] https://github.com/apache/paimon-rust/pull/62
- [x] https://github.com/apache/paimon-rust/issues/70 (leave hive catalog in next release)
- Arrow Integration:
- [x] https://github.com/apache/paimon-rust/issues/71
- Basic Read Process: No schema evolution, no merging, no deletion.
- [x] https://github.com/apache/paimon-rust/issues/72 (filter & project push down are not required in v0.1)
- IO: Integrate with [Apache OpenDAL](https://github.com/apache/opendal) for IO.
- Release Utils: Impelment scripts to help generate and verify ASF releases.

After all those tasks, I expect users can read an existing paimon table from storage services.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Überprüfe die verlinkte Spezifikation, die Issues 6, 7, 10, 14, 70, 71 und 72 sowie die nicht abgehakten Aufgaben Global Index, Data File Index, IO und Release Utils. Beginne damit zu identifizieren, welche Aufgabe noch offen ist und welche Abhängigkeiten sie hat. Als abgeschlossen gilt die Arbeit, wenn die Aufgaben für 0.1.0 vollständig erledigt sind und Benutzer eine vorhandene Paimon-Tabelle aus Speicherdiensten lesen können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, rust, wasm
Bereich
data-engineering, release
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.