apache / apache/paimon-rust

Tracking issues of 0.1.0 version for Apache Paimon Rust

オープン
#3 コメント 21 件 リアクション 21 件 担当者 0 名 GitHub で見る
主要言語
Rust
スター
197
フォーク
92
平均マージ
1日 20時間
マージ済み PR(30日)
108

説明

Hello everyone, this is the tracking update for the paimon rust 0.1.0 release.

## Goal

Before we outline the tasks for the 0.1.0 release, let me clarify the project's goal:

**Developing a complete implementation of Paimon in pure Rust.**

- Users can read/write paimon table like they do in java API.
- Users can read/write paimon table in arrow format.
- Native support for DataFusion
- But also enable users to implement their own query engines based on this project.
- Native WASM support (a.k.a `paimon-wasm`)
- Native Python binding based on rust core (a.k.a `paimon-py`)
- Hive catalog support

## Tasks

This will be our initial release, and I aim to include basic read support in it.

- [Spec](https://paimon.apache.org/docs/master/concepts/specification/): Implement types that needed by paimon.
- [x] https://github.com/apache/paimon-rust/pull/5
- [x] Datatypes
- [x] https://github.com/apache/paimon-rust/issues/6
- [x] https://github.com/apache/paimon-rust/issues/14
- [x] https://github.com/apache/paimon-rust/issues/7
- [x] https://github.com/apache/paimon-rust/issues/10
- [ ] Global Index
- [ ] Data File Index
- Catalog
- [x] https://github.com/apache/paimon-rust/pull/62
- [x] https://github.com/apache/paimon-rust/issues/70 (leave hive catalog in next release)
- Arrow Integration:
- [x] https://github.com/apache/paimon-rust/issues/71
- Basic Read Process: No schema evolution, no merging, no deletion.
- [x] https://github.com/apache/paimon-rust/issues/72 (filter & project push down are not required in v0.1)
- IO: Integrate with [Apache OpenDAL](https://github.com/apache/opendal) for IO.
- Release Utils: Impelment scripts to help generate and verify ASF releases.

After all those tasks, I expect users can read an existing paimon table from storage services.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

リンクされた仕様、Issue 6、7、10、14、70、71、72、および未チェックの Global Index、Data File Index、IO、Release Utils タスクを確認してください。まず、どのタスクが未完了のまま残っているかと、その依存関係を特定します。0.1.0 のタスクが完了し、ユーザーがストレージサービスから既存の Paimon テーブルを読み取れるようになれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, rust, wasm
領域
data-engineering, release
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。