apache / apache/paimon-cpp

[Feature] Support Vortex file format

オープン
#319 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
enhancement
主要言語
C++
スター
65
フォーク
25
平均マージ
2日 12時間
マージ済み PR(30日)
80

説明

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

Apache Paimon Java supports Vortex through the paimon-vortex module, a Rust-based columnar file format with extensible compression encodings and lazily loaded summary statistics. Paimon C++ cannot currently access tables using this format.

### Solution

Add Vortex support to the Paimon C++ file-format SPI:
- Register the vortex file-format factory.
- Implement compatible schema, reader, and writer handling.
- Support column projection, predicate pushdown, and precise row selection.
- Validate the same supported and unsupported logical types as Java.
- Add C++ round-trip tests and Java-produced file compatibility tests.

### Anything else?

Vortex is implemented in Rust, so the integration can follow the Mosaic Rust FFI patterns (#238).
Java reference module: https://github.com/apache/paimon/tree/master/paimon-vortex

### Are you willing to submit a PR?

- [x] I'm willing to submit a PR!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず paimon-vortex の Java リファレンスモジュールと、issue #238 の Mosaic Rust FFI パターンを読みます。C++ のファイル形式 SPI 要件を、要求されている schema、reader、writer、projection、predicate、row-selection の動作に対応付けます。C++ のラウンドトリップテストと Java で生成されたファイルの互換性テストで、サポート対象および非サポートの論理型がカバーされれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp, java, rust
領域
data-engineering, databases
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。