apache / apache/paimon-cpp

[Feature] Support Vortex file format

未關閉
#319 0 則留言 1 個 reaction 已指派 0 人 在 GitHub 檢視
enhancement
主要語言
C++
星號
65
分支
25
平均合併
2 天 10 小時
30 天內合併 PR
80

描述

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

Apache Paimon Java supports Vortex through the paimon-vortex module, a Rust-based columnar file format with extensible compression encodings and lazily loaded summary statistics. Paimon C++ cannot currently access tables using this format.

### Solution

Add Vortex support to the Paimon C++ file-format SPI:
- Register the vortex file-format factory.
- Implement compatible schema, reader, and writer handling.
- Support column projection, predicate pushdown, and precise row selection.
- Validate the same supported and unsupported logical types as Java.
- Add C++ round-trip tests and Java-produced file compatibility tests.

### Anything else?

Vortex is implemented in Rust, so the integration can follow the Mosaic Rust FFI patterns (#238).
Java reference module: https://github.com/apache/paimon/tree/master/paimon-vortex

### Are you willing to submit a PR?

- [x] I'm willing to submit a PR!

貢獻指南

開啟貢獻指南

研究方向

首先閱讀 paimon-vortex 中的 Java 參考模組,以及 issue #238 中的 Mosaic Rust FFI 模式。將 C++ 檔案格式 SPI 要求對應到所要求的 schema、reader、writer、projection、predicate 和 row-selection 行為。完成標準是:C++ 往返測試和 Java 產生檔案的相容性測試涵蓋受支援和不受支援的邏輯型別。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
cpp, java, rust
領域
data-engineering, databases
Issue 類型
功能
難度
5/5
預估耗時
一週以上
活躍度
活躍
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。