apache / apache/paimon-cpp

[Feature] Support Lance file format

クローズ
#313 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
65
フォーク
25
平均マージ
2日 12時間
マージ済み PR(30日)
80

説明

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

Apache Paimon Java supports Lance as a data file format through the paimon-lance module. Paimon C++ currently cannot read or write tables configured with file.format=lance, which prevents Java and C++ engines from interoperating on those tables.

### Solution

Add optional Lance file format support to Paimon C++, aligned with the Java implementation and Lance 0.39.0:

- register a Lance file format factory behind a disabled-by-default CMake option;
- support reading and writing Lance files through the existing file format interfaces;
- support column projection, precise row selection, row counts, and file row-id reporting;
- validate the same supported and unsupported logical types as Java;
- add C++ round-trip tests and Java/C++ compatibility fixtures in both directions.

The implementation should follow the existing Mosaic Rust FFI integration and lifecycle patterns.

### Anything else?

Java reference module: https://github.com/apache/paimon/tree/master/paimon-lance

### Are you willing to submit a PR?

- [x] I am willing to submit a PR!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず既存の Mosaic Rust FFI 統合とライフサイクルパターンを読み、次に paimon-lance にある Java 参照モジュールと比較し、既存のファイル形式インターフェースを調査します。デフォルトで無効になっているオプションの CMake 統合が Lance の読み取りと書き込み、必要なプロジェクションと行選択、行メタデータ、論理型の検証、ラウンドトリップテスト、Java/C++ 互換性フィクスチャをサポートすれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cmake, cpp, java, rust
領域
data-engineering, databases
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。