apache / apache/paimon-cpp

[Feature] Support Lance file format

Geschlossen
#313 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
C++
Sterne
65
Forks
25
Ø Merge
2 T. 12 Std.
Gemergte PRs (30 T.)
80

Beschreibung

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

Apache Paimon Java supports Lance as a data file format through the paimon-lance module. Paimon C++ currently cannot read or write tables configured with file.format=lance, which prevents Java and C++ engines from interoperating on those tables.

### Solution

Add optional Lance file format support to Paimon C++, aligned with the Java implementation and Lance 0.39.0:

- register a Lance file format factory behind a disabled-by-default CMake option;
- support reading and writing Lance files through the existing file format interfaces;
- support column projection, precise row selection, row counts, and file row-id reporting;
- validate the same supported and unsupported logical types as Java;
- add C++ round-trip tests and Java/C++ compatibility fixtures in both directions.

The implementation should follow the existing Mosaic Rust FFI integration and lifecycle patterns.

### Anything else?

Java reference module: https://github.com/apache/paimon/tree/master/paimon-lance

### Are you willing to submit a PR?

- [x] I am willing to submit a PR!

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, die bestehende Mosaic Rust FFI-Integration und die Lifecycle-Muster zu lesen, vergleiche anschließend das Java-Referenzmodul unter paimon-lance und untersuche die bestehenden Schnittstellen für Dateiformate. Als abgeschlossen gilt die Arbeit, wenn eine optionale, standardmäßig deaktivierte CMake-Integration Lese- und Schreibvorgänge für Lance, erforderliche Projektionen und Zeilenauswahl, Zeilenmetadaten, die Validierung logischer Typen, Round-Trip-Tests sowie Java/C++-Kompatibilitäts-Fixtures unterstützt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
cmake, cpp, java, rust
Bereich
data-engineering, databases
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.