apache / apache/paimon-cpp

[Feature] Support Lance file format

Fechada
#313 1 comentário 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
C++
Estrelas
65
Forks
25
Merge médio
2d 9h
PRs com merge (30d)
82

Descrição

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

Apache Paimon Java supports Lance as a data file format through the paimon-lance module. Paimon C++ currently cannot read or write tables configured with file.format=lance, which prevents Java and C++ engines from interoperating on those tables.

### Solution

Add optional Lance file format support to Paimon C++, aligned with the Java implementation and Lance 0.39.0:

- register a Lance file format factory behind a disabled-by-default CMake option;
- support reading and writing Lance files through the existing file format interfaces;
- support column projection, precise row selection, row counts, and file row-id reporting;
- validate the same supported and unsupported logical types as Java;
- add C++ round-trip tests and Java/C++ compatibility fixtures in both directions.

The implementation should follow the existing Mosaic Rust FFI integration and lifecycle patterns.

### Anything else?

Java reference module: https://github.com/apache/paimon/tree/master/paimon-lance

### Are you willing to submit a PR?

- [x] I am willing to submit a PR!

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece lendo a integração existente de Mosaic Rust FFI e os padrões de ciclo de vida; em seguida, compare o módulo de referência Java em paimon-lance e inspecione as interfaces existentes de formato de arquivo. O trabalho estará concluído quando uma integração CMake opcional, desabilitada por padrão, oferecer suporte a leituras e gravações do Lance, às projeções e à seleção de linhas necessárias, aos metadados de linha, à validação de tipos lógicos, a testes de round-trip e a fixtures de compatibilidade Java/C++.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
cmake, cpp, java, rust
Domínio
data-engineering, databases
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Ativa
Clareza
Razoavelmente clara
Facilidade para iniciantes
45/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.