apache / apache/paimon-cpp

[Feature] Support 64-bit deletion vectors in Paimon C++

Aberta
#325 0 comentários 0 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
C++
Estrelas
65
Forks
25
Merge médio
2d 9h
PRs com merge (30d)
82

Descrição

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

### Motivation

### Motivation

Java Paimon supports both 32-bit and 64-bit deletion vectors through:

```properties
deletion-vectors.enabled=true
deletion-vectors.bitmap64=true

Paimon C++ currently exposes the deletion-vectors.bitmap64 option, but bitmap64 deletion vectors are not implemented:
- include/paimon/defs.h marks bitmap64 DV as unsupported.
- DeletionVector::Read recognizes the bitmap64 magic number but returns NotImplemented.
- Only BitmapDeletionVector, backed by RoaringBitmap32, is currently used for deletion-vector reads and writes.
As a result, Paimon C++ cannot read tables containing bitmap64 deletion vectors produced by Java Paimon, and cannot produce Iceberg-compatible deletion vectors.

### Solution

_No response_

### Anything else?

_No response_

### Are you willing to submit a PR?

- [x] I'm willing to submit a PR!

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece rastreando o tratamento dos vetores de exclusão por meio de include/paimon/defs.h e DeletionVector::Read; em seguida, inspecione o caminho de leitura/escrita de BitmapDeletionVector e RoaringBitmap32. Compare o comportamento existente de bitmap32 com o número mágico de bitmap64 e as propriedades do Java Paimon descritas na issue. O trabalho estará concluído quando o Paimon C++ puder ler vetores de exclusão bitmap64 produzidos pelo Java e produzir vetores compatíveis com Iceberg.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
cpp
Domínio
databases
Tipo de issue
Funcionalidade
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Ativa
Clareza
Razoavelmente clara
Facilidade para iniciantes
45/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.