apache / apache/iceberg-python

[Feat] Support Merge-on-Read mode for Deletes

Aberta
#1,078 7 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
1.1k
Forks
581
Merge médio
1d 13h
PRs com merge (30d)
76

Descrição

### Feature Request / Improvement

Similar to Spark, we would like to implement Merge-on-Read mode of deleting, by creating delete files that encode position and equality delete markers that can be applied within a given partition.

https://iceberg.apache.org/spec/?h=delete+files#row-level-deletes

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Comece lendo a especificação de exclusões em nível de linha do Apache Iceberg vinculada na issue e, em seguida, compare os requisitos de exclusões por posição e por igualdade com o comportamento de exclusão existente do PyIceberg. Defina o escopo suportado de Merge-on-Read e verifique se os marcadores de exclusão podem ser aplicados dentro de uma partição, incluindo testes para ambos os tipos de exclusão.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python, spark
Domínio
data-engineering, databases
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Pouca atividade
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
35/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.