apache / apache/iceberg-python

Support rewrite_manifests table maintenance

Aberta
#3,629 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
1.1k
Forks
581
Merge médio
1d 13h
PRs com merge (30d)
76

Descrição

### Feature Request / Improvement

Rewriting manifests without changing data speeds up scan planning when a table has accumulated many small manifests. Java exposes this as `Table.rewriteManifests()` (Spark: `rewrite_manifests`).

Scope: an explicit maintenance operation that reads the current snapshot's manifests, regroups entries, rewrites them preserving sequence numbers (entries rewritten as EXISTING) and, for V3, `first_row_id`, and commits a `replace` snapshot. Related: #270 tracks automatic manifest merging on write; this covers the explicit maintenance API.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Localize o ponto de entrada de manutenção/API de tabelas em Python correspondente a Table.rewriteManifests(); leia primeiro os caminhos atuais de snapshot e gerenciamento de manifestos. Considera-se concluído quando uma operação explícita reagrupa os manifestos atuais, preserva os números de sequência e V3 first_row_id, marca as entradas reescritas como EXISTING e faz commit de um snapshot de substituição.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python
Domínio
databases
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Pouca atividade
Clareza
Razoavelmente clara
Facilidade para iniciantes
38/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.