apache / apache/paimon

[Feature] Support to run the compact job and the write only job for the primary key table

Aperta
#5,855 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Java
Stelle
3.4k
Fork
1.4k
Merge medio
1g 9h
PR unite (30g)
423

Descrizione

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon/issues) and found nothing similar.

### Motivation

For the unaware bucket table, it use the Compact coordinator source to run the write only writer and the compact task in one job. For the primary key table it may also useful.

If the table has the streaming job and batch job write parallelism. we could let the streaming job do the compaction. So the streaming job has to run a compaction source to monitor the table's new created files.

The main benefit is that we could save one extra compaction job.

### Solution

_No response_

### Anything else?

_No response_

### Are you willing to submit a PR?

- [ ] I'm willing to submit a PR!

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

La issue non indica alcun file o test. Inizia dal codice sorgente del Compact coordinator utilizzato per unaware bucket tables, quindi traccia il modo in cui interagiscono le tabelle con chiave primaria, i job di streaming, il parallelismo delle scritture batch e i file appena creati. Il lavoro è completato quando un job di streaming con chiave primaria può monitorare i nuovi file ed eseguire la compattazione senza un job di compattazione separato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering, distributed-systems
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
28/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.