[Feature] Support to run the compact job and the write only job for the primary key table
- Lingua principale
- Java
- Stelle
- 3.4k
- Fork
- 1.4k
- Merge medio
- 1g 9h
- PR unite (30g)
- 423
Descrizione
### Search before asking
- [x] I searched in the [issues](https://github.com/apache/paimon/issues) and found nothing similar.
### Motivation
For the unaware bucket table, it use the Compact coordinator source to run the write only writer and the compact task in one job. For the primary key table it may also useful.
If the table has the streaming job and batch job write parallelism. we could let the streaming job do the compaction. So the streaming job has to run a compaction source to monitor the table's new created files.
The main benefit is that we could save one extra compaction job.
### Solution
_No response_
### Anything else?
_No response_
### Are you willing to submit a PR?
- [ ] I'm willing to submit a PR!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
La issue non indica alcun file o test. Inizia dal codice sorgente del Compact coordinator utilizzato per unaware bucket tables, quindi traccia il modo in cui interagiscono le tabelle con chiave primaria, i job di streaming, il parallelismo delle scritture batch e i file appena creati. Il lavoro è completato quando un job di streaming con chiave primaria può monitorare i nuovi file ed eseguire la compattazione senza un job di compattazione separato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering, distributed-systems
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 28/100