[Feature] Creating tag submission triggers
- Lingua principale
- Java
- Stelle
- 3.4k
- Fork
- 1.4k
- Merge medio
- 1g 9h
- PR unite (30g)
- 423
Descrizione
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.
### Motivation
When writing data triggers the generation of a tag, it is generally necessary to notify downstream applications. For instance, adding a new partition in Hive metadata or generating a _SUCCESS file in a directory. The tag submission strategy can be customized. The specific partition submission behavior is based on a combination of triggers and policies.
Trigger: The timing of partition submission, which can be based on the watermark corresponding to the time extracted from the partition, or based on processing time.
Policy: The strategy for partition submission. Built-in policies include generating a _SUCCESS file and submitting to the Hive metastore, but custom strategies can also be implemented.
### Solution
_No response_
### Anything else?
_No response_
### Are you willing to submit a PR?
- [X] I'm willing to submit a PR!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
L’issue non indica file, test o punti di ingresso dell’implementazione. Inizia individuando il codice esistente per tag, trigger e policy, quindi determina come i trigger di watermark e di tempo di elaborazione possano selezionare le policy di invio delle partizioni. Done deve includere il comportamento di invio integrato e personalizzabile richiesto, con la copertura delle strategie supportate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100