apache / apache/paimon

[Feature] Creating tag submission triggers

Aperta
#2,003 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Java
Stelle
3.4k
Fork
1.4k
Merge medio
1g 9h
PR unite (30g)
423

Descrizione

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.

### Motivation

When writing data triggers the generation of a tag, it is generally necessary to notify downstream applications. For instance, adding a new partition in Hive metadata or generating a _SUCCESS file in a directory. The tag submission strategy can be customized. The specific partition submission behavior is based on a combination of triggers and policies.

Trigger: The timing of partition submission, which can be based on the watermark corresponding to the time extracted from the partition, or based on processing time.

Policy: The strategy for partition submission. Built-in policies include generating a _SUCCESS file and submitting to the Hive metastore, but custom strategies can also be implemented.

### Solution

_No response_

### Anything else?

_No response_

### Are you willing to submit a PR?

- [X] I'm willing to submit a PR!

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

L’issue non indica file, test o punti di ingresso dell’implementazione. Inizia individuando il codice esistente per tag, trigger e policy, quindi determina come i trigger di watermark e di tempo di elaborazione possano selezionare le policy di invio delle partizioni. Done deve includere il comportamento di invio integrato e personalizzabile richiesto, con la copertura delle strategie supportate.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.