googleapis / googleapis/java-bigtable-hbase

Enhance bigtable-beam-import project to import multiple hbase table snapshots into bigtable

Aperta
#4,070 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
api: bigtable
Lingua principale
Java
Stelle
184
Fork
184
Merge medio
10h
PR unite (30g)
6

Descrizione

Thanks for stopping by to let us know something could be better!

**PLEASE READ**: If you have a support contract with Google, please create an issue in the [support console](https://cloud.google.com/support/) instead of filing on GitHub. This will ensure a timely response.

**Is your feature request related to a problem? Please describe.**
[Current Dataflow Pipeline](https://github.com/googleapis/java-bigtable-hbase/tree/main/bigtable-dataflow-parent/bigtable-beam-import) supports importing snapshot of only a single hbase table into BigTable.

**Describe the solution you'd like**
It would be helpful to enhance the pipeline to support following features:

- Importing multiple snapshots in the same pipeline into corresponding BigTable tables
- Handle parallelization of Skewed regions to enhance performance
- Configuring additional BigTable configuration

**Describe alternatives you've considered**
Run multiple copies of the pipeline for each snapshot

**Additional context**
NA

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia leggendo il progetto bigtable-dataflow-parent/bigtable-beam-import e il comportamento attuale della relativa Dataflow Pipeline per una singola snapshot HBase. Suddividi il supporto richiesto per più snapshot, la parallelizzazione delle regioni sbilanciate e la configurazione aggiuntiva di Bigtable in domande di progettazione separate. Il lavoro è completato quando la pipeline è in grado di gestire gli scenari elencati in un'unica esecuzione e sono state verificate le prestazioni e il comportamento della configurazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
gcp, java
Ambito
cloud, data-engineering, databases
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.