googleapis / googleapis/java-bigtable-hbase
Enhance bigtable-beam-import project to import multiple hbase table snapshots into bigtable
- Lingua principale
- Java
- Stelle
- 184
- Fork
- 184
- Merge medio
- 10h
- PR unite (30g)
- 6
Descrizione
Thanks for stopping by to let us know something could be better!
**PLEASE READ**: If you have a support contract with Google, please create an issue in the [support console](https://cloud.google.com/support/) instead of filing on GitHub. This will ensure a timely response.
**Is your feature request related to a problem? Please describe.**
[Current Dataflow Pipeline](https://github.com/googleapis/java-bigtable-hbase/tree/main/bigtable-dataflow-parent/bigtable-beam-import) supports importing snapshot of only a single hbase table into BigTable.
**Describe the solution you'd like**
It would be helpful to enhance the pipeline to support following features:
- Importing multiple snapshots in the same pipeline into corresponding BigTable tables
- Handle parallelization of Skewed regions to enhance performance
- Configuring additional BigTable configuration
**Describe alternatives you've considered**
Run multiple copies of the pipeline for each snapshot
**Additional context**
NA
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia leggendo il progetto bigtable-dataflow-parent/bigtable-beam-import e il comportamento attuale della relativa Dataflow Pipeline per una singola snapshot HBase. Suddividi il supporto richiesto per più snapshot, la parallelizzazione delle regioni sbilanciate e la configurazione aggiuntiva di Bigtable in domande di progettazione separate. Il lavoro è completato quando la pipeline è in grado di gestire gli scenari elencati in un'unica esecuzione e sono state verificate le prestazioni e il comportamento della configurazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- gcp, java
- Ambito
- cloud, data-engineering, databases
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 25/100