stackabletech / stackabletech/hdfs-operator
Research faster spin up times
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Rust
- Sterne
- 53
- Forks
- 9
- Ø Merge
- 1 T. 13 Std.
- Gemergte PRs (30 T.)
- 10
Beschreibung
When creating a HDFS cluster the data-nodes will get created one after each other.
Compared to hbase where all region-servers are started in parallel this takes quite some time if the number of datanodes is large.
We should research if there is the need to start all datanodes sequentially or if we can improve the startup time somehow
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Das Issue nennt die Erstellung eines HDFS-Clusters und den sequenziellen Start der DataNodes, aber keine Dateien, Tests oder Einstiegspunkte. Vergleiche dieses Verhalten mit dem im Issue beschriebenen parallelen Start der HBase-region-server, stelle fest, ob der sequenzielle Start erforderlich ist, und dokumentiere eine messbare Verbesserung der Startzeit, falls dies nicht der Fall ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- kubernetes, rust
- Bereich
- distributed-systems, infrastructure, performance
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100