stackabletech / stackabletech/hdfs-operator
Include the Intel ISA-L library to improve erasure coding performance
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Rust
- Sterne
- 53
- Forks
- 9
- Ø Merge
- 1 T. 13 Std.
- Gemergte PRs (30 T.)
- 10
Beschreibung
Erasure coding performance can be improved by including support for the Intel ISA-L native library as described in the Hadoop documentation -> https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html#Enable_Intel_ISA-L
This following steps are required to enable ISA-L support:
- Building the ISA-L library
- Building Hadoop with ISA-L support
- Including the ISA-L native library in the Hadoop docker image
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit der verknüpften Dokumentation zur Hadoop-Erasure-Codierung und untersuche die Docker-Image- und Build-Konfiguration des Repositorys. Ermittle, wie ISA-L erstellt wird, wie die ISA-L-Unterstützung beim Erstellen von Hadoop aktiviert wird und wie die native Bibliothek in das Hadoop-Image aufgenommen wird. Die Aufgabe ist abgeschlossen, wenn alle drei Schritte zusammen funktionieren und das resultierende Image ISA-L-Erasure-Codierung unterstützt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- docker
- Bereich
- build-system, distributed-systems, performance
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100