stackabletech / stackabletech/hdfs-operator
Include the Intel ISA-L library to improve erasure coding performance
Nessuno ha ancora preso questa issue.
- Lingua principale
- Rust
- Stelle
- 53
- Fork
- 9
- Merge medio
- 1g 13h
- PR unite (30g)
- 10
Descrizione
Erasure coding performance can be improved by including support for the Intel ISA-L native library as described in the Hadoop documentation -> https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html#Enable_Intel_ISA-L
This following steps are required to enable ISA-L support:
- Building the ISA-L library
- Building Hadoop with ISA-L support
- Including the ISA-L native library in the Hadoop docker image
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia dalla documentazione collegata sulla codifica con cancellazione di Hadoop e analizza la configurazione dell'immagine Docker e della build del repository. Determina come compilare ISA-L, abilitare il supporto per ISA-L durante la compilazione di Hadoop e includere la libreria nativa nell'immagine Hadoop. Il lavoro è completato quando tutti e tre i passaggi funzionano insieme e l'immagine risultante supporta la codifica con cancellazione ISA-L.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- docker
- Ambito
- build-system, distributed-systems, performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100