apache / apache/arrow-java

[Java] Investigate potential performance improvement of compression codec

Aberta
#388 13 comentários 0 reações 0 responsáveis Ver no GitHub
Type: enhancement
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

In response to the discussion in https://github.com/apache/arrow/pull/8949/files#r588046787

There are some performance penalties in the implementation of the compression codecs (e.g. data copying between heap/off-heap data). We need to revise the code to improve the performance.

We should also provide some benchmarks to validate that the performance actually improves.

**Reporter**: [Liya Fan](https://issues.apache.org/jira/browse/ARROW-11901) / @liyafan82

**Note**: *This issue was originally created as [ARROW-11901](https://issues.apache.org/jira/browse/ARROW-11901). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece pela implementação do codec de compressão e pela discussão no pull request vinculado, concentrando-se na cópia observada de dados heap/off-heap. Adicione benchmarks para os codecs relevantes e use-os para verificar se qualquer implementação revisada melhora o desempenho.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
java
Domínio
performance
Tipo de issue
Refatoração
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
35/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.