apache / apache/arrow-java

[Java] Experiment with performance difference of avoiding the use of Avro Decoder

Aberta
#281 1 comentário 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

It has been posited that the Decoder object (and on-heap work in general) is potentially slow for decoding.

 

The scope of this Jira is to add a new method that instead of consuming from Decoder, consumes directly from a ByteBuffer.  In order to this we there needs to be utility classes for zig-zag decoding (one might existing in avro) from a ByteBuffer.

 

This is esentially rewriting logic in the decoder to work directly against a bytebuffer and then measure if there is a meaningful performance impact.

 

 

**Reporter**: [Micah Kornfield](https://issues.apache.org/jira/browse/ARROW-6593) / @emkornfield
#### Related issues:
- [[Java] Add support for skipping decoding of columns/field in Avro converter](https://github.com/apache/arrow/issues/22949) (is a clone of)

**Note**: *This issue was originally created as [ARROW-6593](https://issues.apache.org/jira/browse/ARROW-6593). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece localizando o código de conversão Java Avro que consome Decoder e revise quaisquer utilitários Avro existentes de decodificação zig-zag. O trabalho estará concluído quando a decodificação baseada em ByteBuffer e seu suporte de utilitários forem implementados, e as medições mostrarem se evitar Decoder e o trabalho na heap proporciona um impacto significativo no desempenho.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
java
Domínio
data
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.