apache / apache/arrow-java

[Java] Avro to Arrow converter doesn't appear to generate valid arrow data

Aberta
#383 1 comentário 0 reações 0 responsáveis Ver no GitHub
Type: bug
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

I think this is related to how Unions are handled (I had thought unions of with a null and one other type would get created to the nullable type, but that is a separate issue).

 

I haven't had time to fully diagnose, but remnants of the code I tried to use are at

 

And the CSV file from https://issues.apache.org/jira/browse/ARROW-11629?jql=text%20~%20%22arrow%20drill%20parquet%20dictionary%22

 

produce data that isn't readable by the C++ implementation.

**Reporter**: [Micah Kornfield](https://issues.apache.org/jira/browse/ARROW-12340) / @emkornfield

**Note**: *This issue was originally created as [ARROW-12340](https://issues.apache.org/jira/browse/ARROW-12340). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece pelo conversor Java Avro-to-Arrow e reproduza o problema usando o arquivo CSV referenciado em ARROW-11629. Revise os vestígios no gist vinculado, concentrando-se no tratamento de union, e depois compare os dados gerados com o que a implementação em C++ aceita. Considera-se concluído quando o conversor produzir dados Arrow legíveis pela implementação em C++, com um teste de regressão para a entrada que falha.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
java
Domínio
data-engineering
Tipo de issue
Bug
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
35/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.