apache / apache/arrow-java

[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format

Aberta
#307 1 comentário 0 reações 0 responsáveis Ver no GitHub
Type: enhancement
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

This adds property start_offset_ and length_ to FileSource and should be functional for Parquet dataset format. Supporting Java and C++ dataset API at this time.

**Reporter**: [Jin Chengcheng](https://issues.apache.org/jira/browse/ARROW-17159) / @jinchengchenghh
#### Related issues:
- [[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format](https://github.com/apache/arrow/issues/20332) (is duplicated by)
#### PRs and other links:
- [GitHub Pull Request apache/arrow#13673](https://github.com/apache/arrow/pull/13673)
- [GitHub Pull Request apache/arrow#13688](https://github.com/apache/arrow/pull/13688)

**Note**: *This issue was originally created as [ARROW-17159](https://issues.apache.org/jira/browse/ARROW-17159). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece revisando FileSource e as implementações existentes de datasets Parquet nas APIs Java e C++; em seguida, inspecione os PRs #13673 e #13688 e a issue duplicada #20332. O trabalho estará concluído quando leituras com offset fixo usando start_offset_ e length_ funcionarem para o formato de dataset Parquet em ambas as APIs.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
cpp, java
Domínio
api, data
Tipo de issue
Funcionalidade
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
20/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.