Angel-ML / Angel-ML/angel

[Feature needed] parquet-format reader for HDFS

Aberta
#864 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Java
Estrelas
6.8k
Forks
1.6k
Merge médio
44min
PRs com merge (30d)
1

Descrição

## Background

We have notice that if we only use raw angel (not spark-on-angel), we can only choose to read a single text file as input. If the input data source is large (> 1G), we may need to store the data as parquet format in HDFS. Maybe it's a good idea to implement a parquet-format reader for raw angel.

## Suggestion:

add a option `parquet` for param `angel.input.format` , and implement it in the same directory of BalanceInputFormat.java

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.