Angel-ML / Angel-ML/angel

[Feature needed] parquet-format reader for HDFS

Offen
#864 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
6.8k
Forks
1.6k
Ø Merge
44 Min.
Gemergte PRs (30 T.)
1

Beschreibung

## Background

We have notice that if we only use raw angel (not spark-on-angel), we can only choose to read a single text file as input. If the input data source is large (> 1G), we may need to store the data as parquet format in HDFS. Maybe it's a good idea to implement a parquet-format reader for raw angel.

## Suggestion:

add a option `parquet` for param `angel.input.format` , and implement it in the same directory of BalanceInputFormat.java

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.