AbsaOSS / AbsaOSS/enceladus

Add support for ignoring trailing line(s) in CSV

Offen
#1,324 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
feature priority: high request Standardization
Vorherrschende Sprache
Scala
Sterne
33
Forks
16
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

## Background
Sometimes input raw files contain a trailing line that needs to be ignored. We have a use case for the trailing 1 line, but if we need to implement this feature anyway, maybe let's consider do it more generally.

## Feature
Add support for a command-line option to ignore trailing lines of each input CSV file.

## Example [Optional]
```
a,b,c
1,2,3
5,6,7
Total=2
```

## Proposed Solution [Optional]
If there is no such option in `spark-csv`, possibly we need to preprocess incoming CSV files in RDDs.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.