AbsaOSS / AbsaOSS/enceladus

Add support for ignoring trailing line(s) in CSV

Đang mở
#1,324 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
feature priority: high request Standardization
Ngôn ngữ chính
Scala
Star
33
Fork
16
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

## Background
Sometimes input raw files contain a trailing line that needs to be ignored. We have a use case for the trailing 1 line, but if we need to implement this feature anyway, maybe let's consider do it more generally.

## Feature
Add support for a command-line option to ignore trailing lines of each input CSV file.

## Example [Optional]
```
a,b,c
1,2,3
5,6,7
Total=2
```

## Proposed Solution [Optional]
If there is no such option in `spark-csv`, possibly we need to preprocess incoming CSV files in RDDs.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.