An overwrite option for all sink types that write to HDFS
Đang mở
enhancement
- Ngôn ngữ chính
- Scala
- Star
- 147
- Fork
- 32
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
An overwrite option for all sink types that write to HDFS
**Proposal**
Sink.withOverwrite
**AffectedSinks**
- Parquet
- AvroParquet
- Avro
- Orc
- Csv
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Look for sink implementations (Parquet, AvroParquet, Avro, Orc, Csv) in the codebase, likely under a 'sink' or 'io' package. Understand how they currently write to HDFS and where configuration options are handled. The goal is to add a 'withOverwrite' method that sets a flag to overwrite existing output files. Check existing tests for sinks to see how to add a test for the new option.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- hadoop, scala
- Lĩnh vực
- backend, data-engineering
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100