parquet-cli rewrite option
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
### Describe the usage question you have. Please include as many useful details as possible.
Hi ,
is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4
i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"
### Component(s)
_No response_
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với lệnh rewrite của parquet-cli và tái hiện lỗi đã được báo cáo với đầu vào và đầu ra gs://. Theo dõi cách rewrite phân giải các filesystem scheme, sau đó kiểm tra cấu hình Hadoop filesystem được CLI sử dụng. Công việc được xem là hoàn tất khi workflow GCS prune-columns được yêu cầu được hỗ trợ hoặc giới hạn của nó được ghi lại rõ ràng, đồng thời hành vi lỗi được một bài kiểm thử bao phủ nếu dự án có cung cấp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- google-cloud, java
- Lĩnh vực
- cli, cloud
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100