apache / apache/parquet-java

parquet-cli rewrite option

Đang mở
#2,981 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

### Describe the usage question you have. Please include as many useful details as possible.

Hi ,

is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4

i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"

### Component(s)

_No response_

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu với lệnh rewrite của parquet-cli và tái hiện lỗi đã được báo cáo với đầu vào và đầu ra gs://. Theo dõi cách rewrite phân giải các filesystem scheme, sau đó kiểm tra cấu hình Hadoop filesystem được CLI sử dụng. Công việc được xem là hoàn tất khi workflow GCS prune-columns được yêu cầu được hỗ trợ hoặc giới hạn của nó được ghi lại rõ ràng, đồng thời hành vi lỗi được một bài kiểm thử bao phủ nếu dự án có cung cấp.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
google-cloud, java
Lĩnh vực
cli, cloud
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.