Parquet check-stats command only supports checking BINARY type columns.
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Hi, community, could you tell me why parquet check-stats command only supports checking BINARY type columns?
https://github.com/apache/parquet-java/blob/5ac50884e9ee27a1ce3ee18cc5ed4422147e5387/parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java#L104
Could we add some optional parameters so that it can detect all types of columns? I just want to use this tool to know whether there is any data corruption in the parquet file(not just for BINARY type columns).
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java quanh dòng 104 để hiểu kiểm tra hiện tại chỉ dành cho BINARY. Xác định cách các tham số tùy chọn nên chọn kiểu cột, sau đó xác minh rằng lệnh có thể phát hiện lỗi hỏng dữ liệu ở cả các cột không phải BINARY lẫn các cột BINARY.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- cli
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100