Statistics is not available for DECIMAL types
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
According to parquet format specification columns annotated as DECIMAL should use SIGNED comparator and statistics should be available. The sort order returned by `org.apache.parquet.format.converter.ParquetMetadataConverter` for DECIMAL is `SortOrder.UNKNOWN` which contradicts the specification and makes statistics for DECIMAL types unavailable.
**Reporter**: [Vlad Rozov](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=vrozov) / @vrozov
**Assignee**: [Vlad Rozov](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=vrozov) / @vrozov
#### Related issues:
- [Allow for Unsigned Statistics in Binary Type](https://github.com/apache/parquet-format/issues/314) (is caused by)
#### PRs and other links:
- [GitHub Pull Request #494](https://github.com/apache/parquet-mr/pull/494)
- [Decimal format specification](https://github.com/apache/parquet-format/blob/master/LogicalTypes.md#decimal)
**Note**: *This issue was originally created as [PARQUET-1322](https://issues.apache.org/jira/browse/PARQUET-1322). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu trong org.apache.parquet.format.converter.ParquetMetadataConverter và kiểm tra cách thứ tự sắp xếp của DECIMAL được xác định. So sánh hành vi đó với đặc tả định dạng Decimal và phần thảo luận liên quan về các thống kê; công việc được xem là hoàn tất khi các cột DECIMAL sử dụng bộ so sánh SIGNED được chỉ định và các thống kê của chúng có sẵn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 25/100