Parquet statistics stats_null_count is wrong for large json string colums
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
stats_null_count always None when one of the columns values is about 46977 characters length
**Reporter**: [Rotem Levi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rotem.l)
#### Original Issue Attachments:
- [part-00000-7e5dcc44-d176-42ab-98b9-664cace5d433-c000.snappy.parquet](https://issues.apache.org/jira/secure/attachment/13058765/part-00000-7e5dcc44-d176-42ab-98b9-664cace5d433-c000.snappy.parquet)
**Note**: *This issue was originally created as [PARQUET-2306](https://issues.apache.org/jira/browse/PARQUET-2306). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện hành vi đã được báo cáo của stats_null_count với tệp đính kèm part-00000-7e5dcc44-d176-42ab-98b9-664cace5d433-c000.snappy.parquet và một cột chứa chuỗi JSON dài khoảng 46.977 ký tự. Theo dõi cách các thống kê Parquet được đọc cho cột đó; hoàn tất khi stats_null_count được báo cáo chính xác thay vì luôn là None.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- databases
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100