Expected distinct numbers is not parsed correctly
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
In the bloom filter feature, when I pass the expected distinct numbers as below, I got null values instead of 1000 and 200.
```java
import org.apache.hadoop.conf.Configuration;
Configuration conf = new Configuration();
conf.set("parquet.bloom.filter.column.names", "content,line"); conf.set("parquet.bloom.filter.expected.ndv","1000,200");
```
The issue is coming from getting the system property of expected distinct numbers through [Long.getLong(expectedNDVs[i])|https://github.com/apache/parquet-mr/blob/a737141a571e3cb6cee2c252dc4406e26e6c1177/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java#L251].
It's possible to fix it by parsing the string with Long.parseLong(expectedNDVs[i]).
**Reporter**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
**Assignee**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
#### PRs and other links:
- [GitHub Pull Request #753](https://github.com/apache/parquet-mr/pull/753)
**Note**: *This issue was originally created as [PARQUET-1787](https://issues.apache.org/jira/browse/PARQUET-1787). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Mở parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java quanh dòng 251 và theo dõi cách parquet.bloom.filter.expected.ndv được đọc từ cấu hình. Tái hiện ví dụ với các giá trị 1000 và 200, sau đó xác minh rằng các số phân biệt dự kiến được giữ lại thay vì trở thành null.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data
- Loại issue
- Lỗi
- Độ khó
- 1/5
- Thời gian dự kiến
- Dưới một giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 25/100