Question on parquet-protobuf and parquet-pig
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Hi,
I have a question about protobuf to parquet conversion.
I have a message like this (simplified) :
```Java
message MyMessage {
repeated string language = 1;
}
```
parquet-protobuf convert it to the following schema :
```Java
message MyMessage {
repeated binary language (UTF8);
}
```
But, according to TestPigSchameConverter.java, the correct schema should be :
```Java
message MyMessage {
optional group language (LIST) {
repeated binary value (UTF8);
}
}
```
Language is an optional list of language, i want to store zero or more language.
Who have the correct schema for my case ? parquet-protobuf or parquet-pig ?
**Reporter**: [Christian Nguyen Van Than](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=cnguyen@nextperf.com)
**Note**: *This issue was originally created as [PARQUET-354](https://issues.apache.org/jira/browse/PARQUET-354). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
So sánh hành vi chuyển đổi protobuf với schema mong đợi trong TestPigSchameConverter.java, bắt đầu từ cách parquet-protobuf và parquet-pig biểu diễn các trường string lặp lại. Xác định liệu các schema có khác nhau không chính xác đối với các giá trị bằng không hoặc nhiều hơn hay không, và ghi lại một kết luận có thể tái tạo hoặc một test để xác định biểu diễn nào là chính xác.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100