Thrift binary fields are not serialized correctly
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Thrift binary fields are not serialized correctly - I believe UTF-8 encoding is applied.
A demonstration of this bug is shown in https://github.com/laurencer/parquet-mr-bug
This appears to be an issue in Parquet-MR where Thrift TType is used determine the type of fields. TType actually represents the on-disk/encoded field type tag - that does not distinguish between binary and string fields.
String data is not actually represented on-disk as being different - instead it is up to the program to interpret the binary data as a UTF-8 encoded string. Parquet-MR instead assumes that every binary field is a UTF-8 encoded string.
This may have arisen because the binary field tag is actually TType.String (where it actually just represents a raw binary field).
**Reporter**: [Laurence Rouesnel](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=laurencer)
**Note**: *This issue was originally created as [PARQUET-158](https://issues.apache.org/jira/browse/PARQUET-158). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với bản minh họa parquet-mr-bug được liên kết và truy vết cách Parquet-MR xử lý Thrift TType.String cho các trường nhị phân. Xác nhận vị trí dữ liệu nhị phân được diễn giải dưới dạng UTF-8 và so sánh đường đi đó với các trường chuỗi. Được xem là hoàn tất khi các trường nhị phân thô được tuần tự hóa và giải tuần tự mà không diễn giải UTF-8, trong khi các trường chuỗi vẫn giữ hành vi như mong đợi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100