Parquet-tools cat mangles strings created by other clients
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
I have some parquet files that are created by Java MR process (which I do not own). I am able to read these fields successfully in pig and Spark, but for some reason the String fields are being mangled when I view the files with parquet-tools (cat).
Here are the details on the file metadata using today's build of parquet-tools:
```
hadoop jar parquet-tools-1.9.1-SNAPSHOT.jar meta /parquet-r-00000
```
Output:
```
file: hdfs:///parquet-r-00000
creator: parquet-mr version 1.8.1 (build 4aba4dae7bb0d4edbcf7923ae1339f28fd3f7fcf)
file schema: MY_DATA
--------------------------------------------------------------------------------
myfield: OPTIONAL BINARY R:0 D:1
row group 1: RC:37343 TS:32397576 OFFSET:4
--------------------------------------------------------------------------------
myfield: BINARY SNAPPY DO:0 FPO:4 SZ:273374/556406/2.04 VC:37343 ENC:RLE,BIT_PACKED,PLAIN_DICTIONARY ST:[no stats for this column]
```
Has anyone seen this before?
**Environment**: {noformat}
uname -a
Linux myhost 4.4.0-63-generic #84-Ubuntu SMP Wed Feb 1 17:20:32 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
{noformat}
**Reporter**: [Michael McCarthy](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=Michael.McCarthy)
**Note**: *This issue was originally created as [PARQUET-1235](https://issues.apache.org/jira/browse/PARQUET-1235). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với đường dẫn parquet-tools cat và metadata của trường OPTIONAL BINARY được mô tả trong báo cáo, sau đó so sánh đầu ra của nó với các chuỗi được Pig và Spark đọc. Tái hiện lỗi biến đổi dữ liệu bằng một tệp Parquet được tạo bởi quy trình Java MR; hoàn thành khi parquet-tools cat hiển thị chính xác các trường chuỗi đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- cli, data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100