parquet-cli reports nested columns as null
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
### Describe the bug, including details regarding any error messages, version, and platform.
Using Parquet CLI 1.15.0 via Mac Homebrew, I noticed some surprising behaviour with the `parquet-cli` and nested columns.
`parquet schema catalog.parquet` returns a schema showing the nested types (I've trimmed the field list slightly):
```avro
{
"type" : "record",
"name" : "schema",
"fields" : [ {
"name" : "item_id",
"type" : "string"
}, {
"name" : "title",
"type" : [ "null", "string" ],
"default" : null
}, {
"name" : "language",
"type" : [ "null", "string" ],
"default" : null
}, {
"name" : "subjects",
"type" : [ "null", {
"type" : "array",
"items" : {
"type" : "record",
"name" : "list",
"fields" : [ {
"name" : "element",
"type" : "string"
} ]
}
} ],
"default" : null
}, {
"name" : "authors",
"type" : [ "null", {
"type" : "array",
"items" : {
"type" : "record",
"name" : "list",
"namespace" : "list2",
"fields" : [ {
"name" : "element",
"type" : "string"
} ]
}
} ],
"default" : null
} ]
}
```
`parquet dictionary -c subjects.list.element catalog.parquet` will return the expected values for those fields as well:
```
Row group 0 dictionary for "subjects.list.element":
0: "Bestsellers"
1: "Biography"
2: "Fantasy Fiction"
3: "Music Theory"
4: "Disability"
5: "Family"
6: "Young Adult"
```
However, when using `cat` or `head` to display the file contents those fields are displayed as null:
```
{"bmc_id": "id1", "title": null, "language": "en", "subjects": null, "authors": null}
{"bmc_id": "id2", "title": null, "language": "en", "subjects": null, "authors": null,}
{"bmc_id": "id3", "title": null, "language": "en", "subjects": null, "authors": null}
```
Other tools like PyArrow or Pandas do display those values as arrays. I created this as a bug because it _looks_ like it's working and if those fields are nullable, there's no way to tell whether the null value is correct.
### Component(s)
_No response_
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Tái hiện vấn đề với Parquet CLI 1.15.0 bằng `parquet schema`, `parquet dictionary -c subjects.list.element` và `cat` hoặc `head` trên `catalog.parquet`. So sánh các giá trị cột lồng nhau được lệnh dictionary báo cáo với các bản ghi được hiển thị và kiểm tra đường dẫn parquet-cli xử lý các lệnh đó. Hoàn thành khi `cat` và `head` hiển thị các mảng lồng nhau thay vì hiển thị chúng không chính xác dưới dạng null.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- cli, data
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100