parquet-pig should not throw an exception reading a timestamp from impala file
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Hi, I need to load impala table with timestamp columns with pig. I think loading timestamp cols is still a NYI feature. Waiting for [#218](https://github.com/Parquet/parquet-mr/issues/218) TBD, pig-parquet should not throw an exception but at least should bind Int96 into a bytearray (users can write their own UDF to convert it into pig datetime type).
Is there anyone working on that?
**Reporter**: [gpolaert](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gpolaert)
**Note**: *This issue was originally created as [PARQUET-195](https://issues.apache.org/jira/browse/PARQUET-195). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách lần theo trình đọc timestamp của parquet-pig với một tệp Impala chứa các cột Int96, rồi xem lại issue #218 về ngữ cảnh timestamp đang chờ xử lý. Được xem là hoàn tất khi việc đọc tệp không còn ném ra exception và expose Int96 dưới dạng bytearray để các UDF downstream xử lý.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100