apache / apache/arrow-java

[Java] Avro to Arrow converter doesn't appear to generate valid arrow data

Đang mở
#383 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: bug
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

I think this is related to how Unions are handled (I had thought unions of with a null and one other type would get created to the nullable type, but that is a separate issue).

 

I haven't had time to fully diagnose, but remnants of the code I tried to use are at

 

And the CSV file from https://issues.apache.org/jira/browse/ARROW-11629?jql=text%20~%20%22arrow%20drill%20parquet%20dictionary%22

 

produce data that isn't readable by the C++ implementation.

**Reporter**: [Micah Kornfield](https://issues.apache.org/jira/browse/ARROW-12340) / @emkornfield

**Note**: *This issue was originally created as [ARROW-12340](https://issues.apache.org/jira/browse/ARROW-12340). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với bộ chuyển đổi Java Avro-to-Arrow và tái hiện vấn đề bằng tệp CSV được tham chiếu từ ARROW-11629. Xem lại những phần còn sót lại trong gist được liên kết, tập trung vào việc xử lý union, sau đó so sánh dữ liệu được tạo ra với những gì triển khai C++ chấp nhận. Công việc được coi là hoàn tất khi bộ chuyển đổi tạo ra dữ liệu Arrow mà triển khai C++ có thể đọc được, cùng với một bài kiểm thử hồi quy cho đầu vào gây lỗi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.