[Java] nullable arrow schema write to parquet error
- Ngôn ngữ chính
- Java
- Star
- 94
- Fork
- 152
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 11
Mô tả
### Describe the usage question you have. Please include as many useful details as possible.
When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception
"Unhandled type for Arrow to Parquet schema conversion: sparse_union"
It seems arrow-avro not support SPARE_UNION
how can I use nullable schema in arrow, please help me.
### Component(s)
Java
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện quá trình chuyển đổi được báo cáo từ một schema Avro nullable sang một schema Arrow nullable, sau đó ghi nó thành một tệp Parquet và ghi nhận lỗi sparse_union. Xác nhận liệu đường dẫn chuyển đổi có hỗ trợ schema này hay không, đồng thời ghi lại hành vi dự kiến hoặc giới hạn; issue không xác định tệp mã nguồn hay test nào.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100