51zero / 51zero/eel-sdk

Orc properties for Hive Source and Sink

Đang mở
#247 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement help wanted
Ngôn ngữ chính
Scala
Star
147
Fork
32
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

I just want to confirm that we respect the following Hive properties outlined in the documentation:

- Hive: http://orc.apache.org/docs/hive-config.html

My only concern is that our Orc dialect for Hive Source and Sink delegates to the same code base for our native Orc Source and Sink and hence ignoring these table properties?

If this is the case we should automatically pick up these options from the Hive Metastore when using HiveSource and HiveSink, and support them natively when using the OrcSink and OrcSource?

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Check the HiveSource and HiveSink implementations to see if they delegate to OrcSource and OrcSource. Review the ORC dialect code to verify if Hive table properties from the metastore are being read and applied. Look for configuration handling in the ORC module and compare with the Hive config documentation. Determine what changes are needed to respect these properties in both Hive and native ORC contexts.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
hadoop, scala
Lĩnh vực
data-engineering, databases
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.