AbsaOSS / AbsaOSS/spline-spark-agent

spark-3.5-spline-agent not working with Glue 5.0 spark 3.5

Đang mở
#865 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Scala
Star
210
Fork
102
Merge trung bình
1 ngày 1 giờ
Pull request đã merge (30 ngày)
1

Mô tả

Hi,

I tried using **Spark-3.5-spline-agent-bundle_2.12-2.2.1.jar** with **AWS Glue 5.0,** but encountered an error: **IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'**.

However, when I use the following options:

**Key: --java-options
Value: --add-opens=java.base/sun.net.www.protocol.jar=ALL-UNNAMED**

the job runs successfully, though the runtime increases by **approximately 1.5 minutes.**

Is there an alternative solution to resolve this issue?

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.