AbsaOSS / AbsaOSS/spline-spark-agent

spark-3.5-spline-agent not working with Glue 5.0 spark 3.5

Aperta
#865 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Scala
Stelle
210
Fork
102
Merge medio
1g 1h
PR unite (30g)
1

Descrizione

Hi,

I tried using **Spark-3.5-spline-agent-bundle_2.12-2.2.1.jar** with **AWS Glue 5.0,** but encountered an error: **IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'**.

However, when I use the following options:

**Key: --java-options
Value: --add-opens=java.base/sun.net.www.protocol.jar=ALL-UNNAMED**

the job runs successfully, though the runtime increases by **approximately 1.5 minutes.**

Is there an alternative solution to resolve this issue?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.