4paradigm / 4paradigm/OpenMLDB

Using Kyro serialization may crash for the offline jobs

Aperta
#2,497 0 commenti 0 reazioni 1 assegnatario Rivendicata da @tobegit3hub Vedi su GitHub
bug
Lingua principale
C++
Stelle
1.7k
Fork
331
Merge medio
12g 12h
PR unite (30g)
1

Descrizione

**Bug Description**

Now the offline jobs may crash when adding `--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'` for offline jobs. It may works but Kyro serialization is not suggested for OpenMLDB offline jobs.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

The issue mentions offline jobs and a Spark configuration using KryoSerializer. Look for Spark job submission code and serialization handling in the OpenMLDB codebase, particularly around offline execution paths. Check for any existing warnings or documentation about serialization support. Running an offline job with the given configuration to reproduce the crash would be a first step.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
spark
Ambito
backend, databases, machine-learning
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.