4paradigm / 4paradigm/OpenMLDB
Using Kyro serialization may crash for the offline jobs
- Lingua principale
- C++
- Stelle
- 1.7k
- Fork
- 331
- Merge medio
- 12g 12h
- PR unite (30g)
- 1
Descrizione
**Bug Description**
Now the offline jobs may crash when adding `--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'` for offline jobs. It may works but Kyro serialization is not suggested for OpenMLDB offline jobs.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
The issue mentions offline jobs and a Spark configuration using KryoSerializer. Look for Spark job submission code and serialization handling in the OpenMLDB codebase, particularly around offline execution paths. Check for any existing warnings or documentation about serialization support. Running an offline job with the given configuration to reproduce the crash would be a first step.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- spark
- Ambito
- backend, databases, machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100