4paradigm / 4paradigm/OpenMLDB

Using Kyro serialization may crash for the offline jobs

Ouverte
#2,497 0 commentaires 0 réactions 1 personne assignée Réclamée par @tobegit3hub Voir sur GitHub
bug
Langage dominant
C++
Étoiles
1.7k
Forks
331
Merge moyen
12 j 12 h
PR mergées (30 j)
1

Description

**Bug Description**

Now the offline jobs may crash when adding `--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'` for offline jobs. It may works but Kyro serialization is not suggested for OpenMLDB offline jobs.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

The issue mentions offline jobs and a Spark configuration using KryoSerializer. Look for Spark job submission code and serialization handling in the OpenMLDB codebase, particularly around offline execution paths. Check for any existing warnings or documentation about serialization support. Running an offline job with the given configuration to reproduce the crash would be a first step.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
spark
Domaine
backend, databases, machine-learning
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.