Significant Performance Variability Across Nodes in Spark Cluster with Version 0.5.0
Personne n'a encore pris cette issue.
- Langage dominant
- Java
- Étoiles
- 928
- Forks
- 227
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
I've been using version 0.5.0 and observed some performance inconsistencies across different nodes in my Spark cluster. Specifically, some nodes execute tasks significantly faster than others, with the difference in execution times ranging from tens to thousands of times slower on certain nodes.
Given this situation, I'm curious to know if there are any CPU-specific optimizations made during the compilation of this library. For instance, are there optimizations that favor Intel CPUs over AMD CPUs, which might explain the observed performance disparity?
Any insights or suggestions on this matter would be greatly appreciated.
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Aucun fichier source, test ou point d’entrée n’est nommé. Commencez par comparer le build et l’exécution des tâches de la version 0.5.0 sur les nœuds Spark concernés et leurs types de CPU ; le travail est terminé lorsqu’il est déterminé si la compilation ou une optimisation spécifique au CPU explique la variabilité signalée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java, spark, tensorflow
- Domaine
- distributed-systems, performance
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100