Significant Performance Variability Across Nodes in Spark Cluster with Version 0.5.0

Abierto
#552 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
25/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
java, spark, tensorflow
Área
distributed-systems, performance

Línea de trabajo

No se nombran archivos fuente, pruebas ni puntos de entrada. Empieza comparando la compilación y la ejecución de tareas de la versión 0.5.0 entre los nodos de Spark afectados y sus tipos de CPU; el trabajo estará terminado cuando se determine si la compilación o una optimización específica de la CPU explica la variabilidad reportada.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I've been using version 0.5.0 and observed some performance inconsistencies across different nodes in my Spark cluster. Specifically, some nodes execute tasks significantly faster than others, with the difference in execution times ranging from tens to thousands of times slower on certain nodes.
Given this situation, I'm curious to know if there are any CPU-specific optimizations made during the compilation of this library. For instance, are there optimizations that favor Intel CPUs over AMD CPUs, which might explain the observed performance disparity?
Any insights or suggestions on this matter would be greatly appreciated.

Lenguaje dominante
Java
Estrellas
928
Forks
227
Sin PR fusionados en 30 d

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de tensorflow/java

Todos los issues de tensorflow/java

Issues similares

Más issues de Java

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.