Significant Performance Variability Across Nodes in Spark Cluster with Version 0.5.0

オープン
#552 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
25/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
java, spark, tensorflow
領域
distributed-systems, performance

調査の方向性

ソースファイル、テスト、エントリポイントは指定されていません。まず、影響を受ける Spark ノード間およびそれらの CPU タイプ間で、バージョン 0.5.0 のビルドとタスク実行を比較します。コンパイルまたは CPU 固有の最適化が報告された変動性を説明するかどうかを特定できれば完了です。

索引モデルが issue の本文から書いたものです。

説明

I've been using version 0.5.0 and observed some performance inconsistencies across different nodes in my Spark cluster. Specifically, some nodes execute tasks significantly faster than others, with the difference in execution times ranging from tens to thousands of times slower on certain nodes.
Given this situation, I'm curious to know if there are any CPU-specific optimizations made during the compilation of this library. For instance, are there optimizations that favor Intel CPUs over AMD CPUs, which might explain the observed performance disparity?
Any insights or suggestions on this matter would be greatly appreciated.

主要言語
Java
スター
928
フォーク
227
30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

tensorflow/java のほかの issue

tensorflow/java の issue をすべて見る

似ている issue

Java の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。