corvus-dotnet / corvus-dotnet/Corvus.Python

Investigate perf improvements using NVidia plugin

オープン
#30 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
0
フォーク
0
PR マージ指標
30日以内にマージされた PR はありません

説明

To utilise the NVidia GPU, use:

```
"runArgs": [
"--gpus",
"all"
],
```

in the devcontainer,

and then:

```
builder = (
SparkSession.builder.appName(workload_name)
.master("local[*]")
...
.config("spark.plugins", "com.nvidia.spark.SQLPlugin")
)

extra_packages = ["com.nvidia:rapids-4-spark_2.12:24.06.0"]

spark = configure_spark_with_delta_pip(builder, extra_packages=extra_packages).getOrCreate()
```

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、devcontainer の設定と、ワークロードで使用されている SparkSession のセットアップを特定します。issue に示されている NVIDIA GPU 設定と RAPIDS パッケージ設定をテストし、それらがある場合とない場合でパフォーマンスを比較します。完了時には、その変更によってパフォーマンスが向上するかどうかについて文書化された結論を含める必要があります。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, spark
領域
data-engineering, performance
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。