corvus-dotnet / corvus-dotnet/Corvus.Python
Investigate perf improvements using NVidia plugin
- 主要言語
- Python
- スター
- 0
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
To utilise the NVidia GPU, use:
```
"runArgs": [
"--gpus",
"all"
],
```
in the devcontainer,
and then:
```
builder = (
SparkSession.builder.appName(workload_name)
.master("local[*]")
...
.config("spark.plugins", "com.nvidia.spark.SQLPlugin")
)
extra_packages = ["com.nvidia:rapids-4-spark_2.12:24.06.0"]
spark = configure_spark_with_delta_pip(builder, extra_packages=extra_packages).getOrCreate()
```
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、devcontainer の設定と、ワークロードで使用されている SparkSession のセットアップを特定します。issue に示されている NVIDIA GPU 設定と RAPIDS パッケージ設定をテストし、それらがある場合とない場合でパフォーマンスを比較します。完了時には、その変更によってパフォーマンスが向上するかどうかについて文書化された結論を含める必要があります。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, spark
- 領域
- data-engineering, performance
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100