corvus-dotnet / corvus-dotnet/Corvus.Python

Investigate perf improvements using NVidia plugin

未关闭
#30 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
0
派生
0
PR 合并指标
30 天内没有已合并 PR

描述

To utilise the NVidia GPU, use:

```
"runArgs": [
"--gpus",
"all"
],
```

in the devcontainer,

and then:

```
builder = (
SparkSession.builder.appName(workload_name)
.master("local[*]")
...
.config("spark.plugins", "com.nvidia.spark.SQLPlugin")
)

extra_packages = ["com.nvidia:rapids-4-spark_2.12:24.06.0"]

spark = configure_spark_with_delta_pip(builder, extra_packages=extra_packages).getOrCreate()
```

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先定位 devcontainer 配置以及 workload 使用的 SparkSession 设置。测试 issue 中所示的 NVIDIA GPU 设置和 RAPIDS 软件包配置,然后比较启用和不启用这些设置时的性能;完成时应包括一份关于该更改是否能提升性能的文档化结论。

由索引模型根据 Issue 内容生成。

评估

技术栈
python, spark
领域
data-engineering, performance
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
停滞
描述清晰度
需要澄清
新手友好度
25/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。