corvus-dotnet / corvus-dotnet/Corvus.Python
Investigate perf improvements using NVidia plugin
未关闭
- 主要语言
- Python
- 星标
- 0
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
描述
To utilise the NVidia GPU, use:
```
"runArgs": [
"--gpus",
"all"
],
```
in the devcontainer,
and then:
```
builder = (
SparkSession.builder.appName(workload_name)
.master("local[*]")
...
.config("spark.plugins", "com.nvidia.spark.SQLPlugin")
)
extra_packages = ["com.nvidia:rapids-4-spark_2.12:24.06.0"]
spark = configure_spark_with_delta_pip(builder, extra_packages=extra_packages).getOrCreate()
```
贡献指南
这个仓库没有索引到贡献指南
调研方向
首先定位 devcontainer 配置以及 workload 使用的 SparkSession 设置。测试 issue 中所示的 NVIDIA GPU 设置和 RAPIDS 软件包配置,然后比较启用和不启用这些设置时的性能;完成时应包括一份关于该更改是否能提升性能的文档化结论。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python, spark
- 领域
- data-engineering, performance
- Issue 类型
- 功能
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 25/100