corvus-dotnet / corvus-dotnet/Corvus.Python
Investigate perf improvements using NVidia plugin
- Ngôn ngữ chính
- Python
- Star
- 0
- Fork
- 0
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
To utilise the NVidia GPU, use:
```
"runArgs": [
"--gpus",
"all"
],
```
in the devcontainer,
and then:
```
builder = (
SparkSession.builder.appName(workload_name)
.master("local[*]")
...
.config("spark.plugins", "com.nvidia.spark.SQLPlugin")
)
extra_packages = ["com.nvidia:rapids-4-spark_2.12:24.06.0"]
spark = configure_spark_with_delta_pip(builder, extra_packages=extra_packages).getOrCreate()
```
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Start by locating the devcontainer configuration and the SparkSession setup used by the workload. Test the NVIDIA GPU settings and RAPIDS package configuration shown in the issue, then compare performance with and without them; done should include a documented conclusion about whether the change improves performance.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, spark
- Lĩnh vực
- data-engineering, performance
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100