Spark 3.x
Đang mở
Epic
priority: high
- Ngôn ngữ chính
- Scala
- Star
- 33
- Fork
- 16
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
## Background
We need to move on higher version of Spark
## Goal
Making Enceladus working with Spark 3.0
## Expected Task List [Optional]
A list of expected issues that will be needed to achieve this Epic
1. Figure out dependencies are ready
2. Cross-compilation for Scala 2.11 and 2.12
3. How it will work on prem? Spark 3 with Hadoop 2
**NB! Don't forget to assign the Epic into a Milestone**
Hướng dẫn đóng góp
Hướng nghiên cứu
Start by checking whether the dependencies support Spark 3.0, then investigate cross-compilation for Scala 2.11 and 2.12. Review how Spark 3.0 should run on-premises with Hadoop 2. Done means Enceladus works with Spark 3.0 across the required Scala versions and deployment environment.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- hadoop, scala, spark
- Lĩnh vực
- data-engineering, distributed-systems
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 20/100