Spark 3.x
- Linguagem predominante
- Scala
- Estrelas
- 33
- Forks
- 16
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
## Background
We need to move on higher version of Spark
## Goal
Making Enceladus working with Spark 3.0
## Expected Task List [Optional]
A list of expected issues that will be needed to achieve this Epic
1. Figure out dependencies are ready
2. Cross-compilation for Scala 2.11 and 2.12
3. How it will work on prem? Spark 3 with Hadoop 2
**NB! Don't forget to assign the Epic into a Milestone**
Guia de contribuição
Direção de pesquisa
Start by checking whether the dependencies support Spark 3.0, then investigate cross-compilation for Scala 2.11 and 2.12. Review how Spark 3.0 should run on-premises with Hadoop 2. Done means Enceladus works with Spark 3.0 across the required Scala versions and deployment environment.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- hadoop, scala, spark
- Domínio
- data-engineering, distributed-systems
- Tipo de issue
- Funcionalidade
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 20/100