AbsaOSS / AbsaOSS/enceladus

Spark 3.x

Aberta
#1,706 0 comentários 0 reações 1 responsável Reivindicada por @dk1844 Ver no GitHub
Epic priority: high
Linguagem predominante
Scala
Estrelas
33
Forks
16
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

## Background
We need to move on higher version of Spark

## Goal
Making Enceladus working with Spark 3.0

## Expected Task List [Optional]
A list of expected issues that will be needed to achieve this Epic
1. Figure out dependencies are ready
2. Cross-compilation for Scala 2.11 and 2.12
3. How it will work on prem? Spark 3 with Hadoop 2

**NB! Don't forget to assign the Epic into a Milestone**

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Start by checking whether the dependencies support Spark 3.0, then investigate cross-compilation for Scala 2.11 and 2.12. Review how Spark 3.0 should run on-premises with Hadoop 2. Done means Enceladus works with Spark 3.0 across the required Scala versions and deployment environment.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
hadoop, scala, spark
Domínio
data-engineering, distributed-systems
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
20/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.