AbsaOSS / AbsaOSS/hyperdrive-trigger

Support for Spark 3

Aberta
#719 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
TypeScript
Estrelas
8
Forks
5
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

Add support for Spark 3

Needed because of #717. Spark 3 jobs cannot be submitted with spark-submit 2 and vice versa.

- Support for Spark 2 still needed
- Two artefacts should be created and deployed, one for spark 2, one for spark 3
- If all used APIs are compatible, then just add a profile so hyperdrive-trigger can be built against spark 2, and spark 3 resp.
- Otherwise, two branches can be maintained
-

# Preparation work
Use minimal app spark launcher (not full blown hyperdrive-trigger) to test spark 3 compatibility (with EMR)

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.