mapstruct / mapstruct/mapstruct-examples
Convert Spark Dataframe to Dataset with MapStruct
Ninguém assumiu esta issue ainda.
- Linguagem predominante
- Java
- Estrelas
- 1.4k
- Forks
- 504
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece revisando o repositório mapstruct-examples e a pergunta vinculada no Stack Overflow para entender a conversão solicitada de Spark DataFrame para Dataset. Identifique onde um exemplo de Spark e Java se encaixaria e, em seguida, determine se o MapStruct consegue lidar com nomes de colunas de banco de dados e tipos de campos de POJO diferentes. O trabalho estará concluído quando houver um exemplo documentado e funcional que cubra essa conversão.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- java, spark
- Domínio
- data-engineering
- Tipo de issue
- Funcionalidade
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 25/100