mapstruct / mapstruct/mapstruct-examples
Convert Spark Dataframe to Dataset with MapStruct
Personne n'a encore pris cette issue.
- Langage dominant
- Java
- Étoiles
- 1.4k
- Forks
- 504
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par examiner le dépôt mapstruct-examples et la question Stack Overflow associée afin de comprendre la conversion demandée de Spark DataFrame vers Dataset. Identifiez où un exemple Spark et Java pourrait s’intégrer, puis déterminez si MapStruct peut gérer des noms de colonnes de base de données et des types de champs de POJO différents. La tâche est terminée lorsqu’un exemple documenté et fonctionnel couvrant cette conversion est disponible.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java, spark
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 25/100