mapstruct / mapstruct/mapstruct-examples
Convert Spark Dataframe to Dataset with MapStruct
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Java
- Sterne
- 1.4k
- Forks
- 504
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following [Stackoverflow question](https://stackoverflow.com/questions/69802146/convert-spark-df-to-a-ds-with-different-fields-names) (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit der Durchsicht des Repositorys mapstruct-examples und der verknüpften Stack-Overflow-Frage, um die angeforderte Konvertierung von Spark DataFrame in Dataset zu verstehen. Ermittle, wo ein Spark- und Java-Beispiel passen würde, und bestimme anschließend, ob MapStruct mit unterschiedlichen Datenbankspaltennamen und POJO-Feldtypen umgehen kann. Als abgeschlossen gilt die Aufgabe, wenn ein dokumentiertes, funktionierendes Beispiel vorhanden ist, das diese Konvertierung abdeckt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java, spark
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 25/100