mapstruct / mapstruct/mapstruct-examples

Convert Spark Dataframe to Dataset with MapStruct

Offen
#128 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Java
Sterne
1.4k
Forks
504
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.

Example for this can be found on the following [Stackoverflow question](https://stackoverflow.com/questions/69802146/convert-spark-df-to-a-ds-with-different-fields-names) (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit der Durchsicht des Repositorys mapstruct-examples und der verknüpften Stack-Overflow-Frage, um die angeforderte Konvertierung von Spark DataFrame in Dataset zu verstehen. Ermittle, wo ein Spark- und Java-Beispiel passen würde, und bestimme anschließend, ob MapStruct mit unterschiedlichen Datenbankspaltennamen und POJO-Feldtypen umgehen kann. Als abgeschlossen gilt die Aufgabe, wenn ein dokumentiertes, funktionierendes Beispiel vorhanden ist, das diese Konvertierung abdeckt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java, spark
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.