mapstruct / mapstruct/mapstruct-examples
Convert Spark Dataframe to Dataset with MapStruct
まだ誰も着手していません。
- 主要言語
- Java
- スター
- 1.4k
- フォーク
- 504
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
まず mapstruct-examples リポジトリとリンク先の Stack Overflow の質問を確認し、要求されている Spark DataFrame から Dataset への変換を理解します。Spark と Java の例をどこに追加するのが適切かを特定し、続いて MapStruct が異なるデータベース列名と POJO フィールド型を扱えるかどうかを判断します。この変換を対象とする、文書化された動作する例が完成すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java, spark
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100