mapstruct / mapstruct/mapstruct-examples

Convert Spark Dataframe to Dataset with MapStruct

オープン
#128 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Java
スター
1.4k
フォーク
504
PR マージ指標
30日以内にマージされた PR はありません

説明

When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.

Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

まず mapstruct-examples リポジトリとリンク先の Stack Overflow の質問を確認し、要求されている Spark DataFrame から Dataset への変換を理解します。Spark と Java の例をどこに追加するのが適切かを特定し、続いて MapStruct が異なるデータベース列名と POJO フィールド型を扱えるかどうかを判断します。この変換を対象とする、文書化された動作する例が完成すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java, spark
領域
data-engineering
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。