AbsaOSS / AbsaOSS/enceladus

Field name validation

オープン
#959 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
feature priority: undecided Standardization under discussion
主要言語
Scala
スター
33
フォーク
16
PR マージ指標
30日以内にマージされた PR はありません

説明

## Background
If a field name for standardization is not valid for _parquet_ format, the whole standardization is executed and the process fails on saving to _parquet_ file.

## Feature
It would be much more efficient to verify the column names as part of the verification at standardization start and fail early.

## Proposed Solution
Possible places to do the validation at:
* `SchemaValidator` object
* `FieldValidator` class

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Start by inspecting the `SchemaValidator` object and `FieldValidator` class to determine where standardization-start verification is performed. Reproduce the invalid parquet field-name case, then add validation before standardization proceeds and verify that invalid names fail early rather than only when saving the parquet file.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
scala, spark
領域
data-engineering
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
42/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。