Field name validation
- 主要言語
- Scala
- スター
- 33
- フォーク
- 16
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
## Background
If a field name for standardization is not valid for _parquet_ format, the whole standardization is executed and the process fails on saving to _parquet_ file.
## Feature
It would be much more efficient to verify the column names as part of the verification at standardization start and fail early.
## Proposed Solution
Possible places to do the validation at:
* `SchemaValidator` object
* `FieldValidator` class
コントリビューションガイド
調査の方向性
Start by inspecting the `SchemaValidator` object and `FieldValidator` class to determine where standardization-start verification is performed. Reproduce the invalid parquet field-name case, then add validation before standardization proceeds and verify that invalid names fail early rather than only when saving the parquet file.
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- scala, spark
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 42/100