AbsaOSS / AbsaOSS/enceladus

Field name validation

Aperta
#959 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
feature priority: undecided Standardization under discussion
Lingua principale
Scala
Stelle
33
Fork
16
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Background
If a field name for standardization is not valid for _parquet_ format, the whole standardization is executed and the process fails on saving to _parquet_ file.

## Feature
It would be much more efficient to verify the column names as part of the verification at standardization start and fail early.

## Proposed Solution
Possible places to do the validation at:
* `SchemaValidator` object
* `FieldValidator` class

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start by inspecting the `SchemaValidator` object and `FieldValidator` class to determine where standardization-start verification is performed. Reproduce the invalid parquet field-name case, then add validation before standardization proceeds and verify that invalid names fail early rather than only when saving the parquet file.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
scala, spark
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
42/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.