AbsaOSS / AbsaOSS/enceladus

Null definitions on input of Standardization

Aperta
#1,522 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Epic priority: undecided Standardization
Lingua principale
Scala
Stelle
33
Fork
16
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Background
`Null` value, an uknown field entry, coming from Src can be sometimes defined by some actual special value. This is not covered by Standardization capabilities yet (except `fixedWidth` input format).

## Goal
Make a definition of `null` value on source possible for Standardization

## Expected Task List
A list of expected issues that will be needed to achieve this Epic
1. Command line `--null-value` for _csv_ format
2. `null_value` metadata for column
3. Command-line option of `--null-value` is not covered by any lineage or other quality assurance mechanism. Perhaps the value should be recorded in _INFO file

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

The issue names no files, tests, or entry points; begin by locating the CSV standardization command and column-metadata handling in the Scala project. Completion covers the listed scope: a CSV --null-value option, null_value column metadata, and determining whether the option should be recorded in the INFO file.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
scala
Ambito
cli, data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.