AbsaOSS / AbsaOSS/cobrix

Add an option to automatically detect record type

Offen
#355 0 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @yruslan Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Scala
Sterne
170
Forks
96
Ø Merge
57 Min.
Gemergte PRs (30 T.)
2

Beschreibung

## Background
Determining record type is critical for reading mainframe files. Yet, most issues raised are related to the confusion of specifying the type of records in a mainframe file. Simplifying this bit would help getting started with Cobrix quicker.

## Feature
Add an option, say,
```
.option("infer_record_type", "true")
```
that would read the input file and determine:
1. Presence and type of RDW (big-endian or little-endian)
2. True record size for fixed record-length files

Cobrix should log options used for reading such files so that the automatic inference could be replaced by these explicit options for future jobs.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.