AbsaOSS / AbsaOSS/hyperdrive

Rename prefix for additional properties for KafkaStreamReader

Offen
#91 1 Kommentar 1 Reaktion 1 zugewiesene Person Zugewiesen an @kevinwallimann Auf GitHub ansehen
breaking-changes
Vorherrschende Sprache
Scala
Sterne
47
Forks
14
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Currently, additional properties for the `KafkaStreamReader` have to be specified with the prefix `reader.options.` E.g. `reader.options.kafka.security.protocol` or `reader.options.kafka.ssl.key.password`

This prefix is inconsistent with all other properties which start with `decoder.avro.`, `writer.parquet.`, `manager.checkpoint` or `transformer.columns.`. The properties for the `KafkaStreamReader` should start with `reader.kafka.`, i.e. `reader.kafka.options.kafka.security.protocol`.

For additional properties like `reader.options.failOnDataLoss` or `reader.options.minPartitions` it's hard to find out which reader implementation they belong to.

**Tasks**
- Change prefix for additional properties for `KafkaStreamReader` to `reader.kafka.options.`

**How to migrate**
- All property keys starting with `reader.options` have to be replaced by `reader.kafka.options`

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.