DeduplicateKafkaSinkTransformer should work with fields from payload
Offen
enhancement
- Vorherrschende Sprache
- Scala
- Sterne
- 47
- Forks
- 14
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
When changing https://github.com/AbsaOSS/hyperdrive/blob/develop/driver/src/test/scala/za/co/absa/hyperdrive/driver/drivers/KafkaToKafkaDeduplicationAfterRetryDockerTest.scala#L73-L74
to
```
"transformer.[kafka.deduplicator].source.id.columns" -> "value.record_id",
"transformer.[kafka.deduplicator].destination.id.columns" -> "value.record_id"
```
the test fails with the following exception:
```
org.apache.spark.SparkException: Malformed records are detected in record parsing.
Caused by: org.apache.avro.AvroTypeException: Found null, expecting string
```
Even if this behavior is documented, it may never have been working.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.