Aiven-Open / Aiven-Open/opensearch-connector-for-apache-kafka

OS Connector not sending messages to Dead letter Queue topic

Đang mở
#278 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Java
Star
95
Fork
61
Merge trung bình
11 giờ 52 phút
Pull request đã merge (30 ngày)
7

Mô tả

Hello,

we have Opensearch connector configured to send data to OS. However the records that are failing the due to serialization error is simply getting dropped and lost instead of sending them to DLQ topic.
Can someone please help us figure out what could be the probable cause or even if avien support DLQ ?

Please find the connector config below

{
"connector.class": "io.aiven.kafka.connect.opensearch.OpensearchSinkConnector",
"type.name": "_doc",
"behavior.on.null.values": "ignore",
"auto.create.indices.at.start": "false",
"tasks.max": "150",
"connection.timeout.ms": "3000000",
"drop.invalid.message": "false",
"max.retries": "5",
"key.ignore": "true",
"retry.backoff.ms": "30000",
"errors.deadletterqueue.context.headers.enable": "true",
"errors.deadletterqueue.topic.replication.factor": "3",
"read.timeout.ms": "300000",
"topics": "b6vv_onevz_nsacxp_payload_log-grp1",
"batch.size": "300",
"max.in.flight.requests": "4",
"schema.ignore": "true",
"behavior.on.malformed.documents": "REPORT",
"flush.timeout.ms": "300000",
"max.buffered.events": "300",
"errors.deadletterqueue.topic.name": "dlq_b6vv_payload_log-grp1_test",
"name": "eks-flb-msk-os-b6vv-onevz-nsacxp-payload-log-grp1-2-conn-sink",
"errors.tolerance": "all",
"connection.url": "https://vpc-vz-b6vv-nextgen-li6-7omprnsqqujw7ndad5yufgox7a.us-east-1.es.amazonaws.com",
"linger.ms": "3000"
}

Thanks

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.