apache / apache/pulsar-client-cpp

[Bug] Keep-alive timeout when send/receive large message

オープン
#425 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
71
フォーク
90
平均マージ
2時間 33分
マージ済み PR(30日)
3

説明

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/pulsar-client-cpp/issues) and found nothing similar.

### Version

client 3.2
server 3.2.2

### Minimal reproduce step

Use a producer to send one 300M message to the broker using synchronous mode with 5M bandwidth, just make sure the message to be sent in almost one minute.
BTW, it works fine for small message, for example, messages less than 100M can be successfully sent or consumed within 5M bandwidth

### What did you expect to see?

Send successfully

### What did you see instead?

2024-04-28 16:58:11.157 WARN [40520] D:\a\pulsar-client-cpp\pulsar-client-cpp\lib\ClientConnection:1158 | [10.214.4.3:49457 -> 8.218.192.194:6650] Forcing connection to close after keep-alive timeout
2024-04-28 16:58:11.157 ERROR [40520] D:\a\pulsar-client-cpp\pulsar-client-cpp\lib\ClientConnection:1234 | [10.214.4.3:49457 -> 8.218.192.194:6650] Connection closed with ConnectError

### Anything else?

When I use asynchronous mode in the producer side, this issue is mitigated, while the consumer stuck into it. I find the keepalive interval is hardcoded in ClientConnection.cc and the value is 30 seconds, and I also find it executed by a deadline timer which run in a separated thread, thus I am not sure if this has something to do with the large message sending or receiving

### Are you willing to submit a PR?

- [ ] I'm willing to submit a PR!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

ClientConnection.cc から始め、特にハードコードされた 30 秒の keep-alive 間隔とその deadline タイマーを確認します。client 3.2 と server 3.2.2 を使用し、5M の帯域幅で同期 300M メッセージを送信して再現した後、同期および非同期の producer の動作と consumer の動作を比較します。keep-alive タイムアウトによって接続が切断されることなく、大容量の送信または受信が完了すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
distributed-systems, networking
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。