apache / apache/pulsar-client-cpp
[feature request] C++ and Python client support consumer memory limits.
- Langage dominant
- C++
- Étoiles
- 71
- Forks
- 90
- Merge moyen
- 2 h 33 min
- PR mergées (30 j)
- 3
Description
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/pulsar/issues) and found nothing similar.
### Motivation
[PIP-74](https://github.com/apache/pulsar/wiki/PIP-74%3A-Pulsar-client-memory-limits)
C++ client consumers have not implemented memory limits yet.
### Solution
There are several key points to achieving this feature.
1. Reconstructing the consumer structure.
- https://github.com/apache/pulsar/pull/16969
- Abstract `ConsumerBase`, put together some common logic.
2. Refactoring single-consumer and MultiTopicConsumer transports type.
- In the current implementation of C++, messages are sent to multi-topic consumers by blocking queue + listener, which is an old historical implementation. If you want to achieve memory limits, you need to do the same as the current java implementation, let `MuiltiTopicConsumer` take the initiative to control the message.
### Alternatives
Here's an imperfect draft: https://github.com/apache/pulsar/pull/16933
### Anything else?
_No response_
### Are you willing to submit a PR?
- [x] I'm willing to submit a PR!
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par PIP-74 et les modifications de ConsumerBase et MultiTopicConsumer décrites dans PR 16969, puis comparez l’ébauche imparfaite de PR 16933. C’est terminé lorsque le contrôle de la limite de mémoire des consommateurs pour les clients C++ et Python demandés, y compris le chemin MultiTopicConsumer, est défini et implémenté.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- cpp, python
- Domaine
- backend-api-design, distributed-systems
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100