agile-lab-dev / agile-lab-dev/darwin

Kafka connector

オープン
#66 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
contest good first issue
主要言語
Scala
スター
36
フォーク
10
PR マージ指標
30日以内にマージされた PR はありません

説明

Do you think that make sense to have a Kafka connector? Store schemas directly in Kafka?

We can have a topic with infinite retention, where the key is the schema id and the value is the schema (plus other info if?).
This connector can write to this topic and maintain a list of id->schema in memory by consuming its own the records.
Of course the assumption is that we don't have milions of schemas...

Each instance of this connector reads and maintain all the schemas in memory, so each instance is indipendent from the other.
At every startup it reads the topic from the start.

The main benefit is that we don't have external dependencies for use cases where we just use Kafka and that we receive new schemas immediately.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。