Aiven-Open / Aiven-Open/bigquery-connector-for-apache-kafka

Split connector code into streaming and batch

Offen
#73 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Java
Sterne
37
Forks
45
Ø Merge
19 Std. 50 Min.
Gemergte PRs (30 T.)
5

Beschreibung

The current codebase is overloaded with conditionals, interconnected or ignored properties and doesn't take into account different limits of [BigQuery API](https://cloud.google.com/bigquery/quotas#load_jobs). That makes it harder to support and may lead to unobvious configuration problems.

The proposal is to split the current monolithic sink connector into separate artifacts, one for streaming via Storage Write API, another through GCS load jobs. It would make the code much easier to understand and support.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.