Aiven-Open / Aiven-Open/tiered-storage-for-apache-kafka

S3 key/folder structure for performance

オープン
#124 コメント 7 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Java
スター
239
フォーク
59
PR マージ指標
30日以内にマージされた PR はありません

説明

For S3 file transfer performance, the S3 objects prefix structure is the key for high performance.

Do you know how the folder structure on S3 is laid out? Is that using a simple hierarchical directory path (e.g. [s3://bucket/tiered/topic-1/parttion-1/logsetment-1.log](http://s3//bucket/tiered/topic-1/parttion-1/logsetment-1.log))?

This layout would bottleneck on reading/writing into topic-1/partition-1 since S3 partitioning is on the topic level path (tiered/topic-1), if we can add a random salt hash part into the path (e.g. s3://bucket/tiered/aabbg/topic-1) this would greatly improve the S3 transfer throughput.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。