Aiven-Open / Aiven-Open/tiered-storage-for-apache-kafka
S3 key/folder structure for performance
オープン
- 主要言語
- Java
- スター
- 239
- フォーク
- 59
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
For S3 file transfer performance, the S3 objects prefix structure is the key for high performance.
Do you know how the folder structure on S3 is laid out? Is that using a simple hierarchical directory path (e.g. [s3://bucket/tiered/topic-1/parttion-1/logsetment-1.log](http://s3//bucket/tiered/topic-1/parttion-1/logsetment-1.log))?
This layout would bottleneck on reading/writing into topic-1/partition-1 since S3 partitioning is on the topic level path (tiered/topic-1), if we can add a random salt hash part into the path (e.g. s3://bucket/tiered/aabbg/topic-1) this would greatly improve the S3 transfer throughput.
コントリビューションガイド
評価
この issue はまだ評価されていません。