[Feature request] 未来是否支持热/冷数据分布存储在SSD和机械硬盘上,以节省存储成本
- 主要言語
- Java
- スター
- 6.4k
- フォーク
- 1.2k
- 平均マージ
- 1日 23時間
- マージ済み PR(30日)
- 115
説明
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/iotdb/issues) and found nothing similar.
### Motivation
比如将30天内的数据当做热数据,30天之前的当做冷数据
如下:发现如果全部使用SSD存储的话成本太高了,目前的方案是需要自己写定时任务将30天之前的数据移动到安装在机械硬盘的系统上,当查询60天内的数据时,比较割裂。
按照1万+点位每秒上次一次数据作为参考
24 * 60 * 60 * 10000 = 864000000 条/天 = 8.64亿条数据/天
按照每条数据1KB计算,计划数据保存1年时间
每个数据点大小: 1KB (千字节)
每秒的数据量: 1 KB × 10,000 = 10,000 KB
每分钟的数据量: 10,000 KB × 60 秒 = 600,000 KB
每小时的数据量: 600,000 KB × 60 分钟 = 36,000,000 KB
每天的数据量: 36,000,000 KB × 24 小时 = 864,000,000 KB
每年的数据量: 864,000,000 KB × 365 天 = 315,360,000,000 KB
将KB转换为TB:315,360,000,000 / 1024 /1024 / 1024 = 294TB(约等)
因此,为了存储一年的数据,大约需要300TB的空间(考虑到实际存储需求,可能还需要额外的空间来存储索引、元数据等)。这是理论上的估计,实际应用中可能还需要考虑数据压缩等因素。如果数据经过压缩或者其他优化存储技术处理,实际所需的空间可能会少一些。
### Solution
目前的方案是需要自己写定时任务将30天之前的数据移动到安装在机械硬盘的系统上,当查询60天内的数据时,比较割裂。
### Alternatives
1、官方是否有自动迁移冷数据方案/计划,省的定时迁移数据
2、期望在一个系统上查询跨热/冷数据做聚合操作
### Are you willing to submit a PR?
- [ ] I'm willing to submit a PR!
コントリビューションガイド
調査の方向性
ファイル、テスト、エントリーポイントは指定されていません。まず IoTDB が現在どのようにデータを保存し、クエリしているかを確認し、その後、自動移行ポリシーの意図と、ストレージをまたぐクエリの動作を明確にします。Done には、ホットストレージとコールドストレージ、移行、保持、両方の媒体にまたがるクエリについて合意された設計が含まれている必要があります。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- databases
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100