[Feature request] 未来是否支持热/冷数据分布存储在SSD和机械硬盘上,以节省存储成本
- Lingua principale
- Java
- Stelle
- 6.4k
- Fork
- 1.2k
- Merge medio
- 1g 23h
- PR unite (30g)
- 115
Descrizione
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/iotdb/issues) and found nothing similar.
### Motivation
比如将30天内的数据当做热数据,30天之前的当做冷数据
如下:发现如果全部使用SSD存储的话成本太高了,目前的方案是需要自己写定时任务将30天之前的数据移动到安装在机械硬盘的系统上,当查询60天内的数据时,比较割裂。
按照1万+点位每秒上次一次数据作为参考
24 * 60 * 60 * 10000 = 864000000 条/天 = 8.64亿条数据/天
按照每条数据1KB计算,计划数据保存1年时间
每个数据点大小: 1KB (千字节)
每秒的数据量: 1 KB × 10,000 = 10,000 KB
每分钟的数据量: 10,000 KB × 60 秒 = 600,000 KB
每小时的数据量: 600,000 KB × 60 分钟 = 36,000,000 KB
每天的数据量: 36,000,000 KB × 24 小时 = 864,000,000 KB
每年的数据量: 864,000,000 KB × 365 天 = 315,360,000,000 KB
将KB转换为TB:315,360,000,000 / 1024 /1024 / 1024 = 294TB(约等)
因此,为了存储一年的数据,大约需要300TB的空间(考虑到实际存储需求,可能还需要额外的空间来存储索引、元数据等)。这是理论上的估计,实际应用中可能还需要考虑数据压缩等因素。如果数据经过压缩或者其他优化存储技术处理,实际所需的空间可能会少一些。
### Solution
目前的方案是需要自己写定时任务将30天之前的数据移动到安装在机械硬盘的系统上,当查询60天内的数据时,比较割裂。
### Alternatives
1、官方是否有自动迁移冷数据方案/计划,省的定时迁移数据
2、期望在一个系统上查询跨热/冷数据做聚合操作
### Are you willing to submit a PR?
- [ ] I'm willing to submit a PR!
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Non vengono indicati file, test o punti di ingresso. Inizia esaminando come IoTDB archivia ed esegue attualmente le query sui dati, quindi chiarisci la politica prevista per la migrazione automatica e il comportamento delle query tra storage diversi. Il completamento dovrebbe includere un design concordato per lo storage hot e cold, la migrazione, la conservazione e le query che abbracciano entrambi i supporti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- databases
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100