apache / apache/iotdb

How to load history data to IoTDB without impacting query history(历史数据导入会导致IoTDB查询变慢)

Aperta
#5,321 7 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Java
Stelle
6.4k
Fork
1.2k
Merge medio
1g 23h
PR unite (30g)
115

Descrizione

当进行大量的历史数据导入时(TB级),IoTDB会出现明显的查询变慢问题,同时CPU的使用率明显上升。以目前我们的使用场景为例,导入80000个测点两年以上的历史数据,数据量大概在7-8TB。导入前,IoTDB中测点最新值查询耗时在10ms以下,在导入历史数据的过程中发现:同样的最新值查询竟花费了9秒,对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程,降低对查询的影响。此外,希望能给出历史数据导入过程的制约因素,指导用户进行数据库参数配置或者硬件资源的升级。

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

L’issue non indica file, test o punti di ingresso. Inizia riproducendo l’importazione storica segnalata su scala di TB insieme a query sui valori più recenti, quindi determina i vincoli delle risorse e i fattori di configurazione che causano l’aumento della latenza delle query; il lavoro è completato quando l’impatto sulle query è ridotto e sono documentati i limiti di importazione o le indicazioni per il tuning.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
databases, performance
Tipo di issue
Bug
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.