apache / apache/iotdb

How to load history data to IoTDB without impacting query history(历史数据导入会导致IoTDB查询变慢)

Ouverte
#5,321 7 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
6.4k
Forks
1.2k
Merge moyen
1 j 23 h
PR mergées (30 j)
115

Description

当进行大量的历史数据导入时(TB级),IoTDB会出现明显的查询变慢问题,同时CPU的使用率明显上升。以目前我们的使用场景为例,导入80000个测点两年以上的历史数据,数据量大概在7-8TB。导入前,IoTDB中测点最新值查询耗时在10ms以下,在导入历史数据的过程中发现:同样的最新值查询竟花费了9秒,对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程,降低对查询的影响。此外,希望能给出历史数据导入过程的制约因素,指导用户进行数据库参数配置或者硬件资源的升级。

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

L’issue ne nomme aucun fichier, test ou point d’entrée. Commencez par reproduire l’import historique signalé à l’échelle du TB avec des requêtes portant sur les valeurs les plus récentes, puis déterminez les contraintes de ressources et les facteurs de configuration qui provoquent l’augmentation de la latence des requêtes ; le travail est considéré comme terminé lorsque l’impact sur les requêtes est réduit et que les limites d’importation ou les conseils de réglage sont documentés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
databases, performance
Type d'issue
Bug
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.