How to load history data to IoTDB without impacting query history(历史数据导入会导致IoTDB查询变慢)
- Langage dominant
- Java
- Étoiles
- 6.4k
- Forks
- 1.2k
- Merge moyen
- 1 j 23 h
- PR mergées (30 j)
- 115
Description
当进行大量的历史数据导入时(TB级),IoTDB会出现明显的查询变慢问题,同时CPU的使用率明显上升。以目前我们的使用场景为例,导入80000个测点两年以上的历史数据,数据量大概在7-8TB。导入前,IoTDB中测点最新值查询耗时在10ms以下,在导入历史数据的过程中发现:同样的最新值查询竟花费了9秒,对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程,降低对查询的影响。此外,希望能给出历史数据导入过程的制约因素,指导用户进行数据库参数配置或者硬件资源的升级。
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
L’issue ne nomme aucun fichier, test ou point d’entrée. Commencez par reproduire l’import historique signalé à l’échelle du TB avec des requêtes portant sur les valeurs les plus récentes, puis déterminez les contraintes de ressources et les facteurs de configuration qui provoquent l’augmentation de la latence des requêtes ; le travail est considéré comme terminé lorsque l’impact sur les requêtes est réduit et que les limites d’importation ou les conseils de réglage sont documentés.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- databases, performance
- Type d'issue
- Bug
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100