apache / apache/iotdb

How to load history data to IoTDB without impacting query history(历史数据导入会导致IoTDB查询变慢)

オープン
#5,321 コメント 7 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Java
スター
6.4k
フォーク
1.2k
平均マージ
1日 23時間
マージ済み PR(30日)
115

説明

当进行大量的历史数据导入时(TB级),IoTDB会出现明显的查询变慢问题,同时CPU的使用率明显上升。以目前我们的使用场景为例,导入80000个测点两年以上的历史数据,数据量大概在7-8TB。导入前,IoTDB中测点最新值查询耗时在10ms以下,在导入历史数据的过程中发现:同样的最新值查询竟花费了9秒,对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程,降低对查询的影响。此外,希望能给出历史数据导入过程的制约因素,指导用户进行数据库参数配置或者硬件资源的升级。

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue にはファイル、テスト、エントリーポイントが記載されていません。まず、報告された TB 規模の履歴インポートを最新値のクエリと併せて再現し、その後、クエリのレイテンシが上昇する原因となるリソース制約と設定要因を特定してください。クエリへの影響が軽減され、インポートの上限またはチューニングのガイダンスが文書化されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
databases, performance
issue の種類
バグ
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。