An easy method to count the total number of time-series data
- 主要言語
- Java
- スター
- 6.4k
- フォーク
- 1.2k
- 平均マージ
- 1日 23時間
- マージ済み PR(30日)
- 115
説明
I used workbench to write a large number of data into iotdb, e.g. 50000 devices and 100 sensors for each device. Then I wanted to verify whether the total number of data actually written into iotdb is equal to the number expected.
I used sql statements like "select count(*) from root.test.** group by level =3", but can't get the correct answer which should be 50000\*100. It seems like that result columns over 1000 has been truncated.
What I expect is, when I execute one single sql statement, it can return the correct number of all data in db. In industry, large data is ubiquitous, so a good support for large data might be a common scene.
Now, I used a sql and shell combined way to verify the number, such like "select count(*) from root.test.**.d_${i} group by level =3". Here i ranges from 1 to 50000. And finally add 50000 results together to get the correct number.
コントリビューションガイド
調査の方向性
まず、1000個を超える結果列を持つ単一のクエリ `select count(*) from root.test.** group by level =3` を再現し、期待される 50000×100 の件数と比較します。クエリ結果の処理を追跡して、列がどこで切り詰められているかを特定します。報告された大規模データセットの完全な件数を1つの SQL 文が返せば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java, sql
- 領域
- databases
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100