[Bug] Synced data stored as unsequenced
- Ngôn ngữ chính
- Java
- Star
- 6.4k
- Fork
- 1.2k
- Merge trung bình
- 1 ngày 23 giờ
- Pull request đã merge (30 ngày)
- 115
Mô tả
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/iotdb/issues) and found nothing similar.
### Version
Both machines running Ubuntu 20.04 and docker image of IoTDB version 1.2.2
### Describe the bug and provide the minimal reproduce step
1. Start two nodes in standalone configuration
2. Set pipe to cloud node
3. Perform insertions at the edge node
### What did you expect to see?
All data inserted to be stored in the same manner on both nodes.
### What did you see instead?
Although on the edge node data is stored in sequence TsFiles, the cloud node treats synced data as delayed and the data is stored in unsequence TsFiles.
On the cloud node running `du -h .` on the data folder shows most data usage in unsequence files
```
4.0K ./datanode/data/sequence
6.9G ./datanode/data/unsequence/root.gps/2/2808
6.9G ./datanode/data/unsequence/root.gps/2
6.9G ./datanode/data/unsequence/root.gps/1/2808
6.9G ./datanode/data/unsequence/root.gps/1
6.7G ./datanode/data/unsequence/root.gps/3/2808
6.7G ./datanode/data/unsequence/root.gps/3
6.4G ./datanode/data/unsequence/root.gps/4/2808
6.4G ./datanode/data/unsequence/root.gps/4
4.7G ./datanode/data/unsequence/root.gps/5/2808
4.7G ./datanode/data/unsequence/root.gps/5
32G ./datanode/data/unsequence/root.gps
32G ./datanode/data/unsequence
32G ./datanode/data
```
While on the edge nodes running `du -h .` on the data folder shows most data usage in sequence files
```
8.6G ./datanode/data/sequence/root.gps/2/2808
8.6G ./datanode/data/sequence/root.gps/2
6.9G ./datanode/data/sequence/root.gps/4/2808
6.9G ./datanode/data/sequence/root.gps/4
7.6G ./datanode/data/sequence/root.gps/1/2808
7.6G ./datanode/data/sequence/root.gps/1
7.1G ./datanode/data/sequence/root.gps/3/2808
7.1G ./datanode/data/sequence/root.gps/3
30G ./datanode/data/sequence/root.gps
30G ./datanode/data/sequence
26M ./datanode/data/unsequence/root.gps/2/2808
26M ./datanode/data/unsequence/root.gps/2
17M ./datanode/data/unsequence/root.gps/4/2808
17M ./datanode/data/unsequence/root.gps/4
26M ./datanode/data/unsequence/root.gps/1/2808
26M ./datanode/data/unsequence/root.gps/1
26M ./datanode/data/unsequence/root.gps/3/2808
26M ./datanode/data/unsequence/root.gps/3
94M ./datanode/data/unsequence/root.gps
94M ./datanode/data/unsequence
34G ./datanode/data
34G ./datanode
```
Tests performing query operations seem to indicate that this negatively impacts query performance as unsequence files negatively impact query performance. These tests were run using IoTDB version 1.1.1, but since data is still stored as unsequenced in 1.2.2, this behaviour should still be present.
### Anything else?
Edge node is running in a Docker container limited to 4 CPU cores, 4GB of RAM, 44MB/s disk reads, 40MB/s disk writes, 2700 read IOps, 1200 write IOps
Cloud node is running in a Docker container with no limitations. Host machine has a 6 core CPU and 16GB of RAM
### Are you willing to submit a PR?
- [ ] I'm willing to submit a PR!
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện thiết lập standalone gồm hai node với Docker image IoTDB 1.2.2, cấu hình một pipe từ node edge và kiểm tra các thư mục datanode/data/sequence và datanode/data/unsequence của node cloud. So sánh các tệp đã lưu trữ và hành vi truy vấn sau các lần chèn ở edge; được xem là hoàn thành khi dữ liệu đã đồng bộ được lưu dưới dạng các tệp sequence trên node cloud mà không gây ra ảnh hưởng đến hiệu năng truy vấn như đã được báo cáo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- docker, java
- Lĩnh vực
- databases, distributed-systems
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100