How to load history data to IoTDB without impacting query history(历史数据导入会导致IoTDB查询变慢)
- Ngôn ngữ chính
- Java
- Star
- 6.4k
- Fork
- 1.2k
- Merge trung bình
- 1 ngày 23 giờ
- Pull request đã merge (30 ngày)
- 115
Mô tả
当进行大量的历史数据导入时(TB级),IoTDB会出现明显的查询变慢问题,同时CPU的使用率明显上升。以目前我们的使用场景为例,导入80000个测点两年以上的历史数据,数据量大概在7-8TB。导入前,IoTDB中测点最新值查询耗时在10ms以下,在导入历史数据的过程中发现:同样的最新值查询竟花费了9秒,对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程,降低对查询的影响。此外,希望能给出历史数据导入过程的制约因素,指导用户进行数据库参数配置或者硬件资源的升级。
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue không nêu tên tệp, bài kiểm thử hay điểm vào nào. Hãy bắt đầu bằng cách tái hiện quá trình nhập dữ liệu lịch sử ở quy mô TB được báo cáo cùng với các truy vấn giá trị mới nhất, sau đó xác định các giới hạn tài nguyên và yếu tố cấu hình khiến độ trễ truy vấn tăng lên; được xem là hoàn thành khi tác động đến truy vấn được giảm xuống và các giới hạn nhập dữ liệu hoặc hướng dẫn tuning được ghi lại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- databases, performance
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100