UnsupportedOperationException when try to restart dataNode
- Ngôn ngữ chính
- Java
- Star
- 6.4k
- Fork
- 1.2k
- Merge trung bình
- 1 ngày 23 giờ
- Pull request đã merge (30 ngày)
- 115
Mô tả
version: 1.1.0
I deployment iotdb basedon HDFS as data storage.
config:
schema_replication_factor=1
data_replication_factor=2
when one dataNode is failed and try to restart it, there is such exception:
ERROR o.a.i.c.c.t.WrappedThreadPoolExecutor:108 - Exception in thread pool org.apache.iotdb.threadpool:type=StorageEngine
java.lang.UnsupportedOperationException: Unsupported operation.
at org.apache.iotdb.hadoop.fileSystem.HDFSFile.getCanonicalPath(HDFSFile.java:308)
at org.apache.iotdb.db.wal.recover.WALRecoverManager.addRecoverPerformer(WALRecoverManager.java:181)
at org.apache.iotdb.db.engine.storagegroup.DataRegion.recoverUnsealedTsFile(DataRegion.java:774)
at org.apache.iotdb.db.engine.storagegroup.DataRegion.recover(DataRegion.java:483)
at org.apache.iotdb.db.engine.storagegroup.DataRegion.(DataRegion.java:345)
at org.apache.iotdb.db.engine.StorageEngine.buildNewDataRegion(StorageEngine.java:459)
at org.apache.iotdb.db.engine.StorageEngine.lambda$asyncRecover$2(StorageEngine.java:255)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu từ HDFSFile.java:308 và lần theo đường dẫn lời gọi qua WALRecoverManager.addRecoverPerformer, DataRegion.recoverUnsealedTsFile và DataRegion.recover. Tái hiện việc khởi động lại sau khi một DataNode bị lỗi bằng các thiết lập replication đã nêu và xác minh rằng quá trình recovery hoàn tất mà không có UnsupportedOperationException.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- hadoop, java
- Lĩnh vực
- databases
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100