allenai / allenai/WildDet3D

Question about the depth sensor used for RGB-D inference

Đang mở
#19 1 bình luận 0 reaction 1 người được giao Được @weikaih04 nhận Xem trên GitHub
Ngôn ngữ chính
Python
Star
622
Fork
45
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Hi,
I have a question regarding the use of depth information in WildDet3D. In the paper, it is mentioned that providing depth information and camera intrinsics can improve the model performance. However, in my own experiments, I observed a somewhat unexpected result.
I tested three input settings:
RGB only
RGB + camera intrinsics
RGB-D + camera intrinsics
I placed a person in front of the camera and compared the predicted height of the 3D bounding box. The person’s actual height is 1.78 m. The results were approximately:
RGB only: 1.75–1.80 m
RGB + intrinsics: 1.80–1.90 m
RGB-D + intrinsics: 1.50–1.60 m
Interestingly, the RGB-D setting produced a less accurate height estimate than RGB-only or RGB + intrinsics in my case.
I am using an Orbbec Gemini 336L RGB-D camera. I would like to ask what depth sensor or depth device was used in your experiments. Were there any specific requirements for the depth map, such as depth scale, alignment between RGB and depth, valid depth range, or preprocessing steps?
Any guidance would be greatly appreciated. Thank you!

RGB only

Image

RGB + camera intrinsics

Image

RGB-D + camera intrinsics

Image

demo code

[app.py](https://github.com/user-attachments/files/28133670/app.py)

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.