Accuracy drop after simplify
- Ngôn ngữ chính
- Python
- Star
- 36
- Fork
- 3
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Hi guys, thank you for your library. It is quite cool.
However, I have met a problem when I try to use Simplify with Resnet18 on CIFAR10 dataset. I have used global_unstructured pruning in Pytorch and the sparsity was set to 0.875. Then I have transfer the weights of a list of neurons in layer4.1.Conv1 (Penultimate layer) to zero. In the next, I implemented the Simplify. The test_acc after “pruning” is 92.6%, after “pruning + transfer neurons’ weight to 0” is 92.24%, after “pruning + transfer neurons’ weight to 0 + simplify” is 92.21%.
I think there was supposed to be no test_acc decrease after the Simplify process. Could you please help me understand what happens here? I hope I have described my problem well.
If you want to reproduce, here is the link of my code and required files.
https://partage.imt.fr/index.php/s/9jemn7WfkBWS5tx
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với bản tái hiện được liên kết từ bên ngoài và workflow ResNet18/CIFAR10 đã được báo cáo, bao gồm global_unstructured pruning, layer4.1.Conv1 và Simplify. So sánh ba giai đoạn độ chính xác đã được báo cáo và kiểm tra entry point của Simplify; được xem là hoàn tất khi giải thích được thay đổi về độ chính xác hoặc xác định được một bản sửa lỗi có thể tái hiện.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100