AI4Finance-Foundation / AI4Finance-Foundation/ElegantRL
SAC alpha update problem
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 4.4k
- Fork
- 978
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
In `obj_alpha = (self.alpha_log * (self.target_entropy - log_prob).detach()).mean()` when alpha_log=0, alpha will be 1forever.
the correct way is `obj_alpha = (self.alpha * (self.target_entropy - log_prob).detach()).mean()` .
this problem is also found in rlkit.
Algorithm details in the source code of :
https://github.com/rail-berkeley/softlearning/blob/13cf187cc93d90f7c217ea2845067491c3c65464/softlearning/algorithms/sac.py#L256
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.