Akegarasu / Akegarasu/lora-scripts
在训练LyCORIS-lokr时，开启scale_weight_norms会导致输出有错误
- Ngôn ngữ chính
- Python
- Star
- 6.1k
- Fork
- 699
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
举例，在Key Scaled = 0的时候，Average key norm始终为0。这个值应该是逐渐升高的。
一旦Key开始Scale之后，average key norm显示为tensor(0.2138, device='cuda:0')。这也是不对的。
epoch 38/150
steps: 25%|█████▎ | 76/300 [33:45<1:39:28, 26.64s/it, Average key norm=0, Keys Scaled=0, avr_loss=0.116]
saving checkpoint: E:/LoRA models\caoXLlokrV1224M42-000038.safetensors
epoch 39/150
steps: 26%|▎| 78/300 [34:38<1:38:36, 26.65s/it, Average key norm=tensor(0.2138, device='cuda:0'), Keys Scaled=1, avr_l
saving checkpoint: E:/LoRA models\caoXLlokrV1224M42-000039.safetensors
tensorboard中同样也会有显示错误，并且不包含Key Scaled =0 阶段的average key norm.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.