Akegarasu / Akegarasu/lora-scripts

在训练LyCORIS-lokr时,开启scale_weight_norms会导致输出有错误

未关闭
#381 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
6.1k
派生
699
PR 合并指标
30 天内没有已合并 PR

描述

举例,在Key Scaled = 0的时候,Average key norm始终为0。这个值应该是逐渐升高的。
一旦Key开始Scale之后,average key norm显示为tensor(0.2138, device='cuda:0')。这也是不对的。

epoch 38/150
steps: 25%|█████▎ | 76/300 [33:45<1:39:28, 26.64s/it, Average key norm=0, Keys Scaled=0, avr_loss=0.116]
saving checkpoint: E:/LoRA models\caoXLlokrV1224M42-000038.safetensors

epoch 39/150
steps: 26%|▎| 78/300 [34:38<1:38:36, 26.65s/it, Average key norm=tensor(0.2138, device='cuda:0'), Keys Scaled=1, avr_l
saving checkpoint: E:/LoRA models\caoXLlokrV1224M42-000039.safetensors

tensorboard中同样也会有显示错误,并且不包含Key Scaled =0 阶段的average key norm.
![image](https://github.com/Akegarasu/lora-scripts/assets/17035106/d9730237-f674-4fcd-bd24-a36810730c18)

贡献指南

这个仓库没有索引到贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。