白盒蒸馏效果问题

利用纯白盒蒸馏，训练后模型异常，只能输出重复字段
设置了 kd_ratio = 1 ，想让学生模型可以输出相同的概率分布而不只是标签
{ "job_type": "kd_black_box", "dataset": { "instruction_path": "/workspace/workspaces/data/test_long_1.json", "labeled_path": "test_1224_win/label.json", "logits_path": "test_1224_win/logits.json", "template" : "configs/chat_template/chat_template_kd.jinja", "seed": 42 }, "inference":{ "enable_chunked_prefill": true, "seed": 777, "gpu_memory_utilization": 0.8, "temperature": 0.0, "trust_remote_code": true, "enforce_eager": false, "max_model_len": 8192, "max_new_tokens": 2048, "top_logits_num": 10 }, "distillation": { "kd_ratio": 1, "max_seq_length": 2048, "distillation_type": "forward_kld" }, "models": { "teacher": "/models/Qwen3-32B/", "student": "/models/Qwen3-0.6B/" }, "training": { "output_dir": "./test_1224_win/result-v3-1226/black/", "num_train_epochs": 1, "per_device_train_batch_size": 1, "gradient_accumulation_steps": 1, "max_length":2048, "save_steps": 100, "logging_steps": 1, "learning_rate": 2e-5, "weight_decay": 0.05, "warmup_ratio": 0.1, "lr_scheduler_type": "cosine" } }

调用训练脚本后

white-box 日志

{'loss': 0.0103, 'grad_norm': 0.10669349133968353, 'learning_rate': 0.0, 'epoch': 0.0}
{'loss': 0.0112, 'grad_norm': 0.11105100810527802, 'learning_rate': 4.0000000000000003e-07, 'epoch': 0.0}
{'loss': 0.0107, 'grad_norm': 0.1120217815041542, 'learning_rate': 8.000000000000001e-07, 'epoch': 0.01}
{'loss': 0.0132, 'grad_norm': 0.16277769207954407, 'learning_rate': 1.2000000000000002e-06, 'epoch': 0.01}
{'loss': 0.0109, 'grad_norm': 0.1082654818892479, 'learning_rate': 1.6000000000000001e-06, 'epoch': 0.01}
{'loss': 0.0103, 'grad_norm': 0.10626411437988281, 'learning_rate': 2.0000000000000003e-06, 'epoch': 0.01}
{'loss': 0.0094, 'grad_norm': 0.0917053297162056, 'learning_rate': 2.4000000000000003e-06, 'epoch': 0.01}
{'loss': 0.0094, 'grad_norm': 0.08690614998340607, 'learning_rate': 2.8000000000000003e-06, 'epoch': 0.02}
{'loss': 0.0095, 'grad_norm': 0.08659463375806808, 'learning_rate': 3.2000000000000003e-06, 'epoch': 0.02}
{'loss': 0.0092, 'grad_norm': 0.08255597949028015, 'learning_rate': 3.6000000000000003e-06, 'epoch': 0.02}
{'loss': 0.0081, 'grad_norm': 0.07202225178480148, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.02}
{'loss': 0.0106, 'grad_norm': 0.107164166867733, 'learning_rate': 4.4e-06, 'epoch': 0.02}
{'loss': 0.0087, 'grad_norm': 0.07374170422554016, 'learning_rate': 4.800000000000001e-06, 'epoch': 0.03}
{'loss': 0.0078, 'grad_norm': 0.058503907173871994, 'learning_rate': 5.2e-06, 'epoch': 0.03}
{'loss': 0.0076, 'grad_norm': 0.05586441606283188, 'learning_rate': 5.600000000000001e-06, 'epoch': 0.03}
{'loss': 0.0068, 'grad_norm': 0.04877368360757828, 'learning_rate': 6e-06, 'epoch': 0.03}
{'loss': 0.0066, 'grad_norm': 0.04538314417004585, 'learning_rate': 6.4000000000000006e-06, 'epoch': 0.03}
{'loss': 0.006, 'grad_norm': 0.03748229146003723, 'learning_rate': 6.800000000000001e-06, 'epoch': 0.04}
{'loss': 0.0068, 'grad_norm': 0.047057319432497025, 'learning_rate': 7.2000000000000005e-06, 'epoch': 0.04}
{'loss': 0.0054, 'grad_norm': 0.03019549511373043, 'learning_rate': 7.600000000000001e-06, 'epoch': 0.04}
{'loss': 0.0055, 'grad_norm': 0.03342030569911003, 'learning_rate': 8.000000000000001e-06, 'epoch': 0.04}
{'loss': 0.0048, 'grad_norm': 0.02341228537261486, 'learning_rate': 8.400000000000001e-06, 'epoch': 0.04}
{'loss': 0.0047, 'grad_norm': 0.027002329006791115, 'learning_rate': 8.8e-06, 'epoch': 0.05}
{'loss': 0.0043, 'grad_norm': 0.02709883451461792, 'learning_rate': 9.200000000000002e-06, 'epoch': 0.05}
{'loss': 0.004, 'grad_norm': 0.012674895115196705, 'learning_rate': 9.600000000000001e-06, 'epoch': 0.05}
{'loss': 0.004, 'grad_norm': 0.00958786066621542, 'learning_rate': 1e-05, 'epoch': 0.05}
{'loss': 0.0044, 'grad_norm': 0.00914536602795124, 'learning_rate': 1.04e-05, 'epoch': 0.05}
{'loss': 0.0039, 'grad_norm': 0.009032163769006729, 'learning_rate': 1.0800000000000002e-05, 'epoch': 0.06}
{'loss': 0.0041, 'grad_norm': 0.009640617296099663, 'learning_rate': 1.1200000000000001e-05, 'epoch': 0.06}
{'loss': 0.0041, 'grad_norm': 0.008918952196836472, 'learning_rate': 1.16e-05, 'epoch': 0.06}
{'loss': 0.0038, 'grad_norm': 0.010415150783956051, 'learning_rate': 1.2e-05, 'epoch': 0.06}
{'loss': 0.0038, 'grad_norm': 0.0076003167778253555, 'learning_rate': 1.2400000000000002e-05, 'epoch': 0.06}
{'loss': 0.0038, 'grad_norm': 0.009892907924950123, 'learning_rate': 1.2800000000000001e-05, 'epoch': 0.07}
{'loss': 0.0038, 'grad_norm': 0.0077943927608430386, 'learning_rate': 1.3200000000000002e-05, 'epoch': 0.07}
{'loss': 0.0038, 'grad_norm': 0.006514386739581823, 'learning_rate': 1.3600000000000002e-05, 'epoch': 0.07}
{'loss': 0.0038, 'grad_norm': 0.007520362734794617, 'learning_rate': 1.4e-05, 'epoch': 0.07}
{'loss': 0.0038, 'grad_norm': 0.006602388806641102, 'learning_rate': 1.4400000000000001e-05, 'epoch': 0.07}
{'loss': 0.0039, 'grad_norm': 0.008179182186722755, 'learning_rate': 1.48e-05, 'epoch': 0.08}
{'loss': 0.0035, 'grad_norm': 0.009223254397511482, 'learning_rate': 1.5200000000000002e-05, 'epoch': 0.08}
{'loss': 0.0038, 'grad_norm': 0.009208734147250652, 'learning_rate': 1.5600000000000003e-05, 'epoch': 0.08}
{'loss': 0.0036, 'grad_norm': 0.005426274612545967, 'learning_rate': 1.6000000000000003e-05, 'epoch': 0.08}
{'loss': 0.0035, 'grad_norm': 0.006322535686194897, 'learning_rate': 1.64e-05, 'epoch': 0.08}
{'loss': 0.0035, 'grad_norm': 0.005600794684141874, 'learning_rate': 1.6800000000000002e-05, 'epoch': 0.09}
{'loss': 0.0039, 'grad_norm': 0.008550701662898064, 'learning_rate': 1.72e-05, 'epoch': 0.09}
{'loss': 0.0046, 'grad_norm': 0.013045073486864567, 'learning_rate': 1.76e-05, 'epoch': 0.09}
{'loss': 0.004, 'grad_norm': 0.010289711877703667, 'learning_rate': 1.8e-05, 'epoch': 0.09}
{'loss': 0.0037, 'grad_norm': 0.004480947740375996, 'learning_rate': 1.8400000000000003e-05, 'epoch': 0.09}
{'loss': 0.0031, 'grad_norm': 0.011176283471286297, 'learning_rate': 1.88e-05, 'epoch': 0.1}
{'loss': 0.003, 'grad_norm': 0.0092462208122015, 'learning_rate': 1.9200000000000003e-05, 'epoch': 0.1}
{'loss': 0.0039, 'grad_norm': 0.020160624757409096, 'learning_rate': 1.9600000000000002e-05, 'epoch': 0.1}
{'loss': 0.0039, 'grad_norm': 0.01782899536192417, 'learning_rate': 2e-05, 'epoch': 0.1}
{'loss': 0.0038, 'grad_norm': 0.012830879539251328, 'learning_rate': 1.9999756307053947e-05, 'epoch': 0.1}
{'loss': 0.0038, 'grad_norm': 0.006276360247284174, 'learning_rate': 1.9999025240093045e-05, 'epoch': 0.11}
{'loss': 0.0038, 'grad_norm': 0.005372576415538788, 'learning_rate': 1.9997806834748455e-05, 'epoch': 0.11}
{'loss': 0.0036, 'grad_norm': 0.006862189620733261, 'learning_rate': 1.9996101150403543e-05, 'epoch': 0.11}
{'loss': 0.0036, 'grad_norm': 0.005539991892874241, 'learning_rate': 1.999390827019096e-05, 'epoch': 0.11}
{'loss': 0.0037, 'grad_norm': 0.004764112178236246, 'learning_rate': 1.9991228300988586e-05, 'epoch': 0.11}
{'loss': 0.0035, 'grad_norm': 0.006740158423781395, 'learning_rate': 1.9988061373414342e-05, 'epoch': 0.12}
{'loss': 0.0033, 'grad_norm': 0.008725685998797417, 'learning_rate': 1.9984407641819812e-05, 'epoch': 0.12}
{'loss': 0.0048, 'grad_norm': 0.012742028571665287, 'learning_rate': 1.9980267284282718e-05, 'epoch': 0.12}

经过测试后：模型输出
`10 step * 2 --> 还可以正常输出

20 step * 2 --> 开始输出异常
25-12-26 08:36:26,587 - INFO: 好的，用户希望将LaTeX的指导示例转换为使用折纸技巧制作纸飞机的指导。首先，我需要理解用户提供的LaTeX代码，然后将其转换为实际的折纸步骤。用户提供的LaTeX代码是正确的，但需要将其转换为实际的折纸步骤，而不是使用LaTeX的代码。所以，我需要将每个LaTeX的代码部分转换为实际的折纸步骤，比如将“将纸对折”转换为实际的折纸步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，如“将纸对折成一个三角形”等。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，而不是使用LaTeX的代码。例如，将“将纸对折”部分转换为实际的步骤，而不是使用LaTeX的代码。然后，将每个LaTeX的代码部分转换为实际的步骤，

30 step * 2
2025-12-26 08:40:02,301 - INFO: 。，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，

50 step * 2
输出重复元素
2025-12-26 08:28:33,816 - INFO: 1000000 1000000 1000000 100 1000000 100 1 1000001 100 1000 1000010000000 100 10 1000000 1 1 10000010 1 1000000 1000000 1000000 1 10 1 10 1 100 1 1 00 0 000000 1000000 1000000 10 0000 000000 0 000000 10 1 000000 0000 0 00000 1 000000 000 000000 000000 000000 000000 000000 0 000000 0 0000 0 00000 0 00000 0 00000 0 00000 0 00000 0 0 00000 0 00000 0 00000 0 0000 0 000000 0 000000 0 00000 0 0000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 000000 0 000000 0 00000 0 00000 0 00000 0 00000 0 000000 0 000000 0 00000 0 00000 0 0000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 00000 0 0000
`

Start by reproducing the white-box distillation run with the configuration shown, including configs/chat_template/chat_template_kd.jinja and the referenced instruction, label, and logits paths. Compare behavior at 10, 20, and 30 steps and inspect the training and inference paths to identify why output repetition begins; done means the trained model no longer repeats fields and preserves the intended probability-distribution behavior.