minimind

Commit Graph

Author	SHA1	Message	Date
Linxiushen	7c2abda586	[feat] get_lr 支持可选的线性 warmup（默认关闭，行为不变） get_lr 在 current_step=0 时返回 lr(0.1+0.452) = 满 lr，没有 warmup。从随机初始化开始的预训练在前几十步梯度范数通常是稳态的若干倍，满 lr 容易把刚初始化的权重推坏。改动保持默认行为逐值不变： - get_lr 新增 warmup_frac=0.0 参数；为 0 时走原来的表达式，不做任何改动 - 5 个共用该函数的脚本（train_pretrain / train_full_sft / train_lora / train_dpo / train_distillation）各加一个 --warmup_frac，默认 0.0 验证：在 total_steps ∈ {100, 1000, 7339, 39634} 上取 398 个点， warmup_frac=0 与原实现的最大差异是 0.000e+00。	2026-09-20 11:08:40 +08:00

Author

SHA1

Message

Date

Linxiushen

7c2abda586

[feat] get_lr 支持可选的线性 warmup（默认关闭，行为不变）

get_lr 在 current_step=0 时返回 lr*(0.1+0.45*2) = 满 lr，没有 warmup。
从随机初始化开始的预训练在前几十步梯度范数通常是稳态的若干倍，
满 lr 容易把刚初始化的权重推坏。

改动保持默认行为逐值不变：
- get_lr 新增 warmup_frac=0.0 参数；为 0 时走原来的表达式，不做任何改动
- 5 个共用该函数的脚本（train_pretrain / train_full_sft / train_lora /
  train_dpo / train_distillation）各加一个 --warmup_frac，默认 0.0

验证：在 total_steps ∈ {100, 1000, 7339, 39634} 上取 398 个点，
warmup_frac=0 与原实现的最大差异是 0.000e+00。

2026-09-20 11:08:40 +08:00

1 Commits (7c2abda586d95b155393016f9aa1da4489ba0250)