Linxiushen
|
d6401cbb92
|
[fix] PretrainDataset 按 token id 屏蔽 padding，会误伤正文里字面的 <|endoftext|>
pad_token 是 <|endoftext|>(id 0)。正文里字面出现这个串时会被编成同一个 id，
而 labels[input_ids == pad_token_id] = -100 是按 token id 屏蔽的，
于是这个真实的正文 token 被当成 padding 从 loss 里丢掉。
改为按位置屏蔽 labels[n_real:] = -100，n_real = len(bos + 正文 + eos)。
padding 只可能出现在序列尾部，所以按位置屏蔽在语义上更准确，也更便宜。
SFTDataset 不受影响：它的 generate_labels 从全 -100 出发、扫描
assistant 区间来填，不依赖 pad id。
|
2026-09-20 10:36:32 +08:00 |
jingyaogong
|
101d7df2da
|
[update] minimind-3
|
2026-03-25 23:57:45 +08:00 |
|
jingyaogong
|
349e74ec7b
|
[update] empty_think_ratio
|
2026-02-06 19:15:21 +08:00 |
|
jingyaogong
|
288e1ac02a
|
[update] empty_think_ratio
|
2026-02-06 01:36:02 +08:00 |
|
jingyaogong
|
ccc190da05
|
[feat] data process
|
2026-02-06 01:17:57 +08:00 |
|
jingyaogong
|
3a5aba82db
|
[fix] max length
|
2026-01-17 13:26:14 +08:00 |
|
jingyaogong
|
714abcf802
|
[update] pretrain load
|
2026-01-17 12:00:17 +08:00 |
|
jingyaogong
|
aa539a824a
|
[update] align mask
|
2026-01-15 11:20:41 +08:00 |
|
jingyaogong
|
c090b69c4d
|
[update] align loss
|
2026-01-15 00:56:32 +08:00 |
|
jingyaogong
|
f55d4c32a0
|
[update] mask log
|
2026-01-07 22:12:26 +08:00 |
|
jingyaogong
|
7641985d14
|
[update] simplify loader
|
2026-01-06 01:20:52 +08:00 |
|
jingyaogong
|
4a5c9f5ece
|
[feat] stream load data
|
2025-12-28 16:58:52 +08:00 |
|
jingyaogong
|
fe24501602
|
[feat] adjust seq length
|
2025-12-14 20:41:58 +08:00 |
|
jingyaogong
|
ce693f8e7f
|
[fix] git track
|
2025-10-21 23:09:00 +08:00 |
|
jingyaogong
|
7d877db79b
|
[feat] minimind-2510
|
2025-10-21 21:19:47 +08:00 |
|
jingyaogong
|
274483cb1b
|
250426
|
2025-04-26 10:07:55 +08:00 |