github
/
minimind
mirror of https://github.com/jingyaogong/minimind.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

Little typo

pull/262/head
SeanHH86 2025-03-09 14:15:45 +08:00 committed by GitHub
parent 04b56ea86c
commit 547e0ab2d6
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
README.md
View File

@ -837,7 +837,7 @@ MiniMind2第一时间只能坚定不移的选择做蒸馏派，日后基于0.1B
loss_mask[sp_ids] = 10 # 惩罚系数 loss_mask[sp_ids] = 10 # 惩罚系数
``` ```
另另一个tips是由于推理数据由于只筛选了`<1024`长度的数据，其中多轮对话和英文数据偏少， 另一个tips是由于推理数据由于只筛选了`<1024`长度的数据，其中多轮对话和英文数据偏少，
因此`r1_mix_1024.jsonl`进行了大约10k条多轮对话+英文数据的混合，防止模型遗忘严重。 因此`r1_mix_1024.jsonl`进行了大约10k条多轮对话+英文数据的混合，防止模型遗忘严重。
脚本默认基于rlhf后的基模型做推理能力的蒸馏微调，下面直接启动训练即可： 脚本默认基于rlhf后的基模型做推理能力的蒸馏微调，下面直接启动训练即可：