在预训练阶段,pretrain_hq.jsonl文件中已经用和将句子分割,在dataset.py文件构建输入文本时,再次在头部和尾部添加了和,有重复。 fix #314 |
||
|---|---|---|
| .. | ||
| minimind_tokenizer | ||
| LMConfig.py | ||
| dataset.py | ||
| model.py | ||
| model_lora.py | ||
在预训练阶段,pretrain_hq.jsonl文件中已经用和将句子分割,在dataset.py文件构建输入文本时,再次在头部和尾部添加了和,有重复。 fix #314 |
||
|---|---|---|
| .. | ||
| minimind_tokenizer | ||
| LMConfig.py | ||
| dataset.py | ||
| model.py | ||
| model_lora.py | ||