minimind/model
cn-farmer ad741354b0 fix ( model/dataset.py )
在预训练阶段,pretrain_hq.jsonl文件中已经用和将句子分割,在dataset.py文件构建输入文本时,再次在头部和尾部添加了和,有重复。

fix #314
2025-04-02 10:37:58 +08:00
..
minimind_tokenizer add minimind2 2025-02-09 23:49:47 +08:00
LMConfig.py add minimind2 2025-02-09 23:49:47 +08:00
dataset.py fix ( model/dataset.py ) 2025-04-02 10:37:58 +08:00
model.py rmsnorm float convert 2025-04-01 16:03:44 +08:00
model_lora.py add minimind2 2025-02-09 23:49:47 +08:00