原始文件中已经包含了<s>和</s>句子分割符,无需在代码中重复添加 Fixes #314 |
||
|---|---|---|
| .. | ||
| __pycache__ | ||
| minimind_tokenizer | ||
| LMConfig.py | ||
| dataset.py | ||
| model.py | ||
| model_lora.py | ||
原始文件中已经包含了<s>和</s>句子分割符,无需在代码中重复添加 Fixes #314 |
||
|---|---|---|
| .. | ||
| __pycache__ | ||
| minimind_tokenizer | ||
| LMConfig.py | ||
| dataset.py | ||
| model.py | ||
| model_lora.py | ||