原本的lora只作用于方阵上,也就是q_proj和o_proj。修改完会同时作用于qkvo |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| model_lora.py | ||
| model_minimind.py | ||
| tokenizer.json | ||
| tokenizer_config.json | ||
原本的lora只作用于方阵上,也就是q_proj和o_proj。修改完会同时作用于qkvo |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| model_lora.py | ||
| model_minimind.py | ||
| tokenizer.json | ||
| tokenizer_config.json | ||