cd36b4a013
[fix] decide native-vs-transformers loading by directory name, not substring
...
"model" in args.load_from matched any path containing "model" (for
example a Hugging Face cache path or /data/models/...), so the scripts
loaded ./out/*.pth instead of the transformers checkpoint the user
passed. Compare the last path component with "model" instead.
Signed-off-by: YoungjuKim <fjvbn2003@gmail.com>
2026-10-17 03:53:56 +09:00
4b86522f8a
fix: align LoRA inference paths with training output
2026-09-21 23:24:55 -07:00
d4b67f1783
[fix] serve_openai_api 非流式端点的 max_tokens 不生效，与流式端点行为不一致
...
非流式分支传的是 max_length，但 MiniMindForCausalLM.generate() 的签名里
没有这个形参（只有 max_new_tokens=8192），max_length 被 **kwargs 吞掉后
无人处理，于是 request.max_tokens 对生成长度零约束。
同一文件的流式分支（第117行）传的是 max_new_tokens=max_tokens，精确生效。
同一个请求参数在两条路径上行为完全不同。
判决性实验：同时传 max_length=15 与 max_new_tokens=20，
prompt 长度 10 -> 实际输出总长 30（新增 20），证明 max_length 被无视。
改为与流式分支一致的 max_new_tokens=request.max_tokens（一行）。
2026-09-20 11:54:35 +08:00
512eed0b65
[fix] robustness
2026-06-28 18:03:34 +08:00
6b0b0c5e2f
[update] fp16 inference
2026-03-27 16:29:46 +08:00
101d7df2da
[update] minimind-3
2026-03-25 23:57:45 +08:00
08ce3da228
[feat] update args
2025-10-30 10:48:31 +08:00
bf123b585d
[feat] add args
2025-10-30 10:05:12 +08:00
a62faf34bd
250426
2025-04-26 10:05:47 +08:00
4a758564e4
fix top_p float bug
2025-04-09 16:52:20 +08:00
c9ca0f57dc
update config
2025-02-10 00:14:11 +08:00
58e3af0359
add minimind2
2025-02-09 23:49:47 +08:00
YoungjuKim
Daoyuan Li
Linxiushen
jingyaogong
jingyaogong
gongjy