Daoyuan Li
|
4b86522f8a
|
fix: align LoRA inference paths with training output
|
2026-09-21 23:24:55 -07:00 |
Linxiushen
|
d4b67f1783
|
[fix] serve_openai_api 非流式端点的 max_tokens 不生效，与流式端点行为不一致
非流式分支传的是 max_length，但 MiniMindForCausalLM.generate() 的签名里
没有这个形参（只有 max_new_tokens=8192），max_length 被 **kwargs 吞掉后
无人处理，于是 request.max_tokens 对生成长度零约束。
同一文件的流式分支（第117行）传的是 max_new_tokens=max_tokens，精确生效。
同一个请求参数在两条路径上行为完全不同。
判决性实验：同时传 max_length=15 与 max_new_tokens=20，
prompt 长度 10 -> 实际输出总长 30（新增 20），证明 max_length 被无视。
改为与流式分支一致的 max_new_tokens=request.max_tokens（一行）。
|
2026-09-20 11:54:35 +08:00 |
jingyaogong
|
512eed0b65
|
[fix] robustness
|
2026-06-28 18:03:34 +08:00 |
jingyaogong
|
6b0b0c5e2f
|
[update] fp16 inference
|
2026-03-27 16:29:46 +08:00 |
|
jingyaogong
|
101d7df2da
|
[update] minimind-3
|
2026-03-25 23:57:45 +08:00 |
|
jingyaogong
|
08ce3da228
|
[feat] update args
|
2025-10-30 10:48:31 +08:00 |
|
jingyaogong
|
bf123b585d
|
[feat] add args
|
2025-10-30 10:05:12 +08:00 |
|
jingyaogong
|
a62faf34bd
|
250426
|
2025-04-26 10:05:47 +08:00 |
|
jingyaogong
|
4a758564e4
|
fix top_p float bug
|
2025-04-09 16:52:20 +08:00 |
gongjy
|
c9ca0f57dc
|
update config
|
2025-02-10 00:14:11 +08:00 |
|
gongjy
|
58e3af0359
|
add minimind2
|
2025-02-09 23:49:47 +08:00 |