54 lines
1.2 KiB
Markdown
54 lines
1.2 KiB
Markdown
# Day 5 Exam
|
||
|
||
## A. 代码阅读题
|
||
|
||
1. `eval_llm.py` 中 `open_thinking` 如何传给 chat template？
|
||
2. `temperature` 在 `model.generate` 中如何影响 logits？
|
||
3. `top_p` 和 `top_k` 可以同时使用吗？有什么效果？
|
||
4. `eval_toolcall.py` 的多轮工具调用循环何时停止？
|
||
5. tool call 失败时，应该先看模型输出还是工具执行？
|
||
|
||
## B. 评测设计题
|
||
|
||
为 MiniMind 设计一个 20 题小评测集，覆盖：
|
||
|
||
- 身份/自我认知
|
||
- 基础事实
|
||
- 中文表达
|
||
- 代码
|
||
- 总结
|
||
- 简单数学
|
||
- tool call
|
||
|
||
每题给出评分标准：0/1/2 分。
|
||
|
||
## C. 失败分析题
|
||
|
||
对于以下现象，写出至少 3 个可能原因：
|
||
|
||
1. 模型回答流畅但事实错误。
|
||
2. 模型重复同一句话。
|
||
3. 模型不按 JSON 输出 tool call。
|
||
4. 模型回答特别短。
|
||
5. 模型输出大量 `<think>` 但内容无意义。
|
||
|
||
## D. 实验题
|
||
|
||
用同一组 prompt，分别测试：
|
||
|
||
```bash
|
||
python eval_llm.py --weight full_sft --temperature 0.3 --top_p 0.9
|
||
python eval_llm.py --weight full_sft --temperature 0.9 --top_p 0.95
|
||
```
|
||
|
||
记录不同采样参数下：
|
||
|
||
- 稳定性
|
||
- 创造性
|
||
- 幻觉
|
||
- 重复
|
||
|
||
## E. 通过标准
|
||
|
||
你能给一个模型输出做结构化诊断，而不是只说“好”或“不好”。
|