58 lines
1.5 KiB
Markdown
58 lines
1.5 KiB
Markdown
# Day 7 Prereading: 总复盘、交付、工程化思维
|
||
|
||
## 今日目标
|
||
|
||
今天不再堆新内容。你要把一周训练流程整理成可复现报告，并完成最终考核。
|
||
|
||
## 必须掌握的基础概念
|
||
|
||
- Reproducibility：别人能按你的记录复现结果。
|
||
- Ablation：只改变一个变量观察影响。
|
||
- Baseline：每次改动都要和基线比较。
|
||
- Checkpoint hygiene：权重命名、保存、恢复、版本管理清晰。
|
||
- Evaluation discipline：固定测试集、记录失败、不挑样例。
|
||
|
||
## 面试考点
|
||
|
||
- 从零训练一个小 LLM 的完整流程是什么？
|
||
- Pretrain、SFT、DPO/GRPO、Distillation 的顺序和作用是什么？
|
||
- 训练中你最关注哪些指标？
|
||
- 如果效果不好，你如何定位是数据、模型、优化还是评测问题？
|
||
- 如何把研究代码变成可靠训练 pipeline？
|
||
|
||
## 工业要求
|
||
|
||
- 命令可复制。
|
||
- 数据路径明确。
|
||
- 权重命名明确。
|
||
- 每个实验有目的、有结果、有结论。
|
||
- 失败样例和成功样例一样重要。
|
||
- 不把一次随机生成当作模型能力结论。
|
||
|
||
## 今日交付
|
||
|
||
1. `training_log.md`
|
||
2. `eval_report.md`
|
||
3. `code_understanding.md`
|
||
4. `final_exam_answers.md`
|
||
|
||
建议结构：
|
||
|
||
```text
|
||
环境
|
||
数据
|
||
模型配置
|
||
训练命令
|
||
loss 记录
|
||
推理评测
|
||
失败分析
|
||
后训练理解
|
||
下一步计划
|
||
```
|
||
|
||
## 今日注意事项
|
||
|
||
- 不要隐藏没跑通的部分。
|
||
- 不要只写结论，要写证据。
|
||
- 不要凭感觉说模型变好，要给对比样例。
|