d97e47c408
- learning/day01/04_qa_notes.md: 第一天实操问答笔记（环境搭建、虚拟环境、 数据流与打点、数据清洗流水线、nvidia-smi 解读、batch/LR 缩放） - .vscode/launch.json: VSCode 调试配置（train_pretrain + 当前文件） - train_pretrain.py: batch_size 默认值 32 -> 128 - .gitignore: 忽略 checkpoints/ 和 dataset/*.jsonl 大文件 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| day01 | ||
| day02 | ||
| day03 | ||
| day04 | ||
| day05 | ||
| day06 | ||
| day07 | ||
| README.md | ||
README.md
MiniMind 7-Day Training Learning Plan
目标：用 7 天、约 60 小时，亲手训练并理解 MiniMind 的核心训练链路。
每天包含 3 个文件：
01_prereading.md：实战前必须掌握的基础概念、面试考点、工业要求、训练注意事项。02_deep_dive.md：结合本项目代码深入拆解一个或多个关键训练问题。03_exam.md：当天考核，包含代码阅读题、手写推导题、实验题和复盘题。
推荐顺序：
- 先读
01_prereading.md，补齐概念。 - 再按
02_deep_dive.md打开项目代码，边读边做小实验。 - 最后完成
03_exam.md，把答案写到自己的训练日志里。
最终交付：
out/pretrain_768.pthout/full_sft_768.pth- 训练日志和 loss 曲线记录
- 评测报告
- 至少一份 RL 或蒸馏算法理解报告