minimind/learning/README.md

847 B

MiniMind 7-Day Training Learning Plan

目标:用 7 天、约 60 小时,亲手训练并理解 MiniMind 的核心训练链路。

每天包含 3 个文件:

  • 01_prereading.md:实战前必须掌握的基础概念、面试考点、工业要求、训练注意事项。
  • 02_deep_dive.md:结合本项目代码深入拆解一个或多个关键训练问题。
  • 03_exam.md:当天考核,包含代码阅读题、手写推导题、实验题和复盘题。

推荐顺序:

  1. 先读 01_prereading.md,补齐概念。
  2. 再按 02_deep_dive.md 打开项目代码,边读边做小实验。
  3. 最后完成 03_exam.md,把答案写到自己的训练日志里。

最终交付:

  • out/pretrain_768.pth
  • out/full_sft_768.pth
  • 训练日志和 loss 曲线记录
  • 评测报告
  • 至少一份 RL 或蒸馏算法理解报告