github
/
minimind
mirror of https://github.com/jingyaogong/minimind.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

Updated Home (markdown)

master
jingyaogong 2026-03-15 21:11:08 +08:00
parent 49f6417efe
commit 4d9e53b483
1 changed files with 5 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
Home.md

@ -11,19 +11,19 @@
LLM，即大语言模型，本质上是一个“token接龙”高手，它不断预测下一个词符。这种推理生成方式被称为**自回归模型**，因为模型的输出会作为下一轮的输入，形成一个循环。 LLM，即大语言模型，本质上是一个“token接龙”高手，它不断预测下一个词符。这种推理生成方式被称为**自回归模型**，因为模型的输出会作为下一轮的输入，形成一个循环。
![img.png](https://github.com/jingyaogong/minimind/blob/master/images/1-wiki.png) ![](https://github.com/user-attachments/assets/3b27a483-e4b0-4ec1-960e-69296019ab02)
想象一下，一个初出茅庐的随机大模型，面对输入，它预测的下一个字符完全是随机的，就像在词表中随意指点江山。它对输入与下一个词符之间的联系一无所知，如同一个懵懂的孩童。 想象一下，一个初出茅庐的随机大模型，面对输入，它预测的下一个字符完全是随机的，就像在词表中随意指点江山。它对输入与下一个词符之间的联系一无所知，如同一个懵懂的孩童。
![img.png](https://github.com/jingyaogong/minimind/blob/master/images/2-wiki.png) ![](https://github.com/user-attachments/assets/9d044573-b78a-40be-aa50-8a78bac800ca)
那么，它是如何学习的呢？在自注意力机制中，通过为qk增加掩码，softmax后将负无穷对应到0，隐藏掉n字符以后的内容。这样，输出的第n+1个字符只能关注到前n个字符，如同戴上了一副“只看过去”的眼镜。 那么，它是如何学习的呢？在自注意力机制中，通过为qk增加掩码，softmax后将负无穷对应到0，隐藏掉n字符以后的内容。这样，输出的第n+1个字符只能关注到前n个字符，如同戴上了一副“只看过去”的眼镜。
![img.png](https://github.com/jingyaogong/minimind/blob/master/images/3-wiki.png) ![](https://github.com/user-attachments/assets/d92a91d0-112b-4536-8ba8-381e4e7ba334)
![img.png](https://github.com/jingyaogong/minimind/blob/master/images/5-wiki.png) ![](https://github.com/user-attachments/assets/152b9005-8ff2-48c5-bda0-be1fda7769d6)
有了明确的输入、输出和损失函数，再加上并行化的助力，我们就可以愉快地开始炼丹了。大模型从一个随机混沌的状态，逐渐学会输入与下一个词符之间的潜在联系。它预测下一个词的能力越来越娴熟，水平越来越高，仿佛从一个懵懂的孩童成长为一位博学的智者。 有了明确的输入、输出和损失函数，再加上并行化的助力，我们就可以愉快地开始炼丹了。大模型从一个随机混沌的状态，逐渐学会输入与下一个词符之间的潜在联系。它预测下一个词的能力越来越娴熟，水平越来越高，仿佛从一个懵懂的孩童成长为一位博学的智者。
![img.png](https://github.com/jingyaogong/minimind/blob/master/images/4-wiki.png) ![](https://github.com/user-attachments/assets/225ab4d2-7c51-4856-b8a9-b1b3db4de5f6)
当然，以上只是为了便于理解而抽象出来的过程。实际上，大模型的输入是由数字组成的张量，而非自然语言字符。自然语言通过tokenizer（可以理解为一种词典）映射到词典的页码数字，进行输入计算。得到的输出数字再利用词典进行解码，重新得到自然语言。输出同样是一个N*len(tokenizer)的多分类概率张量，在Topk中选出的有概率的token，得到下一个词。损失函数则通过交叉熵损失函数进行计算。 当然，以上只是为了便于理解而抽象出来的过程。实际上，大模型的输入是由数字组成的张量，而非自然语言字符。自然语言通过tokenizer（可以理解为一种词典）映射到词典的页码数字，进行输入计算。得到的输出数字再利用词典进行解码，重新得到自然语言。输出同样是一个N*len(tokenizer)的多分类概率张量，在Topk中选出的有概率的token，得到下一个词。损失函数则通过交叉熵损失函数进行计算。