2.0 KiB
2.0 KiB
Welcome to MiniMind!
📌 项目简介
MiniMind 是一个完全从 0 开始训练的超小语言模型项目，仅需 3 块钱成本 + 2 小时即可训练出仅为 26M 的语言模型！
- MiniMind 系列极其轻量，最小版本体积是 GPT-3 的 1/7000
- 项目开源了大模型的极简结构，包含：
- 混合专家模型（MoE）
- 数据集清洗
- 预训练（Pretrain）
- 监督微调（SFT）
- LoRA 微调
- 直接偏好优化（DPO）
- 模型蒸馏
- 所有核心算法代码均从 0 使用 PyTorch 原生重构，不依赖第三方抽象接口
- 这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程
!!! note "训练成本" "2小时" 基于 NVIDIA 3090 硬件设备（单卡）测试，"3块钱" 指 GPU 服务器租用成本
✨ 主要特点
- 超低成本：单卡 3090，2 小时，3 块钱即可从 0 训练 ChatBot
- 完整流程：涵盖 Tokenizer、预训练、SFT、LoRA、DPO、蒸馏全流程
- 教育友好：代码简洁，适合学习 LLM 原理
- 生态兼容：支持
transformers、llama.cpp、vllm、ollama等主流框架
📊 模型列表
| 模型 (大小) | 推理占用 (约) | Release |
|---|---|---|
| MiniMind2-small (26M) | 0.5 GB | 2025.04.26 |
| MiniMind2-MoE (145M) | 1.0 GB | 2025.04.26 |
| MiniMind2 (104M) | 1.0 GB | 2025.04.26 |
🚀 快速导航
🔗 相关链接
- GitHub: https://github.com/jingyaogong/minimind
- HuggingFace: MiniMind Collection
- ModelScope: MiniMind 模型
- 在线体验: ModelScope 创空间