diff --git a/README.md b/README.md index 92cc82c..ca42ed8 100644 --- a/README.md +++ b/README.md @@ -196,7 +196,10 @@ CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz ``` * `python 3-eval_chat.py`测试模型的对话效果,其中测试图片在`./dataset/eval_images`下,可自行更换 ![eval_chat](images/3-eval_chat.png) +<<<<<<< HEAD * `python 5-eval_chat_multi.py`测试模型的多图对话效果,其中测试图片在`./dataset/eval_multi_images`下,可自行更换(多图数据集规模相对较小且为英文对话,数据集仅包含两图对比的场景,因此微调效果有限)。 +======= +>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 🍭 【Tip】预训练和全参指令微调pretrain和sft均支持多卡加速 @@ -321,11 +324,14 @@ minimind-v使用50个字符组成的 `<<<...>>>` 占位符代替图像, ![input](./images/minimind-v-input.png) +<<<<<<< HEAD 多图实现方法就是通过注入多个\图像占位符进行实现,不需要修改任何框架。 > ps: 唯一值得注意的点是,如果在训练过程中存在不同conversations插入图片数量不同的情况,需要利用空特征将较短的特征进行填充(对应[dataset的第267行](./model/dataset.py)),以保证能够在同样大小下被dataloader读取。 > pps: 在prompt中不需要如此做,仍旧是根据插入图像的数量来进行占位符的注入。因此,最终输入给LLM的input feature不会受填充特征的影响。 +======= +>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 至此,MiniMind-V的所有细节已经呈现完毕。 MiniMind-V的实现未参考 **任何** 第三方代码,完全基于MiniMind尽可能做最小改动产生,故代码实现和LlaVA等模型必然存在很大区别。 @@ -376,6 +382,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行,上手难度低。>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 最终的数据集下载地址:[百度网盘](https://pan.baidu.com/s/1Nz36OBBvVBGEx-PwIb7ofg?pwd=6666) | [HuggingFace](https://huggingface.co/datasets/jingyaogong/minimind-v_dataset) @@ -424,14 +434,20 @@ MiniMind-V与MiniMind的代码核心改动不超过100行,上手难度低。>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 `1-pretrain_vlm.py` 执行预训练,得到 `*_vlm_pretrain.pth` 作为预训练的输出权重。 `2-sft_vlm.py` 执行指令微调,得到 `*_vlm_sft.pth` 作为指令微调的输出权重。 +<<<<<<< HEAD `4-sft_multi_vlm.py` 执行指令微调,得到 `*_vlm_sft_multi.pth` 作为指令微调的输出权重。 +======= +>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 训练时均冻结visual encoder也就是clip模型,只微调Projection和LLM两部分。 > Pretrain 512+8 模型 (训练时间和Loss参考图) @@ -461,7 +477,10 @@ MiniMind-V与MiniMind的代码核心改动不超过100行,上手难度低。>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 @@ -546,6 +565,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行,上手难度低。
+<<<<<<< HEAD #### 多图对话(效果十分有限) @@ -565,6 +585,8 @@ MiniMind-V与MiniMind的代码核心改动不超过100行,上手难度低。
+======= +>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827 ### 启动推理 ```bash diff --git a/model/dataset.py b/model/dataset.py index c7ef5d5..f5b7511 100644 --- a/model/dataset.py +++ b/model/dataset.py @@ -275,4 +275,4 @@ class SFTDataset_multi(Dataset): if i < max_images: padded_image_encoders[i] = img_enc.squeeze(0) - return X_tensor, Y_tensor, loss_mask_tensor, padded_image_encoders \ No newline at end of file + return X_tensor, Y_tensor, loss_mask_tensor, padded_image_encoders