Resolve merge conflicts
xinyanghuang7
commit
2d946a4eb4
22
README.md
22
README.md
|
|
@ -196,7 +196,10 @@ CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
|
|||
```
|
||||
* `python 3-eval_chat.py`测试模型的对话效果，其中测试图片在`./dataset/eval_images`下，可自行更换
|
||||
|
||||
<<<<<<< HEAD
|
||||
* `python 5-eval_chat_multi.py`测试模型的多图对话效果，其中测试图片在`./dataset/eval_multi_images`下，可自行更换（多图数据集规模相对较小且为英文对话，数据集仅包含两图对比的场景，因此微调效果有限）。
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
|
||||
🍭 【Tip】预训练和全参指令微调pretrain和sft均支持多卡加速
|
||||
|
||||
|
|
@ -321,11 +324,14 @@ minimind-v使用50个字符组成的 `<<<...>>>` 占位符代替图像，
|
|||
|
||||
|
||||
|
||||
<<<<<<< HEAD
|
||||
多图实现方法就是通过注入多个\<image\>图像占位符进行实现，不需要修改任何框架。
|
||||
|
||||
> ps: 唯一值得注意的点是，如果在训练过程中存在不同conversations插入图片数量不同的情况，需要利用空特征将较短的特征进行填充（对应[dataset的第267行](./model/dataset.py)），以保证能够在同样大小下被dataloader读取。
|
||||
> pps: 在prompt中不需要如此做，仍旧是根据插入图像的数量来进行占位符的注入。因此，最终输入给LLM的input feature不会受填充特征的影响。
|
||||
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
<u>至此，MiniMind-V的所有细节已经呈现完毕。</u>
|
||||
|
||||
<u>MiniMind-V的实现未参考 **任何** 第三方代码，完全基于MiniMind尽可能做最小改动产生，故代码实现和LlaVA等模型必然存在很大区别。
|
||||
|
|
@ -376,6 +382,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
}
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
多图指令微调数据集格式：
|
||||
|
||||
```json
|
||||
|
|
@ -415,6 +422,9 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
注：
|
||||
+ 对于指令微调，仅保留了一轮对话，训练单轮对话模型，防止小模型性能被长文本拉低。
|
||||
+ 多图数据集规模相对较小且为英文对话，数据集仅包含两图对比的场景，因此微调效果有限，这里只提供一种参考思路。
|
||||
=======
|
||||
注：对于指令微调，仅保留了一轮对话，训练单轮对话模型，防止小模型性能被长文本拉低。
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
|
||||
最终的数据集下载地址：[百度网盘](https://pan.baidu.com/s/1Nz36OBBvVBGEx-PwIb7ofg?pwd=6666) | [HuggingFace](https://huggingface.co/datasets/jingyaogong/minimind-v_dataset)
|
||||
|
||||
|
|
@ -424,14 +434,20 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
|
||||
指令微调从230K条真实对话数据集中学习对图片提问的真实问答格式。
|
||||
|
||||
<<<<<<< HEAD
|
||||
多图微调提供两个数据集，长度分别为3.5k和13.6k的真实问答格式。
|
||||
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
`1-pretrain_vlm.py` 执行预训练，得到 `*_vlm_pretrain.pth` 作为预训练的输出权重。
|
||||
|
||||
`2-sft_vlm.py` 执行指令微调，得到 `*_vlm_sft.pth` 作为指令微调的输出权重。
|
||||
|
||||
<<<<<<< HEAD
|
||||
`4-sft_multi_vlm.py` 执行指令微调，得到 `*_vlm_sft_multi.pth` 作为指令微调的输出权重。
|
||||
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
训练时均冻结visual encoder也就是clip模型，只微调Projection和LLM两部分。
|
||||
|
||||
> Pretrain 512+8 模型 (训练时间和Loss参考图)
|
||||
|
|
@ -461,7 +477,10 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
|
||||
### 效果测试
|
||||
|
||||
<<<<<<< HEAD
|
||||
#### 单图对话
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
|
|
@ -546,6 +565,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
</tbody>
|
||||
</table>
|
||||
|
||||
<<<<<<< HEAD
|
||||
#### 多图对话（效果十分有限）
|
||||
|
||||
<table>
|
||||
|
|
@ -565,6 +585,8 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
|
|||
</tbody>
|
||||
</table>
|
||||
|
||||
=======
|
||||
>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
|
||||
### 启动推理
|
||||
|
||||
```bash
|
||||
|
|
|
|||
Loading…
Reference in New Issue