Resolve merge conflicts

README.md

@@ -196,7 +196,10 @@ CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
       ```
     * `python 3-eval_chat.py`测试模型的对话效果，其中测试图片在`./dataset/eval_images`下，可自行更换
       ![eval_chat](images/3-eval_chat.png)
+<<<<<<< HEAD
     * `python 5-eval_chat_multi.py`测试模型的多图对话效果，其中测试图片在`./dataset/eval_multi_images`下，可自行更换（多图数据集规模相对较小且为英文对话，数据集仅包含两图对比的场景，因此微调效果有限）。
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 
 🍭 【Tip】预训练和全参指令微调pretrain和sft均支持多卡加速
 
@@ -321,11 +324,14 @@ minimind-v使用50个字符组成的 `<<<...>>>` 占位符代替图像，
 
 ![input](./images/minimind-v-input.png)
 
+<<<<<<< HEAD
 多图实现方法就是通过注入多个\<image\>图像占位符进行实现，不需要修改任何框架。
 
 >  ps: 唯一值得注意的点是，如果在训练过程中存在不同conversations插入图片数量不同的情况，需要利用空特征将较短的特征进行填充（对应[dataset的第267行](./model/dataset.py)），以保证能够在同样大小下被dataloader读取。
 > pps: 在prompt中不需要如此做，仍旧是根据插入图像的数量来进行占位符的注入。因此，最终输入给LLM的input feature不会受填充特征的影响。
 
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 <u>至此，MiniMind-V的所有细节已经呈现完毕。</u>
 
 <u>MiniMind-V的实现未参考 **任何** 第三方代码，完全基于MiniMind尽可能做最小改动产生，故代码实现和LlaVA等模型必然存在很大区别。
@@ -376,6 +382,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
 }
 ```
 
+<<<<<<< HEAD
 多图指令微调数据集格式：
 
 ```json
@@ -415,6 +422,9 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
 注：
 + 对于指令微调，仅保留了一轮对话，训练单轮对话模型，防止小模型性能被长文本拉低。
 + 多图数据集规模相对较小且为英文对话，数据集仅包含两图对比的场景，因此微调效果有限，这里只提供一种参考思路。
+=======
+注：对于指令微调，仅保留了一轮对话，训练单轮对话模型，防止小模型性能被长文本拉低。
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 
 最终的数据集下载地址：[百度网盘](https://pan.baidu.com/s/1Nz36OBBvVBGEx-PwIb7ofg?pwd=6666) | [HuggingFace](https://huggingface.co/datasets/jingyaogong/minimind-v_dataset)
 
@@ -424,14 +434,20 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
 
 指令微调从230K条真实对话数据集中学习对图片提问的真实问答格式。
 
+<<<<<<< HEAD
 多图微调提供两个数据集，长度分别为3.5k和13.6k的真实问答格式。
 
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 `1-pretrain_vlm.py` 执行预训练，得到 `*_vlm_pretrain.pth` 作为预训练的输出权重。
 
 `2-sft_vlm.py` 执行指令微调，得到 `*_vlm_sft.pth` 作为指令微调的输出权重。
 
+<<<<<<< HEAD
 `4-sft_multi_vlm.py` 执行指令微调，得到 `*_vlm_sft_multi.pth` 作为指令微调的输出权重。
 
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 训练时均冻结visual encoder也就是clip模型，只微调Projection和LLM两部分。
 
 > Pretrain 512+8 模型 (训练时间和Loss参考图)
@@ -461,7 +477,10 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
 
 ### 效果测试
 
+<<<<<<< HEAD
 #### 单图对话
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 <table>
   <thead>
     <tr>
@@ -546,6 +565,7 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
   </tbody>
 </table>
 
+<<<<<<< HEAD
 #### 多图对话（效果十分有限）
 
 <table>
@@ -565,6 +585,8 @@ MiniMind-V与MiniMind的代码核心改动不超过100行，上手难度低。</
   </tbody>
 </table>
 
+=======
+>>>>>>> 606d58814fb72b49674ce4fdd47aed1e7f36d827
 ### 启动推理
 
 ```bash

model/dataset.py

@@ -275,4 +275,4 @@ class SFTDataset_multi(Dataset):
             if i < max_images:
                 padded_image_encoders[i] = img_enc.squeeze(0)
 
-        return X_tensor, Y_tensor, loss_mask_tensor, padded_image_encoders
+        return X_tensor, Y_tensor, loss_mask_tensor, padded_image_encoders