MLLM模型基本范式：
1.主要調(diào)研InternVL 2.0-40B
InternVL2-40B: 總計(jì) 40.07B; Vit: 5.54B; 143.17M；LLM: 34.39B
stage1訓(xùn)練數(shù)據(jù)：我們?cè)贗nternVL 1.5中使用的預(yù)訓(xùn)練數(shù)據(jù)集擴(kuò)展了從多種來(lái)源收集的數(shù)據(jù)。這些數(shù)據(jù)集覆蓋了多個(gè)任務(wù)，包括標(biāo)題生成、視覺(jué)問(wèn)答、檢測(cè)、定位和OCR。
stage2訓(xùn)練數(shù)據(jù)： 包括了諸如EgoTaskQA、Mementos、STAR、NTU RGB+D、VideoChat2IT和LSMDC-QA這樣的視頻數(shù)據(jù)，以及Medical-Diff-VQA、Pathology-VQA、PMC-CaseReport、PMC-VQA、Slake和VQA-RAD這樣的醫(yī)療數(shù)據(jù)。我們還包括了SROIE、FUNSD和POIE，以進(jìn)一步增強(qiáng)模型識(shí)別手寫(xiě)字體的能力。
1.1 模型評(píng)估和數(shù)據(jù)集：
-
OmniCorpus最大圖文交錯(cuò)數(shù)據(jù)集：論文標(biāo)題：OmniCorpus: A Unified Multimodal Corpus of 10 Billion-Level Images Interleaved with Text
論文鏈接：https://arxiv.org/pdf/2406.08418
GitHub：https://github.com/OpenGVLab/Om -
MM-NIAH（首個(gè)針對(duì)多模態(tài)長(zhǎng)文檔理解能力的評(píng)測(cè)基準(zhǔn)）
論文標(biāo)題：Needle In A Multimodal Haystack
論文鏈接：https://arxiv.org/pdf/2406.07230 【提出了“多模態(tài)干草堆中的針（MM-NIAH）”】
GitHub：GitHub - OpenGVLab/MM-NIAH: This is the official implementation of the paper "Needle In A Multimodal Haystack"
三種類(lèi)型的評(píng)估任務(wù)：多模態(tài)檢索、計(jì)數(shù)和推理。
1.2 Mini-InternVL：
技術(shù)報(bào)告：https://internvl.github.io/blog/2024-05-25-Mini-InternVL-1.5/
OpenGVLab：InternVL 1.5迷你款來(lái)了！8%的參數(shù)=80%的性能，一塊1080Ti 就能跑！
1.3 InternVL-1.5：
論文標(biāo)題：How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites
論文鏈接：https://arxiv.org/pdf/2404.1682
具有卓越的bilingual能力，尤其Chinese相關(guān)任務(wù)中。模型基于"Vit-MLP-LLM"架構(gòu)，結(jié)合了InternVit-6B視覺(jué)編碼器和InternLM2-20B語(yǔ)言模型，并通過(guò)動(dòng)態(tài)分辨率策略和數(shù)據(jù)翻譯管道來(lái)增強(qiáng)其對(duì)不同語(yǔ)言和圖像分辨率的支持。
模型結(jié)構(gòu)： ViT-MLP-LLM架構(gòu)，通過(guò)MLP投影器將預(yù)訓(xùn)練的InternVit-6B和InternLM2-20B結(jié)合，此處還采用簡(jiǎn)單的pixel shuffle方法，將視覺(jué)tokens的數(shù)量減少到四分之一。
1.4 InternVL：
InternVL模型結(jié)構(gòu)，訓(xùn)練方法(3個(gè)漸進(jìn)階段) 注意加圖 ：包括視覺(jué)-語(yǔ)言對(duì)比訓(xùn)練、視覺(jué)-語(yǔ)言生成訓(xùn)練和監(jiān)督式微調(diào)。這些階段有效利用不同來(lái)源的公開(kāi)數(shù)據(jù)。中間有些trainable, frozen和share weight。
訓(xùn)練過(guò)程：
1階段：采用LLama-7B編碼文本為, InternViT-6B來(lái)提取視覺(jué)特征
, 遵循CLIP的目標(biāo)函數(shù)，在圖像-文本對(duì)的相似度分?jǐn)?shù)上最小化一個(gè)對(duì)稱(chēng)的交叉熵?fù)p失。數(shù)據(jù)集清洗后的49.8億圖像-文本對(duì)。。所有參數(shù)完全可訓(xùn)練
2階段：視覺(jué)-語(yǔ)言生成訓(xùn)練：將InternVit-6B和QLLama連接起來(lái)，采用生成訓(xùn)練策略。具體來(lái)說(shuō)，QLLaMa繼承第一階段LLaMA-7B權(quán)重，保持InterVit-6B和QLLaMA凍結(jié)，只用過(guò)濾后的高質(zhì)量數(shù)據(jù)訓(xùn)練新增加的可學(xué)習(xí)查詢(xún)和交叉注意力層。進(jìn)一步過(guò)濾低質(zhì)量標(biāo)題數(shù)據(jù)，從一階段49.8億減少到10億。保持InternVit-6B、QLLaMa凍結(jié)，只訓(xùn)練參數(shù)
3階段：一種單獨(dú)使用InternVit-6B，另一種是使用整個(gè)InternVL模型。使用高質(zhì)量Caption/VQA/多輪對(duì)話數(shù)據(jù)(4M)進(jìn)行sft訓(xùn)練。
1.5 InternViT模型：【 InternVit-6B(https://zhuanlan.zhihu.com/p/427388113)】
Vit：切分image到固定的圖片塊，將這些圖片塊拉平成序列，加入positionembedding喂入標(biāo)準(zhǔn)Transformer encoder。在頭部加一個(gè)類(lèi)似的[CLS]標(biāo)簽，用于處理分類(lèi)任務(wù)。主要特殊部分是patchEmbedding，其余部分和transformer類(lèi)似。
PatchEmbedding: 具體處理input x的維度是
class PatchEmbed(nn.Module):
""" 2D Image to Patch Embedding
"""
def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768, norm_layer=None, flatten=True):
super().__init__()
# img_size = (img_size, img_size)
img_size = to_2tuple(img_size)
patch_size = to_2tuple(patch_size)
self.img_size = img_size
self.patch_size = patch_size
self.grid_size = (img_size[0] // patch_size[0], img_size[1] // patch_size[1])
self.num_patches = self.grid_size[0] * self.grid_size[1]
self.flatten = flatten
# 輸入通道，輸出通道，卷積核大小，步長(zhǎng)
# C*H*W->embed_dim*grid_size*grid_size
self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)
self.norm = norm_layer(embed_dim) if norm_layer else nn.Identity()
def forward(self, x):
B, C, H, W = x.shape
assert H == self.img_size[0] and W == self.img_size[1], \
f"Input image size ({H}*{W}) doesn't match model ({self.img_size[0]}*{self.img_size[1]})."
x = self.proj(x)
if self.flatten:
x = x.flatten(2).transpose(1, 2) # BCHW -> BNC
x = self.norm(x)
return x
1.6 Pixel Shuffle和Dynamic High Resolution和CrossAttention
PixelShuffle：參考torch.nn.PixelShuffle(upscale_factor), 維度 ，reshape成
。
DynamicHighResolution: 對(duì)輸入圖片是resize成448的倍數(shù)，設(shè)置比例2:3，(), 然后按照預(yù)定義尺寸比例從圖片上crop相應(yīng)區(qū)域。這里resize比例2:3是find_closet_aspect_ratio和aspect_ratio獲取最優(yōu)比例.同時(shí)還會(huì)將整個(gè)圖片resize成448*448作為 thumbnail, 接在序列最后。
Cross Attention: 還是傳統(tǒng)QKV, 但是Query, 來(lái)自一個(gè)模態(tài)的表示(如文本)， 但是Key和Value，來(lái)自另外一個(gè)模態(tài)的表示.
1.7 CLIP(Constrasive Language-Image Pre-training):
算法原理: 文本和圖像在特征域進(jìn)行對(duì)齊, 分別對(duì)image和text進(jìn)行特征提取, 提取到特征以后, 做了normalize, 直接相乘來(lái)計(jì)算余弦距離, 同一pair對(duì)的結(jié)果趨于1, 不同pair趨于0, 采用constrasive loss.
1.8 InternVL訓(xùn)練完成后，使用方法：
- InternVL-使用方法
PS:
