比學(xué)習(xí)、Prompt工程與多模態(tài)應(yīng)用實(shí)踐)
先說一個(gè)可能讓很多人意外的事實(shí)CLIP之所以能在2021年之后深刻改變整個(gè)AI視覺領(lǐng)域靠的不是“更深的網(wǎng)絡(luò)”或“更強(qiáng)的算力”而是一個(gè)聽起來特別樸素的思路——讓模型同時(shí)看圖和看字然后自己悟出“圖”和“字”之間的對(duì)應(yīng)關(guān)系。這個(gè)思路放到今天看幾乎成了多模態(tài)模型的“標(biāo)準(zhǔn)答案”但在當(dāng)時(shí)OpenAI團(tuán)隊(duì)是頂著“用4億張圖訓(xùn)練一個(gè)分類器”的巨大質(zhì)疑干出來的。作為一名從ResNet時(shí)代一路折騰過來的算法工程師我第一次讀完CLIP論文時(shí)腦子里只有一個(gè)想法這玩意兒把“視覺任務(wù)”的定義徹底改寫了原來“教AI看懂世界”這件事根本不需要人工標(biāo)注的固定標(biāo)簽集合而是可以讓模型從自然語(yǔ)言里自己學(xué)會(huì)“世界長(zhǎng)什么樣”。這篇文章想系統(tǒng)地講透三件事一是ViT在CLIP里扮演了什么角色為什么OpenAI偏偏選了它二是對(duì)比學(xué)習(xí)到底怎么“騙”模型學(xué)到通用特征包括溫度系數(shù)、batch size這些魔鬼細(xì)節(jié)三是Prompt工程為什么在CLIP時(shí)代變得如此重要以及我在實(shí)際項(xiàng)目中踩過的那些和CLIP相關(guān)的坑。如果你打算在自己的業(yè)務(wù)里用CLIP做圖文檢索、零樣本分類或特征抽取這篇文章應(yīng)該能幫你少走不少?gòu)澛贰?. CLIP整體設(shè)計(jì)思路拆解從“固定標(biāo)簽”到“自由文本”的范式轉(zhuǎn)移1.1 傳統(tǒng)視覺模型的核心困境在CLIP出現(xiàn)之前做圖像分類的標(biāo)準(zhǔn)流程是這樣的先確定一個(gè)任務(wù)比如ImageNet的1000類然后找標(biāo)注好的數(shù)據(jù)集訓(xùn)練一個(gè)ResNet或EfficientNet最后把輸出層的維度設(shè)為1000每個(gè)維度對(duì)應(yīng)一個(gè)類別。這套流程的問題不用我說你也清楚——每換一個(gè)任務(wù)就得重新標(biāo)數(shù)據(jù)、重新訓(xùn)練模型標(biāo)一個(gè)類別幾十萬張圖是家常便飯。更麻煩的是模型學(xué)到的特征是被“鎖死”在這1000個(gè)類別里的你問它“這張圖里有沒有貓”它只能通過“有沒有貓這個(gè)類別的概率高于閾值”來間接回答而不是真正理解“貓”是什么。我當(dāng)年做安防項(xiàng)目時(shí)客戶要求識(shí)別“翻越圍墻”這個(gè)動(dòng)作光標(biāo)注就花了三周模型效果還不穩(wěn)定因?yàn)椤胺健边@個(gè)語(yǔ)義邊界本身就是模糊的不同標(biāo)注員的理解都可能打架。這種痛苦經(jīng)歷讓我后來第一次看到CLIP時(shí)特別震撼——原來可以把“標(biāo)簽”從離散的編號(hào)變成一個(gè)自然語(yǔ)言句子讓模型直接學(xué)習(xí)“圖像內(nèi)容”和“語(yǔ)言描述”之間的匹配關(guān)系這樣一來模型不再認(rèn)識(shí)“第538類”而是認(rèn)識(shí)“a photo of a person climbing over a fence”這句話。1.2 雙塔結(jié)構(gòu)為什么圖像和文本各走一條分支CLIP的整體結(jié)構(gòu)可以簡(jiǎn)單概括為“雙塔”圖像塔負(fù)責(zé)把圖片編碼成一個(gè)向量文本塔負(fù)責(zé)把文字編碼成一個(gè)同維度的向量然后通過對(duì)比學(xué)習(xí)讓匹配的圖文對(duì)在向量空間里靠近不匹配的遠(yuǎn)離。這個(gè)設(shè)計(jì)和當(dāng)時(shí)流行的“單塔跨模態(tài)模型”比如把圖文拼接后一起過Transformer最大的區(qū)別在于雙塔結(jié)構(gòu)允許圖像和文本各自獨(dú)立編碼在線推理時(shí)可以預(yù)先算好所有文本的向量存起來來一張圖只需要算一次圖像向量然后做一次向量檢索就行。當(dāng)時(shí)我做圖文檢索需求時(shí)對(duì)比過單塔和雙塔方案單塔模型精度確實(shí)略高但線上延遲完全扛不住——每來一個(gè)query都得重新算一遍“圖片文字”的聯(lián)合編碼。CLIP這種雙塔結(jié)構(gòu)在工程上明顯更友好。當(dāng)然這種解耦也付出了代價(jià)圖像塔和文本塔之間沒有深層交互對(duì)需要細(xì)粒度對(duì)齊的任務(wù)比如“圖里這只貓的左耳朵是黑色的”這種指代理解天然弱勢(shì)這為后來BLIP、Flamingo等模型用交叉注意力彌補(bǔ)圖文交互埋下了伏筆。1.3 數(shù)據(jù)策略4億張圖文對(duì)是從哪來的以及為什么靠譜CLIP的訓(xùn)練數(shù)據(jù)是4億張“圖像-文本”對(duì)OpenAI在論文里說這些數(shù)據(jù)是從互聯(lián)網(wǎng)上收集的但沒公開具體細(xì)節(jié)。從后續(xù)的各種分析和復(fù)現(xiàn)嘗試來看這批數(shù)據(jù)涵蓋了大量網(wǎng)頁(yè)里的圖片配文、新聞圖說、社交媒體描述等本質(zhì)上就是互聯(lián)網(wǎng)上海量“有人用自然語(yǔ)言描述過一張圖”的現(xiàn)成數(shù)據(jù)。這里啟發(fā)很大與其依賴人工標(biāo)注的結(jié)構(gòu)化標(biāo)簽不如利用互聯(lián)網(wǎng)上天然的“弱標(biāo)注”數(shù)據(jù)。數(shù)據(jù)質(zhì)量決定了模型能力的上限4億這個(gè)量級(jí)在當(dāng)時(shí)是碾壓性的OpenAI團(tuán)隊(duì)后來在論文里做過消融實(shí)驗(yàn)指出數(shù)據(jù)規(guī)模比模型規(guī)模更關(guān)鍵——在同樣模型結(jié)構(gòu)下把訓(xùn)練數(shù)據(jù)從4000萬擴(kuò)展到4億零樣本分類效果提升非常明顯。我自己做業(yè)務(wù)時(shí)也驗(yàn)證過這一點(diǎn)給CLIP做領(lǐng)域微調(diào)時(shí)搞到幾萬張高質(zhì)量圖文對(duì)的效果往往比把模型結(jié)構(gòu)改得花里胡哨更有效。2. ViT在CLIP中的關(guān)鍵作用為什么OpenAI選擇拋棄卷積2.1 從ResNet到ViT視覺特征提取的“工業(yè)化”改造CLIP論文里有個(gè)容易被忽略的細(xì)節(jié)OpenAI最初試過用ResNet作為圖像塔甚至做了一個(gè)叫ResNetD的改進(jìn)版本把stem改成3x3卷積、增加深度縮放等訓(xùn)練效果也不錯(cuò)。但最終他們發(fā)現(xiàn)ViTVision Transformer在同樣的計(jì)算預(yù)算下能拿到更好的效果于是干脆全面轉(zhuǎn)向了ViT架構(gòu)。ViT的核心操作不復(fù)雜把一張224x224的圖片切成16x16的patch每個(gè)patch線性映射成一個(gè)token embedding然后加上位置編碼輸入Transformer encoder。這個(gè)做法和NLP里把句子切成詞token幾乎一模一樣所以它的好處很直接——視覺模型和文本模型的結(jié)構(gòu)終于統(tǒng)一了都是Transformer跨模態(tài)的特征對(duì)齊更加自然。還有一個(gè)容易被忽略的好處ViT在大規(guī)模數(shù)據(jù)下的“吃數(shù)據(jù)”能力遠(yuǎn)超卷積網(wǎng)絡(luò)這也是CLIP對(duì)數(shù)據(jù)量要求極高的情況下ViT能勝出的原因。2.2 ViT訓(xùn)練視覺模型的幾個(gè)反直覺細(xì)節(jié)我在實(shí)際用ViT做圖像塔時(shí)發(fā)現(xiàn)ViT的訓(xùn)練對(duì)超參數(shù)和優(yōu)化器特別敏感。比如warmup step如果太短訓(xùn)練很容易崩Adam的權(quán)重衰減設(shè)置不當(dāng)會(huì)導(dǎo)致patch embedding層學(xué)到一堆噪聲。CLIP論文里提到他們用了很大的batch size32768配合LAMB優(yōu)化器這個(gè)組合在當(dāng)時(shí)是“大力出奇跡”的典型代表——大batch size能提供更穩(wěn)定的梯度估計(jì)讓對(duì)比學(xué)習(xí)中的負(fù)樣本更加豐富這一點(diǎn)后面講對(duì)比學(xué)習(xí)時(shí)會(huì)重點(diǎn)展開。另外需要注意ViT的position embedding用的是可學(xué)習(xí)的絕對(duì)位置編碼。CLIP訓(xùn)練時(shí)的分辨率是224x224如果你要微調(diào)模型處理336x336的輸入位置編碼需要做插值這種插值會(huì)影響模型性能。OpenAI后來在CLIP的第二個(gè)版本里直接把訓(xùn)練分辨率提高到336同時(shí)用了一種“額外繼續(xù)預(yù)訓(xùn)練”的方式而不是簡(jiǎn)單插值這算是一個(gè)很實(shí)用的經(jīng)驗(yàn)。如果你要在自己的場(chǎng)景里換分辨率建議也不要用樸素的雙線性插值而是在目標(biāo)分辨率上做短時(shí)間的繼續(xù)預(yù)訓(xùn)練來“熱啟動(dòng)”。2.3 ViT的歸納偏置缺失問題ViT不像卷積網(wǎng)絡(luò)那樣天然具有局部性和平移等變性它需要從數(shù)據(jù)里自己學(xué)出“相鄰patch通常有關(guān)聯(lián)”這件事。在小數(shù)據(jù)集上ViT會(huì)明顯輸給ResNet因?yàn)閿?shù)據(jù)量不夠支撐它自己學(xué)出這些視覺先驗(yàn)。CLIP之所以能用ViT且效果好根本原因就是4億數(shù)據(jù)的規(guī)模效應(yīng)壓過了歸納偏置缺失的問題。這對(duì)從業(yè)者是個(gè)重要提示如果你手里只有幾萬張圖直接上ViT往往不是最優(yōu)解反而用ResNet或EfficientNet更穩(wěn)。我在一個(gè)只有5萬張工業(yè)質(zhì)檢圖片的項(xiàng)目里試過用ViT做圖像塔收斂慢、效果差換回ResNet之后指標(biāo)立刻上去了。等后來數(shù)據(jù)積累到50萬張ViT的優(yōu)勢(shì)才逐漸體現(xiàn)出來。所以ViT和CNN的選擇本質(zhì)上不是“誰(shuí)更強(qiáng)”的問題而是“你的數(shù)據(jù)量養(yǎng)不養(yǎng)得起誰(shuí)”的問題。3. 對(duì)比學(xué)習(xí)原理拆解如何讓4億張圖“教會(huì)”模型語(yǔ)義3.1 核心目標(biāo)構(gòu)造正樣本與負(fù)樣本對(duì)比學(xué)習(xí)這個(gè)概念本身不難理解你有一對(duì)已經(jīng)配好的圖文比如一張柯基的照片和一段“一只柯基在草地上奔跑”的文字這就是一個(gè)正樣本對(duì)同一batch里的其他圖文對(duì)都算負(fù)樣本。訓(xùn)練目標(biāo)就是讓模型學(xué)會(huì)“把正樣本對(duì)的圖像向量和文本向量拉近把負(fù)樣本對(duì)推開”。這個(gè)思路很像“讓你在一千人里找出你的朋友”你不需要知道每個(gè)人的名字只需要知道哪些人和你的朋友長(zhǎng)得像、哪些不像。訓(xùn)練數(shù)據(jù)越多負(fù)樣本越多樣“看世界”的角度就越全面。CLIP的訓(xùn)練有效性和負(fù)樣本的質(zhì)量、數(shù)量直接相關(guān)這就是為什么CLIP要把batch size拉到32768這么大的主要原因——batch越大每個(gè)圖像樣本能看到的負(fù)樣本就越多對(duì)比學(xué)習(xí)的效果就越好。3.2 CLIP損失函數(shù)的數(shù)學(xué)細(xì)節(jié)CLIP的損失函數(shù)實(shí)際上就是InfoNCENoise Contrastive Estimation的一個(gè)變體或者更準(zhǔn)確地說是一個(gè)對(duì)稱的交叉熵?fù)p失。它的流程是先算batch內(nèi)所有圖像向量和文本向量之間的相似度矩陣然后按行按列分別做softmax再求交叉熵。具體計(jì)算過程如下假設(shè)batch size為N圖像塔得到N個(gè)圖像向量I1到IN文本塔得到N個(gè)文本向量T1到TN每個(gè)向量的維度為d。先做L2歸一化然后計(jì)算相似度矩陣S其中S[i][j]表示第i張圖和第j條文本的余弦相似度。訓(xùn)練目標(biāo)就是讓S的對(duì)角線元素盡量大非對(duì)角線元素盡量小。損失由兩部分組成——第一部分按行做softmax讓第i張圖正確匹配到第i條文本第二部分按列做softmax讓第i條文本正確匹配到第i張圖。這里的溫度系數(shù)τ非常關(guān)鍵。τ太大會(huì)導(dǎo)致所有相似度被“壓平”softmax輸出接近均勻分布梯度變小模型學(xué)不動(dòng)τ太小則會(huì)讓模型過于“自信”對(duì)負(fù)樣本區(qū)分過猛訓(xùn)練不穩(wěn)定。CLIP論文里提到他們直接把τ設(shè)成了一個(gè)可學(xué)習(xí)參數(shù)初始值設(shè)為0.07左右訓(xùn)練過程中讓模型自己調(diào)整。我在復(fù)現(xiàn)時(shí)踩過坑如果把τ固定為1損失下降極慢模型幾乎學(xué)不到東西調(diào)成0.07之后收斂速度快了不止一個(gè)量級(jí)。建議你如果自己寫對(duì)比學(xué)習(xí)代碼一定把這個(gè)參數(shù)單獨(dú)拎出來做實(shí)驗(yàn)。3.3 為什么CLIP能“看懂”世界模態(tài)對(duì)齊的本質(zhì)很多人問CLIP是真的“理解”了圖像內(nèi)容還是只是學(xué)會(huì)了表面關(guān)聯(lián)我個(gè)人的看法是CLIP學(xué)到的是“圖像內(nèi)容與語(yǔ)言描述之間的一致性映射”這種理解本質(zhì)上是統(tǒng)計(jì)性的不是人類意義上的推理理解。比如你有兩張圖一張是“草地上有一只柯基”另一張是“草地上有一只柴犬”CLIP經(jīng)過大量訓(xùn)練后確實(shí)能把這兩個(gè)文本描述和對(duì)應(yīng)的圖像正確對(duì)齊但它并不知道柯基和柴犬的生物分類關(guān)系也不理解“如果柯基被剃了毛它看起來像什么”這種深層推理。但這恰恰是CLIP強(qiáng)大的地方——它把“理解”這個(gè)抽象概念變成了一個(gè)“向量空間中距離關(guān)系”的問題。下游任務(wù)只需要在這個(gè)語(yǔ)義空間里做簡(jiǎn)單的檢索或相似度計(jì)算就能完成很多以往需要專門訓(xùn)練模型的視覺任務(wù)。這種能力在實(shí)際業(yè)務(wù)里非常管用比如商品推薦場(chǎng)景下用戶輸入“適合去海邊度假穿的碎花連衣裙”普通分類模型完全不知道怎么處理這個(gè)query但CLIP能直接算出這個(gè)文本和幾千張商品圖之間的相似度排序輸出匹配的商品。3.4 對(duì)比學(xué)習(xí)vs生成式預(yù)訓(xùn)練兩條路線的差異對(duì)比學(xué)習(xí)和生成式預(yù)訓(xùn)練比如讓模型根據(jù)文本生成圖像或根據(jù)圖像生成文本是兩種截然不同的訓(xùn)練目標(biāo)。GPT類模型做的是自回歸目標(biāo)是預(yù)測(cè)下一個(gè)tokenCLIP做的是判別式對(duì)比目標(biāo)是區(qū)分匹配和不匹配的圖文對(duì)。CLIP的訓(xùn)練效率更高因?yàn)樗恍枰餿oken生成只需要對(duì)比向量但代價(jià)是CLIP在生成任務(wù)上完全無能只能做特征提取和匹配。后來很多工作嘗試把這兩種思路合到一起比如CoCaContrastive Captioner同時(shí)用對(duì)比損失和生成損失訓(xùn)練在一個(gè)模型里兼顧對(duì)齊和理解能力。如果你在業(yè)務(wù)里既要做圖文檢索又要做圖像描述生成CoCa這類模型會(huì)更合適而純CLIP只能覆蓋檢索和分類類需求。這個(gè)選型問題在實(shí)際項(xiàng)目里經(jīng)常被忽略值得提前想清楚。4. Prompt工程在CLIP中的應(yīng)用一句話如何決定模型上限4.1 為什么CLIP對(duì)Prompt這么敏感CLIP的文本塔是在自然語(yǔ)言上訓(xùn)練的但它見過的文本表達(dá)方式是有限的。訓(xùn)練數(shù)據(jù)里的文本大多是比較完整的描述句比如“a photo of a dog”“a cat sitting on a sofa”所以到推理階段你輸入的文本形式和訓(xùn)練分布越接近效果越好。最經(jīng)典的例子是零樣本分類你要做CIFAR-100的100類分類直接輸入“airplane”“automobile”這類單詞效果通常很差但改成“a photo of a {class}”這個(gè)模板后準(zhǔn)確率立刻提升不少。原因就在于“a photo of”這類前綴在CLIP的訓(xùn)練數(shù)據(jù)里極其常見模型對(duì)緊跟在這個(gè)前綴后面的內(nèi)容有更好的激活響應(yīng)。后續(xù)的研究進(jìn)一步發(fā)現(xiàn)更豐富的上下文描述比如“a satellite photo of a {class}”在你處理特定領(lǐng)域圖像時(shí)能帶來更大的提升比如遙感場(chǎng)景下的分類精度用領(lǐng)域相關(guān)性強(qiáng)的prompt模板可以比通用模板高出好幾個(gè)點(diǎn)。4.2 Prompt工程的常用模板策略我做CLIP零樣本分類時(shí)總結(jié)了一套模板選擇方法先看測(cè)試圖像的領(lǐng)域風(fēng)格然后仿照訓(xùn)練數(shù)據(jù)里常見的描述方式去寫prompt。通用場(chǎng)景用“a photo of a {class}”或“a photo of the {class}”這兩種基本不會(huì)出錯(cuò)。醫(yī)學(xué)圖像用“a medical image of {class}”其效果峰值往往更明顯。遙感圖像用“a satellite image of {class}”真的有明顯增益。如果目標(biāo)類別是動(dòng)作或事件可以把prompt改成“a photo of a person doing {action}”之類更具體的結(jié)構(gòu)。對(duì)于類別名本身也值得做一輪文本處理。像“Basenji”一種犬種這種罕見詞模型可能沒見過但不妨礙直接作為文本輸入——因?yàn)槲谋揪幋a器能通過子詞切分把詞拆成“base”和“nji”之類的token來處理不過如果有已知的別名或更常見的表達(dá)換掉之后效果會(huì)更穩(wěn)定。還有一個(gè)小技巧把類別名用多個(gè)prompt模板做集成即一個(gè)類別寫多個(gè)句子分別編碼后取平均這個(gè)做法在CLIP官方代碼里叫prompt ensembling我實(shí)測(cè)在ImageNet上能提升約1到2個(gè)百分點(diǎn)在細(xì)粒度分類數(shù)據(jù)上提升更明顯。4.3 選擇文本編碼器CLIP中text encoder的特殊性CLIP的text encoder用的是Transformer結(jié)構(gòu)但它和GPT不太一樣。CLIP文本塔是雙向編碼能同時(shí)看到句子前后的所有tokenGPT是單向的只能從左往右看。之所以CLIP選擇雙向是因?yàn)閷?duì)比學(xué)習(xí)需要的是對(duì)整個(gè)句子的整體語(yǔ)義表示而不是生成下一個(gè)token的條件概率。這一區(qū)別會(huì)影響你對(duì)CLIP的微調(diào)方式——不能像微調(diào)GPT那樣直接做語(yǔ)言建模損失而是應(yīng)該繼續(xù)做對(duì)比學(xué)習(xí)或者改成和下游任務(wù)匹配的損失函數(shù)。文本塔的最大長(zhǎng)度是77個(gè)token這個(gè)限制在實(shí)際使用中經(jīng)常被忽略。我在做電商場(chǎng)景時(shí)商品標(biāo)題往往很長(zhǎng)超過77個(gè)token后被粗暴截?cái)辔膊啃畔⒅苯酉?dǎo)致檢索效果變差。后來我做了個(gè)簡(jiǎn)單的處理先把標(biāo)題按關(guān)鍵信息重排把核心描述詞前移保證在77個(gè)token內(nèi)覆蓋有效的語(yǔ)義信息效果提升明顯。另外文本塔輸出默認(rèn)是取整個(gè)序列的最終隱藏狀態(tài)而不是像BERT那樣取[CLS] token所以如果你要改造CLIP的文本編碼器這個(gè)細(xì)節(jié)需要注意。4.4 Prompt工程的邊界手工調(diào)優(yōu)vs可學(xué)習(xí)Prompt手工設(shè)計(jì)prompt模板雖然有效但畢竟依賴人的經(jīng)驗(yàn)。后來研究者提出了CoOpContext Optimization這類方法把prompt的前綴token當(dāng)成可學(xué)習(xí)的參數(shù)直接在目標(biāo)任務(wù)數(shù)據(jù)上做反向傳播優(yōu)化。這種做法本質(zhì)上是在“自動(dòng)搜索prompt”擺脫了人工設(shè)計(jì)模板的主觀性在多個(gè)視覺數(shù)據(jù)集上效果顯著。我在自己的一個(gè)商品分類項(xiàng)目里試過CoOp基線的CLIP零樣本只有78%的準(zhǔn)確率手工模板能到81%CoOp微調(diào)后到84%效果還是可觀的。但CoOp有個(gè)潛在問題如果訓(xùn)練數(shù)據(jù)很少比如只有幾百?gòu)垐D可學(xué)習(xí)的prompt很容易過擬合導(dǎo)致在測(cè)試集上反而比手工模板差。這種情況下一個(gè)更穩(wěn)妥的方案是用手工模板作為初始化或者加上一定的正則約束。說到底Prompt工程目前還是“領(lǐng)域經(jīng)驗(yàn)數(shù)據(jù)驗(yàn)證”的結(jié)合體純靠調(diào)字符串的樸素hack時(shí)代已經(jīng)過去了。5. 實(shí)操過程用CLIP構(gòu)建一個(gè)完整的圖文檢索與零樣本分類流程5.1 環(huán)境準(zhǔn)備與模型加載如果你只是想快速體驗(yàn)CLIP的效果不建議自己去復(fù)現(xiàn)訓(xùn)練直接用OpenAI官方開源的CLIP權(quán)重就夠了。Python環(huán)境需要torch、torchvision以及openai官方提供的clip包或者用HuggingFace的transformers庫(kù)里的CLIPModel。我習(xí)慣用transformers因?yàn)樗拖掠紊鷳B(tài)銜接更方便加載模型只需要一行代碼建議這里給一段代碼 python from transformers import CLIPProcessor, CLIPModelmodel CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32)這個(gè)openai/clip-vit-base-patch32表示圖像塔是ViT-B/32patch size為32輸入分辨率224x224。如果你要更強(qiáng)的效果可以直接換用openai/clip-vit-large-patch14。加載模型時(shí)要留意顯存需求base版本大概需要1GB顯存large版本需要接近3GB如果機(jī)器緊張就選base。 ### 5.2 寫一個(gè)零樣本圖像分類的完整代碼 零樣本分類的實(shí)現(xiàn)思路是先把候選類別的prompt文本都編碼成向量存起來然后來一張測(cè)試圖編碼成圖像向量最后計(jì)算圖像向量和每個(gè)文本向量的余弦相似度取相似度最高的那個(gè)類別作為預(yù)測(cè)結(jié)果。這個(gè)流程可以封裝成下面這個(gè)函數(shù)方便直接拿去做灰度測(cè)試。 python import torch from PIL import Image def zero_shot_classify(image_path, class_names, templatesNone): image Image.open(image_path).convert(RGB) if templates is None: templates [a photo of a {}] texts [t.format(name) for name in class_names for t in templates] inputs processor(texttexts, images[image] * len(texts), return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) logits_per_image outputs.logits_per_image # 圖像與所有文本的相似度矩陣 probs logits_per_image.softmax(dim-1).squeeze(0) best_idx probs.argmax().item() return class_names[best_idx // len(templates)], probs[best_idx].item()實(shí)際使用中我一般會(huì)把所有文本向量在建索引時(shí)就預(yù)先計(jì)算好而不是每次推理都重算一遍文本。這樣在線推理時(shí)只需要算一次圖像向量然后和預(yù)先存好的文本向量做矩陣乘法單張圖片的延遲可以控制在幾毫秒級(jí)別完全能滿足線上的實(shí)時(shí)性要求。5.3 圖文檢索系統(tǒng)的索引構(gòu)建與查詢?nèi)绻獦?gòu)建一個(gè)圖文雙向檢索系統(tǒng)文本向量和圖像向量都應(yīng)該預(yù)先構(gòu)建索引。我用過兩種方案數(shù)據(jù)量在百萬級(jí)別以內(nèi)時(shí)直接用numpy或faiss的IndexFlatIP做暴力檢索簡(jiǎn)單可靠數(shù)據(jù)量上千萬甚至上億時(shí)再用faiss的IndexIVFFlat或HNSW做近似最近鄰檢索。CLIP的向量是經(jīng)過L2歸一化的所以內(nèi)積檢索等價(jià)于余弦相似度檢索直接用IndexFlatIP就行。構(gòu)建索引時(shí)有個(gè)細(xì)節(jié)CLIP的向量是1024維large模型是768維維度不高但量大的時(shí)候內(nèi)存占用還是很可觀的。100萬張圖的向量float32存儲(chǔ)大概需要4GB內(nèi)存如果機(jī)器內(nèi)存吃緊可以考慮用product quantization或者把向量轉(zhuǎn)成float16。我在一個(gè)爬蟲項(xiàng)目里用HNSW把檢索延遲從60毫秒壓到了10毫秒以內(nèi)效果還是不錯(cuò)的。5.4 對(duì)CLIP做領(lǐng)域微調(diào)LoRA是一種低成本方案CLIP的預(yù)訓(xùn)練數(shù)據(jù)雖然覆蓋了大量自然圖像但在特定領(lǐng)域比如醫(yī)學(xué)影像、工業(yè)質(zhì)檢、電商商品通常還有提升空間。如果你有幾千到幾萬張標(biāo)注的圖文對(duì)或分類數(shù)據(jù)可以對(duì)CLIP做微調(diào)。比較推薦的做法是用LoRALow-Rank Adaptation在凍結(jié)原模型參數(shù)的情況下只訓(xùn)練低秩分解矩陣這樣可以大幅減少可訓(xùn)練參數(shù)量同時(shí)防止災(zāi)難性遺忘。我在一個(gè)工業(yè)質(zhì)檢項(xiàng)目里用LoRA只訓(xùn)練了CLIP文本塔和圖像塔的attention層里的低秩矩陣大約只占全部參數(shù)的0.5%在標(biāo)注了8000張缺陷樣本后缺陷分類準(zhǔn)確率從82%提升到了94%而且訓(xùn)練只需要一張消費(fèi)級(jí)顯卡就能跑完。這個(gè)方案如果不用LoRA而是全量微調(diào)效果當(dāng)然可能更好但成本和風(fēng)險(xiǎn)都更高——尤其當(dāng)你的數(shù)據(jù)集和CLIP預(yù)訓(xùn)練分布差異較大時(shí)全量微調(diào)很容易過擬合。LoRA在這種場(chǎng)景下是一個(gè)性價(jià)比很高的選擇。5.5 評(píng)估CLIP效果的注意事項(xiàng)CLIP的實(shí)際效果需要根據(jù)任務(wù)類型來評(píng)估。零樣本分類場(chǎng)景要注意和隨機(jī)初始化分類頭的模型做對(duì)比而不是和完整微調(diào)后的模型對(duì)比否則會(huì)得出“CLIP不行”的錯(cuò)誤結(jié)論。圖文檢索場(chǎng)景要同時(shí)看Recall1、Recall5、Recall10等指標(biāo)因?yàn)闄z索任務(wù)對(duì)排序質(zhì)量敏感只看Recall1容易片面對(duì)待。一個(gè)常見的誤區(qū)是拿CLIP當(dāng)通用特征提取器對(duì)所有下游任務(wù)都直接套用。實(shí)際上CLIP提取的特征在細(xì)粒度識(shí)別比如區(qū)分不同品種的鳥上明顯弱于專門訓(xùn)練的模型因?yàn)镃LIP的訓(xùn)練目標(biāo)是“圖像和文本的對(duì)齊”而不是“區(qū)分相近視覺類別”。所以如果你要做細(xì)粒度識(shí)別最穩(wěn)妥的做法是把CLIP作為一種初始特征再疊加一個(gè)小型分類頭做微調(diào)而不是指望零樣本就能解決。6. 常見問題與排查技巧實(shí)錄6.1 損失不下降或收斂極慢如果你在復(fù)現(xiàn)對(duì)比學(xué)習(xí)訓(xùn)練、發(fā)現(xiàn)損失不降或者下降速度慢到令人發(fā)指大概率是以下幾個(gè)原因。溫度系數(shù)設(shè)置不合理是最常見的坑——τ固定為1往往會(huì)導(dǎo)致梯度消失建議直接設(shè)成0.07或者初始化為可學(xué)習(xí)參數(shù)。第二個(gè)常見問題是相似度矩陣沒有做L2歸一化導(dǎo)致余弦相似度的取值范圍不對(duì)softmax輸出分布異常。還有一個(gè)是batch size太小負(fù)樣本數(shù)量不夠模型學(xué)不到有意義的區(qū)分信息這種情況下即使損失在降低下游任務(wù)指標(biāo)也會(huì)很差。訓(xùn)練穩(wěn)定性方面優(yōu)化器選擇也很關(guān)鍵。CLIP原論文用的是AdamW或LAMBlr設(shè)置要特別小心過大會(huì)導(dǎo)致訓(xùn)練初期就發(fā)散過小則收斂極慢。我的經(jīng)驗(yàn)是用AdamW配合線性warmup前10%的step做warmup峰值lr設(shè)置在1e-4到3e-4之間整體比較穩(wěn)。6.2 零樣本分類準(zhǔn)確率偏低很多人第一次跑CLIP零樣本分類時(shí)感覺效果沒有論文里說的那么驚艷這時(shí)需要檢查幾件事。第一prompt模板是不是和訓(xùn)練分布匹配直接輸一個(gè)裸單詞的實(shí)驗(yàn)效果通常很慘改成“a photo of a {class}”再試。第二類別名和圖像內(nèi)容的語(yǔ)義間距比如你的類別名是“轎車”但訓(xùn)練數(shù)據(jù)里圖文對(duì)用的都是“car”或“sedan”這時(shí)候換用英文標(biāo)簽效果可能更好。第三圖像預(yù)處理是否和CLIP的要求一致CLIP的processor默認(rèn)會(huì)做Resize和CenterCrop如果你用自定義預(yù)處理手段圖像內(nèi)容可能被過度裁剪導(dǎo)致關(guān)鍵語(yǔ)義丟失——尤其在目標(biāo)物體偏小或偏邊緣時(shí)CenterCrop會(huì)直接把目標(biāo)切掉。6.3 圖像向量和文本向量的維度不一致怎么辦這個(gè)問題的根源通常是模型加載了兩個(gè)不同配置的編碼器比如圖像塔是ViT-L/14文本塔是ViT-B/32。兩邊輸出的維度不同相似度矩陣直接計(jì)算會(huì)報(bào)錯(cuò)。解決方案是檢查加載模型時(shí)是否使用了同一個(gè)CLIPModel實(shí)例不要自己?jiǎn)为?dú)加載兩個(gè)不同的clip模型來拼接。如果你有特殊需求確實(shí)要換文本塔或視覺塔那得確保兩邊的輸出投影維度一致通?？梢栽贑LIPModel的配置里設(shè)置projection_dim來統(tǒng)一。6.4 Prompt長(zhǎng)度超過77個(gè)token被截?cái)郈LIP文本塔的最大序列長(zhǎng)度是77超過這個(gè)長(zhǎng)度會(huì)被截?cái)?。如果你要處理的文本特別長(zhǎng)比如長(zhǎng)商品標(biāo)題、長(zhǎng)評(píng)論建議先做文本預(yù)處理?？梢园凑Z(yǔ)義重要性排序或重構(gòu)文本把關(guān)鍵信息放到前77個(gè)token內(nèi)也可以用分句加權(quán)池化的方法把長(zhǎng)文本切成多個(gè)片段分別編碼再按權(quán)重平均得到整個(gè)文本的向量。后者效果更好但工程上復(fù)雜度更高我一般只有在長(zhǎng)文本占比超過30%時(shí)才會(huì)啟用這個(gè)方案。6.5 顯存不足或推理速度慢CLIP模型本身的體量并不大base版本大約150M參數(shù)large版本大約430M參數(shù)。但如果你的輸入是大量圖片且一次性喂給模型顯存很容易爆掉。解決方法是控制batch size分批編碼后再把向量拼接起來。另外如果你用的是ViT-L/14這類大模型又不需要微調(diào)記得開啟torch.no_grad()和torch.inference_mode()甚至可以轉(zhuǎn)成half精度來節(jié)省顯存和加速推理。實(shí)測(cè)half精度在檢索任務(wù)里對(duì)精度影響很小速度卻能提升60%以上。7. 從CLIP到多模態(tài)大模型這套思路的延伸與邊界7.1 CLIP之后的多模態(tài)模型演進(jìn)CLIP證明了對(duì)比學(xué)習(xí)做圖文對(duì)齊的可行性后續(xù)的工作基本沿著幾個(gè)方向繼續(xù)演進(jìn)。一個(gè)方向是引入更細(xì)粒度的圖文交互比如BLIP加入交叉注意力模塊讓圖像特征和文本特征不再“各自為政”而是互相融合ALBEF引入動(dòng)量蒸餾和跨模態(tài)注意力在圖文檢索的細(xì)粒度理解上比CLIP好很多。另一個(gè)方向是引入生成式訓(xùn)練目標(biāo)比如CoCa同時(shí)用對(duì)比損失和生成損失讓模型既會(huì)匹配又會(huì)生成Flamingo則在凍結(jié)的視覺塔和語(yǔ)言模型之間加了一層訓(xùn)練好的cross-attention讓CLIP的視覺特征可以直接“注入”大語(yǔ)言模型從而支持圖文對(duì)話。如果你在業(yè)務(wù)里需要做多模態(tài)問答或者圖像生成純粹的CLIP是不夠的但CLIP底層的雙塔對(duì)齊思想依然是這些復(fù)雜模型的基石。理解CLIP之后再看BLIP、Flamingo的結(jié)構(gòu)會(huì)輕松很多。7.2 CLIP在真實(shí)業(yè)務(wù)里的局限性我必須強(qiáng)調(diào)一點(diǎn)CLIP的“零樣本”能力強(qiáng)不等于“無限樣本”能力強(qiáng)。當(dāng)你的目標(biāo)類別非常細(xì)粒度比如區(qū)分幾十種工業(yè)零件型號(hào)或者標(biāo)簽分布和自然語(yǔ)言描述差異較大時(shí)零樣本效果會(huì)大打折扣。還有一個(gè)問題是魯棒性CLIP對(duì)圖像擾動(dòng)比較敏感比如對(duì)圖像做輕微旋轉(zhuǎn)、添加噪聲檢索排名可能發(fā)生明顯變化這在安防、醫(yī)療等對(duì)穩(wěn)定性要求很高的場(chǎng)景里是硬傷。補(bǔ)一個(gè)例子我之前做一個(gè)農(nóng)業(yè)項(xiàng)目需要分類不同品種的玉米葉片病害。CLIP零樣本的準(zhǔn)確率只有60%左右后來用領(lǐng)域數(shù)據(jù)做LoRA微調(diào)之后提到了87%。這說明CLIP的能力邊界是可以通過下游適配來擴(kuò)展的但零樣本不是萬能的。如果你的需求正好在CLIP的弱區(qū)別硬扛直接做微調(diào)才是務(wù)實(shí)的選擇。7.3 未來趨勢(shì)能進(jìn)化的CLIP還有多少空間CLIP之后出現(xiàn)的一批工作是讓它“持續(xù)學(xué)習(xí)”——比如在增量數(shù)據(jù)上不斷更新圖文對(duì)齊能力而不是每次從頭訓(xùn)練。這類研究的難點(diǎn)在于避免災(zāi)難性遺忘同時(shí)保持已有模態(tài)對(duì)齊的穩(wěn)定性。另一個(gè)趨勢(shì)是把CLIP從靜態(tài)特征抽取器發(fā)展成可交互的“感知底座”比如接入大語(yǔ)言模型后模型可以通過對(duì)話來引導(dǎo)視覺注意力做指代理解、視覺問答甚至具身智能決策。這也是目前業(yè)內(nèi)討論最多的方向。我個(gè)人的感覺是CLIP作為一篇2021年的論文它的思想價(jià)值已經(jīng)遠(yuǎn)遠(yuǎn)超過了模型本身。對(duì)比學(xué)習(xí)雙塔結(jié)構(gòu)自由文本標(biāo)簽這三板斧構(gòu)成了現(xiàn)代多模態(tài)智能的重要基石。不管你是做計(jì)算機(jī)視覺、自然語(yǔ)言處理還是多模態(tài)方向理解這套范式的來龍去脈都會(huì)對(duì)看問題和做項(xiàng)目有實(shí)質(zhì)性的幫助。從ViT到CLIP這條路我從個(gè)人實(shí)操中得到的最大體會(huì)是模型結(jié)構(gòu)固然重要但決定能力上限的往往是你怎么設(shè)計(jì)訓(xùn)練目標(biāo)和組織數(shù)據(jù)。CLIP用4億張圖告訴我們一個(gè)足夠好的對(duì)齊目標(biāo)真的能讓人工智能在“看圖說話”這件事上脫胎換骨。如果你正打算在業(yè)務(wù)里引入多模態(tài)能力不妨從CLIP開始先跑通零樣本再做領(lǐng)域微調(diào)這條路既穩(wěn)妥又高效。 CLIP與ViT深度解析：對(duì)比學(xué)習(xí)、Prompt工程與多模態(tài)應(yīng)用實(shí)踐
先說一個(gè)可能讓很多人意外的事實(shí)CLIP之所以能在2021年之后深刻改變整個(gè)AI視覺領(lǐng)域靠的不是“更深的網(wǎng)絡(luò)”或“更強(qiáng)的算力”而是一個(gè)聽起來特別樸素的思路——讓模型同時(shí)看圖和看字然后自己悟出“圖”和“字”之間的對(duì)應(yīng)關(guān)系。這個(gè)思路放到今天看幾乎成了多模態(tài)模型的“標(biāo)準(zhǔn)答案”但在當(dāng)時(shí)OpenAI團(tuán)隊(duì)是頂著“用4億張圖訓(xùn)練一個(gè)分類器”的巨大質(zhì)疑干出來的。作為一名從ResNet時(shí)代一路折騰過來的算法工程師我第一次讀完CLIP論文時(shí)腦子里只有一個(gè)想法這玩意兒把“視覺任務(wù)”的定義徹底改寫了原來“教AI看懂世界”這件事根本不需要人工標(biāo)注的固定標(biāo)簽集合而是可以讓模型從自然語(yǔ)言里自己學(xué)會(huì)“世界長(zhǎng)什么樣”。這篇文章想系統(tǒng)地講透三件事一是ViT在CLIP里扮演了什么角色為什么OpenAI偏偏選了它二是對(duì)比學(xué)習(xí)到底怎么“騙”模型學(xué)到通用特征包括溫度系數(shù)、batch size這些魔鬼細(xì)節(jié)三是Prompt工程為什么在CLIP時(shí)代變得如此重要以及我在實(shí)際項(xiàng)目中踩過的那些和CLIP相關(guān)的坑。如果你打算在自己的業(yè)務(wù)里用CLIP做圖文檢索、零樣本分類或特征抽取這篇文章應(yīng)該能幫你少走不少?gòu)澛贰?. CLIP整體設(shè)計(jì)思路拆解從“固定標(biāo)簽”到“自由文本”的范式轉(zhuǎn)移1.1 傳統(tǒng)視覺模型的核心困境在CLIP出現(xiàn)之前做圖像分類的標(biāo)準(zhǔn)流程是這樣的先確定一個(gè)任務(wù)比如ImageNet的1000類然后找標(biāo)注好的數(shù)據(jù)集訓(xùn)練一個(gè)ResNet或EfficientNet最后把輸出層的維度設(shè)為1000每個(gè)維度對(duì)應(yīng)一個(gè)類別。這套流程的問題不用我說你也清楚——每換一個(gè)任務(wù)就得重新標(biāo)數(shù)據(jù)、重新訓(xùn)練模型標(biāo)一個(gè)類別幾十萬張圖是家常便飯。更麻煩的是模型學(xué)到的特征是被“鎖死”在這1000個(gè)類別里的你問它“這張圖里有沒有貓”它只能通過“有沒有貓這個(gè)類別的概率高于閾值”來間接回答而不是真正理解“貓”是什么。我當(dāng)年做安防項(xiàng)目時(shí)客戶要求識(shí)別“翻越圍墻”這個(gè)動(dòng)作光標(biāo)注就花了三周模型效果還不穩(wěn)定因?yàn)椤胺健边@個(gè)語(yǔ)義邊界本身就是模糊的不同標(biāo)注員的理解都可能打架。這種痛苦經(jīng)歷讓我后來第一次看到CLIP時(shí)特別震撼——原來可以把“標(biāo)簽”從離散的編號(hào)變成一個(gè)自然語(yǔ)言句子讓模型直接學(xué)習(xí)“圖像內(nèi)容”和“語(yǔ)言描述”之間的匹配關(guān)系這樣一來模型不再認(rèn)識(shí)“第538類”而是認(rèn)識(shí)“a photo of a person climbing over a fence”這句話。1.2 雙塔結(jié)構(gòu)為什么圖像和文本各走一條分支CLIP的整體結(jié)構(gòu)可以簡(jiǎn)單概括為“雙塔”圖像塔負(fù)責(zé)把圖片編碼成一個(gè)向量文本塔負(fù)責(zé)把文字編碼成一個(gè)同維度的向量然后通過對(duì)比學(xué)習(xí)讓匹配的圖文對(duì)在向量空間里靠近不匹配的遠(yuǎn)離。這個(gè)設(shè)計(jì)和當(dāng)時(shí)流行的“單塔跨模態(tài)模型”比如把圖文拼接后一起過Transformer最大的區(qū)別在于雙塔結(jié)構(gòu)允許圖像和文本各自獨(dú)立編碼在線推理時(shí)可以預(yù)先算好所有文本的向量存起來來一張圖只需要算一次圖像向量然后做一次向量檢索就行。當(dāng)時(shí)我做圖文檢索需求時(shí)對(duì)比過單塔和雙塔方案單塔模型精度確實(shí)略高但線上延遲完全扛不住——每來一個(gè)query都得重新算一遍“圖片文字”的聯(lián)合編碼。CLIP這種雙塔結(jié)構(gòu)在工程上明顯更友好。當(dāng)然這種解耦也付出了代價(jià)圖像塔和文本塔之間沒有深層交互對(duì)需要細(xì)粒度對(duì)齊的任務(wù)比如“圖里這只貓的左耳朵是黑色的”這種指代理解天然弱勢(shì)這為后來BLIP、Flamingo等模型用交叉注意力彌補(bǔ)圖文交互埋下了伏筆。1.3 數(shù)據(jù)策略4億張圖文對(duì)是從哪來的以及為什么靠譜CLIP的訓(xùn)練數(shù)據(jù)是4億張“圖像-文本”對(duì)OpenAI在論文里說這些數(shù)據(jù)是從互聯(lián)網(wǎng)上收集的但沒公開具體細(xì)節(jié)。從后續(xù)的各種分析和復(fù)現(xiàn)嘗試來看這批數(shù)據(jù)涵蓋了大量網(wǎng)頁(yè)里的圖片配文、新聞圖說、社交媒體描述等本質(zhì)上就是互聯(lián)網(wǎng)上海量“有人用自然語(yǔ)言描述過一張圖”的現(xiàn)成數(shù)據(jù)。這里啟發(fā)很大與其依賴人工標(biāo)注的結(jié)構(gòu)化標(biāo)簽不如利用互聯(lián)網(wǎng)上天然的“弱標(biāo)注”數(shù)據(jù)。數(shù)據(jù)質(zhì)量決定了模型能力的上限4億這個(gè)量級(jí)在當(dāng)時(shí)是碾壓性的OpenAI團(tuán)隊(duì)后來在論文里做過消融實(shí)驗(yàn)指出數(shù)據(jù)規(guī)模比模型規(guī)模更關(guān)鍵——在同樣模型結(jié)構(gòu)下把訓(xùn)練數(shù)據(jù)從4000萬擴(kuò)展到4億零樣本分類效果提升非常明顯。我自己做業(yè)務(wù)時(shí)也驗(yàn)證過這一點(diǎn)給CLIP做領(lǐng)域微調(diào)時(shí)搞到幾萬張高質(zhì)量圖文對(duì)的效果往往比把模型結(jié)構(gòu)改得花里胡哨更有效。2. ViT在CLIP中的關(guān)鍵作用為什么OpenAI選擇拋棄卷積2.1 從ResNet到ViT視覺特征提取的“工業(yè)化”改造CLIP論文里有個(gè)容易被忽略的細(xì)節(jié)OpenAI最初試過用ResNet作為圖像塔甚至做了一個(gè)叫ResNetD的改進(jìn)版本把stem改成3x3卷積、增加深度縮放等訓(xùn)練效果也不錯(cuò)。但最終他們發(fā)現(xiàn)ViTVision Transformer在同樣的計(jì)算預(yù)算下能拿到更好的效果于是干脆全面轉(zhuǎn)向了ViT架構(gòu)。ViT的核心操作不復(fù)雜把一張224x224的圖片切成16x16的patch每個(gè)patch線性映射成一個(gè)token embedding然后加上位置編碼輸入Transformer encoder。這個(gè)做法和NLP里把句子切成詞token幾乎一模一樣所以它的好處很直接——視覺模型和文本模型的結(jié)構(gòu)終于統(tǒng)一了都是Transformer跨模態(tài)的特征對(duì)齊更加自然。還有一個(gè)容易被忽略的好處ViT在大規(guī)模數(shù)據(jù)下的“吃數(shù)據(jù)”能力遠(yuǎn)超卷積網(wǎng)絡(luò)這也是CLIP對(duì)數(shù)據(jù)量要求極高的情況下ViT能勝出的原因。2.2 ViT訓(xùn)練視覺模型的幾個(gè)反直覺細(xì)節(jié)我在實(shí)際用ViT做圖像塔時(shí)發(fā)現(xiàn)ViT的訓(xùn)練對(duì)超參數(shù)和優(yōu)化器特別敏感。比如warmup step如果太短訓(xùn)練很容易崩Adam的權(quán)重衰減設(shè)置不當(dāng)會(huì)導(dǎo)致patch embedding層學(xué)到一堆噪聲。CLIP論文里提到他們用了很大的batch size32768配合LAMB優(yōu)化器這個(gè)組合在當(dāng)時(shí)是“大力出奇跡”的典型代表——大batch size能提供更穩(wěn)定的梯度估計(jì)讓對(duì)比學(xué)習(xí)中的負(fù)樣本更加豐富這一點(diǎn)后面講對(duì)比學(xué)習(xí)時(shí)會(huì)重點(diǎn)展開。另外需要注意ViT的position embedding用的是可學(xué)習(xí)的絕對(duì)位置編碼。CLIP訓(xùn)練時(shí)的分辨率是224x224如果你要微調(diào)模型處理336x336的輸入位置編碼需要做插值這種插值會(huì)影響模型性能。OpenAI后來在CLIP的第二個(gè)版本里直接把訓(xùn)練分辨率提高到336同時(shí)用了一種“額外繼續(xù)預(yù)訓(xùn)練”的方式而不是簡(jiǎn)單插值這算是一個(gè)很實(shí)用的經(jīng)驗(yàn)。如果你要在自己的場(chǎng)景里換分辨率建議也不要用樸素的雙線性插值而是在目標(biāo)分辨率上做短時(shí)間的繼續(xù)預(yù)訓(xùn)練來“熱啟動(dòng)”。2.3 ViT的歸納偏置缺失問題ViT不像卷積網(wǎng)絡(luò)那樣天然具有局部性和平移等變性它需要從數(shù)據(jù)里自己學(xué)出“相鄰patch通常有關(guān)聯(lián)”這件事。在小數(shù)據(jù)集上ViT會(huì)明顯輸給ResNet因?yàn)閿?shù)據(jù)量不夠支撐它自己學(xué)出這些視覺先驗(yàn)。CLIP之所以能用ViT且效果好根本原因就是4億數(shù)據(jù)的規(guī)模效應(yīng)壓過了歸納偏置缺失的問題。這對(duì)從業(yè)者是個(gè)重要提示如果你手里只有幾萬張圖直接上ViT往往不是最優(yōu)解反而用ResNet或EfficientNet更穩(wěn)。我在一個(gè)只有5萬張工業(yè)質(zhì)檢圖片的項(xiàng)目里試過用ViT做圖像塔收斂慢、效果差換回ResNet之后指標(biāo)立刻上去了。等后來數(shù)據(jù)積累到50萬張ViT的優(yōu)勢(shì)才逐漸體現(xiàn)出來。所以ViT和CNN的選擇本質(zhì)上不是“誰(shuí)更強(qiáng)”的問題而是“你的數(shù)據(jù)量養(yǎng)不養(yǎng)得起誰(shuí)”的問題。3. 對(duì)比學(xué)習(xí)原理拆解如何讓4億張圖“教會(huì)”模型語(yǔ)義3.1 核心目標(biāo)構(gòu)造正樣本與負(fù)樣本對(duì)比學(xué)習(xí)這個(gè)概念本身不難理解你有一對(duì)已經(jīng)配好的圖文比如一張柯基的照片和一段“一只柯基在草地上奔跑”的文字這就是一個(gè)正樣本對(duì)同一batch里的其他圖文對(duì)都算負(fù)樣本。訓(xùn)練目標(biāo)就是讓模型學(xué)會(huì)“把正樣本對(duì)的圖像向量和文本向量拉近把負(fù)樣本對(duì)推開”。這個(gè)思路很像“讓你在一千人里找出你的朋友”你不需要知道每個(gè)人的名字只需要知道哪些人和你的朋友長(zhǎng)得像、哪些不像。訓(xùn)練數(shù)據(jù)越多負(fù)樣本越多樣“看世界”的角度就越全面。CLIP的訓(xùn)練有效性和負(fù)樣本的質(zhì)量、數(shù)量直接相關(guān)這就是為什么CLIP要把batch size拉到32768這么大的主要原因——batch越大每個(gè)圖像樣本能看到的負(fù)樣本就越多對(duì)比學(xué)習(xí)的效果就越好。3.2 CLIP損失函數(shù)的數(shù)學(xué)細(xì)節(jié)CLIP的損失函數(shù)實(shí)際上就是InfoNCENoise Contrastive Estimation的一個(gè)變體或者更準(zhǔn)確地說是一個(gè)對(duì)稱的交叉熵?fù)p失。它的流程是先算batch內(nèi)所有圖像向量和文本向量之間的相似度矩陣然后按行按列分別做softmax再求交叉熵。具體計(jì)算過程如下假設(shè)batch size為N圖像塔得到N個(gè)圖像向量I1到IN文本塔得到N個(gè)文本向量T1到TN每個(gè)向量的維度為d。先做L2歸一化然后計(jì)算相似度矩陣S其中S[i][j]表示第i張圖和第j條文本的余弦相似度。訓(xùn)練目標(biāo)就是讓S的對(duì)角線元素盡量大非對(duì)角線元素盡量小。損失由兩部分組成——第一部分按行做softmax讓第i張圖正確匹配到第i條文本第二部分按列做softmax讓第i條文本正確匹配到第i張圖。這里的溫度系數(shù)τ非常關(guān)鍵。τ太大會(huì)導(dǎo)致所有相似度被“壓平”softmax輸出接近均勻分布梯度變小模型學(xué)不動(dòng)τ太小則會(huì)讓模型過于“自信”對(duì)負(fù)樣本區(qū)分過猛訓(xùn)練不穩(wěn)定。CLIP論文里提到他們直接把τ設(shè)成了一個(gè)可學(xué)習(xí)參數(shù)初始值設(shè)為0.07左右訓(xùn)練過程中讓模型自己調(diào)整。我在復(fù)現(xiàn)時(shí)踩過坑如果把τ固定為1損失下降極慢模型幾乎學(xué)不到東西調(diào)成0.07之后收斂速度快了不止一個(gè)量級(jí)。建議你如果自己寫對(duì)比學(xué)習(xí)代碼一定把這個(gè)參數(shù)單獨(dú)拎出來做實(shí)驗(yàn)。3.3 為什么CLIP能“看懂”世界模態(tài)對(duì)齊的本質(zhì)很多人問CLIP是真的“理解”了圖像內(nèi)容還是只是學(xué)會(huì)了表面關(guān)聯(lián)我個(gè)人的看法是CLIP學(xué)到的是“圖像內(nèi)容與語(yǔ)言描述之間的一致性映射”這種理解本質(zhì)上是統(tǒng)計(jì)性的不是人類意義上的推理理解。比如你有兩張圖一張是“草地上有一只柯基”另一張是“草地上有一只柴犬”CLIP經(jīng)過大量訓(xùn)練后確實(shí)能把這兩個(gè)文本描述和對(duì)應(yīng)的圖像正確對(duì)齊但它并不知道柯基和柴犬的生物分類關(guān)系也不理解“如果柯基被剃了毛它看起來像什么”這種深層推理。但這恰恰是CLIP強(qiáng)大的地方——它把“理解”這個(gè)抽象概念變成了一個(gè)“向量空間中距離關(guān)系”的問題。下游任務(wù)只需要在這個(gè)語(yǔ)義空間里做簡(jiǎn)單的檢索或相似度計(jì)算就能完成很多以往需要專門訓(xùn)練模型的視覺任務(wù)。這種能力在實(shí)際業(yè)務(wù)里非常管用比如商品推薦場(chǎng)景下用戶輸入“適合去海邊度假穿的碎花連衣裙”普通分類模型完全不知道怎么處理這個(gè)query但CLIP能直接算出這個(gè)文本和幾千張商品圖之間的相似度排序輸出匹配的商品。3.4 對(duì)比學(xué)習(xí)vs生成式預(yù)訓(xùn)練兩條路線的差異對(duì)比學(xué)習(xí)和生成式預(yù)訓(xùn)練比如讓模型根據(jù)文本生成圖像或根據(jù)圖像生成文本是兩種截然不同的訓(xùn)練目標(biāo)。GPT類模型做的是自回歸目標(biāo)是預(yù)測(cè)下一個(gè)tokenCLIP做的是判別式對(duì)比目標(biāo)是區(qū)分匹配和不匹配的圖文對(duì)。CLIP的訓(xùn)練效率更高因?yàn)樗恍枰餿oken生成只需要對(duì)比向量但代價(jià)是CLIP在生成任務(wù)上完全無能只能做特征提取和匹配。后來很多工作嘗試把這兩種思路合到一起比如CoCaContrastive Captioner同時(shí)用對(duì)比損失和生成損失訓(xùn)練在一個(gè)模型里兼顧對(duì)齊和理解能力。如果你在業(yè)務(wù)里既要做圖文檢索又要做圖像描述生成CoCa這類模型會(huì)更合適而純CLIP只能覆蓋檢索和分類類需求。這個(gè)選型問題在實(shí)際項(xiàng)目里經(jīng)常被忽略值得提前想清楚。4. Prompt工程在CLIP中的應(yīng)用一句話如何決定模型上限4.1 為什么CLIP對(duì)Prompt這么敏感CLIP的文本塔是在自然語(yǔ)言上訓(xùn)練的但它見過的文本表達(dá)方式是有限的。訓(xùn)練數(shù)據(jù)里的文本大多是比較完整的描述句比如“a photo of a dog”“a cat sitting on a sofa”所以到推理階段你輸入的文本形式和訓(xùn)練分布越接近效果越好。最經(jīng)典的例子是零樣本分類你要做CIFAR-100的100類分類直接輸入“airplane”“automobile”這類單詞效果通常很差但改成“a photo of a {class}”這個(gè)模板后準(zhǔn)確率立刻提升不少。原因就在于“a photo of”這類前綴在CLIP的訓(xùn)練數(shù)據(jù)里極其常見模型對(duì)緊跟在這個(gè)前綴后面的內(nèi)容有更好的激活響應(yīng)。后續(xù)的研究進(jìn)一步發(fā)現(xiàn)更豐富的上下文描述比如“a satellite photo of a {class}”在你處理特定領(lǐng)域圖像時(shí)能帶來更大的提升比如遙感場(chǎng)景下的分類精度用領(lǐng)域相關(guān)性強(qiáng)的prompt模板可以比通用模板高出好幾個(gè)點(diǎn)。4.2 Prompt工程的常用模板策略我做CLIP零樣本分類時(shí)總結(jié)了一套模板選擇方法先看測(cè)試圖像的領(lǐng)域風(fēng)格然后仿照訓(xùn)練數(shù)據(jù)里常見的描述方式去寫prompt。通用場(chǎng)景用“a photo of a {class}”或“a photo of the {class}”這兩種基本不會(huì)出錯(cuò)。醫(yī)學(xué)圖像用“a medical image of {class}”其效果峰值往往更明顯。遙感圖像用“a satellite image of {class}”真的有明顯增益。如果目標(biāo)類別是動(dòng)作或事件可以把prompt改成“a photo of a person doing {action}”之類更具體的結(jié)構(gòu)。對(duì)于類別名本身也值得做一輪文本處理。像“Basenji”一種犬種這種罕見詞模型可能沒見過但不妨礙直接作為文本輸入——因?yàn)槲谋揪幋a器能通過子詞切分把詞拆成“base”和“nji”之類的token來處理不過如果有已知的別名或更常見的表達(dá)換掉之后效果會(huì)更穩(wěn)定。還有一個(gè)小技巧把類別名用多個(gè)prompt模板做集成即一個(gè)類別寫多個(gè)句子分別編碼后取平均這個(gè)做法在CLIP官方代碼里叫prompt ensembling我實(shí)測(cè)在ImageNet上能提升約1到2個(gè)百分點(diǎn)在細(xì)粒度分類數(shù)據(jù)上提升更明顯。4.3 選擇文本編碼器CLIP中text encoder的特殊性CLIP的text encoder用的是Transformer結(jié)構(gòu)但它和GPT不太一樣。CLIP文本塔是雙向編碼能同時(shí)看到句子前后的所有tokenGPT是單向的只能從左往右看。之所以CLIP選擇雙向是因?yàn)閷?duì)比學(xué)習(xí)需要的是對(duì)整個(gè)句子的整體語(yǔ)義表示而不是生成下一個(gè)token的條件概率。這一區(qū)別會(huì)影響你對(duì)CLIP的微調(diào)方式——不能像微調(diào)GPT那樣直接做語(yǔ)言建模損失而是應(yīng)該繼續(xù)做對(duì)比學(xué)習(xí)或者改成和下游任務(wù)匹配的損失函數(shù)。文本塔的最大長(zhǎng)度是77個(gè)token這個(gè)限制在實(shí)際使用中經(jīng)常被忽略。我在做電商場(chǎng)景時(shí)商品標(biāo)題往往很長(zhǎng)超過77個(gè)token后被粗暴截?cái)辔膊啃畔⒅苯酉?dǎo)致檢索效果變差。后來我做了個(gè)簡(jiǎn)單的處理先把標(biāo)題按關(guān)鍵信息重排把核心描述詞前移保證在77個(gè)token內(nèi)覆蓋有效的語(yǔ)義信息效果提升明顯。另外文本塔輸出默認(rèn)是取整個(gè)序列的最終隱藏狀態(tài)而不是像BERT那樣取[CLS] token所以如果你要改造CLIP的文本編碼器這個(gè)細(xì)節(jié)需要注意。4.4 Prompt工程的邊界手工調(diào)優(yōu)vs可學(xué)習(xí)Prompt手工設(shè)計(jì)prompt模板雖然有效但畢竟依賴人的經(jīng)驗(yàn)。后來研究者提出了CoOpContext Optimization這類方法把prompt的前綴token當(dāng)成可學(xué)習(xí)的參數(shù)直接在目標(biāo)任務(wù)數(shù)據(jù)上做反向傳播優(yōu)化。這種做法本質(zhì)上是在“自動(dòng)搜索prompt”擺脫了人工設(shè)計(jì)模板的主觀性在多個(gè)視覺數(shù)據(jù)集上效果顯著。我在自己的一個(gè)商品分類項(xiàng)目里試過CoOp基線的CLIP零樣本只有78%的準(zhǔn)確率手工模板能到81%CoOp微調(diào)后到84%效果還是可觀的。但CoOp有個(gè)潛在問題如果訓(xùn)練數(shù)據(jù)很少比如只有幾百?gòu)垐D可學(xué)習(xí)的prompt很容易過擬合導(dǎo)致在測(cè)試集上反而比手工模板差。這種情況下一個(gè)更穩(wěn)妥的方案是用手工模板作為初始化或者加上一定的正則約束。說到底Prompt工程目前還是“領(lǐng)域經(jīng)驗(yàn)數(shù)據(jù)驗(yàn)證”的結(jié)合體純靠調(diào)字符串的樸素hack時(shí)代已經(jīng)過去了。5. 實(shí)操過程用CLIP構(gòu)建一個(gè)完整的圖文檢索與零樣本分類流程5.1 環(huán)境準(zhǔn)備與模型加載如果你只是想快速體驗(yàn)CLIP的效果不建議自己去復(fù)現(xiàn)訓(xùn)練直接用OpenAI官方開源的CLIP權(quán)重就夠了。Python環(huán)境需要torch、torchvision以及openai官方提供的clip包或者用HuggingFace的transformers庫(kù)里的CLIPModel。我習(xí)慣用transformers因?yàn)樗拖掠紊鷳B(tài)銜接更方便加載模型只需要一行代碼建議這里給一段代碼 python from transformers import CLIPProcessor, CLIPModelmodel CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32)這個(gè)openai/clip-vit-base-patch32表示圖像塔是ViT-B/32patch size為32輸入分辨率224x224。如果你要更強(qiáng)的效果可以直接換用openai/clip-vit-large-patch14。加載模型時(shí)要留意顯存需求base版本大概需要1GB顯存large版本需要接近3GB如果機(jī)器緊張就選base。 ### 5.2 寫一個(gè)零樣本圖像分類的完整代碼 零樣本分類的實(shí)現(xiàn)思路是先把候選類別的prompt文本都編碼成向量存起來然后來一張測(cè)試圖編碼成圖像向量最后計(jì)算圖像向量和每個(gè)文本向量的余弦相似度取相似度最高的那個(gè)類別作為預(yù)測(cè)結(jié)果。這個(gè)流程可以封裝成下面這個(gè)函數(shù)方便直接拿去做灰度測(cè)試。 python import torch from PIL import Image def zero_shot_classify(image_path, class_names, templatesNone): image Image.open(image_path).convert(RGB) if templates is None: templates [a photo of a {}] texts [t.format(name) for name in class_names for t in templates] inputs processor(texttexts, images[image] * len(texts), return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) logits_per_image outputs.logits_per_image # 圖像與所有文本的相似度矩陣 probs logits_per_image.softmax(dim-1).squeeze(0) best_idx probs.argmax().item() return class_names[best_idx // len(templates)], probs[best_idx].item()實(shí)際使用中我一般會(huì)把所有文本向量在建索引時(shí)就預(yù)先計(jì)算好而不是每次推理都重算一遍文本。這樣在線推理時(shí)只需要算一次圖像向量然后和預(yù)先存好的文本向量做矩陣乘法單張圖片的延遲可以控制在幾毫秒級(jí)別完全能滿足線上的實(shí)時(shí)性要求。5.3 圖文檢索系統(tǒng)的索引構(gòu)建與查詢?nèi)绻獦?gòu)建一個(gè)圖文雙向檢索系統(tǒng)文本向量和圖像向量都應(yīng)該預(yù)先構(gòu)建索引。我用過兩種方案數(shù)據(jù)量在百萬級(jí)別以內(nèi)時(shí)直接用numpy或faiss的IndexFlatIP做暴力檢索簡(jiǎn)單可靠數(shù)據(jù)量上千萬甚至上億時(shí)再用faiss的IndexIVFFlat或HNSW做近似最近鄰檢索。CLIP的向量是經(jīng)過L2歸一化的所以內(nèi)積檢索等價(jià)于余弦相似度檢索直接用IndexFlatIP就行。構(gòu)建索引時(shí)有個(gè)細(xì)節(jié)CLIP的向量是1024維large模型是768維維度不高但量大的時(shí)候內(nèi)存占用還是很可觀的。100萬張圖的向量float32存儲(chǔ)大概需要4GB內(nèi)存如果機(jī)器內(nèi)存吃緊可以考慮用product quantization或者把向量轉(zhuǎn)成float16。我在一個(gè)爬蟲項(xiàng)目里用HNSW把檢索延遲從60毫秒壓到了10毫秒以內(nèi)效果還是不錯(cuò)的。5.4 對(duì)CLIP做領(lǐng)域微調(diào)LoRA是一種低成本方案CLIP的預(yù)訓(xùn)練數(shù)據(jù)雖然覆蓋了大量自然圖像但在特定領(lǐng)域比如醫(yī)學(xué)影像、工業(yè)質(zhì)檢、電商商品通常還有提升空間。如果你有幾千到幾萬張標(biāo)注的圖文對(duì)或分類數(shù)據(jù)可以對(duì)CLIP做微調(diào)。比較推薦的做法是用LoRALow-Rank Adaptation在凍結(jié)原模型參數(shù)的情況下只訓(xùn)練低秩分解矩陣這樣可以大幅減少可訓(xùn)練參數(shù)量同時(shí)防止災(zāi)難性遺忘。我在一個(gè)工業(yè)質(zhì)檢項(xiàng)目里用LoRA只訓(xùn)練了CLIP文本塔和圖像塔的attention層里的低秩矩陣大約只占全部參數(shù)的0.5%在標(biāo)注了8000張缺陷樣本后缺陷分類準(zhǔn)確率從82%提升到了94%而且訓(xùn)練只需要一張消費(fèi)級(jí)顯卡就能跑完。這個(gè)方案如果不用LoRA而是全量微調(diào)效果當(dāng)然可能更好但成本和風(fēng)險(xiǎn)都更高——尤其當(dāng)你的數(shù)據(jù)集和CLIP預(yù)訓(xùn)練分布差異較大時(shí)全量微調(diào)很容易過擬合。LoRA在這種場(chǎng)景下是一個(gè)性價(jià)比很高的選擇。5.5 評(píng)估CLIP效果的注意事項(xiàng)CLIP的實(shí)際效果需要根據(jù)任務(wù)類型來評(píng)估。零樣本分類場(chǎng)景要注意和隨機(jī)初始化分類頭的模型做對(duì)比而不是和完整微調(diào)后的模型對(duì)比否則會(huì)得出“CLIP不行”的錯(cuò)誤結(jié)論。圖文檢索場(chǎng)景要同時(shí)看Recall1、Recall5、Recall10等指標(biāo)因?yàn)闄z索任務(wù)對(duì)排序質(zhì)量敏感只看Recall1容易片面對(duì)待。一個(gè)常見的誤區(qū)是拿CLIP當(dāng)通用特征提取器對(duì)所有下游任務(wù)都直接套用。實(shí)際上CLIP提取的特征在細(xì)粒度識(shí)別比如區(qū)分不同品種的鳥上明顯弱于專門訓(xùn)練的模型因?yàn)镃LIP的訓(xùn)練目標(biāo)是“圖像和文本的對(duì)齊”而不是“區(qū)分相近視覺類別”。所以如果你要做細(xì)粒度識(shí)別最穩(wěn)妥的做法是把CLIP作為一種初始特征再疊加一個(gè)小型分類頭做微調(diào)而不是指望零樣本就能解決。6. 常見問題與排查技巧實(shí)錄6.1 損失不下降或收斂極慢如果你在復(fù)現(xiàn)對(duì)比學(xué)習(xí)訓(xùn)練、發(fā)現(xiàn)損失不降或者下降速度慢到令人發(fā)指大概率是以下幾個(gè)原因。溫度系數(shù)設(shè)置不合理是最常見的坑——τ固定為1往往會(huì)導(dǎo)致梯度消失建議直接設(shè)成0.07或者初始化為可學(xué)習(xí)參數(shù)。第二個(gè)常見問題是相似度矩陣沒有做L2歸一化導(dǎo)致余弦相似度的取值范圍不對(duì)softmax輸出分布異常。還有一個(gè)是batch size太小負(fù)樣本數(shù)量不夠模型學(xué)不到有意義的區(qū)分信息這種情況下即使損失在降低下游任務(wù)指標(biāo)也會(huì)很差。訓(xùn)練穩(wěn)定性方面優(yōu)化器選擇也很關(guān)鍵。CLIP原論文用的是AdamW或LAMBlr設(shè)置要特別小心過大會(huì)導(dǎo)致訓(xùn)練初期就發(fā)散過小則收斂極慢。我的經(jīng)驗(yàn)是用AdamW配合線性warmup前10%的step做warmup峰值lr設(shè)置在1e-4到3e-4之間整體比較穩(wěn)。6.2 零樣本分類準(zhǔn)確率偏低很多人第一次跑CLIP零樣本分類時(shí)感覺效果沒有論文里說的那么驚艷這時(shí)需要檢查幾件事。第一prompt模板是不是和訓(xùn)練分布匹配直接輸一個(gè)裸單詞的實(shí)驗(yàn)效果通常很慘改成“a photo of a {class}”再試。第二類別名和圖像內(nèi)容的語(yǔ)義間距比如你的類別名是“轎車”但訓(xùn)練數(shù)據(jù)里圖文對(duì)用的都是“car”或“sedan”這時(shí)候換用英文標(biāo)簽效果可能更好。第三圖像預(yù)處理是否和CLIP的要求一致CLIP的processor默認(rèn)會(huì)做Resize和CenterCrop如果你用自定義預(yù)處理手段圖像內(nèi)容可能被過度裁剪導(dǎo)致關(guān)鍵語(yǔ)義丟失——尤其在目標(biāo)物體偏小或偏邊緣時(shí)CenterCrop會(huì)直接把目標(biāo)切掉。6.3 圖像向量和文本向量的維度不一致怎么辦這個(gè)問題的根源通常是模型加載了兩個(gè)不同配置的編碼器比如圖像塔是ViT-L/14文本塔是ViT-B/32。兩邊輸出的維度不同相似度矩陣直接計(jì)算會(huì)報(bào)錯(cuò)。解決方案是檢查加載模型時(shí)是否使用了同一個(gè)CLIPModel實(shí)例不要自己?jiǎn)为?dú)加載兩個(gè)不同的clip模型來拼接。如果你有特殊需求確實(shí)要換文本塔或視覺塔那得確保兩邊的輸出投影維度一致通?？梢栽贑LIPModel的配置里設(shè)置projection_dim來統(tǒng)一。6.4 Prompt長(zhǎng)度超過77個(gè)token被截?cái)郈LIP文本塔的最大序列長(zhǎng)度是77超過這個(gè)長(zhǎng)度會(huì)被截?cái)?。如果你要處理的文本特別長(zhǎng)比如長(zhǎng)商品標(biāo)題、長(zhǎng)評(píng)論建議先做文本預(yù)處理?？梢园凑Z(yǔ)義重要性排序或重構(gòu)文本把關(guān)鍵信息放到前77個(gè)token內(nèi)也可以用分句加權(quán)池化的方法把長(zhǎng)文本切成多個(gè)片段分別編碼再按權(quán)重平均得到整個(gè)文本的向量。后者效果更好但工程上復(fù)雜度更高我一般只有在長(zhǎng)文本占比超過30%時(shí)才會(huì)啟用這個(gè)方案。6.5 顯存不足或推理速度慢CLIP模型本身的體量并不大base版本大約150M參數(shù)large版本大約430M參數(shù)。但如果你的輸入是大量圖片且一次性喂給模型顯存很容易爆掉。解決方法是控制batch size分批編碼后再把向量拼接起來。另外如果你用的是ViT-L/14這類大模型又不需要微調(diào)記得開啟torch.no_grad()和torch.inference_mode()甚至可以轉(zhuǎn)成half精度來節(jié)省顯存和加速推理。實(shí)測(cè)half精度在檢索任務(wù)里對(duì)精度影響很小速度卻能提升60%以上。7. 從CLIP到多模態(tài)大模型這套思路的延伸與邊界7.1 CLIP之后的多模態(tài)模型演進(jìn)CLIP證明了對(duì)比學(xué)習(xí)做圖文對(duì)齊的可行性后續(xù)的工作基本沿著幾個(gè)方向繼續(xù)演進(jìn)。一個(gè)方向是引入更細(xì)粒度的圖文交互比如BLIP加入交叉注意力模塊讓圖像特征和文本特征不再“各自為政”而是互相融合ALBEF引入動(dòng)量蒸餾和跨模態(tài)注意力在圖文檢索的細(xì)粒度理解上比CLIP好很多。另一個(gè)方向是引入生成式訓(xùn)練目標(biāo)比如CoCa同時(shí)用對(duì)比損失和生成損失讓模型既會(huì)匹配又會(huì)生成Flamingo則在凍結(jié)的視覺塔和語(yǔ)言模型之間加了一層訓(xùn)練好的cross-attention讓CLIP的視覺特征可以直接“注入”大語(yǔ)言模型從而支持圖文對(duì)話。如果你在業(yè)務(wù)里需要做多模態(tài)問答或者圖像生成純粹的CLIP是不夠的但CLIP底層的雙塔對(duì)齊思想依然是這些復(fù)雜模型的基石。理解CLIP之后再看BLIP、Flamingo的結(jié)構(gòu)會(huì)輕松很多。7.2 CLIP在真實(shí)業(yè)務(wù)里的局限性我必須強(qiáng)調(diào)一點(diǎn)CLIP的“零樣本”能力強(qiáng)不等于“無限樣本”能力強(qiáng)。當(dāng)你的目標(biāo)類別非常細(xì)粒度比如區(qū)分幾十種工業(yè)零件型號(hào)或者標(biāo)簽分布和自然語(yǔ)言描述差異較大時(shí)零樣本效果會(huì)大打折扣。還有一個(gè)問題是魯棒性CLIP對(duì)圖像擾動(dòng)比較敏感比如對(duì)圖像做輕微旋轉(zhuǎn)、添加噪聲檢索排名可能發(fā)生明顯變化這在安防、醫(yī)療等對(duì)穩(wěn)定性要求很高的場(chǎng)景里是硬傷。補(bǔ)一個(gè)例子我之前做一個(gè)農(nóng)業(yè)項(xiàng)目需要分類不同品種的玉米葉片病害。CLIP零樣本的準(zhǔn)確率只有60%左右后來用領(lǐng)域數(shù)據(jù)做LoRA微調(diào)之后提到了87%。這說明CLIP的能力邊界是可以通過下游適配來擴(kuò)展的但零樣本不是萬能的。如果你的需求正好在CLIP的弱區(qū)別硬扛直接做微調(diào)才是務(wù)實(shí)的選擇。7.3 未來趨勢(shì)能進(jìn)化的CLIP還有多少空間CLIP之后出現(xiàn)的一批工作是讓它“持續(xù)學(xué)習(xí)”——比如在增量數(shù)據(jù)上不斷更新圖文對(duì)齊能力而不是每次從頭訓(xùn)練。這類研究的難點(diǎn)在于避免災(zāi)難性遺忘同時(shí)保持已有模態(tài)對(duì)齊的穩(wěn)定性。另一個(gè)趨勢(shì)是把CLIP從靜態(tài)特征抽取器發(fā)展成可交互的“感知底座”比如接入大語(yǔ)言模型后模型可以通過對(duì)話來引導(dǎo)視覺注意力做指代理解、視覺問答甚至具身智能決策。這也是目前業(yè)內(nèi)討論最多的方向。我個(gè)人的感覺是CLIP作為一篇2021年的論文它的思想價(jià)值已經(jīng)遠(yuǎn)遠(yuǎn)超過了模型本身。對(duì)比學(xué)習(xí)雙塔結(jié)構(gòu)自由文本標(biāo)簽這三板斧構(gòu)成了現(xiàn)代多模態(tài)智能的重要基石。不管你是做計(jì)算機(jī)視覺、自然語(yǔ)言處理還是多模態(tài)方向理解這套范式的來龍去脈都會(huì)對(duì)看問題和做項(xiàng)目有實(shí)質(zhì)性的幫助。從ViT到CLIP這條路我從個(gè)人實(shí)操中得到的最大體會(huì)是模型結(jié)構(gòu)固然重要但決定能力上限的往往是你怎么設(shè)計(jì)訓(xùn)練目標(biāo)和組織數(shù)據(jù)。CLIP用4億張圖告訴我們一個(gè)足夠好的對(duì)齊目標(biāo)真的能讓人工智能在“看圖說話”這件事上脫胎換骨。如果你正打算在業(yè)務(wù)里引入多模態(tài)能力不妨從CLIP開始先跑通零樣本再做領(lǐng)域微調(diào)這條路既穩(wěn)妥又高效。