制與多模態(tài)生成實戰(zhàn))
簡介本資源為北京郵電大學(xué)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)專題實踐項目聚焦服飾圖像語義描述任務(wù)面向零基礎(chǔ)入門或需提升實踐能力的學(xué)習(xí)者可作為畢業(yè)設(shè)計、課程作業(yè)或綜合實訓(xùn)素材。項目構(gòu)建了三類模型架構(gòu)基于注意力機(jī)制的編碼器-解碼器框架ARCTIC、視覺Transformer結(jié)合Transformer解碼器的端到端模型以及采用網(wǎng)格與區(qū)域特征表征的Transformer雙模塊結(jié)構(gòu)并配套BLEU、SPICE、CIDEr-D三種自然語言生成評價指標(biāo)。拓展部分將服飾描述模型與多模態(tài)大語言模型協(xié)同為復(fù)雜背景服飾圖像自動生成屬性與場景描述構(gòu)建多維度標(biāo)注數(shù)據(jù)集。資源包共29個文件以py腳本、ipynb筆記本、json配置與數(shù)據(jù)文件為主輔以zbak備份與pyc緩存壓縮包約3.29MB目錄涵蓋ARCTIC、ViT、SwinTrans等模塊及結(jié)題報告。已有51人學(xué)習(xí)適合系統(tǒng)掌握圖像描述與多模態(tài)融合的完整實踐鏈路。1. 服飾圖像描述為什么值得用 Transformer 重做一遍電商后臺每天堆著幾十萬張服飾圖人工寫標(biāo)題和賣點寫到手指發(fā)麻這是很多做商品中臺的人真實經(jīng)歷過的場景。基于注意力機(jī)制與 Transformer 的服飾圖像描述模型要解決的就是讓機(jī)器看著一張衣服圖自動吐出一句像人寫的描述比如「米白色寬松針織開衫落肩袖前襟三顆樹脂扣」。它屬于圖像描述Image Captioning在垂直品類的落地技術(shù)棧是 CNN 或 ViT 提特征、Transformer 解碼器生成文本再配合注意力機(jī)制把視覺區(qū)域和詞對齊。適合誰做電商商品理解、做多模態(tài)入門練手、想拿一個完整可跑項目理解自注意力機(jī)制 QKV 到底怎么算的人。它不追求刷爆 COCO 榜單追求的是在服飾這個窄領(lǐng)域里把顏色、版型、材質(zhì)、細(xì)節(jié)這些詞說準(zhǔn)。2. 拆開模型視覺編碼、文本解碼與注意力到底怎么接2.1 視覺側(cè)選 CNN 還是 ViT先看數(shù)據(jù)量服飾圖像描述的第一道分叉是視覺編碼器。常見做法有兩類一類用 ResNet-50 或 EfficientNet 抽 7×7 的特征圖展平成 49 個視覺 token另一類直接上 ViT把圖切成 16×16 的 patch 當(dāng) token。選型理由很實在——服飾數(shù)據(jù)集如果只有幾萬張從零訓(xùn) ViT 基本翻車因為 ViT 缺少 CNN 的歸納偏置小數(shù)據(jù)上收斂慢且容易過擬合這時候用預(yù)訓(xùn)練 ResNet 提特征更穩(wěn)。反過來如果手里有幾十萬張帶細(xì)粒度標(biāo)注的服飾圖ViT 的全局建模能力對「領(lǐng)口和袖口同時出現(xiàn)」這類長距離依賴更友好。我一般會先跑一個基線ResNet-50 凍結(jié)主干只訓(xùn)后面的 Transformer 解碼器。等描述質(zhì)量穩(wěn)定了再解凍最后兩個 stage 做微調(diào)。這樣顯存壓力小也方便定位問題到底是視覺特征不行還是解碼器不行。import torch import torch.nn as nn from torchvision.models import resnet50, ResNet50_Weights class VisualEncoder(nn.Module): def __init__(self, finetuneFalse): super().__init__() # 用 ImageNet 預(yù)訓(xùn)練權(quán)重服飾數(shù)據(jù)量不夠時這是保命操作 backbone resnet50(weightsResNet50_Weights.IMAGENET1K_V2) # 去掉最后的全局池化和全連接保留 7x7 特征圖 self.cnn nn.Sequential(*list(backbone.children())[:-2]) self.finetune finetune if not finetune: for p in self.cnn.parameters(): p.requires_grad False # 把 2048 通道壓到解碼器維度比如 512 self.proj nn.Conv2d(2048, 512, kernel_size1) def forward(self, x): feat self.cnn(x) # [B, 2048, 7, 7] feat self.proj(feat) # [B, 512, 7, 7] B, C, H, W feat.shape feat feat.flatten(2).transpose(1, 2) # [B, 49, 512] return feat這段代碼的關(guān)鍵參數(shù)是finetune和proj的輸出維度。finetuneFalse時主干凍結(jié)訓(xùn)練只更新投影層和解碼器適合數(shù)據(jù)量小于五萬張的情況proj把 2048 壓到 512是為了和解碼器的d_model對齊否則后面注意力層的維度對不上會直接報錯。特征圖展平成 49 個 token意味著每張圖被表示成 49 個視覺向量這個數(shù)量決定了后面交叉注意力的計算量。2.2 解碼器里的自注意力與交叉注意力分工Transformer 解碼器在圖像描述里干兩件事自注意力Self-Attention讓已經(jīng)生成的詞互相看交叉注意力Cross-Attention讓詞去看視覺 token。自注意力的 QKV 都來自文本嵌入交叉注意力的 Q 來自文本、K 和 V 來自視覺特征。這個分工是整篇論文的核心也是新手最容易搞混的地方——很多人以為視覺特征只進(jìn)一次實際上它在每一層解碼器里都要被交叉注意力查詢一遍。位置編碼這塊文本側(cè)用標(biāo)準(zhǔn)正弦位置編碼或可學(xué)習(xí)嵌入都行視覺側(cè)因為 token 來自 7×7 網(wǎng)格常見做法是加二維可學(xué)習(xí)位置嵌入讓模型知道哪個 token 在左上、哪個在右下。服飾描述里「左胸口袋」「下擺」這類方位詞靠的就是視覺位置信息。class CaptionDecoderLayer(nn.Module): def __init__(self, d_model512, nhead8, dim_ff2048, dropout0.1): super().__init__() self.self_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.cross_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.ffn nn.Sequential( nn.Linear(d_model, dim_ff), nn.ReLU(), nn.Dropout(dropout), nn.Linear(dim_ff, d_model) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.norm3 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, tgt, memory, tgt_maskNone, tgt_key_padding_maskNone): # 自注意力已生成詞之間互相看tgt_mask 是因果掩碼防止看到未來詞 sa, _ self.self_attn(tgt, tgt, tgt, attn_masktgt_mask, key_padding_masktgt_key_padding_mask) tgt self.norm1(tgt self.dropout(sa)) # 交叉注意力Q 來自文本K/V 來自視覺 memory ca, _ self.cross_attn(tgt, memory, memory) tgt self.norm2(tgt self.dropout(ca)) # 前饋網(wǎng)絡(luò) ff self.ffn(tgt) tgt self.norm3(tgt self.dropout(ff)) return tgttgt_mask是因果掩碼保證預(yù)測第 t 個詞時只能看到前 t-1 個詞這是自回歸生成的基本約束漏了它訓(xùn)練時 loss 會異常低但推理時全亂。cross_attn的 Q 是文本、K/V 是視覺這一行決定了模型能不能把「針織」這個詞對準(zhǔn)毛衣紋理區(qū)域。dim_ff設(shè)成 2048 是 Transformer 原論文的 4 倍慣例顯存緊張可以降到 1024但描述質(zhì)量會掉一點。2.3 訓(xùn)練目標(biāo)與 teacher forcing 的取舍訓(xùn)練階段用 teacher forcing即每一步喂給解碼器的上一個詞是真實標(biāo)簽而不是模型自己生成的詞。這樣收斂快但會帶來 exposure bias——推理時模型看到的是自己生成的詞一旦前面錯了后面就雪崩。常見緩解手段是 scheduled sampling按一定概率把真實詞換成模型預(yù)測詞概率從 0 慢慢升到 0.5 左右。服飾描述里顏色詞錯一個后面版型詞基本就跟著跑偏所以這個策略值得加。損失函數(shù)用交叉熵配合標(biāo)簽平滑label smoothing到 0.1能減少模型對高頻詞「的」「一件」的過度自信。優(yōu)化器 Adam學(xué)習(xí)率 1e-4 起步warmup 4000 步這些是 Transformer 訓(xùn)練的常規(guī)配置不是玄學(xué)。3. 從零跑通數(shù)據(jù)、訓(xùn)練、推理三段實操3.1 服飾描述數(shù)據(jù)的組織與分詞數(shù)據(jù)格式建議一行一條 JSON{image: xxx.jpg, captions: [米白色針織開衫落肩袖, 寬松版型米白開衫]}。一張圖多條描述能提升泛化。分詞用 BPE 或 WordPiece詞表控制在 8000 到 12000 之間服飾領(lǐng)域?qū)Ｓ性~像「落肩」「收腰」「A字」要確保不被切碎可以在分詞器訓(xùn)練語料里多塞商品標(biāo)題。import json from tokenizers import Tokenizer, models, trainers, pre_tokenizers # 收集所有描述文本訓(xùn)練 BPE 分詞器 texts [] with open(fashion_captions.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts.extend(item[captions]) tokenizer Tokenizer(models.BPE(unk_token[UNK])) tokenizer.pre_tokenizer pre_tokenizers.Whitespace() trainer trainers.BpeTrainer( vocab_size10000, special_tokens[[PAD], [UNK], [BOS], [EOS]], min_frequency2 ) tokenizer.train_from_iterator(texts, trainertrainer) tokenizer.save(fashion_bpe.json)vocab_size10000是服飾領(lǐng)域的經(jīng)驗值太小會把「落肩袖」切成單字太大則嵌入矩陣?yán)速M顯存。special_tokens里[BOS]和[EOS]是解碼起止標(biāo)志[PAD]用于 batch 內(nèi)對齊。min_frequency2過濾只出現(xiàn)一次的詞減少噪聲。分詞器訓(xùn)練完要檢查幾個高頻服飾詞是否被完整保留這是后面描述是否通順的前提。3.2 訓(xùn)練循環(huán)與關(guān)鍵超參訓(xùn)練循環(huán)里要盯三個東西loss 是否穩(wěn)定下降、學(xué)習(xí)率 warmup 是否生效、驗證集 CIDEr 或 BLEU-4 是否在漲。服飾描述我更看 CIDEr因為它對同義詞和多樣性更寬容BLEU 容易因為「米白」和「米白色」判錯而虛低。import torch from torch.optim import Adam from torch.nn.utils.rnn import pad_sequence def train_one_epoch(model, loader, optimizer, criterion, device, clip1.0): model.train() total_loss 0 for images, captions in loader: images images.to(device) captions captions.to(device) # 輸入是 [BOS] 前 n-1 個詞目標(biāo)是后 n-1 個詞 [EOS] tgt_input captions[:, :-1] tgt_output captions[:, 1:] tgt_mask torch.triu(torch.ones(tgt_input.size(1), tgt_input.size(1)), diagonal1).bool().to(device) logits model(images, tgt_input, tgt_masktgt_mask) loss criterion(logits.reshape(-1, logits.size(-1)), tgt_output.reshape(-1)) optimizer.zero_grad() loss.backward() # 梯度裁剪Transformer 訓(xùn)練必備防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), clip) optimizer.step() total_loss loss.item() return total_loss / len(loader)tgt_mask用上三角矩陣生成因果掩碼diagonal1表示對角線以上為 1屏蔽未來位置。clip1.0是梯度裁剪閾值Transformer 層數(shù)一多梯度容易炸不加這個 loss 會突然變 NaN。criterion用帶標(biāo)簽平滑的交叉熵ignore_index要設(shè)成[PAD]的 id否則 padding 會污染 loss。學(xué)習(xí)率調(diào)度用 warmup 加余弦退火warmup 步數(shù)按總步數(shù)的 5% 到 10% 設(shè)。3.3 推理beam search 與長度懲罰推理不能用 teacher forcing要自回歸生成。貪心解碼快但容易重復(fù)beam search 設(shè) beam size 3 到 5 通常質(zhì)量更好。長度懲罰length penalty設(shè) 0.7 到 1.0避免模型生成過短或過長的句子。torch.no_grad() def beam_search(model, image, tokenizer, beam_size3, max_len30, lp0.8): model.eval() device image.device memory model.encode(image) # [1, 49, d_model] # 每個候選存 (tokens, log_prob) beams [([tokenizer.token_to_id([BOS])], 0.0)] for _ in range(max_len): candidates [] for tokens, score in beams: if tokens[-1] tokenizer.token_to_id([EOS]): candidates.append((tokens, score)) continue tgt torch.tensor([tokens], devicedevice) logits model.decode(memory, tgt) log_probs torch.log_softmax(logits[0, -1], dim-1) topk torch.topk(log_probs, beam_size) for k in range(beam_size): new_tokens tokens [topk.indices[k].item()] new_score score topk.values[k].item() candidates.append((new_tokens, new_score)) # 按長度懲罰后的分?jǐn)?shù)排序保留 beam_size 個 beams sorted(candidates, keylambda x: x[1] / (len(x[0]) ** lp), reverseTrue)[:beam_size] if all(t[-1] tokenizer.token_to_id([EOS]) for t, _ in beams): break best max(beams, keylambda x: x[1] / (len(x[0]) ** lp)) return tokenizer.decode(best[0])beam_size3是質(zhì)量和速度的平衡點再大提升有限但顯存翻倍。lp0.8是長度懲罰指數(shù)小于 1 會鼓勵長句服飾描述里細(xì)節(jié)詞多適當(dāng)鼓勵長度能帶出材質(zhì)和版型。max_len30防止死循環(huán)服飾描述一般 15 到 25 個詞足夠。注意memory只算一次所有 beam 共享這是 beam search 效率的關(guān)鍵。4. 評估與避坑指標(biāo)怎么讀坑怎么繞4.1 自動指標(biāo)與人工評估的差距BLEU、METEOR、CIDEr、SPICE 是圖像描述四大指標(biāo)。BLEU 看 n-gram 重合CIDEr 看 TF-IDF 加權(quán)SPICE 看語義場景圖。服飾描述里 CIDEr 和 SPICE 更貼近人感受因為「米白」和「米白色」BLEU 會判錯但語義一致。但所有自動指標(biāo)都讀不出「描述是否像人寫的」——模型可能生成「一件衣服有顏色有袖子」這種正確但無用的句子指標(biāo)還不低。所以必須抽 100 張圖做人工打分看顏色、版型、材質(zhì)、細(xì)節(jié)四個維度是否說準(zhǔn)。4.2 常見問題排查現(xiàn)象一loss 降到 2.0 左右就不動了。原因通常是視覺特征被凍結(jié)太久解碼器學(xué)不到細(xì)粒度信息。解決是解凍 ResNet 最后一個 stage學(xué)習(xí)率設(shè)成解碼器的十分之一再訓(xùn)幾個 epoch?，F(xiàn)象二生成結(jié)果反復(fù)出現(xiàn)「一件」「的」這類高頻詞。原因是標(biāo)簽平滑沒加或 beam search 長度懲罰太大。解決是加 label smoothing 0.1把長度懲罰降到 0.7并在解碼時加 repetition penalty對已出現(xiàn)詞降權(quán)。現(xiàn)象三驗證集 CIDEr 漲但人工看描述變差。這是過擬合到訓(xùn)練集描述模板。解決是檢查訓(xùn)練集是否同一件衣服的描述高度雷同增加描述多樣性或加 dropout 到 0.2。現(xiàn)象四顯存溢出batch size 只能設(shè) 4。原因是交叉注意力里視覺 token 49 個乘以 batch 和 head 數(shù)。解決是用梯度累積模擬大 batch或把視覺 token 從 49 降到 25用 5×5 池化質(zhì)量損失可接受。現(xiàn)象五推理速度慢到無法上線。原因是每步都重算 memory。解決是把 memory 緩存下來beam search 共享再用 KV cache 緩存自注意力歷史速度能提三到五倍。提示評估階段一定要固定隨機(jī)種子否則兩次跑的 CIDEr 差 2 個點你會懷疑人生。5. 把描述質(zhì)量再抬一檔視覺位置編碼與屬性增強(qiáng)模型能跑通之后真正拉開差距的是視覺位置編碼和屬性增強(qiáng)這兩個技巧。我踩過的坑是早期版本對「左」「右」「上」「下」幾乎無感生成「口袋」但不說在哪。后來在視覺 token 上加二維可學(xué)習(xí)位置嵌入把 7×7 網(wǎng)格的行列索引分別嵌入再相加方位詞準(zhǔn)確率明顯上升。具體做法是建兩個 Embedding 表行嵌入和列嵌入每個 token 按它所在的行列取向量加到視覺特征上。class VisualPosEmbed(nn.Module): def __init__(self, d_model512, grid7): super().__init__() self.row_embed nn.Embedding(grid, d_model) self.col_embed nn.Embedding(grid, d_model) self.grid grid def forward(self, feat): # feat: [B, 49, d_model] B, N, C feat.shape rows torch.arange(self.grid, devicefeat.device).repeat_interleave(self.grid) cols torch.arange(self.grid, devicefeat.device).repeat(self.grid) pos self.row_embed(rows) self.col_embed(cols) # [49, d_model] return feat pos.unsqueeze(0)grid7對應(yīng) ResNet 輸出的 7×7 特征圖repeat_interleave和repeat配合生成每個 token 的行列索引。這個改動只增加兩個小嵌入表參數(shù)量可忽略但對方位詞幫助很大。另一個技巧是屬性增強(qiáng)訓(xùn)練時額外預(yù)測顏色、版型、材質(zhì)三個分類頭多任務(wù)學(xué)習(xí)讓視覺特征帶更多語義描述時這些詞更容易被解碼出來。分類頭用交叉熵權(quán)重設(shè) 0.3 左右太高會壓過描述主任務(wù)。驗證方法上我習(xí)慣抽 50 張圖分別用帶位置編碼和不帶的模型生成人工統(tǒng)計方位詞出現(xiàn)次數(shù)和正確率。這個對比比看 CIDEr 漲 0.5 更有說服力。從那以后我每次做多模態(tài)生成都強(qiáng)制先跑一遍位置編碼消融確認(rèn)方位詞不是靠猜。希望幫到你。本文還有配套的精品資源點擊獲取 基于Transformer的服飾圖像描述：注意力機(jī)制與多模態(tài)生成實戰(zhàn)
簡介本資源為北京郵電大學(xué)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)專題實踐項目聚焦服飾圖像語義描述任務(wù)面向零基礎(chǔ)入門或需提升實踐能力的學(xué)習(xí)者可作為畢業(yè)設(shè)計、課程作業(yè)或綜合實訓(xùn)素材。項目構(gòu)建了三類模型架構(gòu)基于注意力機(jī)制的編碼器-解碼器框架ARCTIC、視覺Transformer結(jié)合Transformer解碼器的端到端模型以及采用網(wǎng)格與區(qū)域特征表征的Transformer雙模塊結(jié)構(gòu)并配套BLEU、SPICE、CIDEr-D三種自然語言生成評價指標(biāo)。拓展部分將服飾描述模型與多模態(tài)大語言模型協(xié)同為復(fù)雜背景服飾圖像自動生成屬性與場景描述構(gòu)建多維度標(biāo)注數(shù)據(jù)集。資源包共29個文件以py腳本、ipynb筆記本、json配置與數(shù)據(jù)文件為主輔以zbak備份與pyc緩存壓縮包約3.29MB目錄涵蓋ARCTIC、ViT、SwinTrans等模塊及結(jié)題報告。已有51人學(xué)習(xí)適合系統(tǒng)掌握圖像描述與多模態(tài)融合的完整實踐鏈路。1. 服飾圖像描述為什么值得用 Transformer 重做一遍電商后臺每天堆著幾十萬張服飾圖人工寫標(biāo)題和賣點寫到手指發(fā)麻這是很多做商品中臺的人真實經(jīng)歷過的場景。基于注意力機(jī)制與 Transformer 的服飾圖像描述模型要解決的就是讓機(jī)器看著一張衣服圖自動吐出一句像人寫的描述比如「米白色寬松針織開衫落肩袖前襟三顆樹脂扣」。它屬于圖像描述Image Captioning在垂直品類的落地技術(shù)棧是 CNN 或 ViT 提特征、Transformer 解碼器生成文本再配合注意力機(jī)制把視覺區(qū)域和詞對齊。適合誰做電商商品理解、做多模態(tài)入門練手、想拿一個完整可跑項目理解自注意力機(jī)制 QKV 到底怎么算的人。它不追求刷爆 COCO 榜單追求的是在服飾這個窄領(lǐng)域里把顏色、版型、材質(zhì)、細(xì)節(jié)這些詞說準(zhǔn)。2. 拆開模型視覺編碼、文本解碼與注意力到底怎么接2.1 視覺側(cè)選 CNN 還是 ViT先看數(shù)據(jù)量服飾圖像描述的第一道分叉是視覺編碼器。常見做法有兩類一類用 ResNet-50 或 EfficientNet 抽 7×7 的特征圖展平成 49 個視覺 token另一類直接上 ViT把圖切成 16×16 的 patch 當(dāng) token。選型理由很實在——服飾數(shù)據(jù)集如果只有幾萬張從零訓(xùn) ViT 基本翻車因為 ViT 缺少 CNN 的歸納偏置小數(shù)據(jù)上收斂慢且容易過擬合這時候用預(yù)訓(xùn)練 ResNet 提特征更穩(wěn)。反過來如果手里有幾十萬張帶細(xì)粒度標(biāo)注的服飾圖ViT 的全局建模能力對「領(lǐng)口和袖口同時出現(xiàn)」這類長距離依賴更友好。我一般會先跑一個基線ResNet-50 凍結(jié)主干只訓(xùn)后面的 Transformer 解碼器。等描述質(zhì)量穩(wěn)定了再解凍最后兩個 stage 做微調(diào)。這樣顯存壓力小也方便定位問題到底是視覺特征不行還是解碼器不行。import torch import torch.nn as nn from torchvision.models import resnet50, ResNet50_Weights class VisualEncoder(nn.Module): def __init__(self, finetuneFalse): super().__init__() # 用 ImageNet 預(yù)訓(xùn)練權(quán)重服飾數(shù)據(jù)量不夠時這是保命操作 backbone resnet50(weightsResNet50_Weights.IMAGENET1K_V2) # 去掉最后的全局池化和全連接保留 7x7 特征圖 self.cnn nn.Sequential(*list(backbone.children())[:-2]) self.finetune finetune if not finetune: for p in self.cnn.parameters(): p.requires_grad False # 把 2048 通道壓到解碼器維度比如 512 self.proj nn.Conv2d(2048, 512, kernel_size1) def forward(self, x): feat self.cnn(x) # [B, 2048, 7, 7] feat self.proj(feat) # [B, 512, 7, 7] B, C, H, W feat.shape feat feat.flatten(2).transpose(1, 2) # [B, 49, 512] return feat這段代碼的關(guān)鍵參數(shù)是finetune和proj的輸出維度。finetuneFalse時主干凍結(jié)訓(xùn)練只更新投影層和解碼器適合數(shù)據(jù)量小于五萬張的情況proj把 2048 壓到 512是為了和解碼器的d_model對齊否則后面注意力層的維度對不上會直接報錯。特征圖展平成 49 個 token意味著每張圖被表示成 49 個視覺向量這個數(shù)量決定了后面交叉注意力的計算量。2.2 解碼器里的自注意力與交叉注意力分工Transformer 解碼器在圖像描述里干兩件事自注意力Self-Attention讓已經(jīng)生成的詞互相看交叉注意力Cross-Attention讓詞去看視覺 token。自注意力的 QKV 都來自文本嵌入交叉注意力的 Q 來自文本、K 和 V 來自視覺特征。這個分工是整篇論文的核心也是新手最容易搞混的地方——很多人以為視覺特征只進(jìn)一次實際上它在每一層解碼器里都要被交叉注意力查詢一遍。位置編碼這塊文本側(cè)用標(biāo)準(zhǔn)正弦位置編碼或可學(xué)習(xí)嵌入都行視覺側(cè)因為 token 來自 7×7 網(wǎng)格常見做法是加二維可學(xué)習(xí)位置嵌入讓模型知道哪個 token 在左上、哪個在右下。服飾描述里「左胸口袋」「下擺」這類方位詞靠的就是視覺位置信息。class CaptionDecoderLayer(nn.Module): def __init__(self, d_model512, nhead8, dim_ff2048, dropout0.1): super().__init__() self.self_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.cross_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.ffn nn.Sequential( nn.Linear(d_model, dim_ff), nn.ReLU(), nn.Dropout(dropout), nn.Linear(dim_ff, d_model) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.norm3 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, tgt, memory, tgt_maskNone, tgt_key_padding_maskNone): # 自注意力已生成詞之間互相看tgt_mask 是因果掩碼防止看到未來詞 sa, _ self.self_attn(tgt, tgt, tgt, attn_masktgt_mask, key_padding_masktgt_key_padding_mask) tgt self.norm1(tgt self.dropout(sa)) # 交叉注意力Q 來自文本K/V 來自視覺 memory ca, _ self.cross_attn(tgt, memory, memory) tgt self.norm2(tgt self.dropout(ca)) # 前饋網(wǎng)絡(luò) ff self.ffn(tgt) tgt self.norm3(tgt self.dropout(ff)) return tgttgt_mask是因果掩碼保證預(yù)測第 t 個詞時只能看到前 t-1 個詞這是自回歸生成的基本約束漏了它訓(xùn)練時 loss 會異常低但推理時全亂。cross_attn的 Q 是文本、K/V 是視覺這一行決定了模型能不能把「針織」這個詞對準(zhǔn)毛衣紋理區(qū)域。dim_ff設(shè)成 2048 是 Transformer 原論文的 4 倍慣例顯存緊張可以降到 1024但描述質(zhì)量會掉一點。2.3 訓(xùn)練目標(biāo)與 teacher forcing 的取舍訓(xùn)練階段用 teacher forcing即每一步喂給解碼器的上一個詞是真實標(biāo)簽而不是模型自己生成的詞。這樣收斂快但會帶來 exposure bias——推理時模型看到的是自己生成的詞一旦前面錯了后面就雪崩。常見緩解手段是 scheduled sampling按一定概率把真實詞換成模型預(yù)測詞概率從 0 慢慢升到 0.5 左右。服飾描述里顏色詞錯一個后面版型詞基本就跟著跑偏所以這個策略值得加。損失函數(shù)用交叉熵配合標(biāo)簽平滑label smoothing到 0.1能減少模型對高頻詞「的」「一件」的過度自信。優(yōu)化器 Adam學(xué)習(xí)率 1e-4 起步warmup 4000 步這些是 Transformer 訓(xùn)練的常規(guī)配置不是玄學(xué)。3. 從零跑通數(shù)據(jù)、訓(xùn)練、推理三段實操3.1 服飾描述數(shù)據(jù)的組織與分詞數(shù)據(jù)格式建議一行一條 JSON{image: xxx.jpg, captions: [米白色針織開衫落肩袖, 寬松版型米白開衫]}。一張圖多條描述能提升泛化。分詞用 BPE 或 WordPiece詞表控制在 8000 到 12000 之間服飾領(lǐng)域?qū)Ｓ性~像「落肩」「收腰」「A字」要確保不被切碎可以在分詞器訓(xùn)練語料里多塞商品標(biāo)題。import json from tokenizers import Tokenizer, models, trainers, pre_tokenizers # 收集所有描述文本訓(xùn)練 BPE 分詞器 texts [] with open(fashion_captions.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts.extend(item[captions]) tokenizer Tokenizer(models.BPE(unk_token[UNK])) tokenizer.pre_tokenizer pre_tokenizers.Whitespace() trainer trainers.BpeTrainer( vocab_size10000, special_tokens[[PAD], [UNK], [BOS], [EOS]], min_frequency2 ) tokenizer.train_from_iterator(texts, trainertrainer) tokenizer.save(fashion_bpe.json)vocab_size10000是服飾領(lǐng)域的經(jīng)驗值太小會把「落肩袖」切成單字太大則嵌入矩陣?yán)速M顯存。special_tokens里[BOS]和[EOS]是解碼起止標(biāo)志[PAD]用于 batch 內(nèi)對齊。min_frequency2過濾只出現(xiàn)一次的詞減少噪聲。分詞器訓(xùn)練完要檢查幾個高頻服飾詞是否被完整保留這是后面描述是否通順的前提。3.2 訓(xùn)練循環(huán)與關(guān)鍵超參訓(xùn)練循環(huán)里要盯三個東西loss 是否穩(wěn)定下降、學(xué)習(xí)率 warmup 是否生效、驗證集 CIDEr 或 BLEU-4 是否在漲。服飾描述我更看 CIDEr因為它對同義詞和多樣性更寬容BLEU 容易因為「米白」和「米白色」判錯而虛低。import torch from torch.optim import Adam from torch.nn.utils.rnn import pad_sequence def train_one_epoch(model, loader, optimizer, criterion, device, clip1.0): model.train() total_loss 0 for images, captions in loader: images images.to(device) captions captions.to(device) # 輸入是 [BOS] 前 n-1 個詞目標(biāo)是后 n-1 個詞 [EOS] tgt_input captions[:, :-1] tgt_output captions[:, 1:] tgt_mask torch.triu(torch.ones(tgt_input.size(1), tgt_input.size(1)), diagonal1).bool().to(device) logits model(images, tgt_input, tgt_masktgt_mask) loss criterion(logits.reshape(-1, logits.size(-1)), tgt_output.reshape(-1)) optimizer.zero_grad() loss.backward() # 梯度裁剪Transformer 訓(xùn)練必備防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), clip) optimizer.step() total_loss loss.item() return total_loss / len(loader)tgt_mask用上三角矩陣生成因果掩碼diagonal1表示對角線以上為 1屏蔽未來位置。clip1.0是梯度裁剪閾值Transformer 層數(shù)一多梯度容易炸不加這個 loss 會突然變 NaN。criterion用帶標(biāo)簽平滑的交叉熵ignore_index要設(shè)成[PAD]的 id否則 padding 會污染 loss。學(xué)習(xí)率調(diào)度用 warmup 加余弦退火warmup 步數(shù)按總步數(shù)的 5% 到 10% 設(shè)。3.3 推理beam search 與長度懲罰推理不能用 teacher forcing要自回歸生成。貪心解碼快但容易重復(fù)beam search 設(shè) beam size 3 到 5 通常質(zhì)量更好。長度懲罰length penalty設(shè) 0.7 到 1.0避免模型生成過短或過長的句子。torch.no_grad() def beam_search(model, image, tokenizer, beam_size3, max_len30, lp0.8): model.eval() device image.device memory model.encode(image) # [1, 49, d_model] # 每個候選存 (tokens, log_prob) beams [([tokenizer.token_to_id([BOS])], 0.0)] for _ in range(max_len): candidates [] for tokens, score in beams: if tokens[-1] tokenizer.token_to_id([EOS]): candidates.append((tokens, score)) continue tgt torch.tensor([tokens], devicedevice) logits model.decode(memory, tgt) log_probs torch.log_softmax(logits[0, -1], dim-1) topk torch.topk(log_probs, beam_size) for k in range(beam_size): new_tokens tokens [topk.indices[k].item()] new_score score topk.values[k].item() candidates.append((new_tokens, new_score)) # 按長度懲罰后的分?jǐn)?shù)排序保留 beam_size 個 beams sorted(candidates, keylambda x: x[1] / (len(x[0]) ** lp), reverseTrue)[:beam_size] if all(t[-1] tokenizer.token_to_id([EOS]) for t, _ in beams): break best max(beams, keylambda x: x[1] / (len(x[0]) ** lp)) return tokenizer.decode(best[0])beam_size3是質(zhì)量和速度的平衡點再大提升有限但顯存翻倍。lp0.8是長度懲罰指數(shù)小于 1 會鼓勵長句服飾描述里細(xì)節(jié)詞多適當(dāng)鼓勵長度能帶出材質(zhì)和版型。max_len30防止死循環(huán)服飾描述一般 15 到 25 個詞足夠。注意memory只算一次所有 beam 共享這是 beam search 效率的關(guān)鍵。4. 評估與避坑指標(biāo)怎么讀坑怎么繞4.1 自動指標(biāo)與人工評估的差距BLEU、METEOR、CIDEr、SPICE 是圖像描述四大指標(biāo)。BLEU 看 n-gram 重合CIDEr 看 TF-IDF 加權(quán)SPICE 看語義場景圖。服飾描述里 CIDEr 和 SPICE 更貼近人感受因為「米白」和「米白色」BLEU 會判錯但語義一致。但所有自動指標(biāo)都讀不出「描述是否像人寫的」——模型可能生成「一件衣服有顏色有袖子」這種正確但無用的句子指標(biāo)還不低。所以必須抽 100 張圖做人工打分看顏色、版型、材質(zhì)、細(xì)節(jié)四個維度是否說準(zhǔn)。4.2 常見問題排查現(xiàn)象一loss 降到 2.0 左右就不動了。原因通常是視覺特征被凍結(jié)太久解碼器學(xué)不到細(xì)粒度信息。解決是解凍 ResNet 最后一個 stage學(xué)習(xí)率設(shè)成解碼器的十分之一再訓(xùn)幾個 epoch?，F(xiàn)象二生成結(jié)果反復(fù)出現(xiàn)「一件」「的」這類高頻詞。原因是標(biāo)簽平滑沒加或 beam search 長度懲罰太大。解決是加 label smoothing 0.1把長度懲罰降到 0.7并在解碼時加 repetition penalty對已出現(xiàn)詞降權(quán)。現(xiàn)象三驗證集 CIDEr 漲但人工看描述變差。這是過擬合到訓(xùn)練集描述模板。解決是檢查訓(xùn)練集是否同一件衣服的描述高度雷同增加描述多樣性或加 dropout 到 0.2。現(xiàn)象四顯存溢出batch size 只能設(shè) 4。原因是交叉注意力里視覺 token 49 個乘以 batch 和 head 數(shù)。解決是用梯度累積模擬大 batch或把視覺 token 從 49 降到 25用 5×5 池化質(zhì)量損失可接受。現(xiàn)象五推理速度慢到無法上線。原因是每步都重算 memory。解決是把 memory 緩存下來beam search 共享再用 KV cache 緩存自注意力歷史速度能提三到五倍。提示評估階段一定要固定隨機(jī)種子否則兩次跑的 CIDEr 差 2 個點你會懷疑人生。5. 把描述質(zhì)量再抬一檔視覺位置編碼與屬性增強(qiáng)模型能跑通之后真正拉開差距的是視覺位置編碼和屬性增強(qiáng)這兩個技巧。我踩過的坑是早期版本對「左」「右」「上」「下」幾乎無感生成「口袋」但不說在哪。后來在視覺 token 上加二維可學(xué)習(xí)位置嵌入把 7×7 網(wǎng)格的行列索引分別嵌入再相加方位詞準(zhǔn)確率明顯上升。具體做法是建兩個 Embedding 表行嵌入和列嵌入每個 token 按它所在的行列取向量加到視覺特征上。class VisualPosEmbed(nn.Module): def __init__(self, d_model512, grid7): super().__init__() self.row_embed nn.Embedding(grid, d_model) self.col_embed nn.Embedding(grid, d_model) self.grid grid def forward(self, feat): # feat: [B, 49, d_model] B, N, C feat.shape rows torch.arange(self.grid, devicefeat.device).repeat_interleave(self.grid) cols torch.arange(self.grid, devicefeat.device).repeat(self.grid) pos self.row_embed(rows) self.col_embed(cols) # [49, d_model] return feat pos.unsqueeze(0)grid7對應(yīng) ResNet 輸出的 7×7 特征圖repeat_interleave和repeat配合生成每個 token 的行列索引。這個改動只增加兩個小嵌入表參數(shù)量可忽略但對方位詞幫助很大。另一個技巧是屬性增強(qiáng)訓(xùn)練時額外預(yù)測顏色、版型、材質(zhì)三個分類頭多任務(wù)學(xué)習(xí)讓視覺特征帶更多語義描述時這些詞更容易被解碼出來。分類頭用交叉熵權(quán)重設(shè) 0.3 左右太高會壓過描述主任務(wù)。驗證方法上我習(xí)慣抽 50 張圖分別用帶位置編碼和不帶的模型生成人工統(tǒng)計方位詞出現(xiàn)次數(shù)和正確率。這個對比比看 CIDEr 漲 0.5 更有說服力。從那以后我每次做多模態(tài)生成都強(qiáng)制先跑一遍位置編碼消融確認(rèn)方位詞不是靠猜。希望幫到你。本文還有配套的精品資源點擊獲取