絡(luò)中的對比損失原理、參數(shù)配置與 CPU/GPU 實(shí)現(xiàn))
Caffe ContrastiveLoss 層深度解析孿生網(wǎng)絡(luò)中的對比損失原理、參數(shù)配置與 CPU/GPU 實(shí)現(xiàn)【免費(fèi)下載鏈接】caffeCaffe: a fast open framework for deep learning.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ca/caffe本指南圍繞 Caffe 深度學(xué)習(xí)框架中的ContrastiveLoss對比損失層展開講解其數(shù)學(xué)定義、ContrastiveLossParameter參數(shù)含義、輸入輸出 Blob 規(guī)格并結(jié)合倉庫源碼src/caffe/layers/contrastive_loss_layer.cpp、src/caffe/layers/contrastive_loss_layer.cu剖析前向/反向傳播的底層實(shí)現(xiàn)最后以倉庫自帶的 Siamese 孿生網(wǎng)絡(luò)示例 演示如何用它訓(xùn)練“相似度度量”模型。讀完本文你將能夠獨(dú)立配置并復(fù)現(xiàn)基于對比損失的度量學(xué)習(xí)任務(wù)并理解其梯度在 CPU 與 GPU 上如何計(jì)算。1. 對比損失是什么讓相似樣本靠近、不相似樣本遠(yuǎn)離ContrastiveLoss層的核心思想最早來自 Hadsell、Chopra 與 LeCun 的論文《Dimensionality Reduction by Learning an Invariant Mapping》2006專門用于度量學(xué)習(xí)metric learning希望網(wǎng)絡(luò)學(xué)到的特征空間中屬于同一類別的樣本對距離近不同類別的樣本對距離遠(yuǎn)。它天然適合**孿生網(wǎng)絡(luò)Siamese Network**架構(gòu)——兩個共享權(quán)重的分支分別處理一對輸入再由對比損失衡量兩個分支輸出的特征之間的距離。在 include/caffe/layers/contrastive_loss_layer.hpp 的類注釋中給出了完整定義[ E \frac{1}{2N} \sum_{n1}^{N} \left( y_n \cdot d_n^2 (1 - y_n) \cdot \max(margin - d_n, 0)^2 \right) ]其中 ( d_n |a_n - b_n|_2 )即第 ( n ) 個樣本對兩個特征向量 ( a_n )、( b_n ) 的歐氏距離( y_n \in {0, 1} ) 表示該樣本對是否相似1 為相似/同類0 為不相似/異類( N ) 為 batch 內(nèi)的樣本對數(shù)( margin ) 為可配置的間隔超參數(shù)。直觀理解相似對( y1 )損失項(xiàng)為 ( d^2 )網(wǎng)絡(luò)被鼓勵把兩個特征向量的歐氏距離壓縮到 0不相似對( y0 )損失項(xiàng)為 ( \max(margin - d, 0)^2 )只有當(dāng)距離小于 ( margin ) 時才產(chǎn)生懲罰即把不同類別的樣本推開到至少 ( margin ) 的距離之外一旦距離超過 ( margin )該項(xiàng)為 0不再繼續(xù)施壓從而避免特征空間被過度拉伸。整個損失除以 ( 2N ) 做歸一化使損失值與 batch 大小解耦。2. 層的基本信息與 Blob 規(guī)格Layer typeContrastiveLoss頭文件include/caffe/layers/contrastive_loss_layer.hppCPU 實(shí)現(xiàn)src/caffe/layers/contrastive_loss_layer.cppGPU 實(shí)現(xiàn)src/caffe/layers/contrastive_loss_layer.cu繼承關(guān)系繼承自LossLayerDtype見 include/caffe/layers/loss_layer.hpp因此在網(wǎng)絡(luò) prototxt 中可作為最終損失層輸出loss。2.1 輸入bottom共 3 個 Blob序號Blob 形狀內(nèi)容取值范圍bottom[0]( N \times C \times 1 \times 1 )第一路特征 ( a )([-\infty, \infty])bottom[1]( N \times C \times 1 \times 1 )第二路特征 ( b )([-\infty, \infty])bottom[2]( N \times 1 \times 1 \times 1 )二進(jìn)制相似性標(biāo)簽 ( y )({0, 1})三個 bottom 的num()即樣本對數(shù) N必須一致bottom[0] 與 bottom[1] 的channels()必須相等否則無法計(jì)算逐通道的歐氏距離。2.2 輸出top1 個 Blob形狀為 ( 1 \times 1 \times 1 \times 1 ) 的標(biāo)量損失值 ( E )。2.3 反向傳播范圍AllowForceBackward在 contrastive_loss_layer.hpp 中virtual inline bool AllowForceBackward(const int bottom_index) const { return bottom_index ! 2; }與大多數(shù)損失層不同ContrastiveLoss會向bottom[0] 與 bottom[1]兩路特征回傳梯度而不向 bottom[2]相似性標(biāo)簽回傳——因?yàn)闃?biāo)簽是監(jiān)督信號無需梯度。這保證了孿生網(wǎng)絡(luò)中兩個分支都能正常學(xué)習(xí)。3. 參數(shù)配置ContrastiveLossParameter 完整解析該層的參數(shù)定義在 src/caffe/proto/caffe.proto 的ContrastiveLossParameter消息中官方文檔所引用的正是這一段message ContrastiveLossParameter { // margin for dissimilar pair optional float margin 1 [default 1.0]; // The first implementation of this cost did not exactly match the cost of // Hadsell et al 2006 -- using (margin - d^2) instead of (margin - d)^2. // legacy_version false (the default) uses (margin - d)^2 as proposed in the // Hadsell paper. New models should probably use this version. // legacy_version true uses (margin - d^2). This is kept to support / // reproduce existing models and results optional bool legacy_version 2 [default false]; }3.1 margin默認(rèn) 1.0不相似對的間隔閾值類型為float默認(rèn)值1.0。物理含義特征空間中異類樣本對需要被推開的“最小距離”。margin過小會導(dǎo)致異類特征區(qū)分度不足過大則可能讓網(wǎng)絡(luò)為了拉開距離而犧牲其他表征能力。在倉庫示例中設(shè)為 1見 examples/siamese/mnist_siamese_train_test.prototxt。3.2 legacy_version默認(rèn) false布爾開關(guān)用于選擇不相似對損失的兩種形式legacy_version false默認(rèn)推薦使用論文原版 ( (margin - d)^2 )legacy_version true使用早期 Caffe 實(shí)現(xiàn)中的 ( (margin - d^2) )。根據(jù) proto 注釋早期實(shí)現(xiàn)與 Hadsell 論文公式存在偏差新模型應(yīng)使用默認(rèn)版本true僅用于復(fù)現(xiàn)舊模型與舊實(shí)驗(yàn)結(jié)果。3.3 層字段位置ContrastiveLossParameter通過字段optional ContrastiveLossParameter contrastive_loss_param 105;掛在LayerParameter中見 caffe.proto因此網(wǎng)絡(luò)定義中的寫法為layer { name: loss type: ContrastiveLoss bottom: feat bottom: feat_p bottom: sim top: loss contrastive_loss_param { margin: 1 legacy_version: false } }兩個參數(shù)都可省略省略時分別取默認(rèn)值margin 1.0、legacy_version false。4. 前向傳播實(shí)現(xiàn)解析Forward4.1 輸入校驗(yàn)與工作區(qū)分配LayerSetUpcontrastive_loss_layer.cpp 中的LayerSetUp先做嚴(yán)格的形狀檢查bottom[0] 與 bottom[1] 的 channels 相等bottom[0]、bottom[1] 的 height 與 width 必須為 1即每個樣本是一個 ( C ) 維特征向量bottom[2] 的 channels、height、width 均為 1。隨后分配四個內(nèi)部 Blobdiff_( a-b ) 的逐元素差、diff_sq_差的平方、dist_sq_每個樣本對的平方距離、summer_vec_長度為 channels 的全 1 向量用于 GPU 上沿通道求和。4.2 CPU 前向Forward_cpu 的計(jì)算步驟caffe_sub計(jì)算 ( a_i - b_i ) 存入diff_對每個樣本 ( i )用caffe_cpu_dot計(jì)算 ( d_i^2 |a_i - b_i|_2^2 )依據(jù)標(biāo)簽累加損失相似對loss dist_sq不相似對默認(rèn)版本loss max(margin - sqrt(dist_sq), 0)^2不相似對legacy 版本loss max(margin - dist_sq, 0)最后loss / N / 2完成歸一化并寫入 top[0]。注意 legacy 版本的差異不僅在于平方的位置其損失項(xiàng)不帶二次方( (margin - d^2) ) 直接累加兩者在梯度和收斂行為上都有差別。4.3 GPU 前向Forward_gpu 將逐元素運(yùn)算向量化到 GPUcaffe_gpu_sub計(jì)算差caffe_gpu_powx(..., 2, ...)對差逐元素平方caffe_gpu_gemv矩陣向量乘借助summer_vec_把平方差沿通道求和得到dist_sq_——這正是 BLAS 級別的向量化技巧損失累加邏輯與 CPU 完全一致該循環(huán)為單樣本標(biāo)量操作在 CPU 上執(zhí)行。5. 反向傳播實(shí)現(xiàn)解析Backward由于損失同時依賴于 ( a ) 與 ( b )梯度需要對兩個輸入分別計(jì)算。設(shè) ( \alpha \frac{sign \cdot \lambda}{N} )其中 ( sign 1 )對 a或 ( -1 )對 b( \lambda ) 為top[0]-cpu_diff()[0]即該層在總體損失中的系數(shù) loss_weight見 contrastive_loss_layer.hpp 的注釋。5.1 CPU 反向Backward_cpu 按樣本對分情況相似對梯度為 ( \alpha \cdot (a_i - b_i) )即把差值向量按比例回傳給兩個分支符號相反不相似對默認(rèn)版本( mdist margin - d_i )若 ( mdist 0 )梯度為 ( -\alpha \cdot \frac{mdist}{d_i 10^{-4}} \cdot (a_i - b_i) )否則梯度置 0。分母中的 ( 10^{-4} ) 是為了數(shù)值穩(wěn)定防止 ( d_i 0 ) 時除零legacy 版本( mdist margin - d_i^2 )梯度為 ( -\alpha \cdot (a_i - b_i) )當(dāng)樣本不滿足 ( mdist 0 )即距離已超過 margin時使用caffe_set(..., 0, ...)將梯度清零對應(yīng)損失中max(·, 0)的截?cái)嘈袨椤?.2 GPU 反向Backward_gpu 將上述邏輯封裝為自定義 CUDA 內(nèi)核CLLBackward以CUDA_KERNEL_LOOP對全部元素并行展開每個線程通過n i / channels定位所屬樣本對再按與 CPU 完全相同的分支計(jì)算梯度。內(nèi)核分別在propagate_down[0]、propagate_down[1]為真時各啟動一次兩路輸出使用mutable_gpu_diff()直接寫入。6. 實(shí)戰(zhàn)在 Siamese 孿生網(wǎng)絡(luò)中使用 ContrastiveLoss倉庫的 examples/siamese 是ContrastiveLoss最直接的官方應(yīng)用在 MNIST 上訓(xùn)練孿生網(wǎng)絡(luò)把 10 類數(shù)字映射為 2 維特征。6.1 數(shù)據(jù)準(zhǔn)備./data/mnist/get_mnist.sh ./examples/siamese/create_mnist_siamese.sh腳本會生成examples/siamese/mnist_siamese_train_leveldb與mnist_siamese_test_leveldb兩個 LevelDB 數(shù)據(jù)集每條記錄包含一對圖像pair_data和二進(jìn)制相似標(biāo)簽sim。6.2 網(wǎng)絡(luò)結(jié)構(gòu)要點(diǎn)共享權(quán)重用 LeNet 變體見 examples/siamese/mnist_siamese.prototxt把輸出 10 類的 Softmax 頂層替換為輸出 2 維向量的InnerProduct特征層數(shù)據(jù)分流Data層把一對圖像打包在不同通道隨后用Slice層沿通道維切成data與data_p雙分支兩套相同結(jié)構(gòu)的子網(wǎng)分別處理data與data_p通過給param { name: conv1_w }等參數(shù)顯式命名實(shí)現(xiàn)兩個分支間的權(quán)重共享損失層見 examples/siamese/mnist_siamese_train_test.prototxtlayer { name: loss type: ContrastiveLoss bottom: feat bottom: feat_p bottom: sim top: loss contrastive_loss_param { margin: 1 } }其中feat/feat_p是兩個分支輸出的 2 維特征sim為 0/1 相似標(biāo)簽。默認(rèn)margin 1.0與該例匹配可直接省略參數(shù)寫法。6.3 訓(xùn)練與可視化solver 文件只需指向正確的網(wǎng)絡(luò)定義見 examples/siamese/mnist_siamese_solver.prototxt隨后一鍵訓(xùn)練./examples/siamese/train_mnist_siamese.sh訓(xùn)練結(jié)束后可以用 python/draw_net.py 繪制網(wǎng)絡(luò) DAG并用 examples/siamese/mnist_siamese.ipynb 加載模型、把測試數(shù)字映射到 2 維平面直觀驗(yàn)證“同類聚簇、異類分離”。7. 正確性保障單元測試與梯度校驗(yàn)倉庫在 src/caffe/test/test_contrastive_loss_layer.cpp 中為該層提供了 4 組測試覆蓋 CPU/GPU 兩種設(shè)備TestForward第 59-86 行構(gòu)造 ( 512 \times 2 \times 1 \times 1 ) 的隨機(jī)特征對取值范圍 ([-1, 1])使距離落在 margin 兩側(cè)手工逐項(xiàng)計(jì)算損失并與層輸出比對誤差閾值 ( 10^{-6} )TestGradient第 88-99 行使用GradientChecker對 bottom[0]、bottom[1] 做窮舉梯度檢查驗(yàn)證反向傳播數(shù)值正確TestForwardLegacy / TestGradientLegacy第 101-142 行設(shè)置legacy_version true后重復(fù)上述前向與梯度驗(yàn)證。這些測試同時說明了該層“向兩個輸入回傳梯度、不向標(biāo)簽回傳”的行為是復(fù)現(xiàn)或修改該層實(shí)現(xiàn)時的重要參考。8. 使用注意事項(xiàng)與最佳實(shí)踐形狀約定三個 bottom 必須為 4D Blob且特征維度channels一致height/width 必須為 1。若特征來自InnerProduct/卷積層請確保其輸出經(jīng)過Flatten或本身就是向量形式。margin 的選擇默認(rèn) 1.0 在 MNIST 特征示例中表現(xiàn)良好實(shí)際應(yīng)用中建議根據(jù)特征范數(shù)量級調(diào)整例如在 mnist_siamese_train_test.prototxt 中特征為 2 維且經(jīng) xavier 初始化margin 取 1 是合理的經(jīng)驗(yàn)值。legacy_version 取舍除非要復(fù)現(xiàn)早期模型否則保持默認(rèn)false與 Hadsell 2006 論文公式一致。loss_weight作為LossLayer子類該層的輸出默認(rèn)參與總損失求和如需在多損失網(wǎng)絡(luò)中調(diào)節(jié)該損失占比可通過 prototxt 中的loss_weight指定。數(shù)值穩(wěn)定性反向傳播在默認(rèn)版本中于分母處加入了 ( 10^{-4} ) 的平滑項(xiàng)這是 Caffe 為避免零距離樣本除零的固定做法無需額外處理。孿生網(wǎng)絡(luò)權(quán)重共享務(wù)必為兩個分支對應(yīng)的參數(shù)顯式命名如conv1_w否則兩個分支各自獨(dú)立初始化無法構(gòu)成真正的孿生結(jié)構(gòu)對比損失也將失去意義。9. 小結(jié)ContrastiveLoss是 Caffe 內(nèi)置的少數(shù)專門面向度量學(xué)習(xí)的損失層它以歐氏距離為度量用 ( margin ) 控制異類樣本的推開范圍天然適配孿生網(wǎng)絡(luò)。通過本指南可以確認(rèn)參數(shù)定義見 src/caffe/proto/caffe.proto前向/反向的完整數(shù)值邏輯見 CPU 實(shí)現(xiàn) 與 GPU 實(shí)現(xiàn)端到端用法以 examples/siamese 為樣板正確性則由 單元測試 雙重保證默認(rèn)版本與 legacy 版本各測前向與梯度。理解這一層也就掌握了在 Caffe 中實(shí)現(xiàn)度量學(xué)習(xí)、人臉驗(yàn)證、圖像檢索等“同/異類判別”任務(wù)的基本范式?！久赓M(fèi)下載鏈接】caffeCaffe: a fast open framework for deep learning.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ca/caffe創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Caffe ContrastiveLoss 層深度解析：孿生網(wǎng)絡(luò)中的對比損失原理、參數(shù)配置與 CPU/GPU 實(shí)現(xiàn)
Caffe ContrastiveLoss 層深度解析孿生網(wǎng)絡(luò)中的對比損失原理、參數(shù)配置與 CPU/GPU 實(shí)現(xiàn)【免費(fèi)下載鏈接】caffeCaffe: a fast open framework for deep learning.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ca/caffe本指南圍繞 Caffe 深度學(xué)習(xí)框架中的ContrastiveLoss對比損失層展開講解其數(shù)學(xué)定義、ContrastiveLossParameter參數(shù)含義、輸入輸出 Blob 規(guī)格并結(jié)合倉庫源碼src/caffe/layers/contrastive_loss_layer.cpp、src/caffe/layers/contrastive_loss_layer.cu剖析前向/反向傳播的底層實(shí)現(xiàn)最后以倉庫自帶的 Siamese 孿生網(wǎng)絡(luò)示例 演示如何用它訓(xùn)練“相似度度量”模型。讀完本文你將能夠獨(dú)立配置并復(fù)現(xiàn)基于對比損失的度量學(xué)習(xí)任務(wù)并理解其梯度在 CPU 與 GPU 上如何計(jì)算。1. 對比損失是什么讓相似樣本靠近、不相似樣本遠(yuǎn)離ContrastiveLoss層的核心思想最早來自 Hadsell、Chopra 與 LeCun 的論文《Dimensionality Reduction by Learning an Invariant Mapping》2006專門用于度量學(xué)習(xí)metric learning希望網(wǎng)絡(luò)學(xué)到的特征空間中屬于同一類別的樣本對距離近不同類別的樣本對距離遠(yuǎn)。它天然適合**孿生網(wǎng)絡(luò)Siamese Network**架構(gòu)——兩個共享權(quán)重的分支分別處理一對輸入再由對比損失衡量兩個分支輸出的特征之間的距離。在 include/caffe/layers/contrastive_loss_layer.hpp 的類注釋中給出了完整定義[ E \frac{1}{2N} \sum_{n1}^{N} \left( y_n \cdot d_n^2 (1 - y_n) \cdot \max(margin - d_n, 0)^2 \right) ]其中 ( d_n |a_n - b_n|_2 )即第 ( n ) 個樣本對兩個特征向量 ( a_n )、( b_n ) 的歐氏距離( y_n \in {0, 1} ) 表示該樣本對是否相似1 為相似/同類0 為不相似/異類( N ) 為 batch 內(nèi)的樣本對數(shù)( margin ) 為可配置的間隔超參數(shù)。直觀理解相似對( y1 )損失項(xiàng)為 ( d^2 )網(wǎng)絡(luò)被鼓勵把兩個特征向量的歐氏距離壓縮到 0不相似對( y0 )損失項(xiàng)為 ( \max(margin - d, 0)^2 )只有當(dāng)距離小于 ( margin ) 時才產(chǎn)生懲罰即把不同類別的樣本推開到至少 ( margin ) 的距離之外一旦距離超過 ( margin )該項(xiàng)為 0不再繼續(xù)施壓從而避免特征空間被過度拉伸。整個損失除以 ( 2N ) 做歸一化使損失值與 batch 大小解耦。2. 層的基本信息與 Blob 規(guī)格Layer typeContrastiveLoss頭文件include/caffe/layers/contrastive_loss_layer.hppCPU 實(shí)現(xiàn)src/caffe/layers/contrastive_loss_layer.cppGPU 實(shí)現(xiàn)src/caffe/layers/contrastive_loss_layer.cu繼承關(guān)系繼承自LossLayerDtype見 include/caffe/layers/loss_layer.hpp因此在網(wǎng)絡(luò) prototxt 中可作為最終損失層輸出loss。2.1 輸入bottom共 3 個 Blob序號Blob 形狀內(nèi)容取值范圍bottom[0]( N \times C \times 1 \times 1 )第一路特征 ( a )([-\infty, \infty])bottom[1]( N \times C \times 1 \times 1 )第二路特征 ( b )([-\infty, \infty])bottom[2]( N \times 1 \times 1 \times 1 )二進(jìn)制相似性標(biāo)簽 ( y )({0, 1})三個 bottom 的num()即樣本對數(shù) N必須一致bottom[0] 與 bottom[1] 的channels()必須相等否則無法計(jì)算逐通道的歐氏距離。2.2 輸出top1 個 Blob形狀為 ( 1 \times 1 \times 1 \times 1 ) 的標(biāo)量損失值 ( E )。2.3 反向傳播范圍AllowForceBackward在 contrastive_loss_layer.hpp 中virtual inline bool AllowForceBackward(const int bottom_index) const { return bottom_index ! 2; }與大多數(shù)損失層不同ContrastiveLoss會向bottom[0] 與 bottom[1]兩路特征回傳梯度而不向 bottom[2]相似性標(biāo)簽回傳——因?yàn)闃?biāo)簽是監(jiān)督信號無需梯度。這保證了孿生網(wǎng)絡(luò)中兩個分支都能正常學(xué)習(xí)。3. 參數(shù)配置ContrastiveLossParameter 完整解析該層的參數(shù)定義在 src/caffe/proto/caffe.proto 的ContrastiveLossParameter消息中官方文檔所引用的正是這一段message ContrastiveLossParameter { // margin for dissimilar pair optional float margin 1 [default 1.0]; // The first implementation of this cost did not exactly match the cost of // Hadsell et al 2006 -- using (margin - d^2) instead of (margin - d)^2. // legacy_version false (the default) uses (margin - d)^2 as proposed in the // Hadsell paper. New models should probably use this version. // legacy_version true uses (margin - d^2). This is kept to support / // reproduce existing models and results optional bool legacy_version 2 [default false]; }3.1 margin默認(rèn) 1.0不相似對的間隔閾值類型為float默認(rèn)值1.0。物理含義特征空間中異類樣本對需要被推開的“最小距離”。margin過小會導(dǎo)致異類特征區(qū)分度不足過大則可能讓網(wǎng)絡(luò)為了拉開距離而犧牲其他表征能力。在倉庫示例中設(shè)為 1見 examples/siamese/mnist_siamese_train_test.prototxt。3.2 legacy_version默認(rèn) false布爾開關(guān)用于選擇不相似對損失的兩種形式legacy_version false默認(rèn)推薦使用論文原版 ( (margin - d)^2 )legacy_version true使用早期 Caffe 實(shí)現(xiàn)中的 ( (margin - d^2) )。根據(jù) proto 注釋早期實(shí)現(xiàn)與 Hadsell 論文公式存在偏差新模型應(yīng)使用默認(rèn)版本true僅用于復(fù)現(xiàn)舊模型與舊實(shí)驗(yàn)結(jié)果。3.3 層字段位置ContrastiveLossParameter通過字段optional ContrastiveLossParameter contrastive_loss_param 105;掛在LayerParameter中見 caffe.proto因此網(wǎng)絡(luò)定義中的寫法為layer { name: loss type: ContrastiveLoss bottom: feat bottom: feat_p bottom: sim top: loss contrastive_loss_param { margin: 1 legacy_version: false } }兩個參數(shù)都可省略省略時分別取默認(rèn)值margin 1.0、legacy_version false。4. 前向傳播實(shí)現(xiàn)解析Forward4.1 輸入校驗(yàn)與工作區(qū)分配LayerSetUpcontrastive_loss_layer.cpp 中的LayerSetUp先做嚴(yán)格的形狀檢查bottom[0] 與 bottom[1] 的 channels 相等bottom[0]、bottom[1] 的 height 與 width 必須為 1即每個樣本是一個 ( C ) 維特征向量bottom[2] 的 channels、height、width 均為 1。隨后分配四個內(nèi)部 Blobdiff_( a-b ) 的逐元素差、diff_sq_差的平方、dist_sq_每個樣本對的平方距離、summer_vec_長度為 channels 的全 1 向量用于 GPU 上沿通道求和。4.2 CPU 前向Forward_cpu 的計(jì)算步驟caffe_sub計(jì)算 ( a_i - b_i ) 存入diff_對每個樣本 ( i )用caffe_cpu_dot計(jì)算 ( d_i^2 |a_i - b_i|_2^2 )依據(jù)標(biāo)簽累加損失相似對loss dist_sq不相似對默認(rèn)版本loss max(margin - sqrt(dist_sq), 0)^2不相似對legacy 版本loss max(margin - dist_sq, 0)最后loss / N / 2完成歸一化并寫入 top[0]。注意 legacy 版本的差異不僅在于平方的位置其損失項(xiàng)不帶二次方( (margin - d^2) ) 直接累加兩者在梯度和收斂行為上都有差別。4.3 GPU 前向Forward_gpu 將逐元素運(yùn)算向量化到 GPUcaffe_gpu_sub計(jì)算差caffe_gpu_powx(..., 2, ...)對差逐元素平方caffe_gpu_gemv矩陣向量乘借助summer_vec_把平方差沿通道求和得到dist_sq_——這正是 BLAS 級別的向量化技巧損失累加邏輯與 CPU 完全一致該循環(huán)為單樣本標(biāo)量操作在 CPU 上執(zhí)行。5. 反向傳播實(shí)現(xiàn)解析Backward由于損失同時依賴于 ( a ) 與 ( b )梯度需要對兩個輸入分別計(jì)算。設(shè) ( \alpha \frac{sign \cdot \lambda}{N} )其中 ( sign 1 )對 a或 ( -1 )對 b( \lambda ) 為top[0]-cpu_diff()[0]即該層在總體損失中的系數(shù) loss_weight見 contrastive_loss_layer.hpp 的注釋。5.1 CPU 反向Backward_cpu 按樣本對分情況相似對梯度為 ( \alpha \cdot (a_i - b_i) )即把差值向量按比例回傳給兩個分支符號相反不相似對默認(rèn)版本( mdist margin - d_i )若 ( mdist 0 )梯度為 ( -\alpha \cdot \frac{mdist}{d_i 10^{-4}} \cdot (a_i - b_i) )否則梯度置 0。分母中的 ( 10^{-4} ) 是為了數(shù)值穩(wěn)定防止 ( d_i 0 ) 時除零legacy 版本( mdist margin - d_i^2 )梯度為 ( -\alpha \cdot (a_i - b_i) )當(dāng)樣本不滿足 ( mdist 0 )即距離已超過 margin時使用caffe_set(..., 0, ...)將梯度清零對應(yīng)損失中max(·, 0)的截?cái)嘈袨椤?.2 GPU 反向Backward_gpu 將上述邏輯封裝為自定義 CUDA 內(nèi)核CLLBackward以CUDA_KERNEL_LOOP對全部元素并行展開每個線程通過n i / channels定位所屬樣本對再按與 CPU 完全相同的分支計(jì)算梯度。內(nèi)核分別在propagate_down[0]、propagate_down[1]為真時各啟動一次兩路輸出使用mutable_gpu_diff()直接寫入。6. 實(shí)戰(zhàn)在 Siamese 孿生網(wǎng)絡(luò)中使用 ContrastiveLoss倉庫的 examples/siamese 是ContrastiveLoss最直接的官方應(yīng)用在 MNIST 上訓(xùn)練孿生網(wǎng)絡(luò)把 10 類數(shù)字映射為 2 維特征。6.1 數(shù)據(jù)準(zhǔn)備./data/mnist/get_mnist.sh ./examples/siamese/create_mnist_siamese.sh腳本會生成examples/siamese/mnist_siamese_train_leveldb與mnist_siamese_test_leveldb兩個 LevelDB 數(shù)據(jù)集每條記錄包含一對圖像pair_data和二進(jìn)制相似標(biāo)簽sim。6.2 網(wǎng)絡(luò)結(jié)構(gòu)要點(diǎn)共享權(quán)重用 LeNet 變體見 examples/siamese/mnist_siamese.prototxt把輸出 10 類的 Softmax 頂層替換為輸出 2 維向量的InnerProduct特征層數(shù)據(jù)分流Data層把一對圖像打包在不同通道隨后用Slice層沿通道維切成data與data_p雙分支兩套相同結(jié)構(gòu)的子網(wǎng)分別處理data與data_p通過給param { name: conv1_w }等參數(shù)顯式命名實(shí)現(xiàn)兩個分支間的權(quán)重共享損失層見 examples/siamese/mnist_siamese_train_test.prototxtlayer { name: loss type: ContrastiveLoss bottom: feat bottom: feat_p bottom: sim top: loss contrastive_loss_param { margin: 1 } }其中feat/feat_p是兩個分支輸出的 2 維特征sim為 0/1 相似標(biāo)簽。默認(rèn)margin 1.0與該例匹配可直接省略參數(shù)寫法。6.3 訓(xùn)練與可視化solver 文件只需指向正確的網(wǎng)絡(luò)定義見 examples/siamese/mnist_siamese_solver.prototxt隨后一鍵訓(xùn)練./examples/siamese/train_mnist_siamese.sh訓(xùn)練結(jié)束后可以用 python/draw_net.py 繪制網(wǎng)絡(luò) DAG并用 examples/siamese/mnist_siamese.ipynb 加載模型、把測試數(shù)字映射到 2 維平面直觀驗(yàn)證“同類聚簇、異類分離”。7. 正確性保障單元測試與梯度校驗(yàn)倉庫在 src/caffe/test/test_contrastive_loss_layer.cpp 中為該層提供了 4 組測試覆蓋 CPU/GPU 兩種設(shè)備TestForward第 59-86 行構(gòu)造 ( 512 \times 2 \times 1 \times 1 ) 的隨機(jī)特征對取值范圍 ([-1, 1])使距離落在 margin 兩側(cè)手工逐項(xiàng)計(jì)算損失并與層輸出比對誤差閾值 ( 10^{-6} )TestGradient第 88-99 行使用GradientChecker對 bottom[0]、bottom[1] 做窮舉梯度檢查驗(yàn)證反向傳播數(shù)值正確TestForwardLegacy / TestGradientLegacy第 101-142 行設(shè)置legacy_version true后重復(fù)上述前向與梯度驗(yàn)證。這些測試同時說明了該層“向兩個輸入回傳梯度、不向標(biāo)簽回傳”的行為是復(fù)現(xiàn)或修改該層實(shí)現(xiàn)時的重要參考。8. 使用注意事項(xiàng)與最佳實(shí)踐形狀約定三個 bottom 必須為 4D Blob且特征維度channels一致height/width 必須為 1。若特征來自InnerProduct/卷積層請確保其輸出經(jīng)過Flatten或本身就是向量形式。margin 的選擇默認(rèn) 1.0 在 MNIST 特征示例中表現(xiàn)良好實(shí)際應(yīng)用中建議根據(jù)特征范數(shù)量級調(diào)整例如在 mnist_siamese_train_test.prototxt 中特征為 2 維且經(jīng) xavier 初始化margin 取 1 是合理的經(jīng)驗(yàn)值。legacy_version 取舍除非要復(fù)現(xiàn)早期模型否則保持默認(rèn)false與 Hadsell 2006 論文公式一致。loss_weight作為LossLayer子類該層的輸出默認(rèn)參與總損失求和如需在多損失網(wǎng)絡(luò)中調(diào)節(jié)該損失占比可通過 prototxt 中的loss_weight指定。數(shù)值穩(wěn)定性反向傳播在默認(rèn)版本中于分母處加入了 ( 10^{-4} ) 的平滑項(xiàng)這是 Caffe 為避免零距離樣本除零的固定做法無需額外處理。孿生網(wǎng)絡(luò)權(quán)重共享務(wù)必為兩個分支對應(yīng)的參數(shù)顯式命名如conv1_w否則兩個分支各自獨(dú)立初始化無法構(gòu)成真正的孿生結(jié)構(gòu)對比損失也將失去意義。9. 小結(jié)ContrastiveLoss是 Caffe 內(nèi)置的少數(shù)專門面向度量學(xué)習(xí)的損失層它以歐氏距離為度量用 ( margin ) 控制異類樣本的推開范圍天然適配孿生網(wǎng)絡(luò)。通過本指南可以確認(rèn)參數(shù)定義見 src/caffe/proto/caffe.proto前向/反向的完整數(shù)值邏輯見 CPU 實(shí)現(xiàn) 與 GPU 實(shí)現(xiàn)端到端用法以 examples/siamese 為樣板正確性則由 單元測試 雙重保證默認(rèn)版本與 legacy 版本各測前向與梯度。理解這一層也就掌握了在 Caffe 中實(shí)現(xiàn)度量學(xué)習(xí)、人臉驗(yàn)證、圖像檢索等“同/異類判別”任務(wù)的基本范式?！久赓M(fèi)下載鏈接】caffeCaffe: a fast open framework for deep learning.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ca/caffe創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考