1. 從一張平面圖里“讀出”深度這件事到底難在哪先拋一個我經常在技術分享會上問的問題給你一張普通的手機照片你能說出畫面里哪個杯子離你更近嗎大多數人會覺得這問題很蠢——當然能一眼就看出來了。但如果我告訴你計算機看到的只是一張由幾百萬個像素點組成的二維矩陣每個點只有紅綠藍三個數值沒有任何一個數值直接告訴你“遠近”你大概就能體會到3D視覺這件事的微妙之處了。3D視覺說白了就是讓機器從二維的圖像信息里反推出真實世界中物體的三維結構、位置和姿態(tài)。它要回答的核心問題有三個這個東西是什么、它在哪里、它離我多遠。這三個問題聽起來簡單但每一個都牽扯到一整套復雜的數學和工程體系。而計算機視覺這個更大的領域里3D方向一直被認為是“硬骨頭中的硬骨頭”因為它不像2D檢測那樣只需要在平面上畫框它要求模型真正理解空間。那為什么一張平面圖能看出3D效果這里的關鍵在于圖像本身雖然丟失了深度信息但保留了大量的深度線索。這些線索分兩類一類是幾何線索比如透視、遮擋、陰影、紋理梯度另一類是語義線索比如你知道一個成年人的身高大概是多少那么他在畫面里占多大比例就能大致推斷出距離。人類視覺系統(tǒng)就是靠這些線索的組合在瞬間完成判斷的而3D視覺要做的就是用算法把這些線索顯式地建模出來。這篇文章我想聊的不是那種泛泛的“3D視覺概述”而是圍繞一個具體的問題展開當輸入只有一張單目圖像時我們到底怎么把3D效果“看出來”。我會把背后的原理拆開講把常見的幾條技術路線擺出來對比再結合3D目標檢測、3D人臉識別、多模態(tài)融合這些具體方向說說實際項目里怎么落地、哪些坑最容易踩。不管你是剛接觸計算機視覺常用方向的學生還是正在做計算機視覺大作業(yè)或者準備多模態(tài)融合論文的 researcher應該都能從里面找到能直接用的東西。2. 單目圖像里的深度線索人眼靠什么算法就靠什么2.1 透視與消失點最古老的深度暗示如果你學過一點繪畫一定聽過“近大遠小”這個詞。這在幾何上對應的是透視投影平行于光軸的平行線在圖像上會匯聚到一個點也就是消失點。這個現象本身就是深度的強線索。比如一條筆直延伸的公路兩條邊線在圖像上越靠越近最終交于一點這個收斂的速度直接和相機的高度、俯仰角相關。算法層面消失點檢測是一個經典問題。傳統(tǒng)方法靠霍夫變換找直線、再聚類求交點現在更多是用深度學習直接回歸消失點坐標。一旦拿到消失點就能反推出相機的內參和姿態(tài)進而為整個場景建立一個粗略的深度梯度。我做過一個車道線檢測的項目當時就是先用消失點估計出地平線位置再把地平線以下的區(qū)域按行做深度假設效果比直接端到端回歸穩(wěn)定得多。注意消失點方法對場景結構有強假設室內走廊、公路這類有大量平行線的場景很好用但面對自然風景或者雜亂桌面就基本失效。別指望一個方法通吃。2.2 遮擋關系與紋理梯度誰在前誰在后遮擋是最直觀的深度線索。如果A物體擋住了B物體的一部分那A一定在B前面。這個邏輯簡單到不需要任何數學但要讓算法自動識別“遮擋邊界”卻不容易。常見的做法是檢測T型交界——兩個物體的輪廓相交形成一個T字形T的豎線屬于前面的物體橫線屬于后面的物體。紋理梯度則是另一個被低估的線索。想象你站在一片草地上往遠處看腳下的草葉清晰可辨遠處的草地則糊成一片綠色。這種紋理從粗到細、從疏到密的變化就是深度在圖像上的體現。算法可以通過計算局部紋理的頻率和尺度變化估計出相對的深度順序。我在做無人機航拍圖像分析時就經常用紋理梯度做預處理先把明顯的前景和背景分開再交給后續(xù)網絡細化。2.3 陰影與光照被很多人忽略的強線索陰影這個東西很有意思。一個物體投射在地面上的陰影它的形狀、方向和模糊程度都攜帶了深度信息。陰影越清晰、越靠近物體說明物體離地面越近陰影越模糊、越分散說明光源面積大或者物體離地面遠。更關鍵的是陰影能幫助算法理解物體的接觸關系——一個杯子是放在桌子上還是懸浮在空中看它和桌面之間有沒有陰影過渡就知道了。在實際的3D重建任務里陰影信息經常被當作輔助監(jiān)督信號。比如有些工作會用陰影邊界來約束物體的底部位置從而提升深度估計的精度。不過陰影也有坑強光下的硬陰影容易和物體本身的暗部混淆弱光下的軟陰影又幾乎不可見。所以陰影線索通常不單獨使用而是和幾何線索融合。2.4 語義先驗你知道的常識算法也能學前面說的都是幾何和光學線索但人類判斷深度還有一個大殺器常識。你知道標準門框大概兩米高知道汽車寬度大概一米八知道成年人的頭身比。這些先驗知識讓你在看到一張圖時能迅速判斷出物體的絕對尺度。算法怎么獲得這種能力靠數據驅動。在訓練集里見過大量“人”和“車”的樣本后網絡會隱式地學到這些物體的典型尺寸分布。當它在圖像里檢測到一個只占50像素高的人時就能推斷出這個人離相機很遠。這就是為什么3D目標檢測里單目方法往往要依賴一個“平均尺寸”的先驗表——比如KITTI數據集上轎車的平均長寬高是4.5米、1.8米、1.5米。這個先驗雖然粗糙但在缺乏其他信息時非常管用。3. 從線索到坐標單目3D目標檢測的幾條主流路線3.1 直接回歸法讓網絡自己學最直接的想法是既然網絡能回歸2D框的坐標那讓它多回歸幾個值——深度、長寬高、朝向角——不就行了這就是直接回歸法的核心思路。代表工作比如早期的Deep3DBox它在2D檢測器的基礎上加了一個分支輸出物體的3D尺寸、中心和朝向。這條路線的優(yōu)點是結構簡單、推理速度快適合對實時性要求高的場景。但缺點也很明顯深度回歸的精度對遮擋和截斷非常敏感。一個被截斷的物體網絡看到的像素少回歸出來的深度往往偏差很大。而且直接回歸缺乏幾何約束容易出現“框飄了”的情況——2D框很準但3D框在空間里歪歪扭扭。我自己的經驗是直接回歸法適合作為baseline快速驗證想法但如果要上產品必須加幾何約束或者后處理優(yōu)化。一個常用的技巧是用2D框的底部中點作為物體接地點結合相機內參和地面平面假設反推出深度。這個幾何方法比純回歸穩(wěn)定得多尤其是在自動駕駛場景里。3.2 關鍵點與幾何約束法用結構信息兜底既然純回歸不穩(wěn)那就引入結構。關鍵點法的思路是先檢測物體的幾個關鍵點比如車輛的車頂、車底、左前輪、右后輪然后利用這些關鍵點在3D模型上的已知位置通過PnPPerspective-n-Point求解出物體的3D姿態(tài)和位置。這個方法的精度上限很高因為關鍵點的像素坐標是直接觀測到的幾何求解過程有明確的數學保證。但它對關鍵點檢測的準確性極其敏感——一個關鍵點偏了10個像素解出來的深度可能差好幾米。而且關鍵點的定義依賴物體類別換一個類別就要重新定義一套關鍵點泛化性受限。實際項目中我通常會把關鍵點法和直接回歸法結合用回歸法出初值再用關鍵點做幾何優(yōu)化。這樣既有速度又有精度。在KITTI的評測里這種混合策略通常能把深度誤差降低20%到30%。3.3 偽激光雷達法把深度圖變成點云這條路線是近幾年比較火的。核心思想是先用一個深度估計網絡把單目圖像轉換成一張深度圖然后把深度圖反投影成點云最后在點云上跑標準的3D檢測算法。因為點云檢測已經有非常成熟的方案比如PointPillars、VoxelNet所以這條路線相當于把“單目3D檢測”轉化成了“深度估計點云檢測”兩個子問題。偽激光雷達法的優(yōu)勢在于模塊化每個子問題都可以獨立優(yōu)化。深度估計可以用自監(jiān)督、多幀、雙目等多種方式提升點云檢測可以直接復用現有成果。但它的瓶頸也很明顯深度估計的誤差會直接傳遞到最終的3D檢測結果。如果深度圖在物體邊緣糊了反投影出來的點云就會在物體表面“拉絲”導致檢測框變形。提示偽激光雷達法對深度估計的質量要求極高。如果你的深度網絡在遠處物體的誤差超過10%那最終的3D檢測基本沒法用。建議在深度估計階段就引入激光雷達稀疏點云做監(jiān)督哪怕只有幾幀標注數據也能顯著提升效果。3.4 三條路線的對比與選型建議路線精度上限推理速度對標注的依賴適合場景直接回歸法中快中等實時檢測、嵌入式部署關鍵點幾何法高中高需關鍵點標注高精度測量、工業(yè)檢測偽激光雷達法高慢高需深度標注離線分析、自動駕駛感知選型的時候我一般會問三個問題第一你的場景對實時性要求多高第二你有沒有激光雷達或者雙目數據做監(jiān)督第三你的物體類別是否固定如果實時性優(yōu)先、類別固定直接回歸法加幾何后處理就夠了如果精度優(yōu)先、有激光雷達數據偽激光雷達法上限最高如果是工業(yè)測量這種對絕對精度要求極高的場景關鍵點法更可靠。4. 3D人臉識別當深度線索遇上生物特征4.1 為什么2D人臉識別不夠用2D人臉識別在約束環(huán)境下已經做得非常好了但一遇到姿態(tài)變化、光照變化、化妝或者口罩性能就斷崖式下跌。根本原因在于2D圖像丟失了面部的三維結構信息。一個人的臉在正面和側面拍出來像素分布完全不同但本質上還是同一張臉。2D算法很難把這種姿態(tài)變化和身份變化區(qū)分開。3D人臉識別的思路是直接重建或者感知面部的三維幾何結構用深度信息來輔助身份判斷。這樣即使姿態(tài)變了三維結構是不變的識別魯棒性就上來了。4.2 從單張圖重建3D人臉參數化模型是主流單目3D人臉重建目前最主流的方案是參數化模型比如3DMM3D Morphable Model。它的核心思想是任何一張人臉都可以表示為一個平均臉加上若干形狀和表情的線性組合。網絡只需要回歸出這些組合系數就能重建出對應的3D人臉。具體來說3DMM把面部幾何表示為# 偽代碼示意 face_3d mean_face shape_basis shape_coeff expression_basis expr_coeff其中shape_basis和expression_basis是從大量3D掃描數據中通過PCA得到的基向量shape_coeff和expr_coeff就是網絡要預測的系數。通常形狀系數50到100維表情系數20到50維加起來不到200個參數就能表示出非常豐富的人臉變化。這個方法的優(yōu)點是參數少、可解釋性強、重建結果穩(wěn)定。缺點是基向量的表達能力有限遇到極端表情或者特殊臉型時重建結果會“平均化”丟失個性細節(jié)。我在做3D人臉識別相關項目時通常會在3DMM的基礎上再加一個細節(jié)補償網絡專門恢復皺紋、酒窩這些高頻信息。4.3 深度信息怎么融入識別流程重建出3D人臉之后識別就有兩種做法。一種是基于幾何的識別直接比較兩個人臉的三維關鍵點距離或者曲面曲率。這種方法對光照完全不敏感但對面部表情和遮擋比較敏感。另一種是基于紋理的識別把3D人臉投影回2D做姿態(tài)歸一化再用傳統(tǒng)的2D識別網絡提取特征。這種方法保留了紋理信息但歸一化過程會引入插值誤差。實際系統(tǒng)里我見過最多的是融合方案幾何特征和紋理特征各出一路最后拼接或者加權融合。融合權重可以根據場景動態(tài)調整——光照好的時候紋理權重大光照差的時候幾何權重大。這種自適應融合在安防場景里特別實用因為安防攝像頭的光照條件往往不可控。注意3D人臉識別的防偽能力比2D強很多因為面具和照片很難同時偽造出正確的幾何結構和紋理。但高精度的3D打印面具仍然是一個威脅所以活體檢測模塊不能省。5. 多模態(tài)融合單目不夠那就多找?guī)讉€“幫手”5.1 為什么單目3D視覺需要多模態(tài)單目圖像的深度線索再豐富也有物理上的天花板。一張圖就是一張圖它沒有視差、沒有飛行時間、沒有結構光。當場景紋理稀疏比如白墻、光照極端比如夜間、或者物體被嚴重遮擋時單目方法基本無解。多模態(tài)融合的思路是既然一種傳感器不夠那就把相機、激光雷達、毫米波雷達、IMU等傳感器的數據融合起來互相補位。相機提供稠密的紋理和語義激光雷達提供精確的深度和幾何毫米波雷達提供速度和穿透能力IMU提供運動先驗。融合之后系統(tǒng)的魯棒性和精度都會上一個臺階。5.2 融合的層次數據級、特征級、決策級多模態(tài)融合按融合發(fā)生的階段通常分為三個層次。數據級融合是最早期的融合直接把不同傳感器的原始數據對齊后拼接。比如把激光雷達的點云投影到圖像平面每個像素除了RGB之外還多一個深度值。這種融合信息量最大但對時間同步和空間標定的要求極高。標定誤差超過一個像素融合效果就會明顯下降。特征級融合是目前最主流的方式。每個模態(tài)先各自過一遍骨干網絡提取特征然后在中間層做融合。融合操作可以是簡單的拼接、相加也可以是注意力機制加權的自適應融合。特征級融合的靈活性很高不同模態(tài)的網絡結構可以不一樣融合位置也可以根據任務調整。決策級融合是最高層的融合每個模態(tài)獨立完成檢測或分類最后對結果做投票或者加權平均。這種融合對同步誤差不敏感實現簡單但丟失了模態(tài)之間的互補信息精度上限不如特征級。融合層次信息保留同步要求實現難度典型精度數據級最高極高高最高特征級高中中高決策級低低低中5.3 實際項目中的融合策略與踩坑記錄我做過一個園區(qū)低速無人車的感知項目用的是相機加16線激光雷達。一開始我們嘗試數據級融合把點云投影到圖像上做前景分割。結果發(fā)現兩個問題一是時間同步沒做好車輛運動時點云和圖像錯位嚴重二是標定參數在車輛震動后會漂移需要頻繁重新標定。后來改成特征級融合相機走ResNet提取圖像特征激光雷達走PointNet提取點云特征然后在BEV鳥瞰圖空間做融合。這個方案對同步誤差的容忍度高了很多而且BEV空間天然適合做3D檢測。最終在園區(qū)場景下3D檢測的mAP比純視覺方案提升了將近15個百分點。踩過的坑里最值得說的是標定。很多人覺得標定是一次性的工作標完就不管了。實際上車輛行駛中的震動、溫度變化、甚至洗車都會導致標定參數漂移。我們的做法是加了一個在線標定模塊用路面和車道線作為自然參照物每隔一段時間自動修正外參。這個模塊上線后因為標定問題導致的誤檢率下降了70%以上。另一個坑是傳感器失效處理。多模態(tài)融合系統(tǒng)最怕的就是某個傳感器突然掛了融合邏輯如果沒做好降級處理整個系統(tǒng)就會輸出垃圾結果。我們的方案是給每個模態(tài)加一個置信度評估當某個模態(tài)的置信度低于閾值時自動切換到單模態(tài)模式同時上報故障。這個降級機制在雨雪天氣里救過好幾次場——激光雷達被雨滴干擾時純視覺模式雖然精度下降但至少能維持基本功能。6. 動手實踐用單張圖像做一次3D檢測的完整流程6.1 環(huán)境準備與數據準備如果你想自己跑一遍單目3D檢測我建議從KITTI數據集開始。它提供了7481張訓練圖像和7518張測試圖像每張圖都有對應的激光雷達點云和3D標注框。雖然數據集有點老但標注質量高、評測標準統(tǒng)一非常適合入門。環(huán)境方面Python 3.8以上、PyTorch 1.10以上、CUDA 11.3以上基本就夠了。還需要安裝OpenCV、NumPy、以及一個點云可視化工具比如Open3D。如果你沒有GPU用CPU也能跑通推理只是速度會慢很多。# 創(chuàng)建環(huán)境 conda create -n mono3d python3.8 conda activate mono3d pip install torch torchvision opencv-python numpy open3d數據準備階段最重要的是理解KITTI的標注格式。每個3D框有15個參數類別、截斷程度、遮擋程度、觀測角、2D框坐標、3D尺寸、3D中心坐標、朝向角。其中3D中心坐標的y值在KITTI里是相機坐標系下的高度不是地面高度這個細節(jié)很容易搞混。6.2 深度估計網絡的訓練與調優(yōu)單目3D檢測的第一步通常是深度估計。我推薦從自監(jiān)督深度估計開始因為不需要深度標注。核心思路是用相鄰幀的圖像做光度一致性約束讓網絡學會預測深度。訓練的時候有幾個關鍵點。第一圖像分辨率很重要。低分辨率下遠處物體的深度幾乎無法估計建議至少用1024×320的輸入。第二損失函數要組合使用光度誤差、結構相似性誤差、邊緣平滑誤差三者缺一不可。第三數據增強要小心。水平翻轉會改變場景的幾何結構深度圖也要對應翻轉但很多開源代碼在這塊處理得不干凈導致訓練不穩(wěn)定。我自己的調優(yōu)經驗是先用低分辨率快速迭代等損失降到一定程度再切高分辨率微調。學習率用余弦退火初始值1e-4最低降到1e-6。Batch size在顯存允許的情況下盡量大因為深度估計對batch內的多樣性比較敏感。6.3 從深度圖到3D框后處理的關鍵步驟拿到深度圖之后反投影成點云然后在點云上做聚類和框擬合。這一步的精度直接決定了最終的3D檢測效果。反投影的公式很簡單# 像素坐標 (u, v) 和深度 d 轉 3D 點 (X, Y, Z) X (u - cx) * d / fx Y (v - cy) * d / fy Z d其中fx, fy, cx, cy是相機內參。但實際做的時候深度圖在物體邊緣會有“飛點”反投影出來的點云在物體邊界處會拉出一堆噪聲點。我的處理方法是先對深度圖做邊緣保持濾波再用基于密度的聚類DBSCAN把點云分成一個個簇每個簇對應一個物體最后用最小外接矩形擬合出3D框。后處理里還有一個容易被忽略的步驟地面平面估計。很多3D框的底部應該落在地面上如果估計出的地面平面不準框就會“懸空”或者“陷地”。我通常用RANSAC從點云里擬合地面平面然后把所有物體的底部約束到這個平面上。這個簡單的約束能顯著提升定位精度。6.4 實測效果與常見問題排查在KITTI的驗證集上我這套流程大概能做到轎車類別的3D檢測APIoU閾值0.7在15%左右行人類別在10%左右。這個數字不算高但作為入門級方案已經能跑通全流程了。如果你用更先進的偽激光雷達方案轎車AP可以做到25%以上。常見問題里排第一的是深度尺度模糊。單目深度估計只能得到相對深度絕對尺度是不知道的。解決辦法是用訓練集里的物體平均尺寸做校準或者用相機高度做參考。排第二的是朝向角估計不準。單目圖像里物體的朝向角有兩個解正面和背面看起來可能很像需要結合上下文或者運動信息來消歧。排第三的是遠處物體漏檢。遠處物體像素少、深度誤差大很容易被網絡忽略。一個實用的技巧是在訓練時對遠處物體做重采樣增加它們在損失函數里的權重。7. 幾個容易踩的坑和我的應對經驗7.1 標定參數錯了后面全白搭我見過太多項目模型結構改來改去最后發(fā)現是相機內參標定錯了。內參的焦距誤差1%深度誤差就是1%主點偏了10個像素反投影出來的點云整體就歪了。所以做任何3D視覺任務之前先把標定做扎實。棋盤格標定雖然老土但可靠。標完之后用重投影誤差驗證誤差超過0.5個像素就重新標。7.2 別迷信端到端幾何約束是朋友深度學習很強大但在3D視覺里純端到端的方法往往不如“網絡幾何”的混合方案。幾何約束是免費的午餐——它不需要訓練數據不會過擬合而且有明確的物理意義。我在項目里通常會保留一個幾何后處理模塊哪怕網絡輸出已經很好了幾何約束也能兜底。7.3 多模態(tài)融合不是簡單拼接多模態(tài)融合最忌諱的就是把不同模態(tài)的特征直接concat了事。不同模態(tài)的數據分布、噪聲特性、信息密度都不一樣直接拼接會讓網絡偏向信息量大的模態(tài)。正確的做法是先各自歸一化再用注意力機制做自適應加權讓網絡自己決定每個模態(tài)在每個位置的重要性。7.4 評測指標要看懂再優(yōu)化3D檢測的評測指標比2D復雜得多。IoU閾值、朝向角誤差、深度誤差、BEV視角的AP每個指標反映的問題都不一樣。如果你只盯著一個指標優(yōu)化很容易過擬合。我的習慣是同時看三到四個指標確保模型在各個維度上都沒有明顯短板。8. 這個方向接下來還能怎么玩單目3D視覺這幾年進展很快但離“像人眼一樣理解三維世界”還有很大距離。我個人比較看好的幾個方向一是時序融合單幀信息不夠那就用多幀。視頻里的運動視差是天然的深度線索用好時序信息能大幅提升深度估計的穩(wěn)定性。二是神經輻射場與3D視覺的結合NeRF這類方法能從多視角圖像里重建出非常精細的三維結構雖然目前計算量還很大但思路很有啟發(fā)性。三是自監(jiān)督與弱監(jiān)督3D標注太貴了如何用少量的標注甚至零標注訓練出可用的3D感知模型是工業(yè)界最關心的問題。如果你正在做計算機視覺大作業(yè)或者準備多模態(tài)融合論文我的建議是不要貪大求全選一個具體的子問題做深做透。比如“單目深度估計在透明物體上的誤差分析”就比“多模態(tài)3D檢測綜述”更容易做出有價值的成果。3D視覺這個領域細節(jié)里全是魔鬼把一個細節(jié)搞清楚比泛泛地了解十個方向都有用。