換、推理優(yōu)化與性能調(diào)優(yōu)實(shí)戰(zhàn))
1. Atlas 300V 24G到底是什么卡先把它看明白再動(dòng)手很多人看到Atlas 300V 24G這個(gè)名字第一反應(yīng)是這不就是一張運(yùn)算加速卡嗎這句話對(duì)了一半但只說(shuō)對(duì)了一半。Atlas 300V 24G是華為昇騰生態(tài)里面向推理場(chǎng)景的AI加速卡它確實(shí)承擔(dān)運(yùn)算加速的活但和你在服務(wù)器里插的GPU不是一回事搞清楚它的定位后面的部署才不會(huì)走彎路。先看硬件底子。這款卡的核心芯片是昇騰310P系列顯存容量24GB支持FP16和INT8兩種主流推理精度。它不承擔(dān)訓(xùn)練任務(wù)設(shè)計(jì)目標(biāo)就是高吞吐、低功耗的在線推理和離線批處理。為什么顯存做到24G因?yàn)楝F(xiàn)在視覺(jué)模型的輸入分辨率越拉越高YOLO系列從640x640一路漲到1280甚至1536特征圖的中間顯存開(kāi)銷增長(zhǎng)很快24G就是給這些大輸入預(yù)留的余量。從接口形態(tài)來(lái)看Atlas 300V 24G有兩種常見(jiàn)規(guī)格一種是標(biāo)準(zhǔn)的PCIe半高半長(zhǎng)卡適合插在通用x86服務(wù)器上另一種是針對(duì)Atlas 800推理服務(wù)器做的專屬形態(tài)。絕大多數(shù)情況我們用的都是PCIe版本插在普通服務(wù)器上就能跑。再說(shuō)清楚一個(gè)關(guān)鍵點(diǎn)Atlas 300V 24G不是運(yùn)算卡這個(gè)籠統(tǒng)概念能概括的。它里面除了AI計(jì)算核心還集成了DVPP數(shù)字視覺(jué)預(yù)處理模塊可以硬件解碼視頻流、縮放圖片、做顏色空間轉(zhuǎn)換。也就是說(shuō)你用這張卡跑YOLO檢測(cè)視頻解碼和圖像預(yù)處理可以不用占用CPU資源整個(gè)pipeline可以全部卸載到卡上執(zhí)行這對(duì)視頻流實(shí)時(shí)分析場(chǎng)景是質(zhì)的提升。所以如果你手頭已經(jīng)有這張卡或者正準(zhǔn)備采購(gòu)腦子里要建立這樣的認(rèn)知這是一個(gè)端到端的推理加速單元不是簡(jiǎn)單的顯存更大的計(jì)算卡。它配合昇騰的CANN工具鏈能把訓(xùn)練好的PyTorch、TensorFlow、ONNX模型轉(zhuǎn)換成昇騰專用的OM格式然后高效跑起來(lái)。接下來(lái)的內(nèi)容我會(huì)基于實(shí)際部署經(jīng)驗(yàn)從環(huán)境搭建到模型轉(zhuǎn)換再到推理調(diào)優(yōu)完整走一遍YOLO的部署流程。2. 部署前必須搞定的三件事驅(qū)動(dòng)、固件、CANN工具鏈很多人卡在第一步不是模型問(wèn)題而是環(huán)境裝得稀碎。昇騰的軟件棧層級(jí)比GPU生態(tài)要繁瑣一些但捋清楚之后就一條直線。核心組件有三個(gè)驅(qū)動(dòng)Driver、固件Firmware、CANN工具包這三者的版本必須嚴(yán)格匹配差一個(gè)小版本都可能導(dǎo)致推理報(bào)錯(cuò)。2.1 驅(qū)動(dòng)與固件的安裝順序先裝驅(qū)動(dòng)再裝固件順序反了會(huì)報(bào)版本不匹配。官網(wǎng)下載對(duì)應(yīng)型號(hào)的驅(qū)動(dòng)包一般是.run格式。安裝之前建議先查一下服務(wù)器上是否已經(jīng)裝過(guò)舊版本避免覆蓋安裝產(chǎn)生的殘留問(wèn)題。# 查看當(dāng)前昇騰設(shè)備狀態(tài) npu-smi info # 如果能看到類似下面的信息說(shuō)明卡已經(jīng)被系統(tǒng)識(shí)別 ------------------------------------------------------------------------------------ | NPU Name Health Power Temp Hugepages-Usage | |------------------- ------- ------ ---- --------------- | | 310P OK 35W 52C 0 / 0 | ------------------------------------------------------------------------------------驅(qū)動(dòng)安裝完成后接著安裝固件包。固件負(fù)責(zé)NPU底層微碼的升級(jí)如果目標(biāo)硬件是Atlas 300V 24G固件版本要根據(jù)CANN版本去匹配。具體匹配關(guān)系在官網(wǎng)的版本配套表里有我的經(jīng)驗(yàn)是先決定CANN版本再反查驅(qū)動(dòng)和固件版本不要先裝了驅(qū)動(dòng)再去找CANN那樣容易陷入版本地獄。2.2 CANN工具包整個(gè)部署鏈路的中樞CANNCompute Architecture for Neural Networks是昇騰的計(jì)算架構(gòu)包含算子庫(kù)、圖編譯引擎、運(yùn)行時(shí)環(huán)境等。裝CANN之前要先裝好Python環(huán)境和依賴庫(kù)。# 以CANN 7.0版本為例注意版本號(hào)隨官網(wǎng)更新變化 chmod x Ascend-cann-toolkit_7.0_linux-aarch64.run ./Ascend-cann-toolkit_7.0_linux-aarch64.run --install # 安裝完成后設(shè)置環(huán)境變量 source /usr/local/Ascend/ascend-toolkit/set_env.sh裝完之后務(wù)必驗(yàn)證一下環(huán)境是否正常# 查看CANN版本 cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg # 運(yùn)行自帶的環(huán)境檢查腳本 /usr/local/Ascend/ascend-toolkit/latest/tools/check_env.sh環(huán)境這塊最容易踩的坑是Python版本。昇騰的ATC模型轉(zhuǎn)換工具和推理運(yùn)行時(shí)對(duì)Python版本比較挑一般要求3.7到3.10之間的特定小版本裝之前先看配套表別一上來(lái)就裝最新版Python。2.3 版本匹配速查表我整理了一份版本匹配的思路雖然不是固定不變但思路可以沿用組件選型原則我的建議驅(qū)動(dòng)跟隨CANN版本要求先定CANN版本再下載配套驅(qū)動(dòng)固件跟隨CANN版本要求固件和驅(qū)動(dòng)來(lái)自同一發(fā)布包CANN根據(jù)模型算子需求新版算子支持更全但要驗(yàn)證兼容性Python3.7 - 3.10用conda管理環(huán)境避免系統(tǒng)Python被污染PyTorch2.0以上配合torch_npu訓(xùn)練端用標(biāo)準(zhǔn)PyTorch導(dǎo)出ONNX即可模塊拆開(kāi)理解驅(qū)動(dòng)和固件是硬件底座CANN是軟件大腦模型轉(zhuǎn)換工具是連接訓(xùn)練和推理的橋梁。任何一環(huán)版本漂移推理階段就會(huì)出現(xiàn)莫名其妙的錯(cuò)誤。所以我會(huì)建議把版本信息記錄下來(lái)寫在部署文檔的第一行方便后面復(fù)盤。3. 從PyTorch權(quán)重到OM模型YOLO模型轉(zhuǎn)換全流程解析Atlas 300V 24G不能直接跑PyTorch的權(quán)重文件需要先轉(zhuǎn)成昇騰的OM格式。這個(gè)轉(zhuǎn)換過(guò)程是部署項(xiàng)目里最容易出問(wèn)題、也最需要耐心的環(huán)節(jié)。3.1 準(zhǔn)備YOLO權(quán)重和導(dǎo)出ONNX不管你是用YOLOv5、YOLOv8還是YOLOX都要先導(dǎo)出ONNX格式。以YOLOv8為例用官方倉(cāng)庫(kù)的導(dǎo)出腳本# 導(dǎo)出ONNX模型 yolo export modelyolov8n.pt formatonnx opset12這里有幾個(gè)注意事項(xiàng)。第一opset版本建議用12到15之間太高或太低都可能導(dǎo)致ATC轉(zhuǎn)換時(shí)報(bào)算子不支持。第二導(dǎo)出時(shí)固定輸入尺寸避免動(dòng)態(tài)shape帶來(lái)的額外復(fù)雜度。YOLO部署場(chǎng)景一般是固定分辨率推理我通常導(dǎo)出640x640的固定輸入。# 在Python中導(dǎo)出時(shí)顯式指定輸入尺寸 import torch model torch.load(yolov8n.pt, map_locationcpu)[model] model.eval() dummy_input torch.randn(1, 3, 640, 640) torch.onnx.export(model, dummy_input, yolov8n.onnx, opset_version12)3.2 ATC工具轉(zhuǎn)換OM模型ATCAscend Tensor Compiler是CANN自帶的轉(zhuǎn)換工具把ONNX轉(zhuǎn)成OM的核心命令如下# 設(shè)置環(huán)境變量 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 執(zhí)行ATC轉(zhuǎn)換 atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_640 \ --input_shapeimages:1,3,640,640 \ --input_formatNCHW \ --soc_versionAscend310P3 \ --output_typeFP16 \ --loginfo參數(shù)逐個(gè)解釋--framework5表示輸入模型是ONNX格式固定寫法--input_shape固定輸入batch為1通道3高度640寬度640--soc_versionAscend310P3這是Atlas 300V 24G對(duì)應(yīng)的芯片型號(hào)搞清楚這個(gè)參數(shù)能避免很多轉(zhuǎn)換報(bào)錯(cuò)--output_typeFP16顯存占用減半推理速度更快精度損失在目標(biāo)檢測(cè)任務(wù)里通?？梢院雎?-loginfo轉(zhuǎn)換過(guò)程中打印詳細(xì)信息排查問(wèn)題必需。轉(zhuǎn)換完成后會(huì)生成一個(gè).om文件這個(gè)就是可以在Atlas 300V 24G上直接推理的模型文件。3.3 轉(zhuǎn)換過(guò)程常見(jiàn)報(bào)錯(cuò)和解決思路轉(zhuǎn)換過(guò)程常見(jiàn)的報(bào)錯(cuò)有三種。第一種是算子不支持提示某個(gè)算子在當(dāng)前soC版本上沒(méi)有實(shí)現(xiàn)解決辦法是換一個(gè)ONNX導(dǎo)出方式或者把相關(guān)算子替換為等效的組合。第二種是shape不匹配通常是因?yàn)檩斎氤叽绾湍Ｐ蛢?nèi)部張量的尺寸不一致檢查一下導(dǎo)出ONNX時(shí)的輸入尺寸是否和ATC命令一致。第三種是內(nèi)存不足如果ONNX模型特別大ATC轉(zhuǎn)換時(shí)也會(huì)消耗大量主機(jī)內(nèi)存給轉(zhuǎn)換環(huán)境預(yù)留充足內(nèi)存即可。我有一個(gè)小建議ATC轉(zhuǎn)換時(shí)不要一次性加太多--insert_op_conf算子插入配置先把裸模型轉(zhuǎn)出來(lái)跑通再逐步加圖像預(yù)處理算子、后處理算子的配置否則報(bào)錯(cuò)時(shí)很難定位是哪一步引入的問(wèn)題。4. YOLO推理代碼的落地實(shí)現(xiàn)從圖像輸入到檢測(cè)框輸出模型轉(zhuǎn)換只是開(kāi)始真正的挑戰(zhàn)在于編寫推理代碼。Atlas 300V 24G的推理編程接口是ACLAscend Computing Language底層是C接口Python側(cè)有封裝好的mindspore或者直接用pyACL。下面提供一個(gè)基于pyACL的完整推理流程。4.1 初始化設(shè)備和上下文推理的第一步是初始化NPU設(shè)備這會(huì)占據(jù)一張卡的計(jì)算資源。import acl # 初始化ACL ret acl.init() assert ret 0, fACL init failed, ret{ret} # 設(shè)置設(shè)備ID如果有兩張卡這里可以指定0或1 device_id 0 ret acl.rt.set_device(device_id) assert ret 0, fSet device failed, ret{ret} # 創(chuàng)建上下文 context, ret acl.rt.create_context(device_id) assert ret 0, fCreate context failed, ret{ret}這個(gè)初始化過(guò)程是模板代碼每一個(gè)基于pyACL的項(xiàng)目都要寫一遍。需要注意的是整個(gè)進(jìn)程的生命周期內(nèi)只需要初始化一次不要在每一幀推理時(shí)都重復(fù)調(diào)用初始化那會(huì)引入巨大的額外開(kāi)銷。4.2 模型加載和推理加載OM模型文件創(chuàng)建模型描述信息分配輸入輸出內(nèi)存然后執(zhí)行推理。下面的代碼展示了核心流程# 加載離線模型 model_path yolov8n_640.om model_id, ret acl.mdl.load_from_file(model_path) assert ret 0, fLoad model failed, ret{ret} # 獲取模型描述信息 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id) # 獲取模型輸入輸出大小 input_size acl.mdl.get_num_inputs(model_desc) output_size acl.mdl.get_num_outputs(model_desc) # 分配設(shè)備內(nèi)存以輸入尺寸1*3*640*640為例 input_data_size 1 * 3 * 640 * 640 * 4 # FP32每個(gè)float占4字節(jié) output_data_size 1 * 84 * 8400 * 4 # YOLOv8的輸出是84*8400每個(gè)float占4字節(jié) input_buffer, ret acl.rt.malloc(input_data_size, 2) # 2表示內(nèi)存對(duì)齊 output_buffer, ret acl.rt.malloc(output_data_size, 2)推理解釋一下YOLOv8的輸出維度84 4個(gè)坐標(biāo) 80個(gè)類別概率8400 3個(gè)尺度特征圖的錨點(diǎn)總數(shù)80x80 40x40 20x20。如果你的YOLO版本不同輸出shape會(huì)有差異用netron打開(kāi)ONNX模型查看輸出節(jié)點(diǎn)的shape即可確認(rèn)。推理循環(huán)的核心調(diào)用# 準(zhǔn)備輸入數(shù)據(jù)圖像已預(yù)處理好 import numpy as np input_data np.fromfile(image_640.bin, dtypenp.float32) # 把數(shù)據(jù)拷貝到設(shè)備內(nèi)存 acl.rt.memcpy(input_buffer, input_data_size, input_data.ctypes.data, input_data_size, 1) # 1表示主機(jī)到設(shè)備 # 創(chuàng)建數(shù)據(jù)集結(jié)構(gòu) input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() # 添加輸入輸出緩沖 acl.mdl.add_dataset_buffer(input_dataset, input_buffer, input_data_size) acl.mdl.add_dataset_buffer(output_dataset, output_buffer, output_data_size) # 執(zhí)行推理 ret acl.mdl.execute(model_id, input_dataset, output_dataset) assert ret 0, fModel execute failed, ret{ret}4.3 后處理解析從84x8400到可視化檢測(cè)框推理完成后數(shù)據(jù)在output_buffer里需要拷貝回主機(jī)內(nèi)存然后做后處理。# 拷貝輸出到主機(jī) output_data np.zeros(output_data_size, dtypenp.float32) acl.rt.memcpy(output_data.ctypes.data, output_data_size, output_buffer, output_data_size, 2) # 2表示設(shè)備到主機(jī) # reshape成YOLOv8的輸出格式 output_data output_data.reshape(1, 84, 8400) output_data output_data.transpose(0, 2, 1) # 變成 [1, 8400, 84] # 按置信度閾值過(guò)濾 confidence_threshold 0.5 scores output_data[0, :, 4:] # 類別概率部分 class_ids np.argmax(scores, axis1) max_scores np.max(scores, axis1) # 篩選高置信度目標(biāo) valid_indices np.where(max_scores confidence_threshold)[0] boxes output_data[0, valid_indices, :4] # x, y, w, h scores max_scores[valid_indices] class_ids class_ids[valid_indices] # 進(jìn)一步做NMS非極大值抑制 from mindspore.ops import NMS后處理在CPU上完成這里的耗時(shí)取決于檢測(cè)目標(biāo)數(shù)量和輸出分辨率。對(duì)于視頻流應(yīng)用后處理性能優(yōu)化有專門的技巧——用向量化計(jì)算代替循環(huán)遍歷、用固定大小的數(shù)組避免動(dòng)態(tài)內(nèi)存分配。4.4 圖像預(yù)處理的兩個(gè)路線圖像預(yù)處理有兩種方案。一種是用傳統(tǒng)方式用OpenCV把圖像resize到640x640轉(zhuǎn)成RGB歸一化到0-1之間轉(zhuǎn)成CHW格式的float32數(shù)組然后拷貝到設(shè)備內(nèi)存。這種方式最簡(jiǎn)單也能跑但CPU占用會(huì)高一些圖像解碼和縮放都在CPU側(cè)完成。另一種推薦方案是使用DVPP硬件加速。Atlas 300V 24G內(nèi)置DVPP模塊可以直接做JPEG解碼、圖片縮放、格式轉(zhuǎn)換。用DVPP處理圖像的好處是把CPU從繁重的圖像處理中解放出來(lái)缺點(diǎn)是要理解DVPP的API。對(duì)于正式的項(xiàng)目我強(qiáng)烈建議用DVPP方案能明顯提升整體吞吐。# DVPP圖像預(yù)處理流程偽代碼 # 1. 創(chuàng)建DvppProcessor實(shí)例 # 2. 調(diào)用JPEG解碼接口將JPEG圖片解碼成YUV格式 # 3. 調(diào)用縮放接口將圖片縮放到640x640 # 4. 調(diào)用格式轉(zhuǎn)換接口將YUV轉(zhuǎn)成RGB # 5. 將RGB數(shù)據(jù)歸一化并轉(zhuǎn)成float32拷貝到模型輸入內(nèi)存DVPP接口封裝比較繁瑣第一次接觸的人容易懵。一個(gè)務(wù)實(shí)的建議是先把CPU預(yù)處理方案跑通驗(yàn)證模型推理的正確性之后再切換DVPP做性能優(yōu)化。一步到位容易讓人懷疑是模型問(wèn)題還是預(yù)處理問(wèn)題。5. 推理性能優(yōu)化把Atlas 300V 24G的潛力榨出來(lái)模型轉(zhuǎn)換通過(guò)了代碼能跑了但性能上不去這是很多人的困境。針對(duì)Atlas 300V 24G做YOLO推理性能優(yōu)化可以從四個(gè)層面入手。5.1 Batch推理與多線程并發(fā)Batch推理是最直接的提速手段。YOLO是純卷積神經(jīng)網(wǎng)絡(luò)batch4時(shí)的推理吞吐通常比batch1時(shí)的4倍略低但遠(yuǎn)高于4次獨(dú)立推理疊加吞吐。做法是在ATC轉(zhuǎn)換時(shí)設(shè)batch維度為4atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_b4 \ --input_shapeimages:4,3,640,640 \ --soc_versionAscend310P3推理時(shí)準(zhǔn)備4張圖的輸入數(shù)據(jù)打包成一個(gè)tensor送進(jìn)去。這樣overhead固定部分被攤薄了整體的有效算力利用率更高。多Batch能提升吞吐但會(huì)提高單次推理延遲如果應(yīng)用對(duì)時(shí)延敏感比如實(shí)時(shí)視頻逐幀分析更適合batch1加多線程并發(fā)。5.2 內(nèi)存復(fù)用避免頻繁分配在推理循環(huán)中每次都需要把輸入數(shù)據(jù)拷貝到設(shè)備內(nèi)存。如果每幀都重新分配設(shè)備內(nèi)存會(huì)引入大量顯存分配和釋放的開(kāi)銷。正確做法是預(yù)先分配好一塊固定大小的設(shè)備內(nèi)存然后在循環(huán)中只覆蓋數(shù)據(jù)內(nèi)容。# 一次性分配 input_buffer acl.rt.malloc(input_data_size, 2) # 推理循環(huán)內(nèi)只做memcpy不重復(fù)malloc for image_data in image_stream: acl.rt.memcpy(input_buffer, input_data_size, image_data.ctypes.data, input_data_size, 1) # 執(zhí)行推理...這個(gè)優(yōu)化看起來(lái)不起眼但在長(zhǎng)時(shí)間運(yùn)行的視頻分析服務(wù)中能避免內(nèi)存碎片化和分配開(kāi)銷實(shí)際幀率影響能有5%到15%。5.3 DVPP預(yù)處理和推理流水線視頻流場(chǎng)景中解碼、縮放、歸一化這些預(yù)處理操作如果全部串行執(zhí)行CPU會(huì)成為瓶頸。用DVPP把解碼和縮放卸載到NPU側(cè)然后讓CPU只做最終的數(shù)據(jù)格式轉(zhuǎn)換流水線式的處理能讓整卡利用率明顯上升。我的一個(gè)實(shí)際項(xiàng)目經(jīng)驗(yàn)用CPU版OpenCV做預(yù)處理時(shí)720P視頻流的處理幀率大約能跑到35FPS切到DVPP后同樣輸入源能跑到55FPS以上。差異主要來(lái)自圖像縮放和顏色空間轉(zhuǎn)換階段的耗時(shí)下降。5.4 INT8量化吞吐翻倍的最后大招如果FP16推理速度還滿足不了需求剩下的路就是INT8量化。昇騰的AMCT工具套件支持對(duì)ONNX模型做量化感知訓(xùn)練和訓(xùn)練后量化。訓(xùn)練后量化的思路是準(zhǔn)備一批代表性樣本跑一遍推理記錄激活值的分布然后據(jù)此計(jì)算量化參數(shù)。對(duì)于YOLO模型通常選取幾百?gòu)埖湫蛨?chǎng)景圖片做校準(zhǔn)。# AMCT量化命令示例 amct_onnx quantize_model \ --modelyolov8n.onnx \ --save_pathyolov8n_int8 \ --configconfig.json \ --input_shapeimages:1,3,640,640量化后的模型mAP可能下降1-3個(gè)點(diǎn)但推理速度能提升80%甚至翻倍。做不做INT8要看業(yè)務(wù)場(chǎng)景如果是人流量統(tǒng)計(jì)這種對(duì)單點(diǎn)精度不敏感的任務(wù)量化收益非常明顯如果是缺陷檢測(cè)這種對(duì)漏檢零容忍的場(chǎng)景建議先驗(yàn)證量化后的效果再?zèng)Q定。5.5 性能測(cè)試方法論做性能測(cè)試時(shí)有個(gè)容易犯的錯(cuò)誤只看推理函數(shù)的耗時(shí)忽略整個(gè)pipeline的耗時(shí)。對(duì)于真實(shí)業(yè)務(wù)幀率應(yīng)該按端到端計(jì)算——從圖像進(jìn)入系統(tǒng)到輸出檢測(cè)結(jié)果這個(gè)時(shí)間才是有意義的性能指標(biāo)。我習(xí)慣用下面這種結(jié)構(gòu)做性能測(cè)試import time def benchmark_inference(processor, image_loader, total_frames500): # 熱身后開(kāi)始統(tǒng)計(jì) start time.time() frames 0 for img in image_loader: result processor.run(img) frames 1 if frames total_frames: break elapsed time.time() - start fps frames / elapsed return fps, elapsed注意要做熱身前幾幀推理可能包含初始化和緩存建立的耗時(shí)不預(yù)熱的話測(cè)出來(lái)的數(shù)據(jù)偏低。連續(xù)跑500幀取平均能比較穩(wěn)定地反映真實(shí)性能。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄部署過(guò)程中踩坑是常態(tài)我把自己經(jīng)歷過(guò)的高頻問(wèn)題整理成速查表希望能幫你少走彎路。6.1 模型轉(zhuǎn)換失敗類報(bào)錯(cuò)信息原因分析解決辦法E40001: soc version is invalid--soc_version填錯(cuò)核對(duì)該卡對(duì)應(yīng)的soc版本Atlas 300V 24G填A(yù)scend310P3E10010: Build model failedONNX模型中包含不支持的算子換ONNX導(dǎo)出方式在鏈路上把算子替換為等效組合E19999: Inner Error內(nèi)存不足或未知內(nèi)部錯(cuò)誤查看完整log定位釋放主機(jī)內(nèi)存后重試降低輸入分辨率轉(zhuǎn)換時(shí)提示輸入shape不匹配ONNX導(dǎo)出的輸入尺寸和ATC參數(shù)不一致用netron檢查ONNX輸入節(jié)點(diǎn)的shape確保兩者一致排查這類問(wèn)題最核心的方法就是看日志。ATC轉(zhuǎn)換時(shí)加--logdebug日志會(huì)詳細(xì)記錄每個(gè)算子的轉(zhuǎn)換過(guò)程報(bào)錯(cuò)時(shí)定位到具體算子名去昇騰社區(qū)搜索該算子是否支持。6.2 推理運(yùn)行時(shí)報(bào)錯(cuò)類場(chǎng)景報(bào)錯(cuò)信息原因分析解決辦法第一次推理卡死acl.rt.memcpy超時(shí)輸入數(shù)據(jù)和模型要求的shape/類型不一致檢查input tensor的shape和dtype推理結(jié)果全零輸出全部為0模型輸入數(shù)據(jù)歸一化錯(cuò)誤或數(shù)據(jù)拷貝不完整驗(yàn)證輸入數(shù)據(jù)是否正確用樣例圖片做單步調(diào)試顯存分配失敗malloc failed顯存碎片化或批量分配過(guò)大檢查設(shè)備顯存占用減小batch優(yōu)化內(nèi)存復(fù)用編碼器報(bào)錯(cuò)DVPP解碼失敗輸入圖像格式或尺寸不支持確認(rèn)圖像是JPEG格式壓縮等級(jí)過(guò)高會(huì)觸發(fā)DVPP解碼異常6.3 一個(gè)典型的全鏈路排查實(shí)例有一次我在部署YOLOv8s模型時(shí)推理結(jié)果總是檢測(cè)不到任何目標(biāo)但同一張圖在GPU上能正常檢測(cè)。這個(gè)問(wèn)題的排查過(guò)程很有代表性。第一步對(duì)比輸入數(shù)據(jù)。保存GPU推理前的預(yù)處理結(jié)果和NPU推理前的預(yù)處理結(jié)果逐像素對(duì)比發(fā)現(xiàn)兩者差異很大——原來(lái)是歸一化順序問(wèn)題GPU上用的邏輯是先除以255再歸一化NPU端代碼忘了除以255。第二步對(duì)比輸出數(shù)據(jù)。修正預(yù)處理后檢測(cè)框有了但坐標(biāo)明顯偏移看起來(lái)像是等比例縮放導(dǎo)致的。仔細(xì)檢查發(fā)現(xiàn)圖像resize時(shí)沒(méi)有保持縱橫比直接把圖像拉伸到了640x640而模型訓(xùn)練時(shí)用的是letterbox方式保持比例并填充灰邊。修正后檢測(cè)結(jié)果正常。這個(gè)案例想強(qiáng)調(diào)的是模型部署的很多問(wèn)題不在模型本身而在數(shù)據(jù)預(yù)處理鏈路的一致性上。訓(xùn)練什么格式推理就必須完全復(fù)刻什么格式。6.4 獨(dú)家避坑建議根據(jù)我自己多次部署經(jīng)驗(yàn)再分享三個(gè)有價(jià)值的建議第一版本信息一定要固化在代碼倉(cāng)庫(kù)里不只是記在文檔里。昇騰工具鏈升級(jí)頻繁半年后你可能完全不記得當(dāng)時(shí)用的CANN是哪個(gè)版本。建議在項(xiàng)目根目錄放一個(gè)versions.txt記錄驅(qū)動(dòng)固件CANN的精確版本號(hào)。第二調(diào)試階段先跑單batch單張圖不要一上來(lái)就做多路并發(fā)。先把最簡(jiǎn)化路徑打通驗(yàn)證模型輸出正確性再逐步加并發(fā)、加DVPP、加量化。循序漸進(jìn)能最大化縮小問(wèn)題排查范圍。第三保存一份標(biāo)準(zhǔn)的冒煙測(cè)試圖片集。準(zhǔn)備幾張不同場(chǎng)景、不同分辨率、不同光照條件的測(cè)試圖每次改動(dòng)環(huán)境或代碼后先跑一遍冒煙測(cè)試確認(rèn)輸出穩(wěn)定再繼續(xù)。這能幫你快速區(qū)分環(huán)境壞了還是邏輯改錯(cuò)了。7. 結(jié)合應(yīng)用場(chǎng)景視頻流實(shí)時(shí)檢測(cè)的完整方案如果說(shuō)前面講的是單張圖片的推理那真實(shí)業(yè)務(wù)中更常見(jiàn)的是視頻流檢測(cè)。Atlas 300V 24G配合DVPP能力很適合做多路視頻流實(shí)時(shí)分析這類場(chǎng)景。7.1 視頻流推理的總架構(gòu)一個(gè)典型的多路視頻流YOLO檢測(cè)系統(tǒng)包含以下幾個(gè)模塊拉流模塊從RTSP或GB28181協(xié)議獲取視頻流解碼成單幀預(yù)處理模塊利用DVPP做縮放和格式轉(zhuǎn)換統(tǒng)一成模型輸入尺寸推理模塊把預(yù)處理好的幀送入模型執(zhí)行后處理模塊解析模型輸出做NMS和坐標(biāo)映射業(yè)務(wù)邏輯模塊定義檢測(cè)到什么目標(biāo)需要報(bào)警提供結(jié)果給上層應(yīng)用。把這幾個(gè)模塊設(shè)計(jì)成獨(dú)立的線程或進(jìn)程用隊(duì)列串起來(lái)形成流水線架構(gòu)。解碼線程只管解碼推理線程只管推理后處理線程只管解析它們之間用有界隊(duì)列解耦避免某一環(huán)節(jié)變慢拖垮整體。7.2 利用Atlas 300V 24G做多路并發(fā)Atlas 300V 24G上可以創(chuàng)建多個(gè)推理context每個(gè)context綁定一個(gè)線程同時(shí)處理不同視頻流。實(shí)際操作中要根據(jù)模型的復(fù)雜度和輸入分辨率確定合理的路數(shù)。比如yolov8n跑640x640一張卡開(kāi)4路到8路并發(fā)是可行的如果是yolov8s甚至yolov8m就要適當(dāng)減少路數(shù)。多路并發(fā)時(shí)要關(guān)注顯存使用情況用npu-smi info實(shí)時(shí)監(jiān)控顯存占用。如果顯存接近上限優(yōu)先減小batch數(shù)或降低輸入分辨率而不是減少路數(shù)因?yàn)槁窋?shù)少了業(yè)務(wù)能力下降明顯分辨率稍微降低對(duì)檢測(cè)精度的影響通常可控。7.3 幀率與延遲的取舍視頻流分析場(chǎng)景里用戶經(jīng)常問(wèn)一個(gè)問(wèn)題能不能做到25FPS的實(shí)時(shí)檢測(cè)這要分兩個(gè)維度理解。如果是每一幀都檢測(cè)然后輸出那是逐幀實(shí)時(shí)模式對(duì)算力要求最苛刻如果是每5幀檢測(cè)1幀或者檢測(cè)到目標(biāo)后再追幀分析那是抽幀模式算力需求降低很多。我在實(shí)際項(xiàng)目中通常建議先把整卡吞吐測(cè)出來(lái)比如實(shí)測(cè)能達(dá)到80FPS的推理速度那跑4路20FPS的視頻流就是安全的每路還有50%的算力余量應(yīng)對(duì)突發(fā)流量。如果追求單路25FPS全幀逐幀檢測(cè)需要把整卡算力全部集中到一路這時(shí)多路并發(fā)就不成立了。定方案之前先用量化測(cè)試工具測(cè)一張卡在不同batch下的吞吐曲線然后根據(jù)業(yè)務(wù)路數(shù)和幀率要求反推算力需求。這個(gè)數(shù)據(jù)驅(qū)動(dòng)的方法比拍腦袋定路數(shù)靠譜得多。8. 最后說(shuō)一點(diǎn)個(gè)人體會(huì)Atlas 300V 24G這套環(huán)境我從接觸到跑通第一個(gè)YOLO模型前后也折騰了兩周大部分時(shí)間花在環(huán)境版本匹配和模型轉(zhuǎn)換上。后來(lái)梳理完整個(gè)鏈路之后再看發(fā)現(xiàn)每一步的難點(diǎn)其實(shí)都有明確解法關(guān)鍵在于把大問(wèn)題拆成小塊逐個(gè)擊破。給準(zhǔn)備入手這張卡的朋友們的建議是第一嚴(yán)格按版本配套表裝環(huán)境這是所有工作的地基第二模型轉(zhuǎn)換階段遇到算子不支持的問(wèn)題不要硬剛換個(gè)導(dǎo)出策略往往比寫自定義算子快得多第三性能優(yōu)化時(shí)先做基準(zhǔn)測(cè)試再動(dòng)手改沒(méi)有數(shù)據(jù)支撐的優(yōu)化都是空談。部署AI模型本質(zhì)上是在做工程工程的核心方法論是流程化和可復(fù)現(xiàn)。把環(huán)境準(zhǔn)備、模型轉(zhuǎn)換、推理代碼、性能測(cè)試這四條線各自固化下來(lái)下次再換個(gè)模型也就是改改模型路徑和shape參數(shù)的事。 Atlas 300V 24G部署YOLO：模型轉(zhuǎn)換、推理優(yōu)化與性能調(diào)優(yōu)實(shí)戰(zhàn)
1. Atlas 300V 24G到底是什么卡先把它看明白再動(dòng)手很多人看到Atlas 300V 24G這個(gè)名字第一反應(yīng)是這不就是一張運(yùn)算加速卡嗎這句話對(duì)了一半但只說(shuō)對(duì)了一半。Atlas 300V 24G是華為昇騰生態(tài)里面向推理場(chǎng)景的AI加速卡它確實(shí)承擔(dān)運(yùn)算加速的活但和你在服務(wù)器里插的GPU不是一回事搞清楚它的定位后面的部署才不會(huì)走彎路。先看硬件底子。這款卡的核心芯片是昇騰310P系列顯存容量24GB支持FP16和INT8兩種主流推理精度。它不承擔(dān)訓(xùn)練任務(wù)設(shè)計(jì)目標(biāo)就是高吞吐、低功耗的在線推理和離線批處理。為什么顯存做到24G因?yàn)楝F(xiàn)在視覺(jué)模型的輸入分辨率越拉越高YOLO系列從640x640一路漲到1280甚至1536特征圖的中間顯存開(kāi)銷增長(zhǎng)很快24G就是給這些大輸入預(yù)留的余量。從接口形態(tài)來(lái)看Atlas 300V 24G有兩種常見(jiàn)規(guī)格一種是標(biāo)準(zhǔn)的PCIe半高半長(zhǎng)卡適合插在通用x86服務(wù)器上另一種是針對(duì)Atlas 800推理服務(wù)器做的專屬形態(tài)。絕大多數(shù)情況我們用的都是PCIe版本插在普通服務(wù)器上就能跑。再說(shuō)清楚一個(gè)關(guān)鍵點(diǎn)Atlas 300V 24G不是運(yùn)算卡這個(gè)籠統(tǒng)概念能概括的。它里面除了AI計(jì)算核心還集成了DVPP數(shù)字視覺(jué)預(yù)處理模塊可以硬件解碼視頻流、縮放圖片、做顏色空間轉(zhuǎn)換。也就是說(shuō)你用這張卡跑YOLO檢測(cè)視頻解碼和圖像預(yù)處理可以不用占用CPU資源整個(gè)pipeline可以全部卸載到卡上執(zhí)行這對(duì)視頻流實(shí)時(shí)分析場(chǎng)景是質(zhì)的提升。所以如果你手頭已經(jīng)有這張卡或者正準(zhǔn)備采購(gòu)腦子里要建立這樣的認(rèn)知這是一個(gè)端到端的推理加速單元不是簡(jiǎn)單的顯存更大的計(jì)算卡。它配合昇騰的CANN工具鏈能把訓(xùn)練好的PyTorch、TensorFlow、ONNX模型轉(zhuǎn)換成昇騰專用的OM格式然后高效跑起來(lái)。接下來(lái)的內(nèi)容我會(huì)基于實(shí)際部署經(jīng)驗(yàn)從環(huán)境搭建到模型轉(zhuǎn)換再到推理調(diào)優(yōu)完整走一遍YOLO的部署流程。2. 部署前必須搞定的三件事驅(qū)動(dòng)、固件、CANN工具鏈很多人卡在第一步不是模型問(wèn)題而是環(huán)境裝得稀碎。昇騰的軟件棧層級(jí)比GPU生態(tài)要繁瑣一些但捋清楚之后就一條直線。核心組件有三個(gè)驅(qū)動(dòng)Driver、固件Firmware、CANN工具包這三者的版本必須嚴(yán)格匹配差一個(gè)小版本都可能導(dǎo)致推理報(bào)錯(cuò)。2.1 驅(qū)動(dòng)與固件的安裝順序先裝驅(qū)動(dòng)再裝固件順序反了會(huì)報(bào)版本不匹配。官網(wǎng)下載對(duì)應(yīng)型號(hào)的驅(qū)動(dòng)包一般是.run格式。安裝之前建議先查一下服務(wù)器上是否已經(jīng)裝過(guò)舊版本避免覆蓋安裝產(chǎn)生的殘留問(wèn)題。# 查看當(dāng)前昇騰設(shè)備狀態(tài) npu-smi info # 如果能看到類似下面的信息說(shuō)明卡已經(jīng)被系統(tǒng)識(shí)別 ------------------------------------------------------------------------------------ | NPU Name Health Power Temp Hugepages-Usage | |------------------- ------- ------ ---- --------------- | | 310P OK 35W 52C 0 / 0 | ------------------------------------------------------------------------------------驅(qū)動(dòng)安裝完成后接著安裝固件包。固件負(fù)責(zé)NPU底層微碼的升級(jí)如果目標(biāo)硬件是Atlas 300V 24G固件版本要根據(jù)CANN版本去匹配。具體匹配關(guān)系在官網(wǎng)的版本配套表里有我的經(jīng)驗(yàn)是先決定CANN版本再反查驅(qū)動(dòng)和固件版本不要先裝了驅(qū)動(dòng)再去找CANN那樣容易陷入版本地獄。2.2 CANN工具包整個(gè)部署鏈路的中樞CANNCompute Architecture for Neural Networks是昇騰的計(jì)算架構(gòu)包含算子庫(kù)、圖編譯引擎、運(yùn)行時(shí)環(huán)境等。裝CANN之前要先裝好Python環(huán)境和依賴庫(kù)。# 以CANN 7.0版本為例注意版本號(hào)隨官網(wǎng)更新變化 chmod x Ascend-cann-toolkit_7.0_linux-aarch64.run ./Ascend-cann-toolkit_7.0_linux-aarch64.run --install # 安裝完成后設(shè)置環(huán)境變量 source /usr/local/Ascend/ascend-toolkit/set_env.sh裝完之后務(wù)必驗(yàn)證一下環(huán)境是否正常# 查看CANN版本 cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg # 運(yùn)行自帶的環(huán)境檢查腳本 /usr/local/Ascend/ascend-toolkit/latest/tools/check_env.sh環(huán)境這塊最容易踩的坑是Python版本。昇騰的ATC模型轉(zhuǎn)換工具和推理運(yùn)行時(shí)對(duì)Python版本比較挑一般要求3.7到3.10之間的特定小版本裝之前先看配套表別一上來(lái)就裝最新版Python。2.3 版本匹配速查表我整理了一份版本匹配的思路雖然不是固定不變但思路可以沿用組件選型原則我的建議驅(qū)動(dòng)跟隨CANN版本要求先定CANN版本再下載配套驅(qū)動(dòng)固件跟隨CANN版本要求固件和驅(qū)動(dòng)來(lái)自同一發(fā)布包CANN根據(jù)模型算子需求新版算子支持更全但要驗(yàn)證兼容性Python3.7 - 3.10用conda管理環(huán)境避免系統(tǒng)Python被污染PyTorch2.0以上配合torch_npu訓(xùn)練端用標(biāo)準(zhǔn)PyTorch導(dǎo)出ONNX即可模塊拆開(kāi)理解驅(qū)動(dòng)和固件是硬件底座CANN是軟件大腦模型轉(zhuǎn)換工具是連接訓(xùn)練和推理的橋梁。任何一環(huán)版本漂移推理階段就會(huì)出現(xiàn)莫名其妙的錯(cuò)誤。所以我會(huì)建議把版本信息記錄下來(lái)寫在部署文檔的第一行方便后面復(fù)盤。3. 從PyTorch權(quán)重到OM模型YOLO模型轉(zhuǎn)換全流程解析Atlas 300V 24G不能直接跑PyTorch的權(quán)重文件需要先轉(zhuǎn)成昇騰的OM格式。這個(gè)轉(zhuǎn)換過(guò)程是部署項(xiàng)目里最容易出問(wèn)題、也最需要耐心的環(huán)節(jié)。3.1 準(zhǔn)備YOLO權(quán)重和導(dǎo)出ONNX不管你是用YOLOv5、YOLOv8還是YOLOX都要先導(dǎo)出ONNX格式。以YOLOv8為例用官方倉(cāng)庫(kù)的導(dǎo)出腳本# 導(dǎo)出ONNX模型 yolo export modelyolov8n.pt formatonnx opset12這里有幾個(gè)注意事項(xiàng)。第一opset版本建議用12到15之間太高或太低都可能導(dǎo)致ATC轉(zhuǎn)換時(shí)報(bào)算子不支持。第二導(dǎo)出時(shí)固定輸入尺寸避免動(dòng)態(tài)shape帶來(lái)的額外復(fù)雜度。YOLO部署場(chǎng)景一般是固定分辨率推理我通常導(dǎo)出640x640的固定輸入。# 在Python中導(dǎo)出時(shí)顯式指定輸入尺寸 import torch model torch.load(yolov8n.pt, map_locationcpu)[model] model.eval() dummy_input torch.randn(1, 3, 640, 640) torch.onnx.export(model, dummy_input, yolov8n.onnx, opset_version12)3.2 ATC工具轉(zhuǎn)換OM模型ATCAscend Tensor Compiler是CANN自帶的轉(zhuǎn)換工具把ONNX轉(zhuǎn)成OM的核心命令如下# 設(shè)置環(huán)境變量 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 執(zhí)行ATC轉(zhuǎn)換 atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_640 \ --input_shapeimages:1,3,640,640 \ --input_formatNCHW \ --soc_versionAscend310P3 \ --output_typeFP16 \ --loginfo參數(shù)逐個(gè)解釋--framework5表示輸入模型是ONNX格式固定寫法--input_shape固定輸入batch為1通道3高度640寬度640--soc_versionAscend310P3這是Atlas 300V 24G對(duì)應(yīng)的芯片型號(hào)搞清楚這個(gè)參數(shù)能避免很多轉(zhuǎn)換報(bào)錯(cuò)--output_typeFP16顯存占用減半推理速度更快精度損失在目標(biāo)檢測(cè)任務(wù)里通?？梢院雎?-loginfo轉(zhuǎn)換過(guò)程中打印詳細(xì)信息排查問(wèn)題必需。轉(zhuǎn)換完成后會(huì)生成一個(gè).om文件這個(gè)就是可以在Atlas 300V 24G上直接推理的模型文件。3.3 轉(zhuǎn)換過(guò)程常見(jiàn)報(bào)錯(cuò)和解決思路轉(zhuǎn)換過(guò)程常見(jiàn)的報(bào)錯(cuò)有三種。第一種是算子不支持提示某個(gè)算子在當(dāng)前soC版本上沒(méi)有實(shí)現(xiàn)解決辦法是換一個(gè)ONNX導(dǎo)出方式或者把相關(guān)算子替換為等效的組合。第二種是shape不匹配通常是因?yàn)檩斎氤叽绾湍Ｐ蛢?nèi)部張量的尺寸不一致檢查一下導(dǎo)出ONNX時(shí)的輸入尺寸是否和ATC命令一致。第三種是內(nèi)存不足如果ONNX模型特別大ATC轉(zhuǎn)換時(shí)也會(huì)消耗大量主機(jī)內(nèi)存給轉(zhuǎn)換環(huán)境預(yù)留充足內(nèi)存即可。我有一個(gè)小建議ATC轉(zhuǎn)換時(shí)不要一次性加太多--insert_op_conf算子插入配置先把裸模型轉(zhuǎn)出來(lái)跑通再逐步加圖像預(yù)處理算子、后處理算子的配置否則報(bào)錯(cuò)時(shí)很難定位是哪一步引入的問(wèn)題。4. YOLO推理代碼的落地實(shí)現(xiàn)從圖像輸入到檢測(cè)框輸出模型轉(zhuǎn)換只是開(kāi)始真正的挑戰(zhàn)在于編寫推理代碼。Atlas 300V 24G的推理編程接口是ACLAscend Computing Language底層是C接口Python側(cè)有封裝好的mindspore或者直接用pyACL。下面提供一個(gè)基于pyACL的完整推理流程。4.1 初始化設(shè)備和上下文推理的第一步是初始化NPU設(shè)備這會(huì)占據(jù)一張卡的計(jì)算資源。import acl # 初始化ACL ret acl.init() assert ret 0, fACL init failed, ret{ret} # 設(shè)置設(shè)備ID如果有兩張卡這里可以指定0或1 device_id 0 ret acl.rt.set_device(device_id) assert ret 0, fSet device failed, ret{ret} # 創(chuàng)建上下文 context, ret acl.rt.create_context(device_id) assert ret 0, fCreate context failed, ret{ret}這個(gè)初始化過(guò)程是模板代碼每一個(gè)基于pyACL的項(xiàng)目都要寫一遍。需要注意的是整個(gè)進(jìn)程的生命周期內(nèi)只需要初始化一次不要在每一幀推理時(shí)都重復(fù)調(diào)用初始化那會(huì)引入巨大的額外開(kāi)銷。4.2 模型加載和推理加載OM模型文件創(chuàng)建模型描述信息分配輸入輸出內(nèi)存然后執(zhí)行推理。下面的代碼展示了核心流程# 加載離線模型 model_path yolov8n_640.om model_id, ret acl.mdl.load_from_file(model_path) assert ret 0, fLoad model failed, ret{ret} # 獲取模型描述信息 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id) # 獲取模型輸入輸出大小 input_size acl.mdl.get_num_inputs(model_desc) output_size acl.mdl.get_num_outputs(model_desc) # 分配設(shè)備內(nèi)存以輸入尺寸1*3*640*640為例 input_data_size 1 * 3 * 640 * 640 * 4 # FP32每個(gè)float占4字節(jié) output_data_size 1 * 84 * 8400 * 4 # YOLOv8的輸出是84*8400每個(gè)float占4字節(jié) input_buffer, ret acl.rt.malloc(input_data_size, 2) # 2表示內(nèi)存對(duì)齊 output_buffer, ret acl.rt.malloc(output_data_size, 2)推理解釋一下YOLOv8的輸出維度84 4個(gè)坐標(biāo) 80個(gè)類別概率8400 3個(gè)尺度特征圖的錨點(diǎn)總數(shù)80x80 40x40 20x20。如果你的YOLO版本不同輸出shape會(huì)有差異用netron打開(kāi)ONNX模型查看輸出節(jié)點(diǎn)的shape即可確認(rèn)。推理循環(huán)的核心調(diào)用# 準(zhǔn)備輸入數(shù)據(jù)圖像已預(yù)處理好 import numpy as np input_data np.fromfile(image_640.bin, dtypenp.float32) # 把數(shù)據(jù)拷貝到設(shè)備內(nèi)存 acl.rt.memcpy(input_buffer, input_data_size, input_data.ctypes.data, input_data_size, 1) # 1表示主機(jī)到設(shè)備 # 創(chuàng)建數(shù)據(jù)集結(jié)構(gòu) input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() # 添加輸入輸出緩沖 acl.mdl.add_dataset_buffer(input_dataset, input_buffer, input_data_size) acl.mdl.add_dataset_buffer(output_dataset, output_buffer, output_data_size) # 執(zhí)行推理 ret acl.mdl.execute(model_id, input_dataset, output_dataset) assert ret 0, fModel execute failed, ret{ret}4.3 后處理解析從84x8400到可視化檢測(cè)框推理完成后數(shù)據(jù)在output_buffer里需要拷貝回主機(jī)內(nèi)存然后做后處理。# 拷貝輸出到主機(jī) output_data np.zeros(output_data_size, dtypenp.float32) acl.rt.memcpy(output_data.ctypes.data, output_data_size, output_buffer, output_data_size, 2) # 2表示設(shè)備到主機(jī) # reshape成YOLOv8的輸出格式 output_data output_data.reshape(1, 84, 8400) output_data output_data.transpose(0, 2, 1) # 變成 [1, 8400, 84] # 按置信度閾值過(guò)濾 confidence_threshold 0.5 scores output_data[0, :, 4:] # 類別概率部分 class_ids np.argmax(scores, axis1) max_scores np.max(scores, axis1) # 篩選高置信度目標(biāo) valid_indices np.where(max_scores confidence_threshold)[0] boxes output_data[0, valid_indices, :4] # x, y, w, h scores max_scores[valid_indices] class_ids class_ids[valid_indices] # 進(jìn)一步做NMS非極大值抑制 from mindspore.ops import NMS后處理在CPU上完成這里的耗時(shí)取決于檢測(cè)目標(biāo)數(shù)量和輸出分辨率。對(duì)于視頻流應(yīng)用后處理性能優(yōu)化有專門的技巧——用向量化計(jì)算代替循環(huán)遍歷、用固定大小的數(shù)組避免動(dòng)態(tài)內(nèi)存分配。4.4 圖像預(yù)處理的兩個(gè)路線圖像預(yù)處理有兩種方案。一種是用傳統(tǒng)方式用OpenCV把圖像resize到640x640轉(zhuǎn)成RGB歸一化到0-1之間轉(zhuǎn)成CHW格式的float32數(shù)組然后拷貝到設(shè)備內(nèi)存。這種方式最簡(jiǎn)單也能跑但CPU占用會(huì)高一些圖像解碼和縮放都在CPU側(cè)完成。另一種推薦方案是使用DVPP硬件加速。Atlas 300V 24G內(nèi)置DVPP模塊可以直接做JPEG解碼、圖片縮放、格式轉(zhuǎn)換。用DVPP處理圖像的好處是把CPU從繁重的圖像處理中解放出來(lái)缺點(diǎn)是要理解DVPP的API。對(duì)于正式的項(xiàng)目我強(qiáng)烈建議用DVPP方案能明顯提升整體吞吐。# DVPP圖像預(yù)處理流程偽代碼 # 1. 創(chuàng)建DvppProcessor實(shí)例 # 2. 調(diào)用JPEG解碼接口將JPEG圖片解碼成YUV格式 # 3. 調(diào)用縮放接口將圖片縮放到640x640 # 4. 調(diào)用格式轉(zhuǎn)換接口將YUV轉(zhuǎn)成RGB # 5. 將RGB數(shù)據(jù)歸一化并轉(zhuǎn)成float32拷貝到模型輸入內(nèi)存DVPP接口封裝比較繁瑣第一次接觸的人容易懵。一個(gè)務(wù)實(shí)的建議是先把CPU預(yù)處理方案跑通驗(yàn)證模型推理的正確性之后再切換DVPP做性能優(yōu)化。一步到位容易讓人懷疑是模型問(wèn)題還是預(yù)處理問(wèn)題。5. 推理性能優(yōu)化把Atlas 300V 24G的潛力榨出來(lái)模型轉(zhuǎn)換通過(guò)了代碼能跑了但性能上不去這是很多人的困境。針對(duì)Atlas 300V 24G做YOLO推理性能優(yōu)化可以從四個(gè)層面入手。5.1 Batch推理與多線程并發(fā)Batch推理是最直接的提速手段。YOLO是純卷積神經(jīng)網(wǎng)絡(luò)batch4時(shí)的推理吞吐通常比batch1時(shí)的4倍略低但遠(yuǎn)高于4次獨(dú)立推理疊加吞吐。做法是在ATC轉(zhuǎn)換時(shí)設(shè)batch維度為4atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_b4 \ --input_shapeimages:4,3,640,640 \ --soc_versionAscend310P3推理時(shí)準(zhǔn)備4張圖的輸入數(shù)據(jù)打包成一個(gè)tensor送進(jìn)去。這樣overhead固定部分被攤薄了整體的有效算力利用率更高。多Batch能提升吞吐但會(huì)提高單次推理延遲如果應(yīng)用對(duì)時(shí)延敏感比如實(shí)時(shí)視頻逐幀分析更適合batch1加多線程并發(fā)。5.2 內(nèi)存復(fù)用避免頻繁分配在推理循環(huán)中每次都需要把輸入數(shù)據(jù)拷貝到設(shè)備內(nèi)存。如果每幀都重新分配設(shè)備內(nèi)存會(huì)引入大量顯存分配和釋放的開(kāi)銷。正確做法是預(yù)先分配好一塊固定大小的設(shè)備內(nèi)存然后在循環(huán)中只覆蓋數(shù)據(jù)內(nèi)容。# 一次性分配 input_buffer acl.rt.malloc(input_data_size, 2) # 推理循環(huán)內(nèi)只做memcpy不重復(fù)malloc for image_data in image_stream: acl.rt.memcpy(input_buffer, input_data_size, image_data.ctypes.data, input_data_size, 1) # 執(zhí)行推理...這個(gè)優(yōu)化看起來(lái)不起眼但在長(zhǎng)時(shí)間運(yùn)行的視頻分析服務(wù)中能避免內(nèi)存碎片化和分配開(kāi)銷實(shí)際幀率影響能有5%到15%。5.3 DVPP預(yù)處理和推理流水線視頻流場(chǎng)景中解碼、縮放、歸一化這些預(yù)處理操作如果全部串行執(zhí)行CPU會(huì)成為瓶頸。用DVPP把解碼和縮放卸載到NPU側(cè)然后讓CPU只做最終的數(shù)據(jù)格式轉(zhuǎn)換流水線式的處理能讓整卡利用率明顯上升。我的一個(gè)實(shí)際項(xiàng)目經(jīng)驗(yàn)用CPU版OpenCV做預(yù)處理時(shí)720P視頻流的處理幀率大約能跑到35FPS切到DVPP后同樣輸入源能跑到55FPS以上。差異主要來(lái)自圖像縮放和顏色空間轉(zhuǎn)換階段的耗時(shí)下降。5.4 INT8量化吞吐翻倍的最后大招如果FP16推理速度還滿足不了需求剩下的路就是INT8量化。昇騰的AMCT工具套件支持對(duì)ONNX模型做量化感知訓(xùn)練和訓(xùn)練后量化。訓(xùn)練后量化的思路是準(zhǔn)備一批代表性樣本跑一遍推理記錄激活值的分布然后據(jù)此計(jì)算量化參數(shù)。對(duì)于YOLO模型通常選取幾百?gòu)埖湫蛨?chǎng)景圖片做校準(zhǔn)。# AMCT量化命令示例 amct_onnx quantize_model \ --modelyolov8n.onnx \ --save_pathyolov8n_int8 \ --configconfig.json \ --input_shapeimages:1,3,640,640量化后的模型mAP可能下降1-3個(gè)點(diǎn)但推理速度能提升80%甚至翻倍。做不做INT8要看業(yè)務(wù)場(chǎng)景如果是人流量統(tǒng)計(jì)這種對(duì)單點(diǎn)精度不敏感的任務(wù)量化收益非常明顯如果是缺陷檢測(cè)這種對(duì)漏檢零容忍的場(chǎng)景建議先驗(yàn)證量化后的效果再?zèng)Q定。5.5 性能測(cè)試方法論做性能測(cè)試時(shí)有個(gè)容易犯的錯(cuò)誤只看推理函數(shù)的耗時(shí)忽略整個(gè)pipeline的耗時(shí)。對(duì)于真實(shí)業(yè)務(wù)幀率應(yīng)該按端到端計(jì)算——從圖像進(jìn)入系統(tǒng)到輸出檢測(cè)結(jié)果這個(gè)時(shí)間才是有意義的性能指標(biāo)。我習(xí)慣用下面這種結(jié)構(gòu)做性能測(cè)試import time def benchmark_inference(processor, image_loader, total_frames500): # 熱身后開(kāi)始統(tǒng)計(jì) start time.time() frames 0 for img in image_loader: result processor.run(img) frames 1 if frames total_frames: break elapsed time.time() - start fps frames / elapsed return fps, elapsed注意要做熱身前幾幀推理可能包含初始化和緩存建立的耗時(shí)不預(yù)熱的話測(cè)出來(lái)的數(shù)據(jù)偏低。連續(xù)跑500幀取平均能比較穩(wěn)定地反映真實(shí)性能。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄部署過(guò)程中踩坑是常態(tài)我把自己經(jīng)歷過(guò)的高頻問(wèn)題整理成速查表希望能幫你少走彎路。6.1 模型轉(zhuǎn)換失敗類報(bào)錯(cuò)信息原因分析解決辦法E40001: soc version is invalid--soc_version填錯(cuò)核對(duì)該卡對(duì)應(yīng)的soc版本Atlas 300V 24G填A(yù)scend310P3E10010: Build model failedONNX模型中包含不支持的算子換ONNX導(dǎo)出方式在鏈路上把算子替換為等效組合E19999: Inner Error內(nèi)存不足或未知內(nèi)部錯(cuò)誤查看完整log定位釋放主機(jī)內(nèi)存后重試降低輸入分辨率轉(zhuǎn)換時(shí)提示輸入shape不匹配ONNX導(dǎo)出的輸入尺寸和ATC參數(shù)不一致用netron檢查ONNX輸入節(jié)點(diǎn)的shape確保兩者一致排查這類問(wèn)題最核心的方法就是看日志。ATC轉(zhuǎn)換時(shí)加--logdebug日志會(huì)詳細(xì)記錄每個(gè)算子的轉(zhuǎn)換過(guò)程報(bào)錯(cuò)時(shí)定位到具體算子名去昇騰社區(qū)搜索該算子是否支持。6.2 推理運(yùn)行時(shí)報(bào)錯(cuò)類場(chǎng)景報(bào)錯(cuò)信息原因分析解決辦法第一次推理卡死acl.rt.memcpy超時(shí)輸入數(shù)據(jù)和模型要求的shape/類型不一致檢查input tensor的shape和dtype推理結(jié)果全零輸出全部為0模型輸入數(shù)據(jù)歸一化錯(cuò)誤或數(shù)據(jù)拷貝不完整驗(yàn)證輸入數(shù)據(jù)是否正確用樣例圖片做單步調(diào)試顯存分配失敗malloc failed顯存碎片化或批量分配過(guò)大檢查設(shè)備顯存占用減小batch優(yōu)化內(nèi)存復(fù)用編碼器報(bào)錯(cuò)DVPP解碼失敗輸入圖像格式或尺寸不支持確認(rèn)圖像是JPEG格式壓縮等級(jí)過(guò)高會(huì)觸發(fā)DVPP解碼異常6.3 一個(gè)典型的全鏈路排查實(shí)例有一次我在部署YOLOv8s模型時(shí)推理結(jié)果總是檢測(cè)不到任何目標(biāo)但同一張圖在GPU上能正常檢測(cè)。這個(gè)問(wèn)題的排查過(guò)程很有代表性。第一步對(duì)比輸入數(shù)據(jù)。保存GPU推理前的預(yù)處理結(jié)果和NPU推理前的預(yù)處理結(jié)果逐像素對(duì)比發(fā)現(xiàn)兩者差異很大——原來(lái)是歸一化順序問(wèn)題GPU上用的邏輯是先除以255再歸一化NPU端代碼忘了除以255。第二步對(duì)比輸出數(shù)據(jù)。修正預(yù)處理后檢測(cè)框有了但坐標(biāo)明顯偏移看起來(lái)像是等比例縮放導(dǎo)致的。仔細(xì)檢查發(fā)現(xiàn)圖像resize時(shí)沒(méi)有保持縱橫比直接把圖像拉伸到了640x640而模型訓(xùn)練時(shí)用的是letterbox方式保持比例并填充灰邊。修正后檢測(cè)結(jié)果正常。這個(gè)案例想強(qiáng)調(diào)的是模型部署的很多問(wèn)題不在模型本身而在數(shù)據(jù)預(yù)處理鏈路的一致性上。訓(xùn)練什么格式推理就必須完全復(fù)刻什么格式。6.4 獨(dú)家避坑建議根據(jù)我自己多次部署經(jīng)驗(yàn)再分享三個(gè)有價(jià)值的建議第一版本信息一定要固化在代碼倉(cāng)庫(kù)里不只是記在文檔里。昇騰工具鏈升級(jí)頻繁半年后你可能完全不記得當(dāng)時(shí)用的CANN是哪個(gè)版本。建議在項(xiàng)目根目錄放一個(gè)versions.txt記錄驅(qū)動(dòng)固件CANN的精確版本號(hào)。第二調(diào)試階段先跑單batch單張圖不要一上來(lái)就做多路并發(fā)。先把最簡(jiǎn)化路徑打通驗(yàn)證模型輸出正確性再逐步加并發(fā)、加DVPP、加量化。循序漸進(jìn)能最大化縮小問(wèn)題排查范圍。第三保存一份標(biāo)準(zhǔn)的冒煙測(cè)試圖片集。準(zhǔn)備幾張不同場(chǎng)景、不同分辨率、不同光照條件的測(cè)試圖每次改動(dòng)環(huán)境或代碼后先跑一遍冒煙測(cè)試確認(rèn)輸出穩(wěn)定再繼續(xù)。這能幫你快速區(qū)分環(huán)境壞了還是邏輯改錯(cuò)了。7. 結(jié)合應(yīng)用場(chǎng)景視頻流實(shí)時(shí)檢測(cè)的完整方案如果說(shuō)前面講的是單張圖片的推理那真實(shí)業(yè)務(wù)中更常見(jiàn)的是視頻流檢測(cè)。Atlas 300V 24G配合DVPP能力很適合做多路視頻流實(shí)時(shí)分析這類場(chǎng)景。7.1 視頻流推理的總架構(gòu)一個(gè)典型的多路視頻流YOLO檢測(cè)系統(tǒng)包含以下幾個(gè)模塊拉流模塊從RTSP或GB28181協(xié)議獲取視頻流解碼成單幀預(yù)處理模塊利用DVPP做縮放和格式轉(zhuǎn)換統(tǒng)一成模型輸入尺寸推理模塊把預(yù)處理好的幀送入模型執(zhí)行后處理模塊解析模型輸出做NMS和坐標(biāo)映射業(yè)務(wù)邏輯模塊定義檢測(cè)到什么目標(biāo)需要報(bào)警提供結(jié)果給上層應(yīng)用。把這幾個(gè)模塊設(shè)計(jì)成獨(dú)立的線程或進(jìn)程用隊(duì)列串起來(lái)形成流水線架構(gòu)。解碼線程只管解碼推理線程只管推理后處理線程只管解析它們之間用有界隊(duì)列解耦避免某一環(huán)節(jié)變慢拖垮整體。7.2 利用Atlas 300V 24G做多路并發(fā)Atlas 300V 24G上可以創(chuàng)建多個(gè)推理context每個(gè)context綁定一個(gè)線程同時(shí)處理不同視頻流。實(shí)際操作中要根據(jù)模型的復(fù)雜度和輸入分辨率確定合理的路數(shù)。比如yolov8n跑640x640一張卡開(kāi)4路到8路并發(fā)是可行的如果是yolov8s甚至yolov8m就要適當(dāng)減少路數(shù)。多路并發(fā)時(shí)要關(guān)注顯存使用情況用npu-smi info實(shí)時(shí)監(jiān)控顯存占用。如果顯存接近上限優(yōu)先減小batch數(shù)或降低輸入分辨率而不是減少路數(shù)因?yàn)槁窋?shù)少了業(yè)務(wù)能力下降明顯分辨率稍微降低對(duì)檢測(cè)精度的影響通常可控。7.3 幀率與延遲的取舍視頻流分析場(chǎng)景里用戶經(jīng)常問(wèn)一個(gè)問(wèn)題能不能做到25FPS的實(shí)時(shí)檢測(cè)這要分兩個(gè)維度理解。如果是每一幀都檢測(cè)然后輸出那是逐幀實(shí)時(shí)模式對(duì)算力要求最苛刻如果是每5幀檢測(cè)1幀或者檢測(cè)到目標(biāo)后再追幀分析那是抽幀模式算力需求降低很多。我在實(shí)際項(xiàng)目中通常建議先把整卡吞吐測(cè)出來(lái)比如實(shí)測(cè)能達(dá)到80FPS的推理速度那跑4路20FPS的視頻流就是安全的每路還有50%的算力余量應(yīng)對(duì)突發(fā)流量。如果追求單路25FPS全幀逐幀檢測(cè)需要把整卡算力全部集中到一路這時(shí)多路并發(fā)就不成立了。定方案之前先用量化測(cè)試工具測(cè)一張卡在不同batch下的吞吐曲線然后根據(jù)業(yè)務(wù)路數(shù)和幀率要求反推算力需求。這個(gè)數(shù)據(jù)驅(qū)動(dòng)的方法比拍腦袋定路數(shù)靠譜得多。8. 最后說(shuō)一點(diǎn)個(gè)人體會(huì)Atlas 300V 24G這套環(huán)境我從接觸到跑通第一個(gè)YOLO模型前后也折騰了兩周大部分時(shí)間花在環(huán)境版本匹配和模型轉(zhuǎn)換上。后來(lái)梳理完整個(gè)鏈路之后再看發(fā)現(xiàn)每一步的難點(diǎn)其實(shí)都有明確解法關(guān)鍵在于把大問(wèn)題拆成小塊逐個(gè)擊破。給準(zhǔn)備入手這張卡的朋友們的建議是第一嚴(yán)格按版本配套表裝環(huán)境這是所有工作的地基第二模型轉(zhuǎn)換階段遇到算子不支持的問(wèn)題不要硬剛換個(gè)導(dǎo)出策略往往比寫自定義算子快得多第三性能優(yōu)化時(shí)先做基準(zhǔn)測(cè)試再動(dòng)手改沒(méi)有數(shù)據(jù)支撐的優(yōu)化都是空談。部署AI模型本質(zhì)上是在做工程工程的核心方法論是流程化和可復(fù)現(xiàn)。把環(huán)境準(zhǔn)備、模型轉(zhuǎn)換、推理代碼、性能測(cè)試這四條線各自固化下來(lái)下次再換個(gè)模型也就是改改模型路徑和shape參數(shù)的事。