)
YOLO端上部署MNN C部署YOLOv8 YOLO11 YOLO26(含源碼支持CPU和GPU)目錄YOLO端上部署MNN C部署YOLOv8 YOLO11 YOLO26(含源碼支持CPU和GPU)1. 前言2. 部署框架MNN3. 導(dǎo)出MNN模型4. MNN C推理實現(xiàn)1項目結(jié)構(gòu)2配置開發(fā)環(huán)境(OpenCVOpenCLbase-utilsMNN)3CMake配置4main源碼5源碼編譯和運行5. Python和MNN效果對比6. Android端部署模型7. 項目源碼下載1. 前言在邊緣計算場景中模型部署的靈活性和性能是開發(fā)者最關(guān)注的兩個核心問題。Ultralytics 系列模型憑借其出色的精度與速度平衡已成為目標(biāo)檢測領(lǐng)域的事實標(biāo)準(zhǔn)。而 MNNMobile Neural Network作為阿里巴巴開源的輕量級推理引擎憑借其極小的體積和跨平臺能力成為了移動端和嵌入式設(shè)備部署 YOLO 系列模型的理想選擇。本文將深入探討如何使用 MNN 的 C API 部署 YOLOv8、YOLO11 以及最新的 YOLO26 模型并覆蓋 CPU 與 GPUOpenCL兩種推理后端。下表給出YOLOv8n-seg YOLO11n-seg和YOLO26n-seg實例分割模型MNN C部署性能測試(含圖像預(yù)處理模型推理后處理等耗時)如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。模型input-sizeparams(M)CPU(4線程)GPU(OpenCL)YOLOv8n-seg640×6403.15M155.43ms42.49msYOLO11n-seg640×6402.62M146.44ms38.06msYOLO26n-seg640×6402.41M148.56ms23.44ms【尊重原創(chuàng)轉(zhuǎn)載請注明出處】https://blog.csdn.net/guyuealian/article/details/1656091452. 部署框架MNNGitHubhttps://github.com/alibaba/MNNMNN 是阿里巴巴集團(tuán)開源的輕量級深度學(xué)習(xí)推理框架旨在為移動端、嵌入式設(shè)備提供高效的模型部署能力。它已在**寶、**貓、釘釘?shù)?30 多個阿里系應(yīng)用中大規(guī)模使用每天運行數(shù)百萬次推理。MNN 支持 TensorFlow、Caffe、ONNX 等主流模型格式轉(zhuǎn)換兼容 CNN、RNN、GAN、Transformer 等常見網(wǎng)絡(luò)結(jié)構(gòu)并針對 CPU、GPU、NPU 等硬件后端進(jìn)行了深度優(yōu)化。 在 CPU 端MNN 不依賴第三方計算庫通過手寫匯編、Winograd 卷積、多線程調(diào)度和內(nèi)存復(fù)用等方式充分發(fā)揮 ARM CPU 算力在 GPU 端它支持 OpenCL、Vulkan、Metal、CUDA 等多種加速后端其中 Android 平臺可使用 OpenCL/VulkaniOS/macOS 平臺可使用 MetalPC/服務(wù)器端還可使用 CUDA。 對于需要更高性能的場景開啟 GPU 加速后推理速度通常可提升數(shù)倍部分機(jī)型甚至可獲得更明顯的加速效果。此外MNN 還支持 INT4/INT8/FP16 等低精度量化、算子融合、圖優(yōu)化和異構(gòu)計算能夠在保持模型精度的同時顯著降低推理延遲和內(nèi)存占用。 結(jié)合其輕量的庫體積、完善的 Python/C API 以及跨平臺部署能力MNN 非常適合作為本項目 Android 端推理后端。3. 導(dǎo)出MNN模型在開始 C 部署之前首先需要將訓(xùn)練好的 PyTorch 模型導(dǎo)出為 MNN 格式。Ultralytics 提供了便捷的導(dǎo)出接口支持 FP32、FP16 和 INT8 三種精度。以 YOLO26 為例導(dǎo)出命令如下需要安裝依賴庫 pip install onnx onnxsim onnxruntime mnnfrom ultralytics import YOLO # 加載模型 model YOLO(yolo26n.pt) # 導(dǎo)出為 MNN 格式默認(rèn) FP32 model.export(formatmnn) # 或者導(dǎo)出 FP16 量化版本 model.export(formatmnn, halfTrue) # 或者導(dǎo)出 INT8 量化版本 model.export(formatmnn, int8True)對于 YOLOv8 和 YOLO11導(dǎo)出方式完全一致只需替換對應(yīng)的.pt模型文件即可導(dǎo)出的*.mnn文件包含了模型結(jié)構(gòu)和權(quán)重。4. MNN C推理實現(xiàn)本項目采用CLion作為集成開發(fā)環(huán)境IDE。在依賴庫方面OpenCV為必須安裝的核心依賴用于圖像處理基礎(chǔ)功能base-utils與MNN推理框架已集成于項目內(nèi)部開發(fā)者無需額外配置OpenCL作為可選組件主要用于在支持該標(biāo)準(zhǔn)的設(shè)備上對模型推理進(jìn)行硬件加速用戶可根據(jù)實際硬件情況選擇性啟用。1項目結(jié)構(gòu)?2配置開發(fā)環(huán)境(OpenCVOpenCLbase-utilsMNN)項目模型推理采用MNN部署框架支持多線程CPU和GPU加速推理圖像處理采用OpenCV庫模型加速采用OpenCL/Vulkan在普通電腦設(shè)備即可達(dá)到實時處理。項目僅在Ubuntu20.04進(jìn)行測試Windows系統(tǒng)下請自行配置和編譯如果你想在這個 C Demo部署你自己訓(xùn)練的模型你可以將訓(xùn)練好的Pytorch模型轉(zhuǎn)換成MNN模型然后把原始的模型替換成你自己的MNN模型即可。安裝OpenCV圖像處理圖像處理如讀取圖片圖像裁剪等都需要使用OpenCV庫進(jìn)行處理安裝教程Ubuntu20.04安裝opencv和opencv_contribOpenCV庫使用opencv-4.3.0版本opencv_contrib庫暫時未使用可不安裝安裝OpenCL模型加速安裝教程Ubuntu20.04安裝OpenCLOpenCL和Vulkan用于模型GPU推理加速若不使用GPU純C推理模型速度會比較慢。OpenCL支持性更好推進(jìn)使用OpenCL。安裝Vulkan模型加速安裝教程Ubuntu20.04安裝VulkanOpenCL和Vulkan用于模型GPU推理加速若不使用GPU純C推理模型速度會比較慢。MNN對OpenCL支持性更好推薦優(yōu)先使用OpenCL。base-utilsC庫GitHubhttps://github.com/PanJinquan/base-utils 無需安裝項目已經(jīng)配置了base_utils是個人開發(fā)常用的C庫集成了C/C OpenCV等常用的算法MNN模型推理GitHubhttps://github.com/alibaba/MNN 無需安裝項目已經(jīng)配置了MNN (Mobile Neural Network)是由阿里巴巴集團(tuán)開源的一個輕量級、高性能的深度學(xué)習(xí)推理引擎。它專為移動端、嵌入式設(shè)備以及邊緣計算場景設(shè)計支持OpenCL/Vulkan同時也支持服務(wù)器端的高并發(fā)推理。自2019年開源以來MNN 已經(jīng)成為業(yè)界主流的端側(cè)推理框架之一廣泛應(yīng)用于**寶、**貓、**酷、**釘?shù)劝⒗锵礎(chǔ)pp中覆蓋了搜索推薦、圖像識別、OCR、AR特效、語音處理等數(shù)百個業(yè)務(wù)場景。3CMake配置具體查看項目配套的CMakeLists.txt文件主要配置了OpenCVbase-utilsMNN這四個庫Windows系統(tǒng)下請自行配置和編譯。4main源碼主程序src/main.cpp主程序提供了Demo其中test_image_file()用于測試圖片test_video_file()用于測試視頻文件test_usb_camera()用于測試USB攝像頭test_performance用于測試性能。源碼已經(jīng)支持YOLOv8、YOLO11以及最新的 YOLO26模型且同時支持目標(biāo)檢測和實例分割模型。你可以根據(jù)自己需要更改模型文件(model_file)和修改模型參數(shù)配置(YOLOParam)// // Created by Pan on 2024/6/24. // #include opencv2/opencv.hpp #include opencv2/core.hpp #include vector #include string #include yolo.h #include Types.h #include file_utils.h #include image_utils.h using namespace dl; using namespace vision; using namespace std; DeviceType device CPU; // 使用CPU運行 // DeviceType device OPENCL; // 使用OPENCL運行 // DeviceType device VULKAN; // 使用VULKAN運行 const int max_nums -1; // 最大檢測數(shù)量-1表示不限制 const int numThread 4; // 線程數(shù) const float scoreThresh 0.25f; // 檢測閾值 const float iouThresh 0.45f; // IOU閾值 // TODO YOLO26 模型 string model_file ../data/model/yolo26n-seg.mnn; YOLOParam param YOLO26_SEG640_COCO; // TODO YOLO11 模型 // string model_file ../data/model/yolo11n-seg.mnn; // YOLOParam param YOLO11_SEG640_COCO; // TODO YOLOv8 模型 // string model_file ../data/model/yolov8n-seg.mnn; // YOLOParam param YOLOv8_SEG640_COCO; YOLO *detector new YOLO(model_file, param, numThread, device, max_nums); /*** * 測試圖片文件 * return */ int test_image_file() { // 測試圖片 string image_dir ../data/test_image/coco; vectorstring image_list get_files_list(image_dir); for (string image_path: image_list) { cv::Mat frame cv::imread(image_path); if (frame.empty()) continue; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 0, true); } printf(FINISHED.\n); return 0; } /*** * 測試視頻文件 * return */ int test_video_file() { string video_file ../data/video/video1.mp4; //視頻文件 cv::VideoCapture cap; bool ret get_video_capture(video_file, cap); cv::Mat frame; while (ret) { cap frame; if (frame.empty()) break; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 10, true); } cap.release(); printf(FINISHED.\n); return 0; } /*** * 測試USB攝像頭 * return */ int test_usb_camera() { int camera 0; //攝像頭USB ID號(請修改成自己攝像頭USB ID號) cv::VideoCapture cap; bool ret get_video_capture(camera, cap); cv::Mat frame; while (ret) { cap frame; if (frame.empty()) break; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 10, true); } cap.release(); printf(FINISHED.\n); return 0; } /*** * 測試性能 * return */ int test_performance() { // 測試圖片 string image_dir ../data/test_image/coco; string image_path ../data/test_image/coco/bus.jpg; vectorstring image_list get_files_list(image_dir); cv::Mat frame cv::imread(image_path); FrameInfo resultInfo; detector-performance(frame, resultInfo, scoreThresh, iouThresh, 50); detector-drawResult(frame, resultInfo, true, 0, true); printf(FINISHED.\n); return 0; } int main() { test_image_file(); test_video_file(); //test_usb_camera(); //test_performance(); return 0; }5源碼編譯和運行編譯腳本或者直接bash build.sh#!/usr/bin/env bash mkdir -p build cd build cmake .. -DMNN_VULKANON make -j4 sleep 1 #./video_for_pose ./Detector如果你要測試CPU運行的性能請修改src/main.cppDeviceType device CPU;如果你要測試GPU運行的性能請修改src/main.cpp 需配置好OpenCLDeviceType device OPENCL;6源碼編譯和運行下表給出YOLOv8n-seg YOLO11n-seg和YOLO26n-seg實例分割模型MNN C部署性能測試(含圖像預(yù)處理模型推理后處理等耗時)如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。模型input-sizeparams(M)CPU(4線程)GPU(OpenCL)YOLOv8n-seg640×6403.15M155.43ms42.49msYOLO11n-seg640×6402.62M146.44ms38.06msYOLO26n-seg640×6402.41M148.56ms23.44ms5. Python和MNN效果對比Python版本的實例分割測試代碼from ultralytics import YOLO def test_yolo(): model_file yolo26n-seg.pt model YOLO(model_file) # 推理參數(shù)說明https://docs.ultralytics.com/zh/modes/predict results model.predict(bus.jpg, imgsz640, rectFalse, saveTrue) if __name__ __main__: test_yolo()注意Python推理時需要設(shè)置rectFalse如果為True則在可能時使用最小矩形填充相同形狀的批次和受支持的后端。如果為False則始終填充到完整的imgsz這時與C版本推理輸入保持一致。如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。推理參數(shù)說明https://docs.ultralytics.com/zh/modes/predictC MNN版本與Python版本的實例分割檢測效果(yolo26n-seg)基本一致以下Python版本和C MNN版本效果對比Python版本C MNN版本6. Android端部署模型如果你需要在Android端部署YOLO系列模型請參考https://blog.csdn.net/guyuealian/article/details/1656277397. 項目源碼下載如需下載項目源碼請關(guān)注【AI吃大瓜】回復(fù)【yolo】即可下載項目資源內(nèi)容包含項目MNN C/C源碼支持YOLOv8n / YOLO11n / YOLO26n目標(biāo)檢測模型和實例分割模型推理。你可以根據(jù)自己需要更改模型文件(model_file)和修改模型參數(shù)配置(YOLOParam)項目MNN C/C源碼支持CPU和GPU運行GPU模型加速需要配置好OpenCL可以達(dá)到實時檢測效果。如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。項目C/C源碼Demo支持圖片視頻攝像頭測試 YOLO端上部署：MNN C++部署YOLOv8 YOLO11 YOLO26(含源碼，支持CPU和GPU)
YOLO端上部署MNN C部署YOLOv8 YOLO11 YOLO26(含源碼支持CPU和GPU)目錄YOLO端上部署MNN C部署YOLOv8 YOLO11 YOLO26(含源碼支持CPU和GPU)1. 前言2. 部署框架MNN3. 導(dǎo)出MNN模型4. MNN C推理實現(xiàn)1項目結(jié)構(gòu)2配置開發(fā)環(huán)境(OpenCVOpenCLbase-utilsMNN)3CMake配置4main源碼5源碼編譯和運行5. Python和MNN效果對比6. Android端部署模型7. 項目源碼下載1. 前言在邊緣計算場景中模型部署的靈活性和性能是開發(fā)者最關(guān)注的兩個核心問題。Ultralytics 系列模型憑借其出色的精度與速度平衡已成為目標(biāo)檢測領(lǐng)域的事實標(biāo)準(zhǔn)。而 MNNMobile Neural Network作為阿里巴巴開源的輕量級推理引擎憑借其極小的體積和跨平臺能力成為了移動端和嵌入式設(shè)備部署 YOLO 系列模型的理想選擇。本文將深入探討如何使用 MNN 的 C API 部署 YOLOv8、YOLO11 以及最新的 YOLO26 模型并覆蓋 CPU 與 GPUOpenCL兩種推理后端。下表給出YOLOv8n-seg YOLO11n-seg和YOLO26n-seg實例分割模型MNN C部署性能測試(含圖像預(yù)處理模型推理后處理等耗時)如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。模型input-sizeparams(M)CPU(4線程)GPU(OpenCL)YOLOv8n-seg640×6403.15M155.43ms42.49msYOLO11n-seg640×6402.62M146.44ms38.06msYOLO26n-seg640×6402.41M148.56ms23.44ms【尊重原創(chuàng)轉(zhuǎn)載請注明出處】https://blog.csdn.net/guyuealian/article/details/1656091452. 部署框架MNNGitHubhttps://github.com/alibaba/MNNMNN 是阿里巴巴集團(tuán)開源的輕量級深度學(xué)習(xí)推理框架旨在為移動端、嵌入式設(shè)備提供高效的模型部署能力。它已在**寶、**貓、釘釘?shù)?30 多個阿里系應(yīng)用中大規(guī)模使用每天運行數(shù)百萬次推理。MNN 支持 TensorFlow、Caffe、ONNX 等主流模型格式轉(zhuǎn)換兼容 CNN、RNN、GAN、Transformer 等常見網(wǎng)絡(luò)結(jié)構(gòu)并針對 CPU、GPU、NPU 等硬件后端進(jìn)行了深度優(yōu)化。 在 CPU 端MNN 不依賴第三方計算庫通過手寫匯編、Winograd 卷積、多線程調(diào)度和內(nèi)存復(fù)用等方式充分發(fā)揮 ARM CPU 算力在 GPU 端它支持 OpenCL、Vulkan、Metal、CUDA 等多種加速后端其中 Android 平臺可使用 OpenCL/VulkaniOS/macOS 平臺可使用 MetalPC/服務(wù)器端還可使用 CUDA。 對于需要更高性能的場景開啟 GPU 加速后推理速度通常可提升數(shù)倍部分機(jī)型甚至可獲得更明顯的加速效果。此外MNN 還支持 INT4/INT8/FP16 等低精度量化、算子融合、圖優(yōu)化和異構(gòu)計算能夠在保持模型精度的同時顯著降低推理延遲和內(nèi)存占用。 結(jié)合其輕量的庫體積、完善的 Python/C API 以及跨平臺部署能力MNN 非常適合作為本項目 Android 端推理后端。3. 導(dǎo)出MNN模型在開始 C 部署之前首先需要將訓(xùn)練好的 PyTorch 模型導(dǎo)出為 MNN 格式。Ultralytics 提供了便捷的導(dǎo)出接口支持 FP32、FP16 和 INT8 三種精度。以 YOLO26 為例導(dǎo)出命令如下需要安裝依賴庫 pip install onnx onnxsim onnxruntime mnnfrom ultralytics import YOLO # 加載模型 model YOLO(yolo26n.pt) # 導(dǎo)出為 MNN 格式默認(rèn) FP32 model.export(formatmnn) # 或者導(dǎo)出 FP16 量化版本 model.export(formatmnn, halfTrue) # 或者導(dǎo)出 INT8 量化版本 model.export(formatmnn, int8True)對于 YOLOv8 和 YOLO11導(dǎo)出方式完全一致只需替換對應(yīng)的.pt模型文件即可導(dǎo)出的*.mnn文件包含了模型結(jié)構(gòu)和權(quán)重。4. MNN C推理實現(xiàn)本項目采用CLion作為集成開發(fā)環(huán)境IDE。在依賴庫方面OpenCV為必須安裝的核心依賴用于圖像處理基礎(chǔ)功能base-utils與MNN推理框架已集成于項目內(nèi)部開發(fā)者無需額外配置OpenCL作為可選組件主要用于在支持該標(biāo)準(zhǔn)的設(shè)備上對模型推理進(jìn)行硬件加速用戶可根據(jù)實際硬件情況選擇性啟用。1項目結(jié)構(gòu)?2配置開發(fā)環(huán)境(OpenCVOpenCLbase-utilsMNN)項目模型推理采用MNN部署框架支持多線程CPU和GPU加速推理圖像處理采用OpenCV庫模型加速采用OpenCL/Vulkan在普通電腦設(shè)備即可達(dá)到實時處理。項目僅在Ubuntu20.04進(jìn)行測試Windows系統(tǒng)下請自行配置和編譯如果你想在這個 C Demo部署你自己訓(xùn)練的模型你可以將訓(xùn)練好的Pytorch模型轉(zhuǎn)換成MNN模型然后把原始的模型替換成你自己的MNN模型即可。安裝OpenCV圖像處理圖像處理如讀取圖片圖像裁剪等都需要使用OpenCV庫進(jìn)行處理安裝教程Ubuntu20.04安裝opencv和opencv_contribOpenCV庫使用opencv-4.3.0版本opencv_contrib庫暫時未使用可不安裝安裝OpenCL模型加速安裝教程Ubuntu20.04安裝OpenCLOpenCL和Vulkan用于模型GPU推理加速若不使用GPU純C推理模型速度會比較慢。OpenCL支持性更好推進(jìn)使用OpenCL。安裝Vulkan模型加速安裝教程Ubuntu20.04安裝VulkanOpenCL和Vulkan用于模型GPU推理加速若不使用GPU純C推理模型速度會比較慢。MNN對OpenCL支持性更好推薦優(yōu)先使用OpenCL。base-utilsC庫GitHubhttps://github.com/PanJinquan/base-utils 無需安裝項目已經(jīng)配置了base_utils是個人開發(fā)常用的C庫集成了C/C OpenCV等常用的算法MNN模型推理GitHubhttps://github.com/alibaba/MNN 無需安裝項目已經(jīng)配置了MNN (Mobile Neural Network)是由阿里巴巴集團(tuán)開源的一個輕量級、高性能的深度學(xué)習(xí)推理引擎。它專為移動端、嵌入式設(shè)備以及邊緣計算場景設(shè)計支持OpenCL/Vulkan同時也支持服務(wù)器端的高并發(fā)推理。自2019年開源以來MNN 已經(jīng)成為業(yè)界主流的端側(cè)推理框架之一廣泛應(yīng)用于**寶、**貓、**酷、**釘?shù)劝⒗锵礎(chǔ)pp中覆蓋了搜索推薦、圖像識別、OCR、AR特效、語音處理等數(shù)百個業(yè)務(wù)場景。3CMake配置具體查看項目配套的CMakeLists.txt文件主要配置了OpenCVbase-utilsMNN這四個庫Windows系統(tǒng)下請自行配置和編譯。4main源碼主程序src/main.cpp主程序提供了Demo其中test_image_file()用于測試圖片test_video_file()用于測試視頻文件test_usb_camera()用于測試USB攝像頭test_performance用于測試性能。源碼已經(jīng)支持YOLOv8、YOLO11以及最新的 YOLO26模型且同時支持目標(biāo)檢測和實例分割模型。你可以根據(jù)自己需要更改模型文件(model_file)和修改模型參數(shù)配置(YOLOParam)// // Created by Pan on 2024/6/24. // #include opencv2/opencv.hpp #include opencv2/core.hpp #include vector #include string #include yolo.h #include Types.h #include file_utils.h #include image_utils.h using namespace dl; using namespace vision; using namespace std; DeviceType device CPU; // 使用CPU運行 // DeviceType device OPENCL; // 使用OPENCL運行 // DeviceType device VULKAN; // 使用VULKAN運行 const int max_nums -1; // 最大檢測數(shù)量-1表示不限制 const int numThread 4; // 線程數(shù) const float scoreThresh 0.25f; // 檢測閾值 const float iouThresh 0.45f; // IOU閾值 // TODO YOLO26 模型 string model_file ../data/model/yolo26n-seg.mnn; YOLOParam param YOLO26_SEG640_COCO; // TODO YOLO11 模型 // string model_file ../data/model/yolo11n-seg.mnn; // YOLOParam param YOLO11_SEG640_COCO; // TODO YOLOv8 模型 // string model_file ../data/model/yolov8n-seg.mnn; // YOLOParam param YOLOv8_SEG640_COCO; YOLO *detector new YOLO(model_file, param, numThread, device, max_nums); /*** * 測試圖片文件 * return */ int test_image_file() { // 測試圖片 string image_dir ../data/test_image/coco; vectorstring image_list get_files_list(image_dir); for (string image_path: image_list) { cv::Mat frame cv::imread(image_path); if (frame.empty()) continue; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 0, true); } printf(FINISHED.\n); return 0; } /*** * 測試視頻文件 * return */ int test_video_file() { string video_file ../data/video/video1.mp4; //視頻文件 cv::VideoCapture cap; bool ret get_video_capture(video_file, cap); cv::Mat frame; while (ret) { cap frame; if (frame.empty()) break; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 10, true); } cap.release(); printf(FINISHED.\n); return 0; } /*** * 測試USB攝像頭 * return */ int test_usb_camera() { int camera 0; //攝像頭USB ID號(請修改成自己攝像頭USB ID號) cv::VideoCapture cap; bool ret get_video_capture(camera, cap); cv::Mat frame; while (ret) { cap frame; if (frame.empty()) break; FrameInfo resultInfo; // 開始檢測 detector-detect(frame, resultInfo, scoreThresh, iouThresh); // 可視化代碼 detector-drawResult(frame, resultInfo, true, 10, true); } cap.release(); printf(FINISHED.\n); return 0; } /*** * 測試性能 * return */ int test_performance() { // 測試圖片 string image_dir ../data/test_image/coco; string image_path ../data/test_image/coco/bus.jpg; vectorstring image_list get_files_list(image_dir); cv::Mat frame cv::imread(image_path); FrameInfo resultInfo; detector-performance(frame, resultInfo, scoreThresh, iouThresh, 50); detector-drawResult(frame, resultInfo, true, 0, true); printf(FINISHED.\n); return 0; } int main() { test_image_file(); test_video_file(); //test_usb_camera(); //test_performance(); return 0; }5源碼編譯和運行編譯腳本或者直接bash build.sh#!/usr/bin/env bash mkdir -p build cd build cmake .. -DMNN_VULKANON make -j4 sleep 1 #./video_for_pose ./Detector如果你要測試CPU運行的性能請修改src/main.cppDeviceType device CPU;如果你要測試GPU運行的性能請修改src/main.cpp 需配置好OpenCLDeviceType device OPENCL;6源碼編譯和運行下表給出YOLOv8n-seg YOLO11n-seg和YOLO26n-seg實例分割模型MNN C部署性能測試(含圖像預(yù)處理模型推理后處理等耗時)如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。模型input-sizeparams(M)CPU(4線程)GPU(OpenCL)YOLOv8n-seg640×6403.15M155.43ms42.49msYOLO11n-seg640×6402.62M146.44ms38.06msYOLO26n-seg640×6402.41M148.56ms23.44ms5. Python和MNN效果對比Python版本的實例分割測試代碼from ultralytics import YOLO def test_yolo(): model_file yolo26n-seg.pt model YOLO(model_file) # 推理參數(shù)說明https://docs.ultralytics.com/zh/modes/predict results model.predict(bus.jpg, imgsz640, rectFalse, saveTrue) if __name__ __main__: test_yolo()注意Python推理時需要設(shè)置rectFalse如果為True則在可能時使用最小矩形填充相同形狀的批次和受支持的后端。如果為False則始終填充到完整的imgsz這時與C版本推理輸入保持一致。如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。推理參數(shù)說明https://docs.ultralytics.com/zh/modes/predictC MNN版本與Python版本的實例分割檢測效果(yolo26n-seg)基本一致以下Python版本和C MNN版本效果對比Python版本C MNN版本6. Android端部署模型如果你需要在Android端部署YOLO系列模型請參考https://blog.csdn.net/guyuealian/article/details/1656277397. 項目源碼下載如需下載項目源碼請關(guān)注【AI吃大瓜】回復(fù)【yolo】即可下載項目資源內(nèi)容包含項目MNN C/C源碼支持YOLOv8n / YOLO11n / YOLO26n目標(biāo)檢測模型和實例分割模型推理。你可以根據(jù)自己需要更改模型文件(model_file)和修改模型參數(shù)配置(YOLOParam)項目MNN C/C源碼支持CPU和GPU運行GPU模型加速需要配置好OpenCL可以達(dá)到實時檢測效果。如果你想進(jìn)一步提升性能可以將模型輸入分辨率640×640改為416×416。項目C/C源碼Demo支持圖片視頻攝像頭測試