1. 項目概述當(dāng)Unity遇見AI推理如果你是一個Unity開發(fā)者最近肯定被“AI”這個詞刷屏了。從智能NPC對話到動態(tài)場景生成AI似乎正在重塑游戲和實時交互應(yīng)用的開發(fā)方式。但當(dāng)你興致勃勃地打開一個AI模型準備把它塞進你的Unity項目時迎面而來的往往是Python環(huán)境、TensorFlow/PyTorch依賴、復(fù)雜的C插件集成以及跨平臺部署的一地雞毛。這感覺就像你想在客廳裝個智能燈結(jié)果發(fā)現(xiàn)需要先考個電工證再自己拉一條專用電路。Unity Sentis的出現(xiàn)就是為了解決這個核心痛點。它不是另一個AI算法庫而是一個專為Unity引擎設(shè)計的神經(jīng)網(wǎng)絡(luò)推理運行時。你可以把它理解為一個“萬能翻譯器”和“執(zhí)行引擎”。它的核心工作是把你用PyTorch、TensorFlow等框架訓(xùn)練好的模型通常是ONNX格式直接、高效地在Unity支持的各個平臺Windows、macOS、iOS、Android、WebGL等上跑起來。這意味著AI推理能力可以像使用Rigidbody或Animator組件一樣被無縫集成到你的游戲邏輯和內(nèi)容管線中。為什么這件事如此重要在過去Unity中的AI功能大多依賴于云端API調(diào)用有網(wǎng)絡(luò)延遲和成本問題或集成第三方原生插件帶來復(fù)雜的依賴管理和平臺適配工作。Sentis將推理過程完全本地化、引擎化。你不再需要為不同的平臺編譯不同的插件不再需要處理令人頭疼的跨語言交互。所有計算都在Unity的托管環(huán)境或本地計算硬件CPU/GPU上完成數(shù)據(jù)無需離開應(yīng)用這對性能、隱私和離線體驗都至關(guān)重要。本教程將從一個Unity開發(fā)者的實戰(zhàn)視角出發(fā)拋開那些晦澀的學(xué)術(shù)術(shù)語手把手帶你走過從零認識Sentis到成功運行你的第一個AI模型的完整流程。我們會重點解決幾個最實際的問題ONNX模型從哪來、怎么導(dǎo)入、如何準備輸入數(shù)據(jù)、怎樣解讀輸出結(jié)果以及在這個過程中你一定會踩到的那些“坑”。無論你是想為角色添加一個視覺識別能力還是希望動態(tài)生成一些游戲內(nèi)的文本或紋理Sentis都可能是你工具箱里下一個關(guān)鍵部件。2. 核心準備獲取與理解ONNX模型在開始使用Sentis之前你必須先有一個模型。對于絕大多數(shù)開發(fā)者來說我們不是機器學(xué)習(xí)研究員不需要從零訓(xùn)練模型。我們的工作流是尋找并適配一個預(yù)訓(xùn)練好的模型。而ONNXOpen Neural Network Exchange格式就是這條流水線上的“通用貨幣”。2.1 ONNXAI世界的“MP3格式”你可以把ONNX理解為音頻領(lǐng)域的MP3或者圖像領(lǐng)域的JPEG。在AI模型領(lǐng)域各家框架PyTorch, TensorFlow, MXNet等原本都有自己的“專屬格式”.pth, .pb等互不兼容。ONNX定義了一個開放的、中立的模型表示標準。任何支持ONNX的框架都可以將模型導(dǎo)出為.onnx文件而這個文件可以被任何其他支持ONNX的運行時比如Unity Sentis加載和執(zhí)行。這帶來了巨大的便利性。網(wǎng)絡(luò)上存在著一個龐大的預(yù)訓(xùn)練模型庫涵蓋圖像分類、目標檢測、語義分割、姿態(tài)估計、自然語言處理等幾乎所有常見任務(wù)。你可以直接從Model Zoo如ONNX Model Zoo、Hugging Face下載現(xiàn)成的.onnx文件或者將PyTorch等框架中訓(xùn)練好的模型通過幾行代碼轉(zhuǎn)換過來。注意并非所有模型都能完美轉(zhuǎn)換。一些使用了特殊、復(fù)雜或最新算子的模型在導(dǎo)出為ONNX時可能會失敗或者導(dǎo)出后在某些運行時上無法正確執(zhí)行。通常越經(jīng)典、越通用的模型如ResNet, YOLO, MobileNet其ONNX兼容性越好。2.2 為Sentis準備你的第一個模型以圖像分類為例為了完成本教程我們需要一個具體的模型。這里我選擇經(jīng)典的ResNet-50用于圖像分類。它是一個深度適中、結(jié)構(gòu)經(jīng)典、且完全兼容ONNX和Sentis的模型非常適合入門。步驟一獲取ONNX模型文件你有兩種主要方式直接下載從ONNX官方Model Zoohttps://github.com/onnx/models下載預(yù)導(dǎo)出的ResNet-50模型。找到“vision/classification/resnet”模型下載resnet50-v2-7.onnx。這是最穩(wěn)妥的方式。從PyTorch轉(zhuǎn)換如果你想了解全過程# 假設(shè)你有一個Python環(huán)境并安裝了torch和onnx import torch import torchvision.models as models import onnx # 1. 加載預(yù)訓(xùn)練的PyTorch模型 model models.resnet50(pretrainedTrue) model.eval() # 設(shè)置為評估模式 # 2. 創(chuàng)建一個示例輸入張量模擬一張圖片 # ResNet-50期望的輸入是 [批量大小, 通道數(shù), 高, 寬] [1, 3, 224, 224] # 數(shù)值范圍通常是[0, 1]或經(jīng)過標準化的 dummy_input torch.randn(1, 3, 224, 224) # 3. 導(dǎo)出為ONNX torch.onnx.export(model, dummy_input, resnet50.onnx, input_names[input], # 輸入節(jié)點名稱 output_names[output], # 輸出節(jié)點名稱 opset_version11) # ONNX算子集版本建議11運行這段腳本你就能得到resnet50.onnx文件。步驟二檢查模型基本信息非常重要在把模型扔進Unity之前我們必須搞清楚它的“接口契約”。這包括輸入Input叫什么名字形狀Shape是什么數(shù)據(jù)類型DataType是什么輸出Output叫什么名字形狀是什么使用Netron一個免費的模型可視化工具https://netron.app/打開你的.onnx文件。你可以直接打開網(wǎng)頁版把文件拖進去。查看ResNet-50你會發(fā)現(xiàn)輸入一個名為input或data的張量形狀為[1, 3, 224, 224]數(shù)據(jù)類型為float32。[1, 3, 224, 224]解讀1張圖片3個顏色通道RGB高224像素寬224像素。輸出一個名為output的張量形狀為[1, 1000]數(shù)據(jù)類型為float32。[1, 1000]解讀1張圖片對應(yīng)1000個類別的預(yù)測分數(shù)logits。這些信息是后續(xù)在Unity中編寫代碼的絕對依據(jù)。請務(wù)必記錄下輸入輸出的名稱和形狀。2.3 模型與Sentis的兼容性自查Sentis支持大部分常用的ONNX算子但并非100%全覆蓋。在導(dǎo)入一個復(fù)雜或冷門模型前最好查閱Unity官方文檔的“Supported ONNX operators”列表。對于ResNet-50這種基礎(chǔ)模型完全不用擔(dān)心。另一個關(guān)鍵點是模型復(fù)雜度。像GPT-3這樣的大語言模型雖然理論上可以導(dǎo)出為ONNX但其巨大的參數(shù)量數(shù)十億在移動設(shè)備或普通PC上使用Sentis進行推理是不現(xiàn)實的會直接導(dǎo)致內(nèi)存溢出或極低的幀率。Sentis更適合中小型模型或在特定時機如加載界面、非實時分析運行的大型模型。3. Unity工程集成與模型導(dǎo)入拿到.onnx文件后我們正式進入Unity環(huán)節(jié)。3.1 安裝Sentis包從Unity 2022.3開始Sentis作為官方包提供。安裝方式有兩種通過Package Manager安裝推薦打開Unity進入Window - Package Manager。點擊左上角的“”號選擇“Add package by name...”。輸入包名com.unity.sentis。點擊“Add”。Unity會自動下載并安裝Sentis及其依賴。通過Unity Registry在Package Manager中將來源Sources切換到“Unity Registry”。在搜索框中輸入“Sentis”找到后點擊安裝。安裝完成后你可以在Project窗口的Packages目錄下看到Sentis并且菜單欄會出現(xiàn)“Sentis”選項。3.2 導(dǎo)入ONNX模型文件將你下載或轉(zhuǎn)換得到的.onnx模型文件例如resnet50.onnx直接拖入Unity項目的Assets文件夾下的任意目錄例如Assets/Models。Unity會將其識別為一種特殊的資源——NNModel資產(chǎn)。在Inspector窗口中你可以看到該模型的一些基本信息如輸入輸出、文件大小等。這個NNModel資產(chǎn)就是我們后續(xù)在代碼中要加載的對象。一個關(guān)鍵的踩坑點模型文件的序列化格式Unity在導(dǎo)入.onnx文件時會將其轉(zhuǎn)換并序列化為一種引擎內(nèi)部的優(yōu)化格式。這個過程是自動的。但是如果你在項目開發(fā)過程中直接替換了Assets文件夾下的.onnx文件比如用了一個新版本的模型Unity有時可能不會自動觸發(fā)重新導(dǎo)入和序列化。這會導(dǎo)致你代碼加載的依然是舊的模型數(shù)據(jù)從而引發(fā)各種詭異的錯誤。實操心得每次更新模型文件后一個保險的做法是在Project窗口中右鍵點擊該模型文件選擇“Reimport”。確保Inspector中顯示的模型信息如輸入輸出名稱已經(jīng)更新。3.3 創(chuàng)建運行時與加載模型在Unity中Sentis的核心是Model類和IWorker接口。Model是模型數(shù)據(jù)的容器IWorker是負責(zé)執(zhí)行模型推理的“工人”。讓我們創(chuàng)建一個C#腳本SentisImageClassifier.cs并掛載到場景中的任意GameObject上。using UnityEngine; using Unity.Sentis; // 引入Sentis命名空間 public class SentisImageClassifier : MonoBehaviour { [SerializeField] private NNModel modelAsset; // 在Inspector中拖入你的NNModel資產(chǎn) private Model _runtimeModel; private IWorker _worker; void Start() { // 1. 從NNModel資產(chǎn)加載為運行時模型 if (modelAsset null) { Debug.LogError(請將ONNX模型文件拖拽到modelAsset字段); return; } // 使用ModelLoader.Load加載模型這是最常用的方式 _runtimeModel ModelLoader.Load(modelAsset); // 2. 創(chuàng)建Worker推理執(zhí)行器 // BackendType.GPUComputeShader: 優(yōu)先使用GPU計算更快 // BackendType.CPU: 使用CPU計算兼容性最好 // 移動端如iOS對GPU ComputeShader支持較好但某些復(fù)雜模型或低端設(shè)備可能需回退到CPU。 _worker WorkerFactory.CreateWorker(BackendType.GPUComputeShader, _runtimeModel); Debug.Log(模型加載與Worker創(chuàng)建完成。); } void OnDestroy() { // 3. 非常重要必須手動釋放Worker和模型占用的資源 _worker?.Dispose(); // _runtimeModel 通常不需要手動Dispose除非你動態(tài)創(chuàng)建它。 } }這段代碼完成了模型的加載和推理引擎的初始化。BackendType的選擇是一個權(quán)衡BackendType.GPUComputeShader利用GPU進行并行計算對于像卷積神經(jīng)網(wǎng)絡(luò)CNN這類包含大量矩陣運算的模型速度通常比CPU快一個數(shù)量級以上。這是桌面和高端移動設(shè)備的首選。BackendType.CPU使用CPU進行推理。速度較慢但兼容性100%。當(dāng)GPU模式出現(xiàn)奇怪問題如某些Android設(shè)備驅(qū)動問題或模型包含不支持的GPU算子時可以回退到CPU進行調(diào)試和兜底。4. 數(shù)據(jù)預(yù)處理將Unity紋理“喂”給AI模型模型加載好了但你不能直接把一張Texture2D扔給它。AI模型對輸入數(shù)據(jù)有極其嚴格的要求這被稱為數(shù)據(jù)預(yù)處理。對于圖像模型預(yù)處理通常包括調(diào)整大小Resize、顏色空間轉(zhuǎn)換如BGR-RGB、數(shù)值歸一化Normalization和維度重排NHWC - NCHW。這是新手最容易出錯的地方。4.1 理解模型的“輸入契約”回顧我們通過Netron看到的ResNet-50輸入[1, 3, 224, 224]float32。[1, 3, 224, 224]這是PyTorch等框架常用的NCHW格式。NBatch size批處理大小。這里為1表示一次處理一張圖。CChannels通道數(shù)。RGB圖像為3。HHeight高度。224像素。WWidth寬度。224像素。float32數(shù)據(jù)類型是32位浮點數(shù)。然而Unity中的Texture2D數(shù)據(jù)通常是像素順序在內(nèi)存中通常是逐行存儲的RGB或RGBA值。數(shù)值范圍每個通道的值為0到255的整數(shù)byte。維度順序可以理解為NHWC但H和W是交織的更準確說是(Height, Width, Channel)。我們的任務(wù)就是完成這個“翻譯”工作。4.2 使用TensorFloat構(gòu)建輸入張量Sentis提供了TensorFloat等類型來存儲張量數(shù)據(jù)。我們需要手動將Texture2D轉(zhuǎn)換為符合要求的TensorFloat。下面是一個完整的預(yù)處理函數(shù)它接受一個Texture2D并輸出ResNet-50需要的TensorFloat。using UnityEngine; using Unity.Sentis; using System; private TensorFloat PreprocessImageForResNet(Texture2D sourceTexture) { // 1. 調(diào)整紋理大小至 224x224 // 注意這里使用了雙線性過濾對于分類任務(wù)通?？梢越邮堋?// 如果對精度要求極高可能需要更復(fù)雜的縮放算法如雙三次插值。 RenderTexture rt RenderTexture.GetTemporary(224, 224, 0, RenderTextureFormat.ARGB32); Graphics.Blit(sourceTexture, rt); Texture2D resizedTexture new Texture2D(224, 224, TextureFormat.RGBA32, false); RenderTexture.active rt; resizedTexture.ReadPixels(new Rect(0, 0, 224, 224), 0, 0); resizedTexture.Apply(); RenderTexture.ReleaseTemporary(rt); RenderTexture.active null; // 2. 獲取像素數(shù)據(jù)RGBA格式每個通道0-255 Color32[] pixels resizedTexture.GetPixels32(); Destroy(resizedTexture); // 臨時紋理用完即銷毀 // 3. 分配TensorFloat內(nèi)存形狀為 [1, 3, 224, 224] // 注意這里創(chuàng)建的是可寫的Tensor用于填充數(shù)據(jù)。 TensorShape inputShape new TensorShape(1, 3, 224, 224); TensorFloat inputTensor new TensorFloat(inputShape); // 4. 數(shù)據(jù)填充與預(yù)處理 // 我們需要將 [224, 224, 4] (RGBA) 的像素數(shù)組轉(zhuǎn)換為 [1, 3, 224, 224] (NCHW) 的float張量。 // 同時進行歸一化 (pixel_value / 255.0 - mean) / std // ResNet常用的mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] (來自ImageNet數(shù)據(jù)集) float[] mean new float[] { 0.485f, 0.456f, 0.406f }; float[] std new float[] { 0.229f, 0.224f, 0.225f }; // 使用TensorFloat.DataHandle進行高效的數(shù)據(jù)填充 // 這里為了清晰使用循環(huán)。對于性能敏感場景可以使用Job System或Compute Shader優(yōu)化。 unsafe { float* tensorDataPtr (float*)inputTensor.DataHandle.DangerousGetHandle().ToPointer(); for (int y 0; y 224; y) { for (int x 0; x 224; x) { int pixelIndex y * 224 x; Color32 pixel pixels[pixelIndex]; // 提取R,G,B通道并轉(zhuǎn)換為0-1范圍的float float r pixel.r / 255.0f; float g pixel.g / 255.0f; float b pixel.b / 255.0f; // 應(yīng)用歸一化 (value - mean) / std // 并按照NCHW順序填充索引計算為 [n, c, h, w] // 因為n0所以先計算通道維度。 tensorDataPtr[0 * (224 * 224) y * 224 x] (r - mean[0]) / std[0]; // 通道0 (R) tensorDataPtr[1 * (224 * 224) y * 224 x] (g - mean[1]) / std[1]; // 通道1 (G) tensorDataPtr[2 * (224 * 224) y * 224 x] (b - mean[2]) / std[2]; // 通道2 (B) } } } return inputTensor; }這段代碼是數(shù)據(jù)預(yù)處理的核心請務(wù)必理解每一步調(diào)整大小使用Graphics.Blit和RenderTexture進行高效的GPU端縮放。獲取像素得到Color32數(shù)組內(nèi)存布局是[H, W, C]C4RGBA。創(chuàng)建目標張量形狀為[1, 3, 224, 224]。數(shù)據(jù)轉(zhuǎn)換與填充循環(huán)每個像素位置(y, x)。將byte類型的R、G、B值轉(zhuǎn)換為[0, 1]區(qū)間的float。應(yīng)用歸一化這是模型在訓(xùn)練時使用的相同變換必須保持一致否則準確率會大幅下降。這里使用的是ImageNet數(shù)據(jù)集的均值和標準差。按照NCHW順序計算內(nèi)存偏移量并填充數(shù)據(jù)。tensorDataPtr[channel * (H*W) y * W x]是計算某個通道某個像素位置的經(jīng)典公式。踩坑實錄歸一化參數(shù)用錯是最常見的錯誤之一。如果你從Hugging Face或其他地方下載了一個自定義模型一定要找到其預(yù)處理說明確認它使用的是[0,1]歸一化、[-1,1]歸一化還是其他方式。參數(shù)不匹配模型輸出就是亂碼。5. 執(zhí)行推理與解析輸出預(yù)處理完成后我們就可以執(zhí)行推理了。推理過程是異步的為了不阻塞主線程Sentis提供了StartManualSchedule和Execute等模式。我們這里使用Execute進行同步推理適合教程演示實際項目建議使用異步。5.1 同步執(zhí)行推理在之前的SentisImageClassifier腳本中我們添加一個執(zhí)行推理的方法。public string ClassifyImage(Texture2D image) { if (_worker null || image null) return 模型未就緒或圖片為空; // 1. 預(yù)處理得到輸入張量 using TensorFloat inputTensor PreprocessImageForResNet(image); // 2. 執(zhí)行推理 // Execute方法會阻塞當(dāng)前線程直到推理完成。 _worker.Execute(inputTensor); // 3. 獲取輸出張量 // “output”是我們在Netron中看到的輸出節(jié)點名稱。如果你的模型輸出名稱不同這里需要修改。 TensorFloat outputTensor _worker.PeekOutput() as TensorFloat; // 或者使用 _worker.PeekOutput(output) 指定名稱 // 4. 將輸出張量數(shù)據(jù)取回CPU內(nèi)存以便進行后續(xù)處理 // MakeReadable() 確保數(shù)據(jù)可訪問。對于CPU后端數(shù)據(jù)本就在CPU對于GPU后端這會觸發(fā)一次回讀。 outputTensor.MakeReadable(); // 獲取指向輸出數(shù)據(jù)的原生內(nèi)存句柄 NativeTensorArrayfloat outputData outputTensor.ToReadOnlyNativeArray(); // 5. 解析輸出找到概率最高的類別 int predictedClassIndex -1; float maxScore float.MinValue; // 輸出形狀是 [1, 1000]我們?nèi)〉谝粋€批次的1000個分數(shù) for (int i 0; i 1000; i) { float score outputData[i]; if (score maxScore) { maxScore score; predictedClassIndex i; } } // 6. 將類別索引映射為人類可讀的標簽例如“金毛尋回犬” // 這里需要一個包含1000個ImageNet類別名稱的字符串?dāng)?shù)組。 // 你可以從網(wǎng)上下載一個如imagenet_classes.txt并在啟動時加載。 string className GetClassNameFromIndex(predictedClassIndex); // 7. 清理非必須但建議 // inputTensor在using塊結(jié)束時自動Dispose。 // outputTensor是PeekOutput得到的其生命周期由Worker管理通常不需要手動Dispose。 // 但如果你需要長期持有輸出數(shù)據(jù)應(yīng)該深拷貝一份。 return $預(yù)測結(jié)果{className} (索引: {predictedClassIndex}, 分數(shù): {maxScore}); } // 一個簡單的示例函數(shù)你需要準備一個完整的ImageNet標簽列表 private string GetClassNameFromIndex(int index) { // 這里應(yīng)該是一個包含1000個字符串的數(shù)組。 // 例如string[] imagenetLabels File.ReadAllLines(imagenet_classes.txt); // 為了演示我們只返回索引。 return $Class_{index}; }5.2 異步推理與性能考量在實際游戲或?qū)崟r應(yīng)用中阻塞主線程進行模型推理是致命的會導(dǎo)致卡頓。Sentis提供了StartManualSchedule和Worker.ExecuteAsync在某些版本中來進行異步調(diào)度。使用StartManualSchedule的異步模式public IEnumerator ClassifyImageAsync(Texture2D image, System.Actionstring onComplete) { using TensorFloat inputTensor PreprocessImageForResNet(image); // 開始手動調(diào)度將任務(wù)放入命令隊列 _worker.StartManualSchedule(inputTensor); // 每幀執(zhí)行一部分工作直到完成 while (_worker.scheduleProgress 1.0f) { _worker.ExecuteWorkerCommandBuffer(); // 執(zhí)行一部分命令 yield return null; // 等待下一幀 } // 調(diào)度完成獲取結(jié)果 TensorFloat outputTensor _worker.PeekOutput() as TensorFloat; outputTensor.MakeReadable(); // ... 解析輸出 ... onComplete?.Invoke(resultString); }這種方式將繁重的計算任務(wù)分攤到多幀完成避免了單幀卡頓是游戲中的推薦做法。性能監(jiān)控與優(yōu)化Profiler使用Unity Profiler的Deep Profiling模式查看Sentis相關(guān)的采樣了解推理耗時主要在哪個環(huán)節(jié)數(shù)據(jù)準備、調(diào)度、GPU計算、數(shù)據(jù)回讀。數(shù)據(jù)回讀是瓶頸outputTensor.MakeReadable()或ToReadOnlyNativeArray()如果是在GPU后端調(diào)用會觸發(fā)一次從GPU到CPU的內(nèi)存拷貝回讀這個操作相對較慢。如果可能盡量在GPU上直接處理輸出結(jié)果例如只找出最大值的索引可以使用一些自定義的Shader或Compute Buffer技巧或者減少回讀的頻率和數(shù)據(jù)量。模型優(yōu)化考慮使用模型量化如FP16或INT8。Sentis支持部分量化模型可以顯著減少模型大小、內(nèi)存占用和推理時間但可能會輕微損失精度。這通常需要你在模型導(dǎo)出ONNX轉(zhuǎn)換階段就完成量化。6. 實戰(zhàn)串聯(lián)從攝像頭到分類結(jié)果現(xiàn)在我們把所有部分串聯(lián)起來創(chuàng)建一個完整的示例從設(shè)備攝像頭捕獲圖像實時進行物體分類。創(chuàng)建一個新的腳本CameraSentisClassifier.csusing UnityEngine; using UnityEngine.UI; using Unity.Sentis; using System.Collections; public class CameraSentisClassifier : MonoBehaviour { [Header(Sentis 設(shè)置)] [SerializeField] private NNModel modelAsset; [SerializeField] private BackendType backendType BackendType.GPUComputeShader; [SerializeField] private float inferenceInterval 0.5f; // 每0.5秒推理一次避免每幀都推理 [Header(UI 設(shè)置)] [SerializeField] private RawImage cameraPreview; [SerializeField] private Text resultText; private WebCamTexture _webCamTexture; private Model _runtimeModel; private IWorker _worker; private bool _isInferencing false; private string[] _imagenetLabels; IEnumerator Start() { // 0. 加載標簽文件假設(shè)放在Resources文件夾下 TextAsset labelsFile Resources.LoadTextAsset(imagenet_classes); if (labelsFile ! null) _imagenetLabels labelsFile.text.Split(\n); else Debug.LogWarning(未找到ImageNet標簽文件將顯示類別索引。); // 1. 初始化攝像頭 yield return InitializeCamera(); // 2. 初始化Sentis模型 if (modelAsset null) { Debug.LogError(請指定模型文件); yield break; } _runtimeModel ModelLoader.Load(modelAsset); _worker WorkerFactory.CreateWorker(backendType, _runtimeModel); Debug.Log($Sentis Worker已創(chuàng)建后端{backendType}); // 3. 開始周期性的推理協(xié)程 StartCoroutine(ContinuousInference()); } IEnumerator InitializeCamera() { // 請求攝像頭權(quán)限在Unity 2022 或某些平臺上需要 yield return Application.RequestUserAuthorization(UserAuthorization.WebCam); if (!Application.HasUserAuthorization(UserAuthorization.WebCam)) { Debug.LogError(用戶未授權(quán)使用攝像頭。); yield break; } // 獲取后置攝像頭 WebCamDevice[] devices WebCamTexture.devices; string backCameraName null; foreach (var device in devices) { if (!device.isFrontFacing) { backCameraName device.name; break; } } if (string.IsNullOrEmpty(backCameraName)) backCameraName devices[0].name; // 使用第一個攝像頭 _webCamTexture new WebCamTexture(backCameraName, 640, 480, 30); cameraPreview.texture _webCamTexture; _webCamTexture.Play(); yield return new WaitUntil(() _webCamTexture.width 16); // 等待攝像頭真正啟動 } IEnumerator ContinuousInference() { while (true) { yield return new WaitForSeconds(inferenceInterval); if (_webCamTexture ! null _webCamTexture.isPlaying !_isInferencing) { StartCoroutine(PerformInferenceAsync()); } } } IEnumerator PerformInferenceAsync() { _isInferencing true; // 1. 從WebCamTexture創(chuàng)建臨時Texture2D Texture2D snap new Texture2D(_webCamTexture.width, _webCamTexture.height, TextureFormat.RGBA32, false); snap.SetPixels32(_webCamTexture.GetPixels32()); snap.Apply(); // 2. 預(yù)處理使用之前定義的函數(shù)稍作修改以接受Texture2D using TensorFloat inputTensor PreprocessImage(snap); Destroy(snap); // 及時銷毀臨時紋理 // 3. 異步推理 _worker.StartManualSchedule(inputTensor); while (_worker.scheduleProgress 1.0f) { _worker.ExecuteWorkerCommandBuffer(); yield return null; } // 4. 獲取并解析結(jié)果 TensorFloat outputTensor _worker.PeekOutput() as TensorFloat; outputTensor.MakeReadable(); NativeTensorArrayfloat outputData outputTensor.ToReadOnlyNativeArray(); int predictedClassIndex -1; float maxScore float.MinValue; for (int i 0; i outputData.Length; i) { if (outputData[i] maxScore) { maxScore outputData[i]; predictedClassIndex i; } } // 5. 更新UI string className _imagenetLabels ! null predictedClassIndex _imagenetLabels.Length ? _imagenetLabels[predictedClassIndex].Trim() : $Class_{predictedClassIndex}; resultText.text $識別: {className}\n置信度: {maxScore:F2}; _isInferencing false; } // 這里需要將之前的PreprocessImageForResNet函數(shù)復(fù)制過來并稍作調(diào)整使其更通用 private TensorFloat PreprocessImage(Texture2D sourceTex) { // ... 實現(xiàn)與之前章節(jié)相同的預(yù)處理邏輯 ... // 注意這里需要處理任意大小的輸入紋理調(diào)整大小至224x224。 // 可以使用Graphics.Blit或Texture2D.GetPixels循環(huán)縮放。 } void OnDestroy() { _worker?.Dispose(); if (_webCamTexture ! null _webCamTexture.isPlaying) _webCamTexture.Stop(); } }這個腳本創(chuàng)建了一個完整的實時攝像頭分類應(yīng)用。它通過協(xié)程控制推理頻率避免每幀都執(zhí)行從而維持可接受的幀率。UI上會顯示攝像頭預(yù)覽和識別結(jié)果。7. 常見問題排查與進階方向即使按照教程一步步操作你也可能會遇到一些問題。這里列出一些常見坑點及其解決方案。7.1 錯誤排查清單錯誤現(xiàn)象可能原因解決方案NullReferenceException加載模型時modelAsset字段在Inspector中未賦值。將Project窗口中的.onnx文件或由其生成的NNModel資產(chǎn)拖拽到腳本的modelAsset字段。InvalidOperationException創(chuàng)建Worker時模型包含Sentis不支持的ONNX算子。1. 使用Netron檢查模型結(jié)構(gòu)。2. 查閱Unity官方支持的算子列表。3. 嘗試簡化模型或?qū)ふ姨娲Ｐ?。推理結(jié)果完全錯誤亂碼1. 數(shù)據(jù)預(yù)處理錯誤尺寸、顏色順序、歸一化。2. 輸入/輸出節(jié)點名稱不匹配。1.仔細核對預(yù)處理代碼確保尺寸、通道順序RGB/BGR、歸一化參數(shù)與模型訓(xùn)練時完全一致。這是最高發(fā)的錯誤。2. 使用_worker.Execute的重載版本顯式指定輸入輸出名稱_worker.Execute(inputTensor, “input”, “output”)。GPU后端推理失敗CPU后端正常1. 設(shè)備GPU不支持某些計算特性。2. 模型層數(shù)太深或使用了特殊算子GPU實現(xiàn)有bug。1. 回退到BackendType.CPU進行測試和兜底。2. 更新Unity和Sentis到最新版本。3. 在Player Settings中檢查Graphics API兼容性。移動設(shè)備上性能極差或崩潰1. 模型太大內(nèi)存不足。2. 使用GPU后端但設(shè)備不支持。3. 未進行性能優(yōu)化。1. 使用更小的模型如MobileNetV2, EfficientNet-Lite。2. 在啟動時檢測設(shè)備性能動態(tài)選擇CPU或GPU后端。3. 使用異步推理避免卡頓。4. 考慮模型量化。MakeReadable()或ToArray()非常慢從GPU內(nèi)存回讀數(shù)據(jù)到CPU的帶寬瓶頸。1. 僅在需要時回讀數(shù)據(jù)。2. 減少回讀的數(shù)據(jù)量例如只回讀分類索引而不是全部1000個分數(shù)。3. 使用TensorFloat.ToReadOnlyNativeArray()的異步版本如果可用。7.2 進階探索方向當(dāng)你成功運行了第一個模型后可以嘗試以下方向深化對Sentis的應(yīng)用探索更多模型類型目標檢測YOLO, SSD輸出是邊界框和類別需要在Unity中繪制矩形。姿態(tài)估計MoveNet, MediaPipe輸出人體關(guān)鍵點坐標可以驅(qū)動角色骨骼動畫。語義分割DeepLab, U-Net輸出每個像素的類別可用于游戲中的動態(tài)地形或特效遮罩。風(fēng)格遷移/超分辨率輸入和輸出都是圖像可以實時美化畫面或提升分辨率。集成到內(nèi)容管線將Sentis推理作為AssetPostprocessor的一部分在導(dǎo)入資源時自動處理如自動為圖片生成標簽。模型性能分析使用IWorker的TakeMetadataOwnership方法獲取模型各層的執(zhí)行時間找出性能瓶頸。自定義算子如果模型包含不支持的算子Sentis允許你通過IOps接口實現(xiàn)自定義的CPU算子。與Burst/Jobs System結(jié)合對于復(fù)雜的數(shù)據(jù)預(yù)處理如視頻流的多幀處理可以使用C# Job System和Burst編譯器來極大提升CPU端的處理速度與Sentis的GPU推理形成高效流水線。Unity Sentis打開了一扇門讓復(fù)雜的AI推理能力變得像調(diào)用一個組件方法一樣簡單。它的核心價值在于降低集成門檻和實現(xiàn)跨平臺部署。雖然目前在一些極其復(fù)雜或最新的模型支持上還有局限但對于絕大多數(shù)游戲和交互應(yīng)用中的AI功能視覺識別、基礎(chǔ)自然語言處理、簡單決策模型來說它已經(jīng)是一個非常強大且實用的工具。關(guān)鍵在于理解模型的數(shù)據(jù)契約輸入輸出并耐心地做好數(shù)據(jù)預(yù)處理這座“橋梁”。希望這篇教程能幫你跨出從“AI觀望者”到“AI實踐者”的第一步。在實際項目中從一個小的、確定的功能點開始嘗試比如讓游戲中的怪物“看”到玩家或者根據(jù)玩家截圖自動推薦游戲道具你會更快地體會到它的威力。