示例工程【免費(fèi)下載鏈接】Windows-driver-samplesThis repo contains driver samples prepared for use with Microsoft Visual Studio and the Windows Driver Kit (WDK). It contains both Universal Windows Driver and desktop-only driver samples.項(xiàng)目地址https://gitcode.com/gh_mirrors/wi/Windows-driver-samples點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以 avstream/samplemft0 為例系統(tǒng)講解 Windows 驅(qū)動(dòng)開(kāi)發(fā)者如何實(shí)現(xiàn)一個(gè)Driver MFT又稱(chēng) MFT0——即攝像頭視頻捕獲管線中第一個(gè)被應(yīng)用的 Media Foundation Transform。讀完本文你將掌握 MFT0 的概念定位、面向 UWP 設(shè)備應(yīng)用的控制接口設(shè)計(jì)、IMFTransform 全接口實(shí)現(xiàn)套路、視頻幀逐行處理原理以及如何將 MFT0 隨驅(qū)動(dòng)包分發(fā)并用于實(shí)現(xiàn)實(shí)時(shí)視頻特效。一、什么是 Driver MFTMFT0在 Windows 10 及以上的攝像頭驅(qū)動(dòng)架構(gòu)中當(dāng)應(yīng)用通過(guò) Media FoundationMF從攝像頭捕獲視頻時(shí)視頻流會(huì)經(jīng)過(guò)一串變換Transform。Driver MFT 是這一串變換中第一個(gè)被應(yīng)用到攝像頭視頻流的 MFT因此也常被稱(chēng)為MFT0。它在設(shè)備驅(qū)動(dòng)側(cè)運(yùn)行隨攝像頭驅(qū)動(dòng)包一起分發(fā)屬于“驅(qū)動(dòng)擴(kuò)展”而非純應(yīng)用層組件它可以在從攝像頭捕獲照片或視頻時(shí)提供視頻特效或其他圖像處理并且無(wú)需修改驅(qū)動(dòng)本身它的啟用、參數(shù)調(diào)節(jié)可以交由配套的UWP 設(shè)備應(yīng)用UWP device app來(lái)控制。在 README 中官方給出的定位描述是“A driver MFT is a Media Foundation Transform thats used with a specific camera when capturing video … It can be distributed along with the driver package for a camera.”也就是說(shuō)MFT0 是與某個(gè)特定攝像頭綁定的它只在系統(tǒng)識(shí)別到該攝像頭并開(kāi)始捕獲時(shí)才被加載。二、示例效果綠色/純色框替換視頻局部本示例的演示效果非常直觀當(dāng) MFT0 被啟用時(shí)它會(huì)把捕獲視頻的一部分替換為一個(gè)純色框README 描述為 green box。剩余畫(huà)面原樣透?jìng)鲝亩C明MFT0 已成功掛接到攝像頭捕獲管線MFT0 有能力對(duì)每一幀視頻數(shù)據(jù)做實(shí)際的像素級(jí)改寫(xiě)特效的開(kāi)啟與范圍可以由外部UWP 設(shè)備應(yīng)用動(dòng)態(tài)控制。從源碼看這一效果在CMft0::OnProcessOutput中實(shí)現(xiàn)Mft0.cpp輸入幀與輸出幀分別被鎖定后按行復(fù)制像素凡位于lines閾值之下的行即畫(huà)面底部區(qū)域用memset填零形成一個(gè)純色塊其余行memcpy原樣拷貝。lines由成員變量m_percentOfScreen默認(rèn) 50即畫(huà)面 50%計(jì)算long lines uiHeight; if(m_percentOfScreen ! -1 m_percentOfScreen ! 0) { lines (UINT)(uiHeight * (1.0 - m_percentOfScreen / 100.00)); }注意當(dāng)m_percentOfScreen為-1或0時(shí)lines uiHeight整幀被完整透?jìng)飨喈?dāng)于特效關(guān)閉因此 UWP 設(shè)備應(yīng)用可以通過(guò)把該值設(shè)為 0 來(lái)“消除”遮擋?？虻摹邦伾睂?duì)應(yīng)零值填充數(shù)據(jù)開(kāi)發(fā)者可自行替換為任意 RGB 填充邏輯以實(shí)現(xiàn)真正的綠色或其他顏色框。三、運(yùn)行與測(cè)試的前提條件README 明確列出要真正運(yùn)行本示例需要以下配套條件缺一不可前提說(shuō)明配套 UWP 設(shè)備應(yīng)用Device app for camera sample提供 UWP 設(shè)備應(yīng)用用于控制 Driver MFT 實(shí)現(xiàn)的特效即調(diào)用本文第五節(jié)介紹的 IMft0 控制接口攝像頭捕獲 UI 示例Camera Capture UI sample提供一種方式去調(diào)用上述 UWP 設(shè)備應(yīng)用從而在真實(shí)拍攝界面里看到特效開(kāi)關(guān)效果特定攝像頭的設(shè)備 ID本示例“綁定”特定相機(jī)運(yùn)行時(shí)需要相機(jī)的設(shè)備 ID 才能把 MFT0 關(guān)聯(lián)到該設(shè)備設(shè)備元數(shù)據(jù)包device metadata package用于把 UWP 設(shè)備應(yīng)用與特定攝像頭關(guān)聯(lián)起來(lái)是設(shè)備應(yīng)用被系統(tǒng)按設(shè)備調(diào)用的關(guān)鍵也就是說(shuō)MFT0 本身無(wú)法獨(dú)立演示——它必須與 UWP 設(shè)備應(yīng)用、捕獲 UI 以及一臺(tái)具體攝像頭或?qū)?yīng)的模擬環(huán)境組成完整鏈路。構(gòu)建與部署時(shí)還需將生成的 DLL 放進(jìn)相機(jī)的驅(qū)動(dòng)包見(jiàn)下文打包章節(jié)。四、工程結(jié)構(gòu)與構(gòu)建方式4.1 文件清單avstream/samplemft0/目錄下各文件職責(zé)如下文件職責(zé)Mft0.cpp / Mft0.hCMft0類(lèi)的全部實(shí)現(xiàn)IMFTransform 各方法、IMft0 控制方法、圖像處理核心SampleMft0.idlMIDL 接口定義聲明IMft0控制接口與Mft0coclass、類(lèi)型庫(kù) GUIDSampleMft0.cppDLL 導(dǎo)出入口DllCanUnloadNow、DllGetClassObject、DllRegisterServer等SampleMft0.def模塊導(dǎo)出表聲明上述 5 個(gè) DLL 導(dǎo)出函數(shù)SampleMft0.rgs / Mft0.rgsATL 注冊(cè)腳本寫(xiě)入 COM CLSID、InprocServer32、ThreadingModel 等注冊(cè)表項(xiàng)dllmain.cpp / dllmain.hDllMain與 ATL 模塊類(lèi)CSampleMft0ModuleSampleHelpers.h公共輔助錯(cuò)誤檢查宏、VideoBufferLock緩沖鎖定工具類(lèi)SampleMft0.vcxproj主工程產(chǎn)出SampleMft0.dllPackage/package.vcxproj打包工程產(chǎn)出驅(qū)動(dòng)安裝包SampleMft0.sln解決方案包含上述兩個(gè)工程4.2 構(gòu)建配置要點(diǎn)從 SampleMft0.vcxproj 可以看到使用 WDK 的WindowsApplicationForDrivers10.0工具集ConfigurationType為DynamicLibrary生成 DLL支持x64 與 ARM64兩種平臺(tái)Debug/Release 均以Windows 10為目標(biāo)版本輸出目標(biāo)名TargetName為SampleMft0即最終產(chǎn)物為SampleMft0.dll。Package/package.vcxproj 則以WindowsKernelModeDriver10.0工具集、DriverType為Package的 Utility 工程形式將生成的 DLL 與驅(qū)動(dòng)包元數(shù)據(jù)一起封裝便于隨相機(jī)驅(qū)動(dòng)包分發(fā)。這正對(duì)應(yīng) README 中“driver MFT 可以隨相機(jī)驅(qū)動(dòng)包一起分發(fā)”的定位。五、核心源碼剖析5.1 COM 對(duì)象模型一個(gè)類(lèi)三重身份CMft0Mft0.h基于 ATL 實(shí)現(xiàn)同時(shí)實(shí)現(xiàn)三個(gè)接口class ATL_NO_VTABLE CMft0 : public CComObjectRootExCComMultiThreadModel, public CComCoClassCMft0, CLSID_Mft0, public IMft0, // 面向 UWP 設(shè)備應(yīng)用的控制接口 public IMFTransform, // Media Foundation Transform 核心接口 public IInspectable // WinRT 可檢查性接口IMFTransform讓對(duì)象成為標(biāo)準(zhǔn) MFT被媒體管線按 Transform 協(xié)議調(diào)用IMft0示例自定義的控制接口供 UWP 設(shè)備應(yīng)用調(diào)用見(jiàn) 5.2IInspectable使對(duì)象可作為 WinRT 對(duì)象被元數(shù)據(jù)檢查GetIids、GetRuntimeClassName、GetTrustLevel其中信任級(jí)別返回BaseTrust見(jiàn) Mft0.cpp。構(gòu)造函數(shù)初始化了關(guān)鍵狀態(tài)m_bEnableEffects TRUE、m_percentOfScreen 50并創(chuàng)建臨界區(qū)m_critSec保護(hù)所有狀態(tài)所有核心方法都通過(guò)EnterCriticalSection/LeaveCriticalSection保證線程安全。5.2 控制接口 IMft0UWP 設(shè)備應(yīng)用如何遙控特效SampleMft0.idl 定義了四個(gè)方法其語(yǔ)義與實(shí)現(xiàn)Mft0.cpp一一對(duì)應(yīng)interface IMft0 : IUnknown{ [id(1)] HRESULT UpdateDsp([in] UINT32 uiPercentOfScreen); [id(2)] HRESULT Enable(void); [id(3)] HRESULT Disable(void); [id(4)] HRESULT GetDspSetting([out] UINT* puiPercentOfScreen, [out] BOOL* pIsEnabled); };方法作用實(shí)現(xiàn)要點(diǎn)UpdateDsp(uiPercentOfScreen)設(shè)置特效覆蓋屏幕的比例0~1000 或 -1 表示全透?jìng)髦苯訉?xiě)入m_percentOfScreenEnable()開(kāi)啟特效置m_bEnableEffects TRUEDisable()關(guān)閉特效置m_bEnableEffects FALSEGetDspSetting(...)查詢當(dāng)前比例與開(kāi)關(guān)狀態(tài)同時(shí)回讀m_percentOfScreen與m_bEnableEffects這就是 README 所說(shuō)“UWP 設(shè)備應(yīng)用控制 Driver MFT 實(shí)現(xiàn)的特效”的底層通道設(shè)備應(yīng)用拿到 MFT0 對(duì)象后通過(guò)這 4 個(gè)方法即可實(shí)時(shí)調(diào)整畫(huà)面中色塊的大小和開(kāi)關(guān)無(wú)需重啟捕獲會(huì)話。5.3 流模型固定 1 進(jìn) 1 出CMft0是一個(gè)最簡(jiǎn)單的單進(jìn)單出 MFTGetStreamLimits返回輸入/輸出均為最小 1、最大 1Mft0.cppGetStreamCount同樣返回 1 進(jìn) 1 出GetStreamIDs直接返回E_NOTIMPL表示流 ID 固定為 0按 MFT 協(xié)議單流 MFT 可省略流 IDIsValidInputStream/IsValidOutputStream均只接受dwInputStreamID 0。輸入流信息聲明了MFT_INPUT_STREAM_WHOLE_SAMPLES | MFT_INPUT_STREAM_SINGLE_SAMPLE_PER_BUFFER輸出流聲明了MFT_OUTPUT_STREAM_WHOLE_SAMPLES | MFT_OUTPUT_STREAM_SINGLE_SAMPLE_PER_BUFFER | MFT_OUTPUT_STREAM_PROVIDES_SAMPLES | MFT_OUTPUT_STREAM_FIXED_SAMPLE_SIZE——即每個(gè)樣本攜帶一整幀且 MFT 自行提供輸出樣本見(jiàn) GetInputStreamInfo 與 GetOutputStreamInfo。5.4 與底層相機(jī)源的綁定MFT0 之所以能拿到“這個(gè)攝像頭支持的媒體類(lèi)型”關(guān)鍵在于它通過(guò)輸入流屬性反向找到底層相機(jī)源從輸入屬性中讀取MFT_CONNECTED_STREAM_ATTRIBUTEMft0.cpp再?gòu)脑搶傩灾腥〕鯩F_DEVICESTREAM_EXTENSION_PLUGIN_CONNECTION_POINTQueryInterface得到IMFTransform類(lèi)型的m_pSourceTransform——即相機(jī)的源變換讀取MF_DEVICESTREAM_STREAM_CATEGORY判斷流類(lèi)型代碼打印PINNAME_VIDEO_CAPTURE/PINNAME_VIDEO_PREVIEW/PINNAME_VIDEO_STILL/PINNAME_IMAGE并且只接受PINNAME_VIDEO_PREVIEW或PINNAME_VIDEO_CAPTURE其他類(lèi)型返回E_UNEXPECTED調(diào)用GenerateMFMediaTypeListFromDeviceMft0.cpp遍歷源變換的所有GetOutputAvailableType篩出可處理的視頻格式后存入m_listOfMediaTypes。GetInputAvailableType/GetOutputAvailableType之后都從m_listOfMediaTypes返回候選媒體類(lèi)型GetMediaTypeMft0.cpp。SetInputType則通過(guò)IsMediaTypeSupported校驗(yàn)支持MFT_SET_TYPE_TEST_ONLY試設(shè)模式并把完整媒體類(lèi)型同時(shí)緩存為輸入/輸出類(lèi)型。5.5 數(shù)據(jù)流ProcessInput → ProcessOutput處理流程是 MFT 的教科書(shū)式實(shí)現(xiàn)ProcessInputMft0.cpp校驗(yàn)流 ID、校驗(yàn)類(lèi)型已設(shè)置否則MF_E_NOTACCEPTING、校驗(yàn)緩沖數(shù)0 個(gè)返回E_FAIL多于 1 個(gè)返回MF_E_SAMPLE_HAS_TOO_MANY_BUFFERS然后緩存輸入樣本m_pSample并 AddRefGetInputStatus / GetOutputStatusMft0.cpp以m_pSample是否為 NULL 作為是否可接受輸入/是否有輸出就緒的唯一判據(jù)ProcessOutputMft0.cpp無(wú)緩存樣本時(shí)返回MF_E_TRANSFORM_NEED_MORE_INPUT否則創(chuàng)建輸出樣本、把輸入/輸出緩沖轉(zhuǎn)成連續(xù)緩沖調(diào)用OnProcessOutput做像素處理并將輸入樣本的時(shí)間戳與時(shí)長(zhǎng)拷貝到輸出樣本后釋放輸入樣本ProcessMessageMft0.cppMFT_MESSAGE_COMMAND_FLUSH觸發(fā)OnFlush釋放緩存樣本MFT_MESSAGE_COMMAND_DRAIN無(wú)需額外動(dòng)作MFT_MESSAGE_SET_D3D_MANAGER返回E_NOTIMPL未聲明 D3D 感知。5.6 像素級(jí)處理幀格式、stride 與 VideoBufferLockOnProcessOutput只在m_bEnableEffects為 TRUE 且子類(lèi)型屬于受支持的 29 種視頻格式時(shí)才做處理格式清單涵蓋RGB 系RGB8、RGB555、RGB565、RGB24、RGB32、ARGB32、AI44YUV 平面/半平面I420、IYUV、NV11、NV12、YV12、P010、P016、P210、P216YUV 打包/交織AYUV、UYVY、Y41P、Y41T、Y42T、YUY2、v210、v216、v410、Y210、Y216、Y410、Y416。完整條件見(jiàn) Mft0.cpp 與 GenerateMFMediaTypeListFromDevice。行步長(zhǎng)stride的處理是本例最值得借鑒的部分GetDefaultStrideMft0.cpp優(yōu)先讀取MF_MT_DEFAULT_STRIDE未設(shè)置時(shí)用MFGetStrideForBitmapInfoHeader按子類(lèi)型與寬度計(jì)算并回寫(xiě)屬性緩存SampleHelpers.h 中的VideoBufferLock封裝了緩沖鎖定優(yōu)先QueryInterface到IMF2DBuffer走Lock2D否則走IMFMediaBuffer::Lock并處理bottom-up負(fù) stride返回內(nèi)存中最后一行即圖像頂行與 top-down 兩種布局OnProcessOutput按行memcpy上半部分、memset下半部分同時(shí)正確處理負(fù) stride 場(chǎng)景Mft0.cpp。這一套“默認(rèn) stride 計(jì)算 2D 緩沖回退 方向處理”的模式是編寫(xiě)任何逐像素 MFT 的通用基礎(chǔ)設(shè)施。5.7 全局屬性異步關(guān)閉、動(dòng)態(tài)格式更改與硬件 URLGetAttributesMft0.cpp創(chuàng)建并返回三個(gè)關(guān)鍵屬性屬性值含義MF_TRANSFORM_ASYNCFALSEMFT 為同步處理模式管線按傳統(tǒng) ProcessInput/ProcessOutput 輪詢MFT_ENUM_HARDWARE_URL_AttributeLSample_CameraExtensionMft硬件 MFT 枚舉 URL供系統(tǒng)按名稱(chēng)識(shí)別/枚舉該擴(kuò)展 MFTMFT_SUPPORT_DYNAMIC_FORMAT_CHANGETRUE支持動(dòng)態(tài)格式更改配合SetInputType的校驗(yàn)邏輯輸入流屬性同樣攜帶MFT_SUPPORT_DYNAMIC_FORMAT_CHANGE與相同的硬件 URLMft0.cpp。需要說(shuō)明的是雖然示例在全局/輸入屬性中聲明支持動(dòng)態(tài)格式更改SetOutputType只是轉(zhuǎn)發(fā)到SetInputType且DeleteInputStream/AddInputStreams均返回E_NOTIMPL——流數(shù)量固定不允許動(dòng)態(tài)增刪。六、COM 注冊(cè)與驅(qū)動(dòng)打包Mft0.rgs 注冊(cè)CLSID {7BB640D9-33A4-4759-B290-F41A31DCF848}Mft0 ClassInprocServer32指向%MODULE%ThreadingModel為Both并關(guān)聯(lián)類(lèi)型庫(kù){DE05674A-C564-4C0E-9B7C-E1519F7AA767}SampleMft0Libv1.0類(lèi)型庫(kù)與 coclass 定義見(jiàn) SampleMft0.idlOBJECT_ENTRY_AUTOMft0.h讓 ATL 在DllRegisterServer時(shí)自動(dòng)寫(xiě)入這些項(xiàng)SampleMft0.def 僅導(dǎo)出 5 個(gè)標(biāo)準(zhǔn) COM 入口DllRegisterServer/DllUnregisterServer/DllInstall實(shí)現(xiàn)在 SampleMft0.cpp。部署層面編譯出的SampleMft0.dll通過(guò) Package 工程DriverTypePackage與相機(jī)驅(qū)動(dòng)包一起封裝、簽名并分發(fā)——這正是 README 強(qiáng)調(diào)的“隨驅(qū)動(dòng)包分發(fā)”能力。在實(shí)際驅(qū)動(dòng)安裝時(shí)還需要在設(shè)備的驅(qū)動(dòng)擴(kuò)展配置inf 中引用 MFT0 CLSID/硬件 URL中聲明該 MFTMFT0 才會(huì)在該相機(jī)捕獲時(shí)被管線加載。七、測(cè)試鏈路與配套示例按照 README 的說(shuō)明驗(yàn)證本示例的完整鏈路為構(gòu)建SampleMft0.sln得到SampleMft0.dll并隨驅(qū)動(dòng)包安裝到目標(biāo)相機(jī)部署Device app for camera sampleUWP 設(shè)備應(yīng)用它在拍攝界面里通過(guò)IMft0調(diào)用Enable/Disable/UpdateDsp/GetDspSetting實(shí)現(xiàn)對(duì)特效的實(shí)時(shí)控制運(yùn)行Camera Capture UI sample它作為宿主捕獲界面調(diào)用 UWP 設(shè)備應(yīng)用讓用戶能直觀看到“畫(huà)面中一部分被色塊替換/恢復(fù)”的效果前提是擁有該相機(jī)的設(shè)備 ID與設(shè)備元數(shù)據(jù)包系統(tǒng)才會(huì)把 UWP 設(shè)備應(yīng)用與這臺(tái)相機(jī)、這個(gè) MFT0 關(guān)聯(lián)起來(lái)。在調(diào)試階段代碼內(nèi)置了流類(lèi)型打印wprintf(LStream type: PINNAME_VIDEO_CAPTURE\n)等與CHK_LOG_BRK錯(cuò)誤宏SampleHelpers.h 輸出HR%08x File: %S Ln: %d配合調(diào)試器即可確認(rèn) MFT0 是否被正確掛接、媒體類(lèi)型協(xié)商是否成功。八、相關(guān)主題與延伸閱讀攝像頭 UWP 設(shè)備應(yīng)用設(shè)計(jì)Device app for cameras本示例配套設(shè)備應(yīng)用的控制主體Media Foundation TransformsIMFTransform接口與 MFT 處理協(xié)議本文 5.3~5.5 節(jié)即其實(shí)戰(zhàn)實(shí)現(xiàn)Streaming media device driver design guide攝像頭驅(qū)動(dòng)與流媒體設(shè)備驅(qū)動(dòng)設(shè)計(jì)對(duì)應(yīng)本文 5.4 節(jié)“與底層源變換綁定”機(jī)制Universal camera driver design guideWindows 10 通用攝像頭驅(qū)動(dòng)設(shè)計(jì)解釋了 MFT0 在通用相機(jī)驅(qū)動(dòng)架構(gòu)中的掛載位置。如需深入可繼續(xù)閱讀本倉(cāng)庫(kù)中avstream/samplemft0/目錄下的 Mft0.cpp、Mft0.h、SampleMft0.idl 與 SampleHelpers.h對(duì)照本文各節(jié)即可獲得完整的源碼級(jí)證據(jù)鏈。贊分享示例工程【免費(fèi)下載鏈接】Windows-driver-samplesThis repo contains driver samples prepared for use with Microsoft Visual Studio and the Windows Driver Kit (WDK). It contains both Universal Windows Driver and desktop-only driver samples.項(xiàng)目地址https://gitcode.com/gh_mirrors/wi/Windows-driver-samples點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Stoic模型數(shù)據(jù)預(yù)處理如何準(zhǔn)備FASTA文件進(jìn)行化學(xué)計(jì)量預(yù)測(cè)Stoic模型數(shù)據(jù)預(yù)處理如何準(zhǔn)備FASTA文件進(jìn)行化學(xué)計(jì)量預(yù)測(cè) Stoic模型HuggingFace鏡像/PickyBinders是一款強(qiáng)大的化學(xué)計(jì)量預(yù)測(cè)Obsidian美化終極指南從基礎(chǔ)到高級(jí)的完整個(gè)性化方案Obsidian美化終極指南從基礎(chǔ)到高級(jí)的完整個(gè)性化方案 Obsidian作為一款功能強(qiáng)大的Markdown筆記工具其核心魅力不僅在于強(qiáng)大的知識(shí)管理能力更文檔知識(shí)管理libusb攝像頭設(shè)備通信基于UVC協(xié)議的視頻流采集方案libusb攝像頭設(shè)備通信基于UVC協(xié)議的視頻流采集方案 引言突破USB攝像頭開(kāi)發(fā)的底層難題 你是否曾在開(kāi)發(fā)USB攝像頭應(yīng)用時(shí)遭遇這些困境調(diào)用系統(tǒng)API時(shí)驅(qū)動(dòng)開(kāi)發(fā)系統(tǒng)編程上一篇Zotero Style插件終極指南如何通過(guò)可視化界面提升文獻(xiàn)管理效率50%下一篇終極代碼助手Qwen2.5-Coder-1.5B-Instruct-GGUF的8大核心功能與實(shí)戰(zhàn)案例創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考