網(wǎng)絡(luò)：wincnn Winograd最小卷積算法生成器完全入門指南)
3行代碼加速卷積神經(jīng)網(wǎng)絡(luò)wincnn Winograd最小卷積算法生成器完全入門指南【免費(fèi)下載鏈接】wincnnWinograd minimal convolution algorithm generator for convolutional neural networks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/wi/wincnnwincnn 是一個(gè)輕量級(jí) Python 開源模塊用于計(jì)算卷積神經(jīng)網(wǎng)絡(luò)CNN中的Winograd 最小卷積算法最小乘法變換矩陣。它基于 CVPR 2016 論文《Fast Algorithms for Convolutional Neural Networks》中的改進(jìn) Cook-Toom 算法能把卷積里的乘法次數(shù)降到理論上可證明的最少是學(xué)習(xí)卷積加速原理的絕佳工具 為什么需要 Winograd 卷積直接做 3×3 卷積每個(gè)輸出點(diǎn)要做9 次乘累加MAC而 Winograd F(4×4, 3×3) 算法每 4×4 塊只需 16 次乘法攤到每個(gè)輸出點(diǎn)僅2.25 次 MAC——乘法階段直接快了近 4 倍 ?方案每輸出點(diǎn)乘法次數(shù)特點(diǎn)直接卷積9 次實(shí)現(xiàn)簡(jiǎn)單FFT 卷積約 1.5 次/輸入使用復(fù)數(shù)需更多工作內(nèi)存Winograd 最小算法1 次/輸入實(shí)數(shù)運(yùn)算專為小型卷積設(shè)計(jì) Winograd 變換把輸入和濾波器搬到另一個(gè)空間在那里卷積變成逐元素相乘——這正是它比傅里葉變換更快、更省的原因。wincnn 是什么wincnn 生成的是一類稱為改進(jìn) Cook-Toom 算法的 Winograd 子集。它利用拉格朗日插值多項(xiàng)式把等價(jià)于卷積的多項(xiàng)式乘法轉(zhuǎn)換為插值點(diǎn)上的逐元素乘法。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)中最常見的 3×3 卷積這種變換變大、乘法變少的權(quán)衡尤其劃算因?yàn)樽儞Q開銷比乘法階段低一個(gè)數(shù)量級(jí)。一鍵安裝wincnn 安裝步驟wincnn 已發(fā)布在 PyPI一條命令即可安裝pip install wincnn環(huán)境要求當(dāng)前版本 2.0.1Python ≥ 3.8SymPy ≥ 1.9符號(hào)計(jì)算引擎自動(dòng)隨依賴安裝許可證Apache-2.0如果想閱讀源碼也可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/gh_mirrors/wi/wincnn3行代碼上手生成 Winograd 變換矩陣核心就 3 行代碼。以經(jīng)典的F(2,3)算法為例即 2×2 輸出、3×3 濾波器的 1D 版本import wincnn points (0, 1, -1) # 插值點(diǎn)需要 mr-2 23-2 3 個(gè) wincnn.showCookToomFilter(points, 2, 3)運(yùn)行后會(huì)打印出三張變換矩陣AT、G、BT并自動(dòng)完成符號(hào)級(jí)驗(yàn)證——輸出嚴(yán)格等于標(biāo)準(zhǔn)卷積結(jié)果從數(shù)學(xué)上保證矩陣正確無(wú)誤 ?解讀輸出AT、G、BT 三大矩陣各干什么以 F(2,3) 為例輸出形如AT G BT ?1 1 1 0? ?1 0 0 ? ?1 0 -1 0? ?0 1 -1 1? ?1/2 1/2 1/2? ?0 1 1 0? ?1/2 -1/2 1/2? ?0 -1 1 0? ?0 0 1 ? ?0 -1 0 1?矩陣作用對(duì)象含義AT輸出逆數(shù)據(jù)變換從乘法空間還原結(jié)果G濾波器 g濾波器變換BT輸入數(shù)據(jù) d數(shù)據(jù)變換計(jì)算流程一句話概括先變換AT·G·BT再逐元素相乘最后還原即AT·((G·g)°(BT·d))。進(jìn)階用法F(m,r) 怎么選插值點(diǎn)規(guī)則很簡(jiǎn)單F(m,r) 需要 mr?2 個(gè)插值點(diǎn)。F(2,3) → 3 個(gè)點(diǎn)如(0, 1, -1)F(4,3) → 5 個(gè)點(diǎn)如(0, 1, -1, 2, -2)F(6,3) → 7 個(gè)點(diǎn)可加入分?jǐn)?shù)點(diǎn)建議用sympy.Rational保持符號(hào)精確from sympy import Rational wincnn.showCookToomFilter( (0, 1, -1, 2, -2, Rational(1, 2), -Rational(1, 2)), 6, 3 )?? 注意用浮點(diǎn)數(shù)當(dāng)插值點(diǎn)會(huì)引入舍入誤差符號(hào)計(jì)算請(qǐng)使用有理數(shù)。線性卷積模式如果目標(biāo)是線性卷積而非 FIR 濾波只需把數(shù)據(jù)矩陣和逆變換矩陣交換并轉(zhuǎn)置即論文中的 Transposition Principlewincnn.showCookToomConvolution((0, 1, -1), 2, 3)常見問(wèn)題速答FAQ 精選Q1變換階段那么多加減法總運(yùn)算量真的少嗎會(huì)少。設(shè) 3×3 卷積層輸入通道 C、輸出通道 K、空間尺寸 H×W直接算法需 HWCK×9 次乘累加而 F(4×4,3×3) 只需 HWCK×2.25 次三個(gè)變換階段分別是 O(HWC)、O(CK)、O(HWK)各比乘法階段低一個(gè)數(shù)量級(jí)只要層尺寸足夠大就可忽略不計(jì)。Q2支持 stride跨步卷積嗎支持。先把輸入和濾波器按偶/奇分量拆分把跨步卷積分解為若干個(gè)無(wú)跨步卷積之和每個(gè)都可套用 Winograd 算法2D 跨步 2 需 4 個(gè)無(wú)跨步卷積求和。Q3支持空洞卷積dilated嗎支持。膨脹卷積本質(zhì)是在抽取移位后的輸入上做普通卷積每種移位分量都能用 Winograd 計(jì)算。Q4變換矩陣會(huì)不會(huì)數(shù)值不穩(wěn)定Cook-Toom 算法的變換隨規(guī)模增大確實(shí)會(huì)不穩(wěn)定因此它特別適合 CNN 里的小尺寸 3×3 卷積更大的變換可參考項(xiàng)目附帶的補(bǔ)充材料。以上問(wèn)題的完整解答見 FAQ.md。項(xiàng)目結(jié)構(gòu)一覽整個(gè)項(xiàng)目非常精簡(jiǎn)核心代碼只有一個(gè)文件適合通讀學(xué)習(xí)文件說(shuō)明wincnn.py全部核心源碼矩陣構(gòu)造、cookToomFilter、符號(hào)驗(yàn)證函數(shù)等tests/test_wincnn.pypytest 測(cè)試套件覆蓋 F(2,3)/F(4,3)/F(6,3) 及驗(yàn)證邏輯FAQ.mdWinograd 原理、運(yùn)算量分析、跨步/空洞卷積等深度問(wèn)答2464-supp.pdfCVPR 2016 論文補(bǔ)充材料中國(guó)剩余定理版 Winograd 算法CHANGELOG.md版本記錄2.0.0 起僅支持 Python 3pyproject.toml項(xiàng)目元數(shù)據(jù)與依賴聲明源碼中的關(guān)鍵入口cookToomFilter(a, n, r, fractionsIn)—— 返回 AT、G、BT 矩陣元組fractionsIn參數(shù)可控制分母出現(xiàn)在哪個(gè)矩陣默認(rèn)放在 G 中filterVerify/convolutionVerify—— 符號(hào)驗(yàn)證變換正確性showCookToomFilter/showCookToomConvolution—— 帶驗(yàn)證的打印版本最易上手小結(jié)與延伸閱讀wincnn 用不到 300 行代碼把Winograd 最小卷積算法這一 CNN 加速的核心技術(shù)變成了可以交互式推導(dǎo)、驗(yàn)證的玩具pip install wincnn一鍵安裝3 行代碼生成并驗(yàn)證任意 F(m,r) 變換矩陣結(jié)合FAQ.md與2464-supp.pdf深入理解算法原理如果你在論文中使用了 wincnn建議引用項(xiàng)目提供的 BibTeX作者 Andrew Lavin2016Apache-2.0以支持開源生態(tài)的發(fā)展 【免費(fèi)下載鏈接】wincnnWinograd minimal convolution algorithm generator for convolutional neural networks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/wi/wincnn創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 3行代碼加速卷積神經(jīng)網(wǎng)絡(luò)：wincnn Winograd最小卷積算法生成器完全入門指南
3行代碼加速卷積神經(jīng)網(wǎng)絡(luò)wincnn Winograd最小卷積算法生成器完全入門指南【免費(fèi)下載鏈接】wincnnWinograd minimal convolution algorithm generator for convolutional neural networks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/wi/wincnnwincnn 是一個(gè)輕量級(jí) Python 開源模塊用于計(jì)算卷積神經(jīng)網(wǎng)絡(luò)CNN中的Winograd 最小卷積算法最小乘法變換矩陣。它基于 CVPR 2016 論文《Fast Algorithms for Convolutional Neural Networks》中的改進(jìn) Cook-Toom 算法能把卷積里的乘法次數(shù)降到理論上可證明的最少是學(xué)習(xí)卷積加速原理的絕佳工具 為什么需要 Winograd 卷積直接做 3×3 卷積每個(gè)輸出點(diǎn)要做9 次乘累加MAC而 Winograd F(4×4, 3×3) 算法每 4×4 塊只需 16 次乘法攤到每個(gè)輸出點(diǎn)僅2.25 次 MAC——乘法階段直接快了近 4 倍 ?方案每輸出點(diǎn)乘法次數(shù)特點(diǎn)直接卷積9 次實(shí)現(xiàn)簡(jiǎn)單FFT 卷積約 1.5 次/輸入使用復(fù)數(shù)需更多工作內(nèi)存Winograd 最小算法1 次/輸入實(shí)數(shù)運(yùn)算專為小型卷積設(shè)計(jì) Winograd 變換把輸入和濾波器搬到另一個(gè)空間在那里卷積變成逐元素相乘——這正是它比傅里葉變換更快、更省的原因。wincnn 是什么wincnn 生成的是一類稱為改進(jìn) Cook-Toom 算法的 Winograd 子集。它利用拉格朗日插值多項(xiàng)式把等價(jià)于卷積的多項(xiàng)式乘法轉(zhuǎn)換為插值點(diǎn)上的逐元素乘法。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)中最常見的 3×3 卷積這種變換變大、乘法變少的權(quán)衡尤其劃算因?yàn)樽儞Q開銷比乘法階段低一個(gè)數(shù)量級(jí)。一鍵安裝wincnn 安裝步驟wincnn 已發(fā)布在 PyPI一條命令即可安裝pip install wincnn環(huán)境要求當(dāng)前版本 2.0.1Python ≥ 3.8SymPy ≥ 1.9符號(hào)計(jì)算引擎自動(dòng)隨依賴安裝許可證Apache-2.0如果想閱讀源碼也可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/gh_mirrors/wi/wincnn3行代碼上手生成 Winograd 變換矩陣核心就 3 行代碼。以經(jīng)典的F(2,3)算法為例即 2×2 輸出、3×3 濾波器的 1D 版本import wincnn points (0, 1, -1) # 插值點(diǎn)需要 mr-2 23-2 3 個(gè) wincnn.showCookToomFilter(points, 2, 3)運(yùn)行后會(huì)打印出三張變換矩陣AT、G、BT并自動(dòng)完成符號(hào)級(jí)驗(yàn)證——輸出嚴(yán)格等于標(biāo)準(zhǔn)卷積結(jié)果從數(shù)學(xué)上保證矩陣正確無(wú)誤 ?解讀輸出AT、G、BT 三大矩陣各干什么以 F(2,3) 為例輸出形如AT G BT ?1 1 1 0? ?1 0 0 ? ?1 0 -1 0? ?0 1 -1 1? ?1/2 1/2 1/2? ?0 1 1 0? ?1/2 -1/2 1/2? ?0 -1 1 0? ?0 0 1 ? ?0 -1 0 1?矩陣作用對(duì)象含義AT輸出逆數(shù)據(jù)變換從乘法空間還原結(jié)果G濾波器 g濾波器變換BT輸入數(shù)據(jù) d數(shù)據(jù)變換計(jì)算流程一句話概括先變換AT·G·BT再逐元素相乘最后還原即AT·((G·g)°(BT·d))。進(jìn)階用法F(m,r) 怎么選插值點(diǎn)規(guī)則很簡(jiǎn)單F(m,r) 需要 mr?2 個(gè)插值點(diǎn)。F(2,3) → 3 個(gè)點(diǎn)如(0, 1, -1)F(4,3) → 5 個(gè)點(diǎn)如(0, 1, -1, 2, -2)F(6,3) → 7 個(gè)點(diǎn)可加入分?jǐn)?shù)點(diǎn)建議用sympy.Rational保持符號(hào)精確from sympy import Rational wincnn.showCookToomFilter( (0, 1, -1, 2, -2, Rational(1, 2), -Rational(1, 2)), 6, 3 )?? 注意用浮點(diǎn)數(shù)當(dāng)插值點(diǎn)會(huì)引入舍入誤差符號(hào)計(jì)算請(qǐng)使用有理數(shù)。線性卷積模式如果目標(biāo)是線性卷積而非 FIR 濾波只需把數(shù)據(jù)矩陣和逆變換矩陣交換并轉(zhuǎn)置即論文中的 Transposition Principlewincnn.showCookToomConvolution((0, 1, -1), 2, 3)常見問(wèn)題速答FAQ 精選Q1變換階段那么多加減法總運(yùn)算量真的少嗎會(huì)少。設(shè) 3×3 卷積層輸入通道 C、輸出通道 K、空間尺寸 H×W直接算法需 HWCK×9 次乘累加而 F(4×4,3×3) 只需 HWCK×2.25 次三個(gè)變換階段分別是 O(HWC)、O(CK)、O(HWK)各比乘法階段低一個(gè)數(shù)量級(jí)只要層尺寸足夠大就可忽略不計(jì)。Q2支持 stride跨步卷積嗎支持。先把輸入和濾波器按偶/奇分量拆分把跨步卷積分解為若干個(gè)無(wú)跨步卷積之和每個(gè)都可套用 Winograd 算法2D 跨步 2 需 4 個(gè)無(wú)跨步卷積求和。Q3支持空洞卷積dilated嗎支持。膨脹卷積本質(zhì)是在抽取移位后的輸入上做普通卷積每種移位分量都能用 Winograd 計(jì)算。Q4變換矩陣會(huì)不會(huì)數(shù)值不穩(wěn)定Cook-Toom 算法的變換隨規(guī)模增大確實(shí)會(huì)不穩(wěn)定因此它特別適合 CNN 里的小尺寸 3×3 卷積更大的變換可參考項(xiàng)目附帶的補(bǔ)充材料。以上問(wèn)題的完整解答見 FAQ.md。項(xiàng)目結(jié)構(gòu)一覽整個(gè)項(xiàng)目非常精簡(jiǎn)核心代碼只有一個(gè)文件適合通讀學(xué)習(xí)文件說(shuō)明wincnn.py全部核心源碼矩陣構(gòu)造、cookToomFilter、符號(hào)驗(yàn)證函數(shù)等tests/test_wincnn.pypytest 測(cè)試套件覆蓋 F(2,3)/F(4,3)/F(6,3) 及驗(yàn)證邏輯FAQ.mdWinograd 原理、運(yùn)算量分析、跨步/空洞卷積等深度問(wèn)答2464-supp.pdfCVPR 2016 論文補(bǔ)充材料中國(guó)剩余定理版 Winograd 算法CHANGELOG.md版本記錄2.0.0 起僅支持 Python 3pyproject.toml項(xiàng)目元數(shù)據(jù)與依賴聲明源碼中的關(guān)鍵入口cookToomFilter(a, n, r, fractionsIn)—— 返回 AT、G、BT 矩陣元組fractionsIn參數(shù)可控制分母出現(xiàn)在哪個(gè)矩陣默認(rèn)放在 G 中filterVerify/convolutionVerify—— 符號(hào)驗(yàn)證變換正確性showCookToomFilter/showCookToomConvolution—— 帶驗(yàn)證的打印版本最易上手小結(jié)與延伸閱讀wincnn 用不到 300 行代碼把Winograd 最小卷積算法這一 CNN 加速的核心技術(shù)變成了可以交互式推導(dǎo)、驗(yàn)證的玩具pip install wincnn一鍵安裝3 行代碼生成并驗(yàn)證任意 F(m,r) 變換矩陣結(jié)合FAQ.md與2464-supp.pdf深入理解算法原理如果你在論文中使用了 wincnn建議引用項(xiàng)目提供的 BibTeX作者 Andrew Lavin2016Apache-2.0以支持開源生態(tài)的發(fā)展 【免費(fèi)下載鏈接】wincnnWinograd minimal convolution algorithm generator for convolutional neural networks.項(xiàng)目地址: https://gitcode.com/gh_mirrors/wi/wincnn創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考