化：NCHW vs NHWC vs CHWN)
MLIR的Data Layout優(yōu)化：NCHW vs NHWC vs CHWN一個(gè)讓我熬夜三天的bug去年做AI加速器編譯器的時(shí)候，遇到一個(gè)詭異的性能問(wèn)題：同樣的卷積網(wǎng)絡(luò)，在x86上跑得好好的，搬到我們自研的NPU上，推理延遲直接翻了4倍。一開始懷疑是算子實(shí)現(xiàn)有問(wèn)題，查了三天，最后發(fā)現(xiàn)罪魁禍?zhǔn)资恰獢?shù)據(jù)排布格式。那個(gè)NPU的硬件設(shè)計(jì)團(tuán)隊(duì)拍胸脯說(shuō)“支持任意layout”，結(jié)果DMA引擎只對(duì)NHWC做了優(yōu)化，而我的MLIR pipeline默認(rèn)輸出了NCHW。硬件在運(yùn)行時(shí)不得不做了一次隱式的layout轉(zhuǎn)換，這一轉(zhuǎn)，把整個(gè)流水線的延遲打爆了。從那以后，我養(yǎng)成了一個(gè)習(xí)慣：在MLIR的layout優(yōu)化階段，必須搞清楚硬件到底“喜歡”什么格式。三種主流Layout的物理本質(zhì)先別急著看代碼，理解layout的物理意義比記住pass名字重要得多。NCHW：Batch、Channel、Height、Width。這是PyTorch和Caffe的默認(rèn)格式，也是數(shù)學(xué)上最直觀的表示——把每個(gè)通道的二維特征圖連續(xù)存儲(chǔ)。卷積核在通道維度做累加時(shí)，內(nèi)存訪問(wèn)是連續(xù)的，對(duì)GPU的Tensor Core非常友好。NHWC：Batch、Height、Width、Channel。TensorFlow的默認(rèn)格式，也是大多數(shù)CPU和移動(dòng)端推理引擎的首選。為什么？因?yàn)镃PU的SIMD指令（比如ARM NEON）喜歡在 120、MLIR的Data Layout優(yōu)化：NCHW vs NHWC vs CHWN
MLIR的Data Layout優(yōu)化：NCHW vs NHWC vs CHWN一個(gè)讓我熬夜三天的bug去年做AI加速器編譯器的時(shí)候，遇到一個(gè)詭異的性能問(wèn)題：同樣的卷積網(wǎng)絡(luò)，在x86上跑得好好的，搬到我們自研的NPU上，推理延遲直接翻了4倍。一開始懷疑是算子實(shí)現(xiàn)有問(wèn)題，查了三天，最后發(fā)現(xiàn)罪魁禍?zhǔn)资恰獢?shù)據(jù)排布格式。那個(gè)NPU的硬件設(shè)計(jì)團(tuán)隊(duì)拍胸脯說(shuō)“支持任意layout”，結(jié)果DMA引擎只對(duì)NHWC做了優(yōu)化，而我的MLIR pipeline默認(rèn)輸出了NCHW。硬件在運(yùn)行時(shí)不得不做了一次隱式的layout轉(zhuǎn)換，這一轉(zhuǎn)，把整個(gè)流水線的延遲打爆了。從那以后，我養(yǎng)成了一個(gè)習(xí)慣：在MLIR的layout優(yōu)化階段，必須搞清楚硬件到底“喜歡”什么格式。三種主流Layout的物理本質(zhì)先別急著看代碼，理解layout的物理意義比記住pass名字重要得多。NCHW：Batch、Channel、Height、Width。這是PyTorch和Caffe的默認(rèn)格式，也是數(shù)學(xué)上最直觀的表示——把每個(gè)通道的二維特征圖連續(xù)存儲(chǔ)。卷積核在通道維度做累加時(shí)，內(nèi)存訪問(wèn)是連續(xù)的，對(duì)GPU的Tensor Core非常友好。NHWC：Batch、Height、Width、Channel。TensorFlow的默認(rèn)格式，也是大多數(shù)CPU和移動(dòng)端推理引擎的首選。為什么？因?yàn)镃PU的SIMD指令（比如ARM NEON）喜歡在