RoCE（AI 網(wǎng)絡(luò)）技術(shù)全景培訓(xùn)指南面向?qū)ο螅菏煜鹘y(tǒng)以太網(wǎng) / TCP-IP / TSN / 工業(yè)環(huán)網(wǎng)（ERPS）的工業(yè)交換機(jī)從業(yè)者 目標(biāo)：從零建立對(duì) AI 數(shù)據(jù)中心網(wǎng)絡(luò)（RDMA / RoCE）的系統(tǒng)性認(rèn)知，并能與已有的工業(yè)以太網(wǎng)知識(shí)做類比遷移目錄一、為什么 AI 時(shí)代突然爆火了 RoCE？（背景與痛點(diǎn)）二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv2三、RoCE 的核心命脈：如何實(shí)現(xiàn)”絕對(duì)零丟包”四、AI 交換機(jī)的高級(jí)轉(zhuǎn)發(fā)策略（解決大象流與擁塞）五、交換機(jī)硬件與芯片（ASIC）差異：工業(yè)交換機(jī) vs AI 交換機(jī)六、總結(jié)與 FAQ一、為什么 AI 時(shí)代突然爆火了 RoCE？（背景與痛點(diǎn)）1.1 AI 大模型訓(xùn)練的流量特征：GPU 集群是如何工作的？在我們熟悉的工業(yè)場(chǎng)景里，一臺(tái) PLC 控制一條產(chǎn)線，交換機(jī)傳輸?shù)亩嗍切≈芷?、小?bào)文、強(qiáng)實(shí)時(shí)的控制指令（比如 Profinet、EtherCAT 報(bào)文），單個(gè)節(jié)點(diǎn)的流量并不大，網(wǎng)絡(luò)的核心訴求是”低抖動(dòng)、強(qiáng)確定性”。AI 大模型訓(xùn)練則完全是另一個(gè)物種。以訓(xùn)練一個(gè)千億參數(shù)的大模型為例：一個(gè)訓(xùn)練任務(wù)往往需要成百上千張 GPU（比如 H100/H800），這些 GPU 被組織成一個(gè)”集群”，通過網(wǎng)絡(luò)互聯(lián)，共同完成一次訓(xùn)練。由于單張 GPU 的顯存裝不下整個(gè)模型，模型的參數(shù)會(huì)被切分到不同的 GPU 上（這叫”模型并行”），同時(shí)訓(xùn)練數(shù)據(jù)也會(huì)被切分到不同 GPU 上并行處理（這叫”數(shù)據(jù)并行”）。每完成一輪小批量計(jì)算（一個(gè) mini-batch），各個(gè) GPU 上計(jì)算出的梯度必須被同步、聚合、再分發(fā)給所有 GPU，這樣大家才能在同一個(gè)”版本”的模型參數(shù)上繼續(xù)下一輪計(jì)算。這個(gè)同步過程最常見的算法叫All-Reduce（全局歸約）。用一個(gè)類比理解 All-Reduce：想象一個(gè)由 8 個(gè)分組組成的大型合唱團(tuán)排練。每個(gè)分組先各自練習(xí)自己那一段樂譜（GPU 各自做本地計(jì)算），然后所有分組必須把自己的進(jìn)度告訴彼此、取得共識(shí)（梯度同步），才能開始下一段的排練。如果某個(gè)分組的通知遲到了 1 分鐘，那么其余 7 個(gè)分組都要在原地等待——全體的排練進(jìn)度，取決于最慢的那個(gè)分組。這就是 GPU 集群訓(xùn)練的核心特征：特征說明對(duì)網(wǎng)絡(luò)的要求突發(fā)性強(qiáng)（Bursty）計(jì)算階段幾乎不占用網(wǎng)絡(luò)，梯度同步階段瞬間打滿帶寬需要極高的峰值吞吐集合通信（Collective Communication）All-Reduce / All-to-All / Broadcast，往往是”多對(duì)多”同時(shí)通信極易在交換機(jī)端口疊加形成擁塞（Incast）強(qiáng)同步性（Synchronous）必須等最慢的節(jié)點(diǎn)完成，才能進(jìn)入下一步（“木桶效應(yīng)”）任何一路的丟包重傳，都會(huì)拖慢全局，產(chǎn)生”算力雪崩”超大報(bào)文 + 超高并發(fā)單次同步的數(shù)據(jù)量可達(dá) GB 級(jí)別，成千上萬(wàn)個(gè) Queue Pair 同時(shí)收發(fā)需要低時(shí)延、大帶寬、無損轉(zhuǎn)發(fā)一句話總結(jié)：工業(yè)網(wǎng)絡(luò)怕”抖動(dòng)”，AI 網(wǎng)絡(luò)怕”丟包和排隊(duì)延遲”——這個(gè)差異，是理解后面所有技術(shù)選型的根本出發(fā)點(diǎn)。1.2 傳統(tǒng) TCP/IP 協(xié)議棧的三大罪狀我們習(xí)慣認(rèn)為 TCP/IP 是”皇冠上的明珠”——可靠、通用、久經(jīng)考驗(yàn)。但放到 AI 訓(xùn)練場(chǎng)景里，TCP/IP 協(xié)議棧卻成了性能瓶頸的元兇，主要有三大”罪狀”：罪狀一：高延遲（High Latency）TCP 通信必須經(jīng)過完整的協(xié)議棧處理：應(yīng)用層 → Socket → 內(nèi)核 TCP/IP 協(xié)議棧 → 網(wǎng)卡驅(qū)動(dòng) → 網(wǎng)卡硬件 → 網(wǎng)絡(luò)傳輸 → 對(duì)端網(wǎng)卡 → 內(nèi)核協(xié)議棧 → Socket → 應(yīng)用層。每一層都有排隊(duì)、校驗(yàn)、協(xié)議頭封裝/解封裝的開銷，單次數(shù)據(jù)傳輸?shù)亩说蕉搜舆t可能達(dá)到幾十到上百微秒。而 AI 集合通信需要在微秒級(jí)完成海量小數(shù)據(jù)的同步，傳統(tǒng)協(xié)議棧的延遲直接拖垮訓(xùn)練效率。罪狀二：CPU 占用高TCP/IP 協(xié)議棧的所有處理（分片、校驗(yàn)和計(jì)算、擁塞控制、重傳管理）默認(rèn)都由服務(wù)器的 CPU 完成。在高吞吐場(chǎng)景下（比如 400Gbps 網(wǎng)卡滿載），CPU 可能有相當(dāng)一部分算力被”消耗”在協(xié)議棧處理上，而不是真正用于 AI 訓(xùn)練計(jì)算——這對(duì)于每張動(dòng)輒十幾萬(wàn)元的 GPU 服務(wù)器來說，是極大的資源浪費(fèi)。罪狀三：多次內(nèi)存拷貝（Memory Copy）這是最容易被忽視但影響最大的一點(diǎn)。傳統(tǒng) Socket 通信中，數(shù)據(jù)從應(yīng)用程序發(fā)送到網(wǎng)絡(luò)，要經(jīng)歷：應(yīng)用程序緩沖區(qū) → 內(nèi)核 Socket 緩沖區(qū) → 內(nèi)核協(xié)議棧緩沖區(qū) → 網(wǎng)卡驅(qū)動(dòng)緩沖區(qū) → 網(wǎng)卡硬件每一次跨越用戶態(tài)/內(nèi)核態(tài)的拷貝都會(huì)消耗 CPU 周期和內(nèi)存帶寬，同時(shí)因?yàn)榘l(fā)生了”上下文切換”（用戶態(tài)到內(nèi)核態(tài)的切換），還會(huì)有額外的調(diào)度開銷。此外，經(jīng)典的 TCP 建連過程（三次握手）和優(yōu)雅斷連（四次揮手）本身也有一定的時(shí)延和資源開銷，在大規(guī)模、高并發(fā)短連接場(chǎng)景中會(huì)被放大。類比理解：傳統(tǒng) TCP/IP 通信就像”人工快遞中轉(zhuǎn)站”——包裹（數(shù)據(jù)）到了一個(gè)站點(diǎn)，工作人員要先拆開核對(duì)（內(nèi)核處理），登記造冊(cè)（協(xié)議棧校驗(yàn)），再重新打包送到下一個(gè)站點(diǎn)，如此反復(fù)中轉(zhuǎn)多次才能到達(dá)收件人手中。每一次拆包/打包，都是一次”內(nèi)存拷貝”，都要占用”倉(cāng)庫(kù)工作人員”（CPU）的時(shí)間。1.3 什么是 RDMA（遠(yuǎn)程直接內(nèi)存訪問）？RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問）的核心思想是：讓一臺(tái)服務(wù)器的網(wǎng)卡，直接讀寫另一臺(tái)服務(wù)器的內(nèi)存，全程不經(jīng)過對(duì)端 CPU、不經(jīng)過操作系統(tǒng)內(nèi)核、零內(nèi)存拷貝。類比理解：順豐直達(dá)倉(cāng)庫(kù)傳統(tǒng) TCP/IP 通信 = 普通快遞：包裹要經(jīng)過多個(gè)分揀中心（內(nèi)核協(xié)議棧），每個(gè)分揀中心都要拆包檢查、重新裝箱（內(nèi)存拷貝），層層轉(zhuǎn)交（CPU 參與調(diào)度）。RDMA 通信 = 順豐”倉(cāng)到倉(cāng)”直達(dá)專線：發(fā)件倉(cāng)庫(kù)（發(fā)送端內(nèi)存）直接把貨物用專用車輛（RDMA 網(wǎng)卡）運(yùn)輸，中途不拆包、不經(jīng)過快遞公司總部審核（不經(jīng)過 CPU/內(nèi)核），車輛直接開進(jìn)收件倉(cāng)庫(kù)的指定貨架（對(duì)端內(nèi)存的指定地址），放下就走。收件方倉(cāng)庫(kù)甚至不需要專門安排人手去接收（不占用對(duì)端 CPU）。RDMA 實(shí)現(xiàn)這種效果依賴三個(gè)關(guān)鍵技術(shù)特性：特性說明Zero-Copy（零拷貝）數(shù)據(jù)直接從發(fā)送端應(yīng)用內(nèi)存搬運(yùn)到接收端應(yīng)用內(nèi)存，跳過內(nèi)核緩沖區(qū)中轉(zhuǎn)Kernel Bypass（內(nèi)核旁路）應(yīng)用程序通過用戶態(tài)庫(kù)（如 libibverbs）直接向網(wǎng)卡下發(fā)指令，不經(jīng)過操作系統(tǒng)內(nèi)核協(xié)議棧CPU Offload（CPU 卸載）數(shù)據(jù)的搬運(yùn)、校驗(yàn)、排序等工作全部由網(wǎng)卡硬件（RNIC，RDMA 網(wǎng)卡）完成，不消耗服務(wù)器 CPU 資源RDMA 通信采用Queue Pair（隊(duì)列對(duì)，QP）模型：每個(gè)通信端點(diǎn)上有一對(duì)發(fā)送隊(duì)列（SQ）和接收隊(duì)列（RQ），應(yīng)用程序把”我要發(fā)送/接收什么數(shù)據(jù)”這個(gè)描述符（Work Request）提交給隊(duì)列，網(wǎng)卡硬件異步地完成實(shí)際的數(shù)據(jù)搬運(yùn)，完成后通過完成隊(duì)列（CQ）通知應(yīng)用程序。這種”提交任務(wù)、硬件異步執(zhí)行、完成后通知”的模式，正是 RDMA 能做到超低延遲、超低 CPU 占用的根本原因。一個(gè)重要的認(rèn)知錨點(diǎn)：RDMA 是一種”內(nèi)存訪問范式”（技術(shù)理念/編程模型），它需要具體的網(wǎng)絡(luò)承載協(xié)議來實(shí)現(xiàn)。歷史上出現(xiàn)過三種主流承載方式——InfiniBand、RoCEv1、RoCEv2，這正是第二章要講的內(nèi)容。二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv22.1 貴族技術(shù) InfiniBand（IB）：為什么好？為什么大家想替換它？InfiniBand 是 RDMA 技術(shù)最早、也是發(fā)展最成熟的承載網(wǎng)絡(luò)，由 InfiniBand Trade Association 在上世紀(jì) 90 年代末推出，目前市場(chǎng)上幾乎被 NVIDIA（收購(gòu)了 Mellanox）主導(dǎo)。IB 的優(yōu)勢(shì)：原生無損設(shè)計(jì)：IB 從協(xié)議底層就設(shè)計(jì)了基于信用（Credit-Based）的流控機(jī)制，發(fā)送端在獲得接收端明確”有空間接收”的信用額度之前不會(huì)發(fā)送數(shù)據(jù)，從物理層面就杜絕了因緩沖區(qū)溢出而丟包的可能——這是一種”you first tell me you’re ready, then I send”的握手式流控，與以太網(wǎng)”先發(fā)后管”的理念完全不同。極低時(shí)延：端到端延遲可以做到亞微秒級(jí)別。專為高性能計(jì)算設(shè)計(jì)：從誕生之初就是為超算、HPC 場(chǎng)景服務(wù)的，集合通信性能極致優(yōu)化。IB 的問題（也是大家想擺脫它的原因）：?jiǎn)栴}說明封閉生態(tài)IB 交換機(jī)、網(wǎng)卡幾乎被單一廠商壟斷，缺乏充分的市場(chǎng)競(jìng)爭(zhēng)采購(gòu)成本高無論是交換機(jī)還是網(wǎng)卡，單位帶寬成本明顯高于以太網(wǎng)方案運(yùn)維體系獨(dú)立IB 有自己的一套子網(wǎng)管理器（Subnet Manager）、命令行工具、運(yùn)維人員需要專門學(xué)習(xí)，無法復(fù)用企業(yè)現(xiàn)有的以太網(wǎng)運(yùn)維團(tuán)隊(duì)和工具鏈生態(tài)封閉帶來的供應(yīng)鏈風(fēng)險(xiǎn)大規(guī)模采購(gòu)時(shí)交貨周期、議價(jià)能力都受制于單一供應(yīng)商類比理解：IB 就像是一條”私人定制高鐵專線”——速度快、體驗(yàn)好，但只有一家公司能造車、造軌道、賣票，你換個(gè)供應(yīng)商就要推倒重來，而且票價(jià)昂貴。以太網(wǎng)陣營(yíng)（IEEE、各大云廠商、芯片廠商）迫切希望有一條”公共高速公路”，既能達(dá)到類似的高速體驗(yàn)，又能保留以太網(wǎng)開放、多廠商競(jìng)爭(zhēng)、生態(tài)成熟的優(yōu)勢(shì)——這正是 RoCE 誕生的驅(qū)動(dòng)力。2.2 RoCEv1：發(fā)生在二層的粗暴嘗試RoCE 全稱RDMA over Converged Ethernet（融合以太網(wǎng)上的 RDMA），第一代 RoCEv1 的思路非常直接：把 IB 的傳輸層報(bào)文（IB Transport，也就是 InfiniBand 的 payload 部分）直接封裝進(jìn)以太網(wǎng)幀里，跳過 IP 層，直接使用以太網(wǎng)的二層幀頭（Ethernet Header）+ IB 的網(wǎng)絡(luò)層與傳輸層報(bào)文頭。RoCEv1 報(bào)文結(jié)構(gòu)：[以太網(wǎng)頭 Ethernet Header] + [IB GRH(可選)] + [IB BTH] + [Payload] + [ICRC] + [FCS]RoCEv1 為何無法跨網(wǎng)段？因?yàn)?RoCEv1 直接復(fù)用了以太網(wǎng)的二層幀頭，報(bào)文中沒有 IP 頭，這意味著它完全依賴 MAC 地址尋址，只能在同一個(gè)二層廣播域（同一個(gè) VLAN/子網(wǎng)）內(nèi)通信，無法被三層路由器轉(zhuǎn)發(fā)跨越網(wǎng)段。類比理解：RoCEv1 就像小區(qū)里的對(duì)講機(jī)——聲音清晰、延遲極低，但信號(hào)出不了這個(gè)小區(qū)（二層網(wǎng)絡(luò)），你沒辦法通過” RoCE_Technical_Training_Guide
RoCE（AI 網(wǎng)絡(luò)）技術(shù)全景培訓(xùn)指南面向?qū)ο螅菏煜鹘y(tǒng)以太網(wǎng) / TCP-IP / TSN / 工業(yè)環(huán)網(wǎng)（ERPS）的工業(yè)交換機(jī)從業(yè)者 目標(biāo)：從零建立對(duì) AI 數(shù)據(jù)中心網(wǎng)絡(luò)（RDMA / RoCE）的系統(tǒng)性認(rèn)知，并能與已有的工業(yè)以太網(wǎng)知識(shí)做類比遷移目錄一、為什么 AI 時(shí)代突然爆火了 RoCE？（背景與痛點(diǎn)）二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv2三、RoCE 的核心命脈：如何實(shí)現(xiàn)”絕對(duì)零丟包”四、AI 交換機(jī)的高級(jí)轉(zhuǎn)發(fā)策略（解決大象流與擁塞）五、交換機(jī)硬件與芯片（ASIC）差異：工業(yè)交換機(jī) vs AI 交換機(jī)六、總結(jié)與 FAQ一、為什么 AI 時(shí)代突然爆火了 RoCE？（背景與痛點(diǎn)）1.1 AI 大模型訓(xùn)練的流量特征：GPU 集群是如何工作的？在我們熟悉的工業(yè)場(chǎng)景里，一臺(tái) PLC 控制一條產(chǎn)線，交換機(jī)傳輸?shù)亩嗍切≈芷?、小?bào)文、強(qiáng)實(shí)時(shí)的控制指令（比如 Profinet、EtherCAT 報(bào)文），單個(gè)節(jié)點(diǎn)的流量并不大，網(wǎng)絡(luò)的核心訴求是”低抖動(dòng)、強(qiáng)確定性”。AI 大模型訓(xùn)練則完全是另一個(gè)物種。以訓(xùn)練一個(gè)千億參數(shù)的大模型為例：一個(gè)訓(xùn)練任務(wù)往往需要成百上千張 GPU（比如 H100/H800），這些 GPU 被組織成一個(gè)”集群”，通過網(wǎng)絡(luò)互聯(lián)，共同完成一次訓(xùn)練。由于單張 GPU 的顯存裝不下整個(gè)模型，模型的參數(shù)會(huì)被切分到不同的 GPU 上（這叫”模型并行”），同時(shí)訓(xùn)練數(shù)據(jù)也會(huì)被切分到不同 GPU 上并行處理（這叫”數(shù)據(jù)并行”）。每完成一輪小批量計(jì)算（一個(gè) mini-batch），各個(gè) GPU 上計(jì)算出的梯度必須被同步、聚合、再分發(fā)給所有 GPU，這樣大家才能在同一個(gè)”版本”的模型參數(shù)上繼續(xù)下一輪計(jì)算。這個(gè)同步過程最常見的算法叫All-Reduce（全局歸約）。用一個(gè)類比理解 All-Reduce：想象一個(gè)由 8 個(gè)分組組成的大型合唱團(tuán)排練。每個(gè)分組先各自練習(xí)自己那一段樂譜（GPU 各自做本地計(jì)算），然后所有分組必須把自己的進(jìn)度告訴彼此、取得共識(shí)（梯度同步），才能開始下一段的排練。如果某個(gè)分組的通知遲到了 1 分鐘，那么其余 7 個(gè)分組都要在原地等待——全體的排練進(jìn)度，取決于最慢的那個(gè)分組。這就是 GPU 集群訓(xùn)練的核心特征：特征說明對(duì)網(wǎng)絡(luò)的要求突發(fā)性強(qiáng)（Bursty）計(jì)算階段幾乎不占用網(wǎng)絡(luò)，梯度同步階段瞬間打滿帶寬需要極高的峰值吞吐集合通信（Collective Communication）All-Reduce / All-to-All / Broadcast，往往是”多對(duì)多”同時(shí)通信極易在交換機(jī)端口疊加形成擁塞（Incast）強(qiáng)同步性（Synchronous）必須等最慢的節(jié)點(diǎn)完成，才能進(jìn)入下一步（“木桶效應(yīng)”）任何一路的丟包重傳，都會(huì)拖慢全局，產(chǎn)生”算力雪崩”超大報(bào)文 + 超高并發(fā)單次同步的數(shù)據(jù)量可達(dá) GB 級(jí)別，成千上萬(wàn)個(gè) Queue Pair 同時(shí)收發(fā)需要低時(shí)延、大帶寬、無損轉(zhuǎn)發(fā)一句話總結(jié)：工業(yè)網(wǎng)絡(luò)怕”抖動(dòng)”，AI 網(wǎng)絡(luò)怕”丟包和排隊(duì)延遲”——這個(gè)差異，是理解后面所有技術(shù)選型的根本出發(fā)點(diǎn)。1.2 傳統(tǒng) TCP/IP 協(xié)議棧的三大罪狀我們習(xí)慣認(rèn)為 TCP/IP 是”皇冠上的明珠”——可靠、通用、久經(jīng)考驗(yàn)。但放到 AI 訓(xùn)練場(chǎng)景里，TCP/IP 協(xié)議棧卻成了性能瓶頸的元兇，主要有三大”罪狀”：罪狀一：高延遲（High Latency）TCP 通信必須經(jīng)過完整的協(xié)議棧處理：應(yīng)用層 → Socket → 內(nèi)核 TCP/IP 協(xié)議棧 → 網(wǎng)卡驅(qū)動(dòng) → 網(wǎng)卡硬件 → 網(wǎng)絡(luò)傳輸 → 對(duì)端網(wǎng)卡 → 內(nèi)核協(xié)議棧 → Socket → 應(yīng)用層。每一層都有排隊(duì)、校驗(yàn)、協(xié)議頭封裝/解封裝的開銷，單次數(shù)據(jù)傳輸?shù)亩说蕉搜舆t可能達(dá)到幾十到上百微秒。而 AI 集合通信需要在微秒級(jí)完成海量小數(shù)據(jù)的同步，傳統(tǒng)協(xié)議棧的延遲直接拖垮訓(xùn)練效率。罪狀二：CPU 占用高TCP/IP 協(xié)議棧的所有處理（分片、校驗(yàn)和計(jì)算、擁塞控制、重傳管理）默認(rèn)都由服務(wù)器的 CPU 完成。在高吞吐場(chǎng)景下（比如 400Gbps 網(wǎng)卡滿載），CPU 可能有相當(dāng)一部分算力被”消耗”在協(xié)議棧處理上，而不是真正用于 AI 訓(xùn)練計(jì)算——這對(duì)于每張動(dòng)輒十幾萬(wàn)元的 GPU 服務(wù)器來說，是極大的資源浪費(fèi)。罪狀三：多次內(nèi)存拷貝（Memory Copy）這是最容易被忽視但影響最大的一點(diǎn)。傳統(tǒng) Socket 通信中，數(shù)據(jù)從應(yīng)用程序發(fā)送到網(wǎng)絡(luò)，要經(jīng)歷：應(yīng)用程序緩沖區(qū) → 內(nèi)核 Socket 緩沖區(qū) → 內(nèi)核協(xié)議棧緩沖區(qū) → 網(wǎng)卡驅(qū)動(dòng)緩沖區(qū) → 網(wǎng)卡硬件每一次跨越用戶態(tài)/內(nèi)核態(tài)的拷貝都會(huì)消耗 CPU 周期和內(nèi)存帶寬，同時(shí)因?yàn)榘l(fā)生了”上下文切換”（用戶態(tài)到內(nèi)核態(tài)的切換），還會(huì)有額外的調(diào)度開銷。此外，經(jīng)典的 TCP 建連過程（三次握手）和優(yōu)雅斷連（四次揮手）本身也有一定的時(shí)延和資源開銷，在大規(guī)模、高并發(fā)短連接場(chǎng)景中會(huì)被放大。類比理解：傳統(tǒng) TCP/IP 通信就像”人工快遞中轉(zhuǎn)站”——包裹（數(shù)據(jù)）到了一個(gè)站點(diǎn)，工作人員要先拆開核對(duì)（內(nèi)核處理），登記造冊(cè)（協(xié)議棧校驗(yàn)），再重新打包送到下一個(gè)站點(diǎn)，如此反復(fù)中轉(zhuǎn)多次才能到達(dá)收件人手中。每一次拆包/打包，都是一次”內(nèi)存拷貝”，都要占用”倉(cāng)庫(kù)工作人員”（CPU）的時(shí)間。1.3 什么是 RDMA（遠(yuǎn)程直接內(nèi)存訪問）？RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問）的核心思想是：讓一臺(tái)服務(wù)器的網(wǎng)卡，直接讀寫另一臺(tái)服務(wù)器的內(nèi)存，全程不經(jīng)過對(duì)端 CPU、不經(jīng)過操作系統(tǒng)內(nèi)核、零內(nèi)存拷貝。類比理解：順豐直達(dá)倉(cāng)庫(kù)傳統(tǒng) TCP/IP 通信 = 普通快遞：包裹要經(jīng)過多個(gè)分揀中心（內(nèi)核協(xié)議棧），每個(gè)分揀中心都要拆包檢查、重新裝箱（內(nèi)存拷貝），層層轉(zhuǎn)交（CPU 參與調(diào)度）。RDMA 通信 = 順豐”倉(cāng)到倉(cāng)”直達(dá)專線：發(fā)件倉(cāng)庫(kù)（發(fā)送端內(nèi)存）直接把貨物用專用車輛（RDMA 網(wǎng)卡）運(yùn)輸，中途不拆包、不經(jīng)過快遞公司總部審核（不經(jīng)過 CPU/內(nèi)核），車輛直接開進(jìn)收件倉(cāng)庫(kù)的指定貨架（對(duì)端內(nèi)存的指定地址），放下就走。收件方倉(cāng)庫(kù)甚至不需要專門安排人手去接收（不占用對(duì)端 CPU）。RDMA 實(shí)現(xiàn)這種效果依賴三個(gè)關(guān)鍵技術(shù)特性：特性說明Zero-Copy（零拷貝）數(shù)據(jù)直接從發(fā)送端應(yīng)用內(nèi)存搬運(yùn)到接收端應(yīng)用內(nèi)存，跳過內(nèi)核緩沖區(qū)中轉(zhuǎn)Kernel Bypass（內(nèi)核旁路）應(yīng)用程序通過用戶態(tài)庫(kù)（如 libibverbs）直接向網(wǎng)卡下發(fā)指令，不經(jīng)過操作系統(tǒng)內(nèi)核協(xié)議棧CPU Offload（CPU 卸載）數(shù)據(jù)的搬運(yùn)、校驗(yàn)、排序等工作全部由網(wǎng)卡硬件（RNIC，RDMA 網(wǎng)卡）完成，不消耗服務(wù)器 CPU 資源RDMA 通信采用Queue Pair（隊(duì)列對(duì)，QP）模型：每個(gè)通信端點(diǎn)上有一對(duì)發(fā)送隊(duì)列（SQ）和接收隊(duì)列（RQ），應(yīng)用程序把”我要發(fā)送/接收什么數(shù)據(jù)”這個(gè)描述符（Work Request）提交給隊(duì)列，網(wǎng)卡硬件異步地完成實(shí)際的數(shù)據(jù)搬運(yùn)，完成后通過完成隊(duì)列（CQ）通知應(yīng)用程序。這種”提交任務(wù)、硬件異步執(zhí)行、完成后通知”的模式，正是 RDMA 能做到超低延遲、超低 CPU 占用的根本原因。一個(gè)重要的認(rèn)知錨點(diǎn)：RDMA 是一種”內(nèi)存訪問范式”（技術(shù)理念/編程模型），它需要具體的網(wǎng)絡(luò)承載協(xié)議來實(shí)現(xiàn)。歷史上出現(xiàn)過三種主流承載方式——InfiniBand、RoCEv1、RoCEv2，這正是第二章要講的內(nèi)容。二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv22.1 貴族技術(shù) InfiniBand（IB）：為什么好？為什么大家想替換它？InfiniBand 是 RDMA 技術(shù)最早、也是發(fā)展最成熟的承載網(wǎng)絡(luò)，由 InfiniBand Trade Association 在上世紀(jì) 90 年代末推出，目前市場(chǎng)上幾乎被 NVIDIA（收購(gòu)了 Mellanox）主導(dǎo)。IB 的優(yōu)勢(shì)：原生無損設(shè)計(jì)：IB 從協(xié)議底層就設(shè)計(jì)了基于信用（Credit-Based）的流控機(jī)制，發(fā)送端在獲得接收端明確”有空間接收”的信用額度之前不會(huì)發(fā)送數(shù)據(jù)，從物理層面就杜絕了因緩沖區(qū)溢出而丟包的可能——這是一種”you first tell me you’re ready, then I send”的握手式流控，與以太網(wǎng)”先發(fā)后管”的理念完全不同。極低時(shí)延：端到端延遲可以做到亞微秒級(jí)別。專為高性能計(jì)算設(shè)計(jì)：從誕生之初就是為超算、HPC 場(chǎng)景服務(wù)的，集合通信性能極致優(yōu)化。IB 的問題（也是大家想擺脫它的原因）：?jiǎn)栴}說明封閉生態(tài)IB 交換機(jī)、網(wǎng)卡幾乎被單一廠商壟斷，缺乏充分的市場(chǎng)競(jìng)爭(zhēng)采購(gòu)成本高無論是交換機(jī)還是網(wǎng)卡，單位帶寬成本明顯高于以太網(wǎng)方案運(yùn)維體系獨(dú)立IB 有自己的一套子網(wǎng)管理器（Subnet Manager）、命令行工具、運(yùn)維人員需要專門學(xué)習(xí)，無法復(fù)用企業(yè)現(xiàn)有的以太網(wǎng)運(yùn)維團(tuán)隊(duì)和工具鏈生態(tài)封閉帶來的供應(yīng)鏈風(fēng)險(xiǎn)大規(guī)模采購(gòu)時(shí)交貨周期、議價(jià)能力都受制于單一供應(yīng)商類比理解：IB 就像是一條”私人定制高鐵專線”——速度快、體驗(yàn)好，但只有一家公司能造車、造軌道、賣票，你換個(gè)供應(yīng)商就要推倒重來，而且票價(jià)昂貴。以太網(wǎng)陣營(yíng)（IEEE、各大云廠商、芯片廠商）迫切希望有一條”公共高速公路”，既能達(dá)到類似的高速體驗(yàn)，又能保留以太網(wǎng)開放、多廠商競(jìng)爭(zhēng)、生態(tài)成熟的優(yōu)勢(shì)——這正是 RoCE 誕生的驅(qū)動(dòng)力。2.2 RoCEv1：發(fā)生在二層的粗暴嘗試RoCE 全稱RDMA over Converged Ethernet（融合以太網(wǎng)上的 RDMA），第一代 RoCEv1 的思路非常直接：把 IB 的傳輸層報(bào)文（IB Transport，也就是 InfiniBand 的 payload 部分）直接封裝進(jìn)以太網(wǎng)幀里，跳過 IP 層，直接使用以太網(wǎng)的二層幀頭（Ethernet Header）+ IB 的網(wǎng)絡(luò)層與傳輸層報(bào)文頭。RoCEv1 報(bào)文結(jié)構(gòu)：[以太網(wǎng)頭 Ethernet Header] + [IB GRH(可選)] + [IB BTH] + [Payload] + [ICRC] + [FCS]RoCEv1 為何無法跨網(wǎng)段？因?yàn)?RoCEv1 直接復(fù)用了以太網(wǎng)的二層幀頭，報(bào)文中沒有 IP 頭，這意味著它完全依賴 MAC 地址尋址，只能在同一個(gè)二層廣播域（同一個(gè) VLAN/子網(wǎng)）內(nèi)通信，無法被三層路由器轉(zhuǎn)發(fā)跨越網(wǎng)段。類比理解：RoCEv1 就像小區(qū)里的對(duì)講機(jī)——聲音清晰、延遲極低，但信號(hào)出不了這個(gè)小區(qū)（二層網(wǎng)絡(luò)），你沒辦法通過”