表、Zone配置與避坑指南)
簡介Brocade 6510光纖通道交換機參數(shù)表面向網(wǎng)絡(luò)工程師、存儲管理員和數(shù)據(jù)中心運維人員為SAN架構(gòu)規(guī)劃、設(shè)備選型、擴容評估與日常排障提供完整技術(shù)依據(jù)。資源共1個PDF文件壓縮包僅128KB已有104人學(xué)習(xí)瀏覽內(nèi)容為表格化技術(shù)參數(shù)結(jié)構(gòu)緊湊方便按需檢索。文檔詳細匯總系統(tǒng)架構(gòu)與端口配置包括默認(rèn)24/36/48端口、按需端口擴展PoD、通用端口類型性能方面覆蓋ISL干線合并最高128Gbps、768Gbps總帶寬、700ns本地交換延時、2112字節(jié)最大幀、8192動態(tài)幀緩沖、Class 2/3/F服務(wù)同時列出APM、適應(yīng)性網(wǎng)絡(luò)、QoS瓶頸檢測、Virtual Fabrics等Fabric服務(wù)以及FICON支持、擴展光纖通道、管理接口、安全機制和機械環(huán)境規(guī)格。對于16Gbps光纖通道環(huán)境該文檔還給出端口類型、介質(zhì)類型、FICON堆疊以及D_Port診斷等運維細節(jié)可直接對照排錯。無論是方案對比、性能評估還是故障排查這份參數(shù)表都能提供準(zhǔn)確、實用的查考依據(jù)。1. 一臺SAN交換機而已為什么值得翻它的參數(shù)表PDF存儲運維圈里有句玩笑話全閃陣列性能翻車背鍋的往往是那根光纖線。但真正在SAN環(huán)境里摸過幾年的人都知道比光纖線更容易翻車的是交換機端口規(guī)劃得好不好。brocade-6510作為一款固定端口形態(tài)的FC光纖交換機在中小型存儲網(wǎng)絡(luò)里出現(xiàn)頻率極高但它那張參數(shù)表PDF并不是只看懂“24端口、16Gbps”就夠了。端口數(shù)、吞吐量、電源功率、氣流方向、License數(shù)量每一行參數(shù)背后都直接決定了你上架之后能不能正常擴容、能不能平滑升級。這篇筆記就把參數(shù)表里的關(guān)鍵項拆開講清楚從硬件選型到Zone配置再到日常巡檢按一套能落地的方式走一遍。適合正在做存儲網(wǎng)絡(luò)選型、準(zhǔn)備部署SAN交換機或者接手了一套既有Fabric的工程師參考。2. 硬件底子先看透端口、電源與氣流方向怎么選2.1 先搞清6510的真實定位固定端口機型的邊界在哪Brocade 6510屬于固定端口形態(tài)的中端FC交換機參數(shù)表上最常見的是24端口激活版本和48端口激活版本兩類。它的定位和6510同代產(chǎn)品線里的模塊化框式機型不同6510不支持線卡熱插拔端口數(shù)量在出廠時就被License鎖住后續(xù)擴容靠買License激活已有物理端口而不是插新板卡。這個區(qū)別很重要很多第一次上手的人以為端口沒激活就像交換機端口shutdown一樣敲個no shutdown就能用實際上FC交換機的端口激活走的是License體系沒有對應(yīng)License物理端口即使插上SFP也不會進入可用狀態(tài)。參數(shù)表里另一個容易忽略的點是端口速率。6510所有物理端口都是16Gbps FC端口但向下兼容8Gbps和4Gbps設(shè)備。這意味著你可以在同一個交換機上混插16Gbps的服務(wù)器HBA卡和8Gbps的老存儲陣列端口只要SFP模塊和線纜速率匹配即可。不過要注意混插時整個Fabric的鏈路速率協(xié)商是逐鏈路獨立完成的不會因為一條8Gbps鏈路拖慢別的16Gbps鏈路這一點比以太網(wǎng)交換機里的共享帶寬模型更友好。選型時還要問自己一個問題這臺交換機是給一套新SAN用還是給現(xiàn)有Fabric做擴展如果是擴展現(xiàn)有Fabric你要確認(rèn)現(xiàn)有Fabric的固件版本和6510兼容。同一系列里小版本差異一般不大但跨大版本升級時參數(shù)表上寫的“支持Fabric OS某某版本”和實際運行版本可能有出入最好以官方發(fā)布說明里的兼容矩陣為準(zhǔn)別只看PDF首頁大字。2.2 端口與SFP的匹配16G/8G/4G混插的兼容性判斷6510用的是SFP封裝的FC光模塊不是數(shù)據(jù)中心里常見的QSFP28那種以太網(wǎng)模塊。參數(shù)表上通常標(biāo)注“支持16/8/4Gbps自動協(xié)商”但你實際采購光模塊時會發(fā)現(xiàn)市場上流通的模塊分兩種原廠模塊和第三方兼容模塊。原廠模塊價格高兼容模塊價格低。從穩(wěn)定性角度我建議核心Fabric鏈路用原廠或官方認(rèn)證模塊尤其涉及到長距離級聯(lián)時。短距離服務(wù)器接入鏈路第三方兼容模塊多數(shù)情況下也能跑但要提前確認(rèn)模塊的DDM數(shù)字診斷監(jiān)控數(shù)據(jù)能被6510正確讀取不然溫度、光功率告警可能全部失靈排障時少一只眼睛。SFP插槽的物理兼容性還有一個坑有些兼容模塊的卡扣設(shè)計和原廠模塊有細微差別插進去之后鎖扣不到位設(shè)備運行一陣子后模塊松動導(dǎo)致鏈路閃斷。這種問題很玄學(xué)端口狀態(tài)一會Online一會Offline查看errshow時能看到大量鏈路重置記錄。處理辦法是在上架初期把所有端口模塊鎖定檢查一遍或者直接選用卡扣結(jié)構(gòu)更穩(wěn)固的模塊型號。速率協(xié)商方面如果對端設(shè)備是老型號的陣列控制器只支持8Gbps或4Gbps6510端口會自動降速。你不需要在交換機側(cè)手動配置強制速率除非兩端設(shè)備協(xié)商失敗。協(xié)商失敗時常見的原因是光模塊類型不匹配比如8Gbps的模塊插到了標(biāo)稱16Gbps的端口上雖然模塊向下兼容但某些老批次模塊的序列號不被6510固件識別。遇到這種情況把端口速率手動設(shè)為8Gbps通常能繞過協(xié)商問題。2.3 電源、風(fēng)扇與氣流方向上架前最容易翻車的地方參數(shù)表里有兩塊內(nèi)容最容易被跳讀電源功率和氣流方向。6510有兩種電源配置單電源和雙電源。雙電源的機型才能實現(xiàn)冗余供電但要注意雙電源必須接在不同PDU上才真正有冗余意義。參數(shù)表上寫的最大功耗數(shù)值是在滿配48端口加滿負載情況下的數(shù)據(jù)實際運行功耗大多在60%到70%左右。如果你在機柜里做電源容量規(guī)劃按參數(shù)表的最大值去算余量會更穩(wěn)妥。氣流方向分前后和前前兩種對應(yīng)冷通道和熱通道的部署方式。這個選擇直接影響機房溫度表現(xiàn)。裝反了之后最明顯的現(xiàn)象是交換機溫度告警曲線持續(xù)走高但機房空調(diào)溫度正常。很多人在設(shè)備上架通電后才想起來看氣流方向結(jié)果只能整臺下架換方向或者調(diào)整機柜內(nèi)設(shè)備朝向非常折騰。我一般收到設(shè)備后第一件事就是查電源模塊上的風(fēng)道標(biāo)簽確認(rèn)和機柜氣流模型一致再上架。風(fēng)扇組件方面6510的風(fēng)扇通常是模塊化的可以在不斷電的情況下更換。但要注意不同批次的6510風(fēng)扇轉(zhuǎn)速曲線可能不同混合使用舊批次和新批次風(fēng)扇時系統(tǒng)可能因為轉(zhuǎn)速差報風(fēng)扇故障。處理辦法是更換風(fēng)扇時盡量整組更換或者在備件庫里保持同一批次的風(fēng)扇備件。2.4 對照參數(shù)表核對硬件信息的常用命令拿到6510之后第一步不是急著連線而是先登進FOS命令行把實際硬件信息核對一遍。下面這組命令是我每次初始化新設(shè)備時都會跑的建議按順序執(zhí)行。switchshow # 查看所有端口的狀態(tài)判斷哪些端口是已激活且在線哪些是No_Card未插模塊 # 輸出里能看到端口速率協(xié)商結(jié)果比如16G、8G還有端口類型是LLoop還是FFabric fanshow # 列出所有風(fēng)扇組件的運行狀態(tài)和轉(zhuǎn)速判斷風(fēng)扇是否正常 # 如果輸出中顯示Fault說明風(fēng)扇有問題需要更換 powershow # 顯示電源模塊的狀態(tài)包括電壓、電流、能否供電 # 所有電源都應(yīng)該顯示OK缺一個就是冗余失效 license --show # 顯示當(dāng)前已激活的License以及總端口授權(quán)數(shù) # 你可以直觀看到當(dāng)前激活多少端口還能激活多少端口 version # 顯示Fabric OS版本和交換機型號 # 核對參數(shù)表PDF上標(biāo)注的固件版本是否與實際版本一致版本不一致時先查兼容矩陣命令執(zhí)行后對著參數(shù)表逐項核對端口激活數(shù)量、電源狀態(tài)、固件版本三欄確認(rèn)設(shè)備是完整交付狀態(tài)。這樣雖然不能立刻發(fā)現(xiàn)所有問題但至少能在上架前攔住“License數(shù)量不對、電源缺一個、固件版本過老”這類低級故障。特別是license命令我遇到過好幾次代理發(fā)貨時型號對但激活端口數(shù)不對的情況上架后才對著業(yè)務(wù)需求發(fā)現(xiàn)端口不夠用那時候再走流程換貨就非常耽誤時間了。3. 性能參數(shù)決定Fabric規(guī)劃吞吐量、級聯(lián)與Zone設(shè)計3.1 關(guān)鍵性能參數(shù)的口徑別只看單端口速率參數(shù)表上最大的數(shù)字往往是最顯眼的比如“單端口16Gbps”。但真正影響SAN整體性能的是交換機背板帶寬和端口全雙工吞吐量。6510配備48個物理端口端口全雙工帶寬總和為768Gbps這個數(shù)字意味著它足夠支撐48個16Gbps端口同時全雙工運行不存在收斂比問題。相比一些入門級交換機在滿配端口時會出現(xiàn)端口間共享帶寬的情況6510的設(shè)計要干凈得多至少Fabric內(nèi)部不會因為背板帶寬不足成為瓶頸。不過端口不收斂不代表鏈路不擁塞。當(dāng)多臺服務(wù)器同時訪問同一臺存儲陣列的同一個控制器端口時陣列側(cè)的單端口帶寬就是瓶頸。交換機本身沒有丟包但陣列端口隊列堆積會表現(xiàn)為IO延遲升高應(yīng)用側(cè)看到的現(xiàn)象是存儲性能突然掉了一半。這種問題靠換交換機解決不了得從存儲側(cè)調(diào)整LUN映射和控制器端口的負載分布。延遲方面6510作為交換機單跳延遲在微秒級別基本可以忽略。但級聯(lián)多臺交換機后每一跳都會產(chǎn)生額外的轉(zhuǎn)發(fā)延遲Fabric中跳數(shù)越少越好。設(shè)計拓撲時優(yōu)先采用核心-邊緣兩級架構(gòu)避免三層以上級聯(lián)。這比盲目追求“更高端口數(shù)”更重要因為端口數(shù)可以靠堆疊設(shè)備解決跳數(shù)多帶來的性能損失卻很難靠硬件彌補。3.2 用參數(shù)表推算ISL級聯(lián)帶寬Trunking是一個決定性配置SAN交換機級聯(lián)需要用到ISLInter-Switch Link端口也就是兩臺交換機之間的互連鏈路。6510的任意端口都能做ISL但參數(shù)表的端口數(shù)要扣除級聯(lián)占用的端口后才是實際可用端口數(shù)。常見規(guī)劃方式是用4條16Gbps鏈路組成一個Trunk形成一個64Gbps的邏輯鏈路兼顧冗余和帶寬。Trunk的端口必須按參數(shù)表上的端口范圍做連續(xù)性分配分散在不同端口組的Trunk配置雖然也能做但會浪費端口資源不利于后續(xù)擴容。配置Trunk時有個關(guān)鍵前提參與Trunk的所有鏈路必須兩端配置一致包括端口速率、模式長距離模式還是短距離模式和Trunk ID。任何一項兩端不一致Trunk就會拆成單條鏈路運行帶寬直接跌到四分之一故障排查表現(xiàn)為鏈路帶寬不足但端口狀態(tài)正常。我在排障時經(jīng)常先檢查Trunk是否完整因為很多性能問題的根因在Trunk被拆散而不是存儲本身慢。命令行里查看Trunk狀態(tài)最直觀的是用trunkshow命令。如果你看到Trunk Master和Trunk Slave狀態(tài)都不正常優(yōu)先檢查兩端的端口配置一致性。注意Trunk Master是自動選舉的不需要手動指定但選舉結(jié)果和端口編號、鏈路狀態(tài)有關(guān)。只要配置一致系統(tǒng)會自動選出一個穩(wěn)定Master。3.3 Zone配置最小實踐Alias、Zone與Configuration三段式Brocade的Fabric里訪問控制的基本單元是Zone。一個環(huán)境中主機只能訪問同一個Zone內(nèi)的存儲端口跨Zone默認(rèn)不允許通信。配置Zone的標(biāo)準(zhǔn)做法是三層結(jié)構(gòu)先定義Alias給設(shè)備和端口起名字再把這些Alias組合成Zone最后把多個Zone加入Configuration并啟用。這樣做的好處是后期維護清晰不需要記住一串WWPN。# 第一步定義Alias給主機HBA和存儲端口起別名 alicreate HBA_WebServer1, 10:00:00:90:fa:5a:1c:01 alicreate HBA_WebServer2, 10:00:00:90:fa:5a:1c:02 alicreate STOR_Port01, 50:06:29:81:00:00:00:01 # 先查WWPN對服務(wù)器側(cè)用lucent或ficonshow命令可以查到本交換機連接的設(shè)備WWPN # 實際環(huán)境中WWPN從服務(wù)器HBA管理界面或存儲陣列前端端口信息中獲取不要憑記憶手敲 # 第二步創(chuàng)建Zone把一臺服務(wù)器和一個存儲端口放進同一個Zone zonecreate ZONE_Web_01, HBA_WebServer1; STOR_Port01 # 第三步創(chuàng)建Configuration并把配置啟用 cfgcreate CFG_SAN_A, ZONE_Web_01 cfgenable CFG_SAN_A # cfgenable后系統(tǒng)會提示該配置已生效此時可以用cfgshow確認(rèn)配置完成后記得執(zhí)行cfgsave保存配置到持久化存儲讓交換機重啟后也能保留。這是一個最容易掉的步驟很多人在實驗環(huán)境里配完Zone直接忘掉保存重啟后所有Zone配置丟失存儲網(wǎng)絡(luò)瞬間失去訪問控制多路徑軟件報一堆路徑錯誤。參數(shù)表不會告訴你Zone配置的容量上限但FOS系統(tǒng)對Zone成員數(shù)量有上限要求。6510的Zone數(shù)據(jù)庫容量對于絕大多數(shù)中小型SAN環(huán)境都夠用但如果你管理的是上千臺主機的超大規(guī)模環(huán)境建議劃分多個Fabric來分散Zone數(shù)據(jù)庫壓力不要把所有Zone堆在一臺交換機上。3.4 參數(shù)表與實際固件版本的差異以交換機實際運行為準(zhǔn)參數(shù)表PDF里描述的是一臺“出廠新鮮”的交換機的能力比如支持的Fabric OS版本范圍、默認(rèn)允許的Zone數(shù)量、支持的最大Trunk數(shù)量。實際設(shè)備可能運行著多年后升級到的更高版本固件也可能還停留在老版本。固件版本差異會帶來兩個實際問題一是版本過舊時新版本固件中Zone配置語法的細微變化用不了二是版本過新時舊版參數(shù)表里某些描述已經(jīng)不適用。我建議拿到設(shè)備后先通過version命令確認(rèn)固件版本再去博科官網(wǎng)查該版本的Release Notes重點看“已知問題”和“兼容性說明”兩節(jié)?，F(xiàn)實中有過案例某環(huán)境在6510上配置Trunk時一切正常后來固件跨版本升級后Trunk端口的光模塊不再被識別排查到最終才發(fā)現(xiàn)是升級過程跳過了中間版本直接跨越到新版本導(dǎo)致模塊固件不兼容。這種問題不是6510本身不行而是升級路徑太激進。所以固件升級盡量沿著官方推薦的路徑走跨大版本時逐級升級不要一步登天。4. 初始化配置與參數(shù)核對把PDF上的數(shù)字變成運行狀態(tài)4.1 首次登錄與基礎(chǔ)網(wǎng)絡(luò)配置6510出廠默認(rèn)是可以通過串口管理的。第一次通電后通過Console線連接交換機用終端軟件登錄。默認(rèn)IP地址通常為10.77.77.77子網(wǎng)掩碼255.255.255.0。需要注意的是博科交換機出廠默認(rèn)開啟了DHCP服務(wù)但默認(rèn)IP地址是固定的。如果你需要從網(wǎng)絡(luò)管理它先把管理IP改了不然下一臺同樣配置的設(shè)備接入就會沖突。# 通過Console登錄后進行網(wǎng)絡(luò)配置 ipaddrset # 交互界面中依次輸入IP地址、子網(wǎng)掩碼、網(wǎng)關(guān) # 例如IP Address 192.168.10.20 / Mask 255.255.255.0 / Gateway 192.168.10.1 # 配置完成后查看管理配置 ipaddrshow # 確認(rèn)管理IP和VLAN信息無誤后再拔掉Console線配置管理IP后先不要急著啟用遠程管理功能用SSH服務(wù)先測試連通性。SSH在博科交換機上的默認(rèn)端口是22開啟SSH后建議立刻修改默認(rèn)密碼。出廠默認(rèn)密碼是人人皆知的通用弱口令不改的話這臺交換機在網(wǎng)絡(luò)上相當(dāng)于門戶大開。修改密碼后用SSH重新登錄確認(rèn)遠程管理正常之后Console線可以收起來日常運維全部走SSH。4.2 核對參數(shù)表的命令矩陣端口、License、固件逐項驗證初始化時把參數(shù)表上每一個可驗證項目都過一遍是一個值得養(yǎng)成的習(xí)慣。拿著一張PDF去機房比對著挨個看雖然顯得老派但能避免很多后續(xù)隱患。這里有一張我常用的核對對照表每一行對應(yīng)參數(shù)表里的一個欄目和驗證命令。參數(shù)表欄目驗證命令預(yù)期結(jié)果異常處理端口數(shù)switchshow激活端口數(shù)等于License授權(quán)數(shù)license數(shù)量不足時聯(lián)系供應(yīng)商補授權(quán)端口速率switchshow鏈路速率為16G或協(xié)商后的適配速率速率不符時檢查模塊類型和線纜質(zhì)量電源模塊powershow所有電源狀態(tài)OKFault狀態(tài)電源需要更換注意整組匹配風(fēng)扇模塊fanshow所有風(fēng)扇正常運轉(zhuǎn)Fault風(fēng)扇會導(dǎo)致散熱告警及時更換固件版本version版本號符合官方支持范圍版本過舊時規(guī)劃固件升級管理IPipaddrshow與網(wǎng)絡(luò)規(guī)劃一致不一致時重新執(zhí)行ipaddrsetDNS/NTPdnsshow/tsclockserver已正確配置未配置時補充否則日志時間錯亂很難排障這張表里NTP這一項容易被忽略但SAN環(huán)境里時間同步很重要因為多路徑軟件和存儲復(fù)制功能都依賴精確的時間戳。兩套Fabric的時間偏移超過一定閾值一些一致性校驗會報錯甚至影響復(fù)制鏈路的狀態(tài)判斷。4.3 配置備份把configupload當(dāng)成必做項交換機配置的備份是很多運維團隊容易忽視的事但實際故障恢復(fù)時配置備份就是后悔藥。博科交換機的配置備份可以通過configupload命令把配置上傳到遠端FTP/TFTP服務(wù)器或者把配置內(nèi)容在終端里打印出來然后復(fù)制保存。# 備份配置到FTP服務(wù)器 configupload -ftp -h 192.168.10.100 -u backupuser -p password -f brocade6510_config.txt # 注意-h參數(shù)是指FTP服務(wù)器的IP地址-u和-p是FTP賬號密碼-f是保存的文件名 # 如果環(huán)境里沒有FTP服務(wù)器也可以直接把配置導(dǎo)出到終端 configshow # 將輸出完整保存為文本文件這個文件就是一份可回溯的配置快照配置備份頻率怎么定我一般建議在每次變更后都做一次備份時間充裕時每周做一次例行備份。不要等到要升級固件前才想起來備份因為升級失敗時你需要恢復(fù)到的是“升級前那一刻的配置”而不是“三個月前某一次備份的老配置”。老配置恢復(fù)回去之后期間新增的Zone和Alias全部丟失存儲網(wǎng)絡(luò)雖然能起來但很多業(yè)務(wù)主機的訪問關(guān)系會錯亂修復(fù)時間比重新配置還要長。4.4 變更前的檢查清單防止手誤寫壞Fabric做任何配置變更前按下面這個清單過一遍能擋掉絕大多數(shù)低級事故。第一確認(rèn)變更范圍和影響面。這組命令只影響Zone還是會影響Fabric級參數(shù)在Fabric中共享的參數(shù)變更會影響所有交換機盡量不要在下班前半小時操作這種變更。第二備份當(dāng)前配置。執(zhí)行完configupload后將備份命令復(fù)制到變更記錄文檔中。第三逐條執(zhí)行命令而不是批量粘貼。批量粘貼配置命令時一旦某條命令中存在隱藏字符執(zhí)行結(jié)果會五花八門最后不得不逐條回滾。第四變更完成后立即執(zhí)行cfgshow和switchshow確認(rèn)結(jié)果確認(rèn)無誤后再關(guān)閉終端會話。第五記錄變更時間和操作命令到變更日志里方便后續(xù)追溯。這套清單看著簡單但絕大多數(shù)Zone配置錯誤和鏈路中斷事故都能在這里面被攔住。我見過因為批量粘貼命令時少了分號導(dǎo)致兩條Zone被合并成一個的案例也見過在Fabric中刪除一個Zone結(jié)果把整塊配置搞掛的事故。變更過程慢一點收益是很直接的。5. 部署避坑實錄6510最常見的五個翻車現(xiàn)場5.1 坑一SFP插好了端口卻顯示No_Card現(xiàn)象是switchshow輸出中端口狀態(tài)為No_Card但SFP模塊明明已經(jīng)插在端口里。排查原因常見的原因有兩個一是SFP模塊沒有插到位鎖扣沒有卡緊模塊邊緣和端口面板平齊但實際沒有接入總線二是兼容模塊與固件不兼容模塊本身通電但不被識別。解決辦法先拔下來重新插入聽到鎖扣“咔噠”聲后再觀察端口狀態(tài)。如果仍然顯示No_Card把模塊換到相鄰端口測試逐個排除是模塊問題還是端口問題。如果同一模塊在不同端口均不識別基本可以斷定是模塊兼容性問題換模塊。5.2 坑二Zone配置保存了但重啟后全部丟失現(xiàn)象是執(zhí)行cfgadd和cfgenable時一切正常業(yè)務(wù)也能正常訪問但交換機重啟后所有Zone配置消失Fabric恢復(fù)成無Zone限制狀態(tài)。原因配置沒有持久化。cfgenable生效的只是運行態(tài)配置不執(zhí)行cfgsave配置不寫入持久化存儲。解決辦法很簡單在完成所有Zone變更后執(zhí)行cfgsave系統(tǒng)提示配置已保存后再離開。記住cfgshow確認(rèn)的是運行態(tài)cfgsave確認(rèn)的是持久態(tài)兩者缺一不可。5.3 坑三License數(shù)量與端口激活數(shù)對不上現(xiàn)象是明明買了48端口激活的型號switchshow里激活端口數(shù)卻只有24。原因供應(yīng)商發(fā)貨時誤發(fā)了24端口License授權(quán)版本或者License注冊碼填寫不完整。解決辦法先執(zhí)行l(wèi)icense --show查看當(dāng)前授權(quán)數(shù)如果確實只有24口授權(quán)聯(lián)系供應(yīng)商補齊License。注意要保留好license鍵的原始郵件或文件補授權(quán)時需要提交原授權(quán)信息。千萬別試圖用網(wǎng)上流傳的“破解激活”方式去解鎖端口FOS系統(tǒng)本身不記名但一旦升級固件時License信息校驗失敗端口全部失活那時候正常采購流程反而被拖慢。5.4 坑四固件升級后有些功能找不到了現(xiàn)象是按舊版參數(shù)表上標(biāo)注的命令去執(zhí)行新版固件提示命令不存在。原因Fabric OS版本迭代中對部分管理命令做了更名或拆分。比如舊的zone命令集合在新版本中被重新組織部分子命令挪到了別的命令空間下。解決辦法執(zhí)行help命令列出當(dāng)前固件支持的完整命令清單或者查閱該版本對應(yīng)的Command Reference。固件升級前先看Release Notes里的“命令變更”章節(jié)能省去不少查命令的功夫。5.5 坑五氣流方向裝反溫度告警持續(xù)上升現(xiàn)象是機房空調(diào)溫度正常但6510持續(xù)上報溫度告警風(fēng)扇轉(zhuǎn)速拉滿噪音明顯變大。原因設(shè)備電源模塊的氣流方向與機柜氣流模型不匹配設(shè)備排出的熱風(fēng)沒有順利進入熱通道在設(shè)備內(nèi)部堆積。解決辦法下架檢查電源模塊和風(fēng)扇模塊上的氣流箭頭標(biāo)識確認(rèn)與機柜冷熱通道方向一致。如果設(shè)備已經(jīng)運行了一段時間重新上架時順手清理一下防塵網(wǎng)上的積灰灰塵堵塞是溫度告警的另一個隱形幫兇。這五個坑分散在硬件、配置、License、固件、環(huán)境五個層面本質(zhì)上都是因為參數(shù)表PDF只描述了設(shè)備“應(yīng)該什么樣”沒告訴你“實際運維時會遇到什么”。每一條都對應(yīng)著一個實際的故障場景提前了解就能在真正遇到時快速定位不至于半夜三更在機房里抓瞎。6. 落地驗證把參數(shù)表上的每一行跑成實際數(shù)據(jù)6.1 從PDF到狀態(tài)的閉環(huán)核對方法收到一臺6510后按三個步驟在一周內(nèi)完成參數(shù)表的實際驗證第一天做硬件核對和基礎(chǔ)配置第二天接業(yè)務(wù)鏈路并驗證Zone訪問關(guān)系第七天做一次完整的性能抽測和告警檢查。第七天的性能抽測不一定要用專業(yè)的SAN性能測試儀直接在存儲側(cè)觀察主機IO路徑的延遲和吞吐或者用fabricos內(nèi)置的portperfshow命令查看端口流量。portperfshow輸出的數(shù)據(jù)是按端口實時統(tǒng)計的能看到每個端口當(dāng)前的收發(fā)流量和CRC錯誤數(shù)。如果有CRC錯誤計數(shù)持續(xù)增長說明光纖鏈路存在信號質(zhì)量問題大概率是光模塊或者光纖跳線的問題趁業(yè)務(wù)低峰期更換鏈路。6.2 巡檢三件套端口、告警、配置變更記錄日常巡檢時我習(xí)慣用三條命令完成快速評估。第一條是portshow --all檢查所有在線端口的CRC錯誤和信號狀態(tài)重點關(guān)注錯誤計數(shù)不為零的端口。第二條是errshow查看系統(tǒng)錯誤日志交換機在運行過程中會記錄各類事件包括鏈路重置、溫度告警、License異常等。第三條是cfgshow確認(rèn)當(dāng)前生效的Zone配置沒有被人為改動過防止某次變更后配置殘留。三條命令輸出幾十行就能覆蓋交換機核心健康狀態(tài)比登錄Web管理界面點開各種圖表更高效。6.3 一個值得養(yǎng)成的習(xí)慣把變更記錄變成自己的“小參數(shù)表”我自己的習(xí)慣是每臺交換機維護一份TXT文件記錄這臺設(shè)備的IP、激活端口數(shù)、固件版本、License授權(quán)、上次配置變更內(nèi)容。這臺交換機參數(shù)表PDF永遠放在文件服務(wù)器上版本一更新就替換舊版。這份TXT在實踐中救過我不少次有一次一個核心Zone誤刪了我翻著備份記錄在兩分鐘之內(nèi)恢復(fù)出原來的配置結(jié)構(gòu)而不是對著Web界面憑記憶重敲。配置文件備而不用最好一旦用上這些記錄就是你最可靠的復(fù)盤依據(jù)。希望這份從參數(shù)表到落地驗證的路徑能幫到你讓你手里的6510少一些玄學(xué)多一些確定性。本文還有配套的精品資源點擊獲取 Brocade 6510 SAN交換機深度解析：參數(shù)表、Zone配置與避坑指南
簡介Brocade 6510光纖通道交換機參數(shù)表面向網(wǎng)絡(luò)工程師、存儲管理員和數(shù)據(jù)中心運維人員為SAN架構(gòu)規(guī)劃、設(shè)備選型、擴容評估與日常排障提供完整技術(shù)依據(jù)。資源共1個PDF文件壓縮包僅128KB已有104人學(xué)習(xí)瀏覽內(nèi)容為表格化技術(shù)參數(shù)結(jié)構(gòu)緊湊方便按需檢索。文檔詳細匯總系統(tǒng)架構(gòu)與端口配置包括默認(rèn)24/36/48端口、按需端口擴展PoD、通用端口類型性能方面覆蓋ISL干線合并最高128Gbps、768Gbps總帶寬、700ns本地交換延時、2112字節(jié)最大幀、8192動態(tài)幀緩沖、Class 2/3/F服務(wù)同時列出APM、適應(yīng)性網(wǎng)絡(luò)、QoS瓶頸檢測、Virtual Fabrics等Fabric服務(wù)以及FICON支持、擴展光纖通道、管理接口、安全機制和機械環(huán)境規(guī)格。對于16Gbps光纖通道環(huán)境該文檔還給出端口類型、介質(zhì)類型、FICON堆疊以及D_Port診斷等運維細節(jié)可直接對照排錯。無論是方案對比、性能評估還是故障排查這份參數(shù)表都能提供準(zhǔn)確、實用的查考依據(jù)。1. 一臺SAN交換機而已為什么值得翻它的參數(shù)表PDF存儲運維圈里有句玩笑話全閃陣列性能翻車背鍋的往往是那根光纖線。但真正在SAN環(huán)境里摸過幾年的人都知道比光纖線更容易翻車的是交換機端口規(guī)劃得好不好。brocade-6510作為一款固定端口形態(tài)的FC光纖交換機在中小型存儲網(wǎng)絡(luò)里出現(xiàn)頻率極高但它那張參數(shù)表PDF并不是只看懂“24端口、16Gbps”就夠了。端口數(shù)、吞吐量、電源功率、氣流方向、License數(shù)量每一行參數(shù)背后都直接決定了你上架之后能不能正常擴容、能不能平滑升級。這篇筆記就把參數(shù)表里的關(guān)鍵項拆開講清楚從硬件選型到Zone配置再到日常巡檢按一套能落地的方式走一遍。適合正在做存儲網(wǎng)絡(luò)選型、準(zhǔn)備部署SAN交換機或者接手了一套既有Fabric的工程師參考。2. 硬件底子先看透端口、電源與氣流方向怎么選2.1 先搞清6510的真實定位固定端口機型的邊界在哪Brocade 6510屬于固定端口形態(tài)的中端FC交換機參數(shù)表上最常見的是24端口激活版本和48端口激活版本兩類。它的定位和6510同代產(chǎn)品線里的模塊化框式機型不同6510不支持線卡熱插拔端口數(shù)量在出廠時就被License鎖住后續(xù)擴容靠買License激活已有物理端口而不是插新板卡。這個區(qū)別很重要很多第一次上手的人以為端口沒激活就像交換機端口shutdown一樣敲個no shutdown就能用實際上FC交換機的端口激活走的是License體系沒有對應(yīng)License物理端口即使插上SFP也不會進入可用狀態(tài)。參數(shù)表里另一個容易忽略的點是端口速率。6510所有物理端口都是16Gbps FC端口但向下兼容8Gbps和4Gbps設(shè)備。這意味著你可以在同一個交換機上混插16Gbps的服務(wù)器HBA卡和8Gbps的老存儲陣列端口只要SFP模塊和線纜速率匹配即可。不過要注意混插時整個Fabric的鏈路速率協(xié)商是逐鏈路獨立完成的不會因為一條8Gbps鏈路拖慢別的16Gbps鏈路這一點比以太網(wǎng)交換機里的共享帶寬模型更友好。選型時還要問自己一個問題這臺交換機是給一套新SAN用還是給現(xiàn)有Fabric做擴展如果是擴展現(xiàn)有Fabric你要確認(rèn)現(xiàn)有Fabric的固件版本和6510兼容。同一系列里小版本差異一般不大但跨大版本升級時參數(shù)表上寫的“支持Fabric OS某某版本”和實際運行版本可能有出入最好以官方發(fā)布說明里的兼容矩陣為準(zhǔn)別只看PDF首頁大字。2.2 端口與SFP的匹配16G/8G/4G混插的兼容性判斷6510用的是SFP封裝的FC光模塊不是數(shù)據(jù)中心里常見的QSFP28那種以太網(wǎng)模塊。參數(shù)表上通常標(biāo)注“支持16/8/4Gbps自動協(xié)商”但你實際采購光模塊時會發(fā)現(xiàn)市場上流通的模塊分兩種原廠模塊和第三方兼容模塊。原廠模塊價格高兼容模塊價格低。從穩(wěn)定性角度我建議核心Fabric鏈路用原廠或官方認(rèn)證模塊尤其涉及到長距離級聯(lián)時。短距離服務(wù)器接入鏈路第三方兼容模塊多數(shù)情況下也能跑但要提前確認(rèn)模塊的DDM數(shù)字診斷監(jiān)控數(shù)據(jù)能被6510正確讀取不然溫度、光功率告警可能全部失靈排障時少一只眼睛。SFP插槽的物理兼容性還有一個坑有些兼容模塊的卡扣設(shè)計和原廠模塊有細微差別插進去之后鎖扣不到位設(shè)備運行一陣子后模塊松動導(dǎo)致鏈路閃斷。這種問題很玄學(xué)端口狀態(tài)一會Online一會Offline查看errshow時能看到大量鏈路重置記錄。處理辦法是在上架初期把所有端口模塊鎖定檢查一遍或者直接選用卡扣結(jié)構(gòu)更穩(wěn)固的模塊型號。速率協(xié)商方面如果對端設(shè)備是老型號的陣列控制器只支持8Gbps或4Gbps6510端口會自動降速。你不需要在交換機側(cè)手動配置強制速率除非兩端設(shè)備協(xié)商失敗。協(xié)商失敗時常見的原因是光模塊類型不匹配比如8Gbps的模塊插到了標(biāo)稱16Gbps的端口上雖然模塊向下兼容但某些老批次模塊的序列號不被6510固件識別。遇到這種情況把端口速率手動設(shè)為8Gbps通常能繞過協(xié)商問題。2.3 電源、風(fēng)扇與氣流方向上架前最容易翻車的地方參數(shù)表里有兩塊內(nèi)容最容易被跳讀電源功率和氣流方向。6510有兩種電源配置單電源和雙電源。雙電源的機型才能實現(xiàn)冗余供電但要注意雙電源必須接在不同PDU上才真正有冗余意義。參數(shù)表上寫的最大功耗數(shù)值是在滿配48端口加滿負載情況下的數(shù)據(jù)實際運行功耗大多在60%到70%左右。如果你在機柜里做電源容量規(guī)劃按參數(shù)表的最大值去算余量會更穩(wěn)妥。氣流方向分前后和前前兩種對應(yīng)冷通道和熱通道的部署方式。這個選擇直接影響機房溫度表現(xiàn)。裝反了之后最明顯的現(xiàn)象是交換機溫度告警曲線持續(xù)走高但機房空調(diào)溫度正常。很多人在設(shè)備上架通電后才想起來看氣流方向結(jié)果只能整臺下架換方向或者調(diào)整機柜內(nèi)設(shè)備朝向非常折騰。我一般收到設(shè)備后第一件事就是查電源模塊上的風(fēng)道標(biāo)簽確認(rèn)和機柜氣流模型一致再上架。風(fēng)扇組件方面6510的風(fēng)扇通常是模塊化的可以在不斷電的情況下更換。但要注意不同批次的6510風(fēng)扇轉(zhuǎn)速曲線可能不同混合使用舊批次和新批次風(fēng)扇時系統(tǒng)可能因為轉(zhuǎn)速差報風(fēng)扇故障。處理辦法是更換風(fēng)扇時盡量整組更換或者在備件庫里保持同一批次的風(fēng)扇備件。2.4 對照參數(shù)表核對硬件信息的常用命令拿到6510之后第一步不是急著連線而是先登進FOS命令行把實際硬件信息核對一遍。下面這組命令是我每次初始化新設(shè)備時都會跑的建議按順序執(zhí)行。switchshow # 查看所有端口的狀態(tài)判斷哪些端口是已激活且在線哪些是No_Card未插模塊 # 輸出里能看到端口速率協(xié)商結(jié)果比如16G、8G還有端口類型是LLoop還是FFabric fanshow # 列出所有風(fēng)扇組件的運行狀態(tài)和轉(zhuǎn)速判斷風(fēng)扇是否正常 # 如果輸出中顯示Fault說明風(fēng)扇有問題需要更換 powershow # 顯示電源模塊的狀態(tài)包括電壓、電流、能否供電 # 所有電源都應(yīng)該顯示OK缺一個就是冗余失效 license --show # 顯示當(dāng)前已激活的License以及總端口授權(quán)數(shù) # 你可以直觀看到當(dāng)前激活多少端口還能激活多少端口 version # 顯示Fabric OS版本和交換機型號 # 核對參數(shù)表PDF上標(biāo)注的固件版本是否與實際版本一致版本不一致時先查兼容矩陣命令執(zhí)行后對著參數(shù)表逐項核對端口激活數(shù)量、電源狀態(tài)、固件版本三欄確認(rèn)設(shè)備是完整交付狀態(tài)。這樣雖然不能立刻發(fā)現(xiàn)所有問題但至少能在上架前攔住“License數(shù)量不對、電源缺一個、固件版本過老”這類低級故障。特別是license命令我遇到過好幾次代理發(fā)貨時型號對但激活端口數(shù)不對的情況上架后才對著業(yè)務(wù)需求發(fā)現(xiàn)端口不夠用那時候再走流程換貨就非常耽誤時間了。3. 性能參數(shù)決定Fabric規(guī)劃吞吐量、級聯(lián)與Zone設(shè)計3.1 關(guān)鍵性能參數(shù)的口徑別只看單端口速率參數(shù)表上最大的數(shù)字往往是最顯眼的比如“單端口16Gbps”。但真正影響SAN整體性能的是交換機背板帶寬和端口全雙工吞吐量。6510配備48個物理端口端口全雙工帶寬總和為768Gbps這個數(shù)字意味著它足夠支撐48個16Gbps端口同時全雙工運行不存在收斂比問題。相比一些入門級交換機在滿配端口時會出現(xiàn)端口間共享帶寬的情況6510的設(shè)計要干凈得多至少Fabric內(nèi)部不會因為背板帶寬不足成為瓶頸。不過端口不收斂不代表鏈路不擁塞。當(dāng)多臺服務(wù)器同時訪問同一臺存儲陣列的同一個控制器端口時陣列側(cè)的單端口帶寬就是瓶頸。交換機本身沒有丟包但陣列端口隊列堆積會表現(xiàn)為IO延遲升高應(yīng)用側(cè)看到的現(xiàn)象是存儲性能突然掉了一半。這種問題靠換交換機解決不了得從存儲側(cè)調(diào)整LUN映射和控制器端口的負載分布。延遲方面6510作為交換機單跳延遲在微秒級別基本可以忽略。但級聯(lián)多臺交換機后每一跳都會產(chǎn)生額外的轉(zhuǎn)發(fā)延遲Fabric中跳數(shù)越少越好。設(shè)計拓撲時優(yōu)先采用核心-邊緣兩級架構(gòu)避免三層以上級聯(lián)。這比盲目追求“更高端口數(shù)”更重要因為端口數(shù)可以靠堆疊設(shè)備解決跳數(shù)多帶來的性能損失卻很難靠硬件彌補。3.2 用參數(shù)表推算ISL級聯(lián)帶寬Trunking是一個決定性配置SAN交換機級聯(lián)需要用到ISLInter-Switch Link端口也就是兩臺交換機之間的互連鏈路。6510的任意端口都能做ISL但參數(shù)表的端口數(shù)要扣除級聯(lián)占用的端口后才是實際可用端口數(shù)。常見規(guī)劃方式是用4條16Gbps鏈路組成一個Trunk形成一個64Gbps的邏輯鏈路兼顧冗余和帶寬。Trunk的端口必須按參數(shù)表上的端口范圍做連續(xù)性分配分散在不同端口組的Trunk配置雖然也能做但會浪費端口資源不利于后續(xù)擴容。配置Trunk時有個關(guān)鍵前提參與Trunk的所有鏈路必須兩端配置一致包括端口速率、模式長距離模式還是短距離模式和Trunk ID。任何一項兩端不一致Trunk就會拆成單條鏈路運行帶寬直接跌到四分之一故障排查表現(xiàn)為鏈路帶寬不足但端口狀態(tài)正常。我在排障時經(jīng)常先檢查Trunk是否完整因為很多性能問題的根因在Trunk被拆散而不是存儲本身慢。命令行里查看Trunk狀態(tài)最直觀的是用trunkshow命令。如果你看到Trunk Master和Trunk Slave狀態(tài)都不正常優(yōu)先檢查兩端的端口配置一致性。注意Trunk Master是自動選舉的不需要手動指定但選舉結(jié)果和端口編號、鏈路狀態(tài)有關(guān)。只要配置一致系統(tǒng)會自動選出一個穩(wěn)定Master。3.3 Zone配置最小實踐Alias、Zone與Configuration三段式Brocade的Fabric里訪問控制的基本單元是Zone。一個環(huán)境中主機只能訪問同一個Zone內(nèi)的存儲端口跨Zone默認(rèn)不允許通信。配置Zone的標(biāo)準(zhǔn)做法是三層結(jié)構(gòu)先定義Alias給設(shè)備和端口起名字再把這些Alias組合成Zone最后把多個Zone加入Configuration并啟用。這樣做的好處是后期維護清晰不需要記住一串WWPN。# 第一步定義Alias給主機HBA和存儲端口起別名 alicreate HBA_WebServer1, 10:00:00:90:fa:5a:1c:01 alicreate HBA_WebServer2, 10:00:00:90:fa:5a:1c:02 alicreate STOR_Port01, 50:06:29:81:00:00:00:01 # 先查WWPN對服務(wù)器側(cè)用lucent或ficonshow命令可以查到本交換機連接的設(shè)備WWPN # 實際環(huán)境中WWPN從服務(wù)器HBA管理界面或存儲陣列前端端口信息中獲取不要憑記憶手敲 # 第二步創(chuàng)建Zone把一臺服務(wù)器和一個存儲端口放進同一個Zone zonecreate ZONE_Web_01, HBA_WebServer1; STOR_Port01 # 第三步創(chuàng)建Configuration并把配置啟用 cfgcreate CFG_SAN_A, ZONE_Web_01 cfgenable CFG_SAN_A # cfgenable后系統(tǒng)會提示該配置已生效此時可以用cfgshow確認(rèn)配置完成后記得執(zhí)行cfgsave保存配置到持久化存儲讓交換機重啟后也能保留。這是一個最容易掉的步驟很多人在實驗環(huán)境里配完Zone直接忘掉保存重啟后所有Zone配置丟失存儲網(wǎng)絡(luò)瞬間失去訪問控制多路徑軟件報一堆路徑錯誤。參數(shù)表不會告訴你Zone配置的容量上限但FOS系統(tǒng)對Zone成員數(shù)量有上限要求。6510的Zone數(shù)據(jù)庫容量對于絕大多數(shù)中小型SAN環(huán)境都夠用但如果你管理的是上千臺主機的超大規(guī)模環(huán)境建議劃分多個Fabric來分散Zone數(shù)據(jù)庫壓力不要把所有Zone堆在一臺交換機上。3.4 參數(shù)表與實際固件版本的差異以交換機實際運行為準(zhǔn)參數(shù)表PDF里描述的是一臺“出廠新鮮”的交換機的能力比如支持的Fabric OS版本范圍、默認(rèn)允許的Zone數(shù)量、支持的最大Trunk數(shù)量。實際設(shè)備可能運行著多年后升級到的更高版本固件也可能還停留在老版本。固件版本差異會帶來兩個實際問題一是版本過舊時新版本固件中Zone配置語法的細微變化用不了二是版本過新時舊版參數(shù)表里某些描述已經(jīng)不適用。我建議拿到設(shè)備后先通過version命令確認(rèn)固件版本再去博科官網(wǎng)查該版本的Release Notes重點看“已知問題”和“兼容性說明”兩節(jié)?，F(xiàn)實中有過案例某環(huán)境在6510上配置Trunk時一切正常后來固件跨版本升級后Trunk端口的光模塊不再被識別排查到最終才發(fā)現(xiàn)是升級過程跳過了中間版本直接跨越到新版本導(dǎo)致模塊固件不兼容。這種問題不是6510本身不行而是升級路徑太激進。所以固件升級盡量沿著官方推薦的路徑走跨大版本時逐級升級不要一步登天。4. 初始化配置與參數(shù)核對把PDF上的數(shù)字變成運行狀態(tài)4.1 首次登錄與基礎(chǔ)網(wǎng)絡(luò)配置6510出廠默認(rèn)是可以通過串口管理的。第一次通電后通過Console線連接交換機用終端軟件登錄。默認(rèn)IP地址通常為10.77.77.77子網(wǎng)掩碼255.255.255.0。需要注意的是博科交換機出廠默認(rèn)開啟了DHCP服務(wù)但默認(rèn)IP地址是固定的。如果你需要從網(wǎng)絡(luò)管理它先把管理IP改了不然下一臺同樣配置的設(shè)備接入就會沖突。# 通過Console登錄后進行網(wǎng)絡(luò)配置 ipaddrset # 交互界面中依次輸入IP地址、子網(wǎng)掩碼、網(wǎng)關(guān) # 例如IP Address 192.168.10.20 / Mask 255.255.255.0 / Gateway 192.168.10.1 # 配置完成后查看管理配置 ipaddrshow # 確認(rèn)管理IP和VLAN信息無誤后再拔掉Console線配置管理IP后先不要急著啟用遠程管理功能用SSH服務(wù)先測試連通性。SSH在博科交換機上的默認(rèn)端口是22開啟SSH后建議立刻修改默認(rèn)密碼。出廠默認(rèn)密碼是人人皆知的通用弱口令不改的話這臺交換機在網(wǎng)絡(luò)上相當(dāng)于門戶大開。修改密碼后用SSH重新登錄確認(rèn)遠程管理正常之后Console線可以收起來日常運維全部走SSH。4.2 核對參數(shù)表的命令矩陣端口、License、固件逐項驗證初始化時把參數(shù)表上每一個可驗證項目都過一遍是一個值得養(yǎng)成的習(xí)慣。拿著一張PDF去機房比對著挨個看雖然顯得老派但能避免很多后續(xù)隱患。這里有一張我常用的核對對照表每一行對應(yīng)參數(shù)表里的一個欄目和驗證命令。參數(shù)表欄目驗證命令預(yù)期結(jié)果異常處理端口數(shù)switchshow激活端口數(shù)等于License授權(quán)數(shù)license數(shù)量不足時聯(lián)系供應(yīng)商補授權(quán)端口速率switchshow鏈路速率為16G或協(xié)商后的適配速率速率不符時檢查模塊類型和線纜質(zhì)量電源模塊powershow所有電源狀態(tài)OKFault狀態(tài)電源需要更換注意整組匹配風(fēng)扇模塊fanshow所有風(fēng)扇正常運轉(zhuǎn)Fault風(fēng)扇會導(dǎo)致散熱告警及時更換固件版本version版本號符合官方支持范圍版本過舊時規(guī)劃固件升級管理IPipaddrshow與網(wǎng)絡(luò)規(guī)劃一致不一致時重新執(zhí)行ipaddrsetDNS/NTPdnsshow/tsclockserver已正確配置未配置時補充否則日志時間錯亂很難排障這張表里NTP這一項容易被忽略但SAN環(huán)境里時間同步很重要因為多路徑軟件和存儲復(fù)制功能都依賴精確的時間戳。兩套Fabric的時間偏移超過一定閾值一些一致性校驗會報錯甚至影響復(fù)制鏈路的狀態(tài)判斷。4.3 配置備份把configupload當(dāng)成必做項交換機配置的備份是很多運維團隊容易忽視的事但實際故障恢復(fù)時配置備份就是后悔藥。博科交換機的配置備份可以通過configupload命令把配置上傳到遠端FTP/TFTP服務(wù)器或者把配置內(nèi)容在終端里打印出來然后復(fù)制保存。# 備份配置到FTP服務(wù)器 configupload -ftp -h 192.168.10.100 -u backupuser -p password -f brocade6510_config.txt # 注意-h參數(shù)是指FTP服務(wù)器的IP地址-u和-p是FTP賬號密碼-f是保存的文件名 # 如果環(huán)境里沒有FTP服務(wù)器也可以直接把配置導(dǎo)出到終端 configshow # 將輸出完整保存為文本文件這個文件就是一份可回溯的配置快照配置備份頻率怎么定我一般建議在每次變更后都做一次備份時間充裕時每周做一次例行備份。不要等到要升級固件前才想起來備份因為升級失敗時你需要恢復(fù)到的是“升級前那一刻的配置”而不是“三個月前某一次備份的老配置”。老配置恢復(fù)回去之后期間新增的Zone和Alias全部丟失存儲網(wǎng)絡(luò)雖然能起來但很多業(yè)務(wù)主機的訪問關(guān)系會錯亂修復(fù)時間比重新配置還要長。4.4 變更前的檢查清單防止手誤寫壞Fabric做任何配置變更前按下面這個清單過一遍能擋掉絕大多數(shù)低級事故。第一確認(rèn)變更范圍和影響面。這組命令只影響Zone還是會影響Fabric級參數(shù)在Fabric中共享的參數(shù)變更會影響所有交換機盡量不要在下班前半小時操作這種變更。第二備份當(dāng)前配置。執(zhí)行完configupload后將備份命令復(fù)制到變更記錄文檔中。第三逐條執(zhí)行命令而不是批量粘貼。批量粘貼配置命令時一旦某條命令中存在隱藏字符執(zhí)行結(jié)果會五花八門最后不得不逐條回滾。第四變更完成后立即執(zhí)行cfgshow和switchshow確認(rèn)結(jié)果確認(rèn)無誤后再關(guān)閉終端會話。第五記錄變更時間和操作命令到變更日志里方便后續(xù)追溯。這套清單看著簡單但絕大多數(shù)Zone配置錯誤和鏈路中斷事故都能在這里面被攔住。我見過因為批量粘貼命令時少了分號導(dǎo)致兩條Zone被合并成一個的案例也見過在Fabric中刪除一個Zone結(jié)果把整塊配置搞掛的事故。變更過程慢一點收益是很直接的。5. 部署避坑實錄6510最常見的五個翻車現(xiàn)場5.1 坑一SFP插好了端口卻顯示No_Card現(xiàn)象是switchshow輸出中端口狀態(tài)為No_Card但SFP模塊明明已經(jīng)插在端口里。排查原因常見的原因有兩個一是SFP模塊沒有插到位鎖扣沒有卡緊模塊邊緣和端口面板平齊但實際沒有接入總線二是兼容模塊與固件不兼容模塊本身通電但不被識別。解決辦法先拔下來重新插入聽到鎖扣“咔噠”聲后再觀察端口狀態(tài)。如果仍然顯示No_Card把模塊換到相鄰端口測試逐個排除是模塊問題還是端口問題。如果同一模塊在不同端口均不識別基本可以斷定是模塊兼容性問題換模塊。5.2 坑二Zone配置保存了但重啟后全部丟失現(xiàn)象是執(zhí)行cfgadd和cfgenable時一切正常業(yè)務(wù)也能正常訪問但交換機重啟后所有Zone配置消失Fabric恢復(fù)成無Zone限制狀態(tài)。原因配置沒有持久化。cfgenable生效的只是運行態(tài)配置不執(zhí)行cfgsave配置不寫入持久化存儲。解決辦法很簡單在完成所有Zone變更后執(zhí)行cfgsave系統(tǒng)提示配置已保存后再離開。記住cfgshow確認(rèn)的是運行態(tài)cfgsave確認(rèn)的是持久態(tài)兩者缺一不可。5.3 坑三License數(shù)量與端口激活數(shù)對不上現(xiàn)象是明明買了48端口激活的型號switchshow里激活端口數(shù)卻只有24。原因供應(yīng)商發(fā)貨時誤發(fā)了24端口License授權(quán)版本或者License注冊碼填寫不完整。解決辦法先執(zhí)行l(wèi)icense --show查看當(dāng)前授權(quán)數(shù)如果確實只有24口授權(quán)聯(lián)系供應(yīng)商補齊License。注意要保留好license鍵的原始郵件或文件補授權(quán)時需要提交原授權(quán)信息。千萬別試圖用網(wǎng)上流傳的“破解激活”方式去解鎖端口FOS系統(tǒng)本身不記名但一旦升級固件時License信息校驗失敗端口全部失活那時候正常采購流程反而被拖慢。5.4 坑四固件升級后有些功能找不到了現(xiàn)象是按舊版參數(shù)表上標(biāo)注的命令去執(zhí)行新版固件提示命令不存在。原因Fabric OS版本迭代中對部分管理命令做了更名或拆分。比如舊的zone命令集合在新版本中被重新組織部分子命令挪到了別的命令空間下。解決辦法執(zhí)行help命令列出當(dāng)前固件支持的完整命令清單或者查閱該版本對應(yīng)的Command Reference。固件升級前先看Release Notes里的“命令變更”章節(jié)能省去不少查命令的功夫。5.5 坑五氣流方向裝反溫度告警持續(xù)上升現(xiàn)象是機房空調(diào)溫度正常但6510持續(xù)上報溫度告警風(fēng)扇轉(zhuǎn)速拉滿噪音明顯變大。原因設(shè)備電源模塊的氣流方向與機柜氣流模型不匹配設(shè)備排出的熱風(fēng)沒有順利進入熱通道在設(shè)備內(nèi)部堆積。解決辦法下架檢查電源模塊和風(fēng)扇模塊上的氣流箭頭標(biāo)識確認(rèn)與機柜冷熱通道方向一致。如果設(shè)備已經(jīng)運行了一段時間重新上架時順手清理一下防塵網(wǎng)上的積灰灰塵堵塞是溫度告警的另一個隱形幫兇。這五個坑分散在硬件、配置、License、固件、環(huán)境五個層面本質(zhì)上都是因為參數(shù)表PDF只描述了設(shè)備“應(yīng)該什么樣”沒告訴你“實際運維時會遇到什么”。每一條都對應(yīng)著一個實際的故障場景提前了解就能在真正遇到時快速定位不至于半夜三更在機房里抓瞎。6. 落地驗證把參數(shù)表上的每一行跑成實際數(shù)據(jù)6.1 從PDF到狀態(tài)的閉環(huán)核對方法收到一臺6510后按三個步驟在一周內(nèi)完成參數(shù)表的實際驗證第一天做硬件核對和基礎(chǔ)配置第二天接業(yè)務(wù)鏈路并驗證Zone訪問關(guān)系第七天做一次完整的性能抽測和告警檢查。第七天的性能抽測不一定要用專業(yè)的SAN性能測試儀直接在存儲側(cè)觀察主機IO路徑的延遲和吞吐或者用fabricos內(nèi)置的portperfshow命令查看端口流量。portperfshow輸出的數(shù)據(jù)是按端口實時統(tǒng)計的能看到每個端口當(dāng)前的收發(fā)流量和CRC錯誤數(shù)。如果有CRC錯誤計數(shù)持續(xù)增長說明光纖鏈路存在信號質(zhì)量問題大概率是光模塊或者光纖跳線的問題趁業(yè)務(wù)低峰期更換鏈路。6.2 巡檢三件套端口、告警、配置變更記錄日常巡檢時我習(xí)慣用三條命令完成快速評估。第一條是portshow --all檢查所有在線端口的CRC錯誤和信號狀態(tài)重點關(guān)注錯誤計數(shù)不為零的端口。第二條是errshow查看系統(tǒng)錯誤日志交換機在運行過程中會記錄各類事件包括鏈路重置、溫度告警、License異常等。第三條是cfgshow確認(rèn)當(dāng)前生效的Zone配置沒有被人為改動過防止某次變更后配置殘留。三條命令輸出幾十行就能覆蓋交換機核心健康狀態(tài)比登錄Web管理界面點開各種圖表更高效。6.3 一個值得養(yǎng)成的習(xí)慣把變更記錄變成自己的“小參數(shù)表”我自己的習(xí)慣是每臺交換機維護一份TXT文件記錄這臺設(shè)備的IP、激活端口數(shù)、固件版本、License授權(quán)、上次配置變更內(nèi)容。這臺交換機參數(shù)表PDF永遠放在文件服務(wù)器上版本一更新就替換舊版。這份TXT在實踐中救過我不少次有一次一個核心Zone誤刪了我翻著備份記錄在兩分鐘之內(nèi)恢復(fù)出原來的配置結(jié)構(gòu)而不是對著Web界面憑記憶重敲。配置文件備而不用最好一旦用上這些記錄就是你最可靠的復(fù)盤依據(jù)。希望這份從參數(shù)表到落地驗證的路徑能幫到你讓你手里的6510少一些玄學(xué)多一些確定性。本文還有配套的精品資源點擊獲取