：避坑指南)
簡介面向思科ACI運維與網(wǎng)絡工程師的《APIC手動安裝及升級》PDF文檔聚焦APIC控制器從零安裝到高版本升級的完整路徑。內(nèi)容源于作者在實驗環(huán)境中獨立摸索的真實記錄不依賴原廠TAC支持清晰還原了HTTP文件服務器搭建、CIMC與BIOS狀態(tài)確認、TPM激活、鏡像校驗以及安裝階段常見的啟動卡死、引導盤識別錯誤等易錯點。文檔還對比了本地上傳與HTTP上傳兩種固件分發(fā)方式給出了從2.2.4r到4.2.7u、再到5.x的升級版本路徑并針對生產(chǎn)環(huán)境與實驗環(huán)境的差異給出提醒。整個壓縮包共包含1個PDF文件大小約2.1MB內(nèi)容緊湊且可直接對照查閱已有578人下載學習適合準備部署或升級ACI APIC的中高級網(wǎng)絡工程師作為動手前的避坑參考。1. APIC手動安裝一周血淚踩坑才裝通的控制器某實驗環(huán)境里有一臺APIC控制器原本跑著4.x版本一次誤操作把系統(tǒng)引導干掉了。找原廠TAC是一條路但實驗環(huán)境我更想自己摸一遍結(jié)果這一摸就是一周。Cisco ACI APIC手動安裝這件事網(wǎng)上資料分散官方文檔又把幾個關鍵條件一筆帶過真正卡人的是vKVM掛載、HTTP文件服務器、TPM激活、RAID引導盤這幾個環(huán)節(jié)。我前后重裝了十幾次光一個Starting Terminate Plymouth Boot Screen就掛了一整晚等不到結(jié)果。這篇安裝記錄寫給正在重裝APIC的開發(fā)者也寫給準備做版本升級的運維把參數(shù)、順序、報錯一次講透照著走能少熬幾個夜。2. 裝前準備HTTP文件服務器、固件版本與TPM激活一樣都別省APIC手動安裝之所以容易失敗多數(shù)不是安裝過程本身的問題而是前置條件沒滿足。文件服務器用的是HTTP還是NFS、BIOS版本夠不夠、鏡像MD5有沒有校驗、TPM有沒有激活任何一項不對后面都會以各種詭異的方式翻車。所以第一步別急著掛ISO先把這些基礎項逐條過一遍。2.1 文件服務器必須走HTTPHFS輕量級搭建APIC共享目錄安裝APIC時ISO鏡像不放在本機而是通過引導程序從外部服務器拉取。文件服務器是NFS、CIFS還是HTTP看起來差別不大實際影響很大。我一開始用NFS方式掛載安裝程序讀到一半就沒反應反復試了兩三次都卡在同一個位置換成HTTP后一次就通了。HTTP是無狀態(tài)協(xié)議連接建立簡單鏡像傳輸過程中不容易被額外的服務依賴拖住APIC安裝引導對HTTP的兼容也最穩(wěn)。文件服務器不用搭得很重HFS這個輕量級程序就夠用。它在Windows下運行雙擊啟動后在界面里新增一個名為APIC的虛擬目錄把鏡像文件放進去HTTP訪問能打開就算通了。HFS默認監(jiān)聽8080端口訪問地址類似http://192.168.1.105:8080/APIC/。配置參數(shù)整理如下。配置項推薦值說明服務器IP192.168.1.105與APIC管理地址同網(wǎng)段保證路由可達端口8080HFS默認端口注意防火墻放行共享目錄APICHFS里新增的虛擬目錄名大小寫敏感鏡像URLhttp://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.iso安裝引導時要填寫的完整地址注意一點共享目錄名和鏡像文件名的大小寫在URL里必須與實際情況完全一致。APIC的CentOS引導對路徑匹配是嚴格校驗的大小寫不對會直接報403或者拉不到文件。搭建完成后先在瀏覽器里把http://192.168.1.105:8080/APIC/打開能看到鏡像文件列表再往下走不要等到安裝引導時才驗證那會兒定位問題就麻煩了。2.2 CIMC與BIOS版本4.1不影響上5.x建議升HuuAPIC底層是Cisco UCS C系列的硬件遠程管理依賴CIMC底層引導依賴BIOS。我手上這臺C220M4的CIMC固件版本很低顯示Firmware Version 2.0(3i)BIOS原本是4.1?？紤]到后面要升到5.x我用Huu鏡像把BIOS升到了4.4版本號為C220M4.4.1.2c.0.0202211901。實測裝4.2版本時BIOS保持4.1也可以正常安裝不影響結(jié)果但目標如果是5.x建議CIMC和BIOS一起用Huu升級整個過程大約半小時能全部完成。組件初始版本升級后版本必備性CIMC Firmware2.0(3i)2.0(3i)或更高上5.x建議一并升級BIOS4.14.4C220M4.4.1.2c.0.0202211901裝4.2時4.1夠用BIOS升級最好放在裝APIC系統(tǒng)之前做免得系統(tǒng)裝完再去動固件又要多一次重啟。把Huu鏡像掛到CIMC虛擬光驅(qū)里進入升級維護界面后按提示刷新半小時內(nèi)完成期間一定不要斷電升級失敗的話CIMC本身可能起不來那就真的進退兩難了。2.3 鏡像下載與MD5校驗2.2.4r到4.2.7u的版本路徑鏡像版本路徑需要提前確認不能想升哪個就升哪個。我這次的路徑是先把APIC恢復到2.2.4r再升級到4.2.7u最后上5.x?？绨姹咎S在兩三代以上容易出兼容問題官方版本兼容矩陣頁也建議按順序走這一步查文檔花不了幾分鐘值得做。下載ISO后先做MD5校驗。我見過有人跳過校驗直接掛載裝到一半報錯還以為是安裝方式問題其實是鏡像文件本身損壞。校驗命令很簡單。md5sum aci-apic-dk9.2.2.4r.iso # 輸出示例a1b2c3d4...逐位對比官網(wǎng)給出的MD5值對比時注意大小寫MD5值不匹配就重新下載千萬別拿一個無法確定完整性的鏡像當后備。這步算是我吃了不少虧后的條件反射鏡像校驗是后面所有安裝動作的前提寧可多花幾分鐘重新下載也不要在安裝到一半時才懷疑人生。2.4 TPM激活BIOS里那個最容易被忽略的開關TPM在APIC安裝里扮演的角色很容易被忽略但它和安裝卡死、安裝中途報錯直接相關。進入BIOS的Advanced菜單找到Trust ComputingTPM開關就在里面必須確保Current Status顯示為Active。如果進去發(fā)現(xiàn)配置項是灰色的說明BIOS沒有設置administrator密碼安全配置處于鎖定狀態(tài)。先到BIOS里把administrator密碼設置好密碼我一般放password方便后面反復進出再回到Trust Computing配置TPM確認狀態(tài)變成Active。BIOS密碼這個細節(jié)第一次折騰時我卡了很久一度以為硬件不支持TPM其實只是密碼沒設。設完密碼后TPM的開關從灰色變成可配置激活后保存退出。這里建議把TPM狀態(tài)記錄下來后面安裝如果報TPM相關錯誤可以少走彎路。TPM不active的影響不一定在開機時暴露有時是系統(tǒng)下載完鏡像開始校驗時才報那時再回頭改BIOS等于整個安裝流程白走一遍。3. 手動安裝APIC 2.2.4rvKVM掛載到初始化配置的完整流程前置條件全部就緒后進入正式安裝。整個流程分四段引導掛載、網(wǎng)絡參數(shù)、RAID引導盤、初始化配置。每一段都有獨立的坑按順序走完APIC 2.2.4r才能順利跑起來。3.1 引導安裝F6進入boot menu選擇vDVD先在CIMC遠程控制臺掛載DVD鏡像把2.2.4r的ISO映射到虛擬光驅(qū)。映射完成后APIC重啟開機時按F6進入boot menu選擇Cisco vKVM-Mapped vDVD1.22從虛擬光驅(qū)引導。這里要注意F6的時機進入boot menu之前別松開按鍵錯過就要再來一次重啟。選擇引導項后能看到CentOS引導界面此時直接回車。接下來屏幕會變成藍色等待界面第一次裝的時候我以為系統(tǒng)卡死了等了十分鐘差點重啟。實際上這一步是在初始化硬件和掃描磁盤尤其是有多塊RAID卷時耗時會更長。藍屏等待期間不要做任何操作讓它自己跑等下一步提示出現(xiàn)再繼續(xù)。后面我會專門講這個階段真正的卡死點長什么樣和正常等待的區(qū)別在哪。3.2 網(wǎng)絡安裝參數(shù)Static IP、網(wǎng)關與HTTP URL關鍵項藍屏階段結(jié)束后屏幕下方會出現(xiàn)類似press any key to con...的提示意思是引導程序準備進入外部鏡像拉取模式支持HTTP、SCP等方式。要在30秒內(nèi)按任意鍵否則會用默認方式繼續(xù)等提示消失再按就沒有用了。按任意鍵后會進入?yún)?shù)配置環(huán)節(jié)配置項按順序填寫不要跳。Static IP : 192.168.1.222/24 Gateway : 192.168.1.1 NIC : eth0 Method : http URL : http://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.isoStatic IP填APIC自己的管理地址必須與HTTP文件服務器同網(wǎng)段/24這種掩碼格式不能漏網(wǎng)關填交換機上的網(wǎng)關地址要和IP同一網(wǎng)段否則鏡像拉取跨不了三層。網(wǎng)卡用默認的eth0不要試圖改成其他接口實驗環(huán)境通常就這一個管理口。方式選http而不是scp省去認證過程不容易在中途斷開。URL就是之前文件服務器上鏡像的完整鏈接端口、目錄名、文件名一個都不能錯寫錯一個字符就是404到時候還得重來?；剀嚭笙到y(tǒng)開始自動下載鏡像并安裝整個過程比較長可以觀察屏幕日志。如果過程中出現(xiàn)TPM相關報錯基本可以斷定是TPM沒激活到位回到BIOS確認Current Status是否為Active再重新走安裝不要在這個節(jié)點反復重試浪費一晚上。3.3 RAID引導盤系統(tǒng)裝在RAID1上CIMC默認引導盤要改安裝過程順利完成后系統(tǒng)提示重啟這時候也藏著這周踩過的最隱蔽的一個坑。我服務器的存儲配置是三塊硬盤其中兩塊組RAID1一塊組RAID0。手動安裝時引導程序把系統(tǒng)寫到了RAID1虛擬盤上但CIMC里配置的boot drive默認指向的是RAID0那塊一百來G的盤結(jié)果重啟后直接提示找不到引導設備。第一次看到這個報錯我以為安裝失敗了又重裝了一遍系統(tǒng)結(jié)果還是一樣最后才意識到是引導盤設置的問題。解決辦法是進CIMC的存儲設置把RAID1虛擬盤設為boot drive設備保存后重啟。這個操作在CIMC里是圖形界面找到啟動設備配置把啟動順序改成RAID1卷優(yōu)先重啟后就能看到系統(tǒng)引導了。這個坑提醒我APIC手動安裝完成后一定要檢查CIMC里的boot drive配置而不是盲目懷疑安裝過程。安裝程序選引導盤的邏輯跟CIMC默認啟動項不一定一致裝完先確認引導指向能省掉一次完全不必要的重裝。3.4 初始化配置實驗環(huán)境單節(jié)點與生產(chǎn)環(huán)境三節(jié)點差異引導加載完成系統(tǒng)進入初始化階段屏幕提示回車確認。APIC的初始配置包括Controller ID、Fabric Name、管理IP、網(wǎng)關等參數(shù)。實驗環(huán)境只有一臺控制器很多參數(shù)可以按默認走生產(chǎn)環(huán)境標準部署是三臺APIC組成集群Controller ID、Fabric Name必須三臺統(tǒng)一規(guī)劃管理IP也要避開業(yè)務網(wǎng)段。配置項實驗環(huán)境生產(chǎn)環(huán)境建議Controller ID1分別設置為1/2/3Fabric Name自定義名稱三臺保持一致Management IP192.168.1.222/24規(guī)劃獨立管理網(wǎng)段Gateway192.168.1.1管理網(wǎng)段網(wǎng)關POD ID1默認配置完成后系統(tǒng)自動拉起服務等控制臺回到可登錄狀態(tài)瀏覽器訪問https://192.168.1.222能看到APIC登錄頁面就算安裝成功。到這里2.2.4r版本已經(jīng)跑起來了接下來開始升級4.2.7u。4. APIC升級到4.2.7uFirmware Repository上傳與Controller Upgrade系統(tǒng)重裝完成后Web界面里還是2.2.4r。手動安裝只是第一步真正的生產(chǎn)使用至少要在4.2以上所以繼續(xù)升級到4.2.7u。升級動作都在Web界面的Firmware管理模塊里完成順序是上傳固件、確認倉庫、發(fā)起控制器升級、等待重啟。4.1 上傳固件Upload Firmware的本地提交與HTTP方式登錄APIC Web界面進入Admin菜單找到Download Tasks在空白區(qū)域右鍵選擇Upload Firmware。這里有本地提交和HTTP路徑兩種選擇。本地方式是把4.2.7u的ISO文件從你的電腦直接傳上去走瀏覽器上傳通道適合文件服務器沒開的時候應急。HTTP方式則是填一個URL讓APIC自己去拉走的是后臺下載通道。4.2這代本地方式還能正常用后面到5.x就要注意了本地方式容易卡死最好統(tǒng)一走HTTP。上傳開始后任務列表里能看到進度。ISO文件有好幾個G取決于網(wǎng)絡環(huán)境可能需要等待一段時間。上傳期間不要關閉瀏覽器標簽也不要切到其他用戶操作同一個任務。完成后在Firmware Repository里就能看到4.2.7u條目版本名、上傳時間都會列出來。如果上傳任務長時間沒有進度先看APIC到文件服務器的網(wǎng)絡通不通再從APIC側(cè)ping一下文件服務器IP兩層都通問題基本出在文件名或目錄大小寫。提示Firmware Repository是升級動作的唯一版本來源Controller Upgrade只能從這里選版本上傳沒成功就看到倉庫里沒數(shù)據(jù)先回來檢查上傳任務。4.2 Controller Upgrade4.2.7u版本升級實操倉庫里有了4.2.7u后找到Controller Firmware節(jié)點右鍵選擇Controller Upgrade彈出升級對話框在版本列表里選4.2.7u點擊Upgrade Now立即執(zhí)行。升級任務會立刻進入運行狀態(tài)。整個過程分幾個階段先把鏡像分發(fā)到控制器本地接著做配置備份然后重啟控制器加載新版本。升級期間APIC會重啟一次屬于正常現(xiàn)象不要看到Web界面斷連就去手動重啟設備。重啟完成后APIC會重新拉起服務Web界面逐步恢復訪問。這個升級動作操作的順序不要亂先后順序整理如下。步驟操作位置動作1Admin → Download Tasks右鍵Upload Firmware上傳4.2.7u2Firmware Repository確認4.2.7u出現(xiàn)在版本列表3Controller Firmware右鍵Controller Upgrade4升級對話框選擇4.2.7u并Upgrade Now4.3 升級狀態(tài)跟蹤重啟期間該看什么、不該做什么升級發(fā)起后Download Tasks或升級任務面板會顯示整體進度包括鏡像下載、配置備份、控制器重啟等階段。每個階段耗時不短中間控制臺會頻繁出現(xiàn)服務重啟。這段時間最忌諱的是手動干預比如斷電、重啟、關閉瀏覽器任一動作都可能導致控制器狀態(tài)不一致嚴重的話得重新上傳固件再走一遍。等待期間可以觀察vKVM控制臺的日志輸出如果停在某個位置超過較長時間先判斷是正常的服務拉起還是卡死。APIC控制器服務全起來通常要十幾分鐘只要控制臺還在持續(xù)打日志就耐心等。如果升級任務直接顯示失敗不要立刻重新發(fā)起Controller Upgrade先打開任務詳情看失敗原因常見的是磁盤空間不足或鏡像下載不完整把根因處理掉再重試才有意義。升級完成后輸入https://192.168.1.222登錄后確認版本號更新到4.2.7u控制器狀態(tài)為Active這輪升級就正式完成了。5. APIC安裝升級避坑指南三個Starting卡死點與引導盤問題手動安裝和升級APIC遇到的問題很多不是一次性報錯而是卡在某個位置不動或者重啟后找不到引導排查起來費時間。這章把踩過的坑按現(xiàn)象、原因、解決的順序列清楚遇到同類問題可以直接對照。5.1 安裝卡死三個Starting掛起現(xiàn)象安裝引導過程中屏幕會停在Starting Terminate Plymouth Boot Screen、Starting Anaconda NetworkManager configuration、Starting Dump dmesg to /var/log/dmesg這幾個Starting提示中的任意一個10分鐘沒有下文等多久都不會再動。原因網(wǎng)上常見的改inst.rzam0、在引導命令行里改參數(shù)這些方法我都試過沒有效果。多方驗證下來比較可信的方向有兩個TPM沒有正確激活或者硬盤容量不足。單獨激活TPM后我重新測試依然會卡死懷疑需要TPM加磁盤容量同時滿足才能穩(wěn)定通過。我實驗室的APIC是三塊硬盤兩塊組RAID1一塊組RAID0容量并不寬裕系統(tǒng)安裝時對臨時空間的要求不低。解決先把TPM在BIOS里激活為Active再把硬盤容量做大最好每塊盤都是500GB起步多配幾塊。如果條件允許可以試試TPM激活加擴容同時操作。這個坑在安裝階段出現(xiàn)頻率最高建議在掛ISO之前就把這兩項準備好而不是等到卡死之后再去猜原因。5.2 引導盤丟失CIMC默認啟動設備與RAID1不一致現(xiàn)象系統(tǒng)安裝完成、重啟后屏幕提示找不到引導設備無法進入系統(tǒng)看著就像是安裝失敗了一樣。原因安裝程序把引導寫在了RAID1虛擬盤上但CIMC里配置的boot drive指向的是RAID0那塊一百來G的盤。啟動時CIMC按自己配置的順序去引導從RAID0沒找到系統(tǒng)就報找不到引導。我一開始誤判成安裝失敗重復裝了兩遍才反應過來。解決進CIMC存儲設置把RAID1虛擬盤設為boot drive保存后重啟。這個操作不會影響RAID數(shù)據(jù)只是修改啟動優(yōu)先級?？梢栽谥貑⑶跋却_認一下boot drive的指向避免重啟后再折騰一輪。這個坑最容易讓人做無用功因為安裝日志完全正常問題出在CIMC的啟動配置上。5.3 5.x升級上傳卡死本地方式不行HTTP方式穩(wěn)現(xiàn)象升級到5.x版本時用本地方式上傳ISO上傳開始后不久進度就不再變化任務掛起沒有下文刷新任務列表也看不到成功狀態(tài)。原因高版本固件上傳對本地瀏覽器上傳通道的兼容性不好連接被掛住重試多次結(jié)果一樣。本地方式在4.2這代還能正常用到了5.x就成了高風險操作。我一開始還以為是瀏覽器問題換了瀏覽器還是卡最后換回HTTP方式才順利傳完。解決改用HTTP文件服務器方式上傳把ISO地址填給APIC讓它直接從HTTP服務器拉取。這也是為什么前面強調(diào)文件服務器不要裝完就拆后面升級還要靠它。如果HTTP也沒反應先確認APIC到文件服務器的路由和防火墻8080端口要從APIC側(cè)能訪問。這個坑的教訓是能走HTTP的固件上傳就不要圖省事走本地。5.4 TPM灰色不可配置先設BIOS administrator密碼現(xiàn)象BIOS的Advanced → Trust Computing頁面里TPM開關是灰色鼠標無法操作Current Status也無法修改。原因BIOS沒有設置administrator密碼安全配置鎖定TPM相關選項不被允許修改。這是BIOS層面的保護機制并不是硬件不支持TPM很多人在這一步誤判成服務器型號不支持直接跳過TPM配置結(jié)果安裝階段卡死找不到原因。解決先在BIOS里設置administrator密碼簡單放password也夠?qū)嶒炗帽４嫱顺龊笾匦逻M入Trust ComputingTPM開關就能操作了。設置完成后確認Current Status顯示為Active再離開。這個坑很容易被忽略而TPM狀態(tài)不對又會引發(fā)安裝過程卡死屬于連環(huán)坑配置順序上一定要把BIOS密碼放在TPM激活之前。6. 裝完怎么驗證從Web版本號到集群狀態(tài)的確認方法APIC裝完或者升級完不能只看一眼版本號就算結(jié)束?？刂破髦貑⒑蠓绽鹩醒舆t我習慣按固定順序過三遍確認系統(tǒng)真正進入可用狀態(tài)。第一遍先看Web界面。瀏覽器打開https://192.168.1.222能正常出現(xiàn)登錄頁并完成登錄說明控制器Web服務已經(jīng)起來了。登錄后看Dashboard右上角的版本號升級后應顯示4.2.7u或目標5.x版本如果還是舊版本號說明升級沒有實際生效需要回去看任務狀態(tài)。緊接著打開System → Controllers確認控制器狀態(tài)是Active不是Out-of-Service也不是Standby。第二遍用CLI確認。SSH登錄APIC執(zhí)行版本查看命令apic1# version # 輸出中的 Software Version 與升級目標一致 apic1# show version # 查看更詳細的系統(tǒng)固件信息部分版本支持該命令如果show version在當前版本不識別用version命令就夠了。APIC的命令集每個大版本都會調(diào)整命令不存在時報錯是正常的不要硬套網(wǎng)絡設備的習慣以Web界面信息為準。第三遍看集群健康。單節(jié)點的實驗環(huán)境Fabric健康分數(shù)不一定是滿分但只要沒有紅色告警、控制器沒有進入服務中斷狀態(tài)就算正常。生產(chǎn)環(huán)境的話還要登錄其他兩個APIC節(jié)點確認三臺控制器的版本一致、集群同步正常。健康分數(shù)和控制器狀態(tài)都確認完再去做業(yè)務配置也不遲。這套驗證動作我堅持了很長時間后來總結(jié)成四步清單MD5校驗、TPM狀態(tài)確認、HTTP服務器連通性、RAID引導盤指向。每次手動裝APIC前強制把清單過一遍再開始動安裝流程這習慣幫我少熬了不知道多少夜的待機等待希望幫到你。本文還有配套的精品資源點擊獲取 Cisco ACI APIC手動安裝與升級實戰(zhàn)：避坑指南
簡介面向思科ACI運維與網(wǎng)絡工程師的《APIC手動安裝及升級》PDF文檔聚焦APIC控制器從零安裝到高版本升級的完整路徑。內(nèi)容源于作者在實驗環(huán)境中獨立摸索的真實記錄不依賴原廠TAC支持清晰還原了HTTP文件服務器搭建、CIMC與BIOS狀態(tài)確認、TPM激活、鏡像校驗以及安裝階段常見的啟動卡死、引導盤識別錯誤等易錯點。文檔還對比了本地上傳與HTTP上傳兩種固件分發(fā)方式給出了從2.2.4r到4.2.7u、再到5.x的升級版本路徑并針對生產(chǎn)環(huán)境與實驗環(huán)境的差異給出提醒。整個壓縮包共包含1個PDF文件大小約2.1MB內(nèi)容緊湊且可直接對照查閱已有578人下載學習適合準備部署或升級ACI APIC的中高級網(wǎng)絡工程師作為動手前的避坑參考。1. APIC手動安裝一周血淚踩坑才裝通的控制器某實驗環(huán)境里有一臺APIC控制器原本跑著4.x版本一次誤操作把系統(tǒng)引導干掉了。找原廠TAC是一條路但實驗環(huán)境我更想自己摸一遍結(jié)果這一摸就是一周。Cisco ACI APIC手動安裝這件事網(wǎng)上資料分散官方文檔又把幾個關鍵條件一筆帶過真正卡人的是vKVM掛載、HTTP文件服務器、TPM激活、RAID引導盤這幾個環(huán)節(jié)。我前后重裝了十幾次光一個Starting Terminate Plymouth Boot Screen就掛了一整晚等不到結(jié)果。這篇安裝記錄寫給正在重裝APIC的開發(fā)者也寫給準備做版本升級的運維把參數(shù)、順序、報錯一次講透照著走能少熬幾個夜。2. 裝前準備HTTP文件服務器、固件版本與TPM激活一樣都別省APIC手動安裝之所以容易失敗多數(shù)不是安裝過程本身的問題而是前置條件沒滿足。文件服務器用的是HTTP還是NFS、BIOS版本夠不夠、鏡像MD5有沒有校驗、TPM有沒有激活任何一項不對后面都會以各種詭異的方式翻車。所以第一步別急著掛ISO先把這些基礎項逐條過一遍。2.1 文件服務器必須走HTTPHFS輕量級搭建APIC共享目錄安裝APIC時ISO鏡像不放在本機而是通過引導程序從外部服務器拉取。文件服務器是NFS、CIFS還是HTTP看起來差別不大實際影響很大。我一開始用NFS方式掛載安裝程序讀到一半就沒反應反復試了兩三次都卡在同一個位置換成HTTP后一次就通了。HTTP是無狀態(tài)協(xié)議連接建立簡單鏡像傳輸過程中不容易被額外的服務依賴拖住APIC安裝引導對HTTP的兼容也最穩(wěn)。文件服務器不用搭得很重HFS這個輕量級程序就夠用。它在Windows下運行雙擊啟動后在界面里新增一個名為APIC的虛擬目錄把鏡像文件放進去HTTP訪問能打開就算通了。HFS默認監(jiān)聽8080端口訪問地址類似http://192.168.1.105:8080/APIC/。配置參數(shù)整理如下。配置項推薦值說明服務器IP192.168.1.105與APIC管理地址同網(wǎng)段保證路由可達端口8080HFS默認端口注意防火墻放行共享目錄APICHFS里新增的虛擬目錄名大小寫敏感鏡像URLhttp://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.iso安裝引導時要填寫的完整地址注意一點共享目錄名和鏡像文件名的大小寫在URL里必須與實際情況完全一致。APIC的CentOS引導對路徑匹配是嚴格校驗的大小寫不對會直接報403或者拉不到文件。搭建完成后先在瀏覽器里把http://192.168.1.105:8080/APIC/打開能看到鏡像文件列表再往下走不要等到安裝引導時才驗證那會兒定位問題就麻煩了。2.2 CIMC與BIOS版本4.1不影響上5.x建議升HuuAPIC底層是Cisco UCS C系列的硬件遠程管理依賴CIMC底層引導依賴BIOS。我手上這臺C220M4的CIMC固件版本很低顯示Firmware Version 2.0(3i)BIOS原本是4.1?？紤]到后面要升到5.x我用Huu鏡像把BIOS升到了4.4版本號為C220M4.4.1.2c.0.0202211901。實測裝4.2版本時BIOS保持4.1也可以正常安裝不影響結(jié)果但目標如果是5.x建議CIMC和BIOS一起用Huu升級整個過程大約半小時能全部完成。組件初始版本升級后版本必備性CIMC Firmware2.0(3i)2.0(3i)或更高上5.x建議一并升級BIOS4.14.4C220M4.4.1.2c.0.0202211901裝4.2時4.1夠用BIOS升級最好放在裝APIC系統(tǒng)之前做免得系統(tǒng)裝完再去動固件又要多一次重啟。把Huu鏡像掛到CIMC虛擬光驅(qū)里進入升級維護界面后按提示刷新半小時內(nèi)完成期間一定不要斷電升級失敗的話CIMC本身可能起不來那就真的進退兩難了。2.3 鏡像下載與MD5校驗2.2.4r到4.2.7u的版本路徑鏡像版本路徑需要提前確認不能想升哪個就升哪個。我這次的路徑是先把APIC恢復到2.2.4r再升級到4.2.7u最后上5.x?？绨姹咎S在兩三代以上容易出兼容問題官方版本兼容矩陣頁也建議按順序走這一步查文檔花不了幾分鐘值得做。下載ISO后先做MD5校驗。我見過有人跳過校驗直接掛載裝到一半報錯還以為是安裝方式問題其實是鏡像文件本身損壞。校驗命令很簡單。md5sum aci-apic-dk9.2.2.4r.iso # 輸出示例a1b2c3d4...逐位對比官網(wǎng)給出的MD5值對比時注意大小寫MD5值不匹配就重新下載千萬別拿一個無法確定完整性的鏡像當后備。這步算是我吃了不少虧后的條件反射鏡像校驗是后面所有安裝動作的前提寧可多花幾分鐘重新下載也不要在安裝到一半時才懷疑人生。2.4 TPM激活BIOS里那個最容易被忽略的開關TPM在APIC安裝里扮演的角色很容易被忽略但它和安裝卡死、安裝中途報錯直接相關。進入BIOS的Advanced菜單找到Trust ComputingTPM開關就在里面必須確保Current Status顯示為Active。如果進去發(fā)現(xiàn)配置項是灰色的說明BIOS沒有設置administrator密碼安全配置處于鎖定狀態(tài)。先到BIOS里把administrator密碼設置好密碼我一般放password方便后面反復進出再回到Trust Computing配置TPM確認狀態(tài)變成Active。BIOS密碼這個細節(jié)第一次折騰時我卡了很久一度以為硬件不支持TPM其實只是密碼沒設。設完密碼后TPM的開關從灰色變成可配置激活后保存退出。這里建議把TPM狀態(tài)記錄下來后面安裝如果報TPM相關錯誤可以少走彎路。TPM不active的影響不一定在開機時暴露有時是系統(tǒng)下載完鏡像開始校驗時才報那時再回頭改BIOS等于整個安裝流程白走一遍。3. 手動安裝APIC 2.2.4rvKVM掛載到初始化配置的完整流程前置條件全部就緒后進入正式安裝。整個流程分四段引導掛載、網(wǎng)絡參數(shù)、RAID引導盤、初始化配置。每一段都有獨立的坑按順序走完APIC 2.2.4r才能順利跑起來。3.1 引導安裝F6進入boot menu選擇vDVD先在CIMC遠程控制臺掛載DVD鏡像把2.2.4r的ISO映射到虛擬光驅(qū)。映射完成后APIC重啟開機時按F6進入boot menu選擇Cisco vKVM-Mapped vDVD1.22從虛擬光驅(qū)引導。這里要注意F6的時機進入boot menu之前別松開按鍵錯過就要再來一次重啟。選擇引導項后能看到CentOS引導界面此時直接回車。接下來屏幕會變成藍色等待界面第一次裝的時候我以為系統(tǒng)卡死了等了十分鐘差點重啟。實際上這一步是在初始化硬件和掃描磁盤尤其是有多塊RAID卷時耗時會更長。藍屏等待期間不要做任何操作讓它自己跑等下一步提示出現(xiàn)再繼續(xù)。后面我會專門講這個階段真正的卡死點長什么樣和正常等待的區(qū)別在哪。3.2 網(wǎng)絡安裝參數(shù)Static IP、網(wǎng)關與HTTP URL關鍵項藍屏階段結(jié)束后屏幕下方會出現(xiàn)類似press any key to con...的提示意思是引導程序準備進入外部鏡像拉取模式支持HTTP、SCP等方式。要在30秒內(nèi)按任意鍵否則會用默認方式繼續(xù)等提示消失再按就沒有用了。按任意鍵后會進入?yún)?shù)配置環(huán)節(jié)配置項按順序填寫不要跳。Static IP : 192.168.1.222/24 Gateway : 192.168.1.1 NIC : eth0 Method : http URL : http://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.isoStatic IP填APIC自己的管理地址必須與HTTP文件服務器同網(wǎng)段/24這種掩碼格式不能漏網(wǎng)關填交換機上的網(wǎng)關地址要和IP同一網(wǎng)段否則鏡像拉取跨不了三層。網(wǎng)卡用默認的eth0不要試圖改成其他接口實驗環(huán)境通常就這一個管理口。方式選http而不是scp省去認證過程不容易在中途斷開。URL就是之前文件服務器上鏡像的完整鏈接端口、目錄名、文件名一個都不能錯寫錯一個字符就是404到時候還得重來?；剀嚭笙到y(tǒng)開始自動下載鏡像并安裝整個過程比較長可以觀察屏幕日志。如果過程中出現(xiàn)TPM相關報錯基本可以斷定是TPM沒激活到位回到BIOS確認Current Status是否為Active再重新走安裝不要在這個節(jié)點反復重試浪費一晚上。3.3 RAID引導盤系統(tǒng)裝在RAID1上CIMC默認引導盤要改安裝過程順利完成后系統(tǒng)提示重啟這時候也藏著這周踩過的最隱蔽的一個坑。我服務器的存儲配置是三塊硬盤其中兩塊組RAID1一塊組RAID0。手動安裝時引導程序把系統(tǒng)寫到了RAID1虛擬盤上但CIMC里配置的boot drive默認指向的是RAID0那塊一百來G的盤結(jié)果重啟后直接提示找不到引導設備。第一次看到這個報錯我以為安裝失敗了又重裝了一遍系統(tǒng)結(jié)果還是一樣最后才意識到是引導盤設置的問題。解決辦法是進CIMC的存儲設置把RAID1虛擬盤設為boot drive設備保存后重啟。這個操作在CIMC里是圖形界面找到啟動設備配置把啟動順序改成RAID1卷優(yōu)先重啟后就能看到系統(tǒng)引導了。這個坑提醒我APIC手動安裝完成后一定要檢查CIMC里的boot drive配置而不是盲目懷疑安裝過程。安裝程序選引導盤的邏輯跟CIMC默認啟動項不一定一致裝完先確認引導指向能省掉一次完全不必要的重裝。3.4 初始化配置實驗環(huán)境單節(jié)點與生產(chǎn)環(huán)境三節(jié)點差異引導加載完成系統(tǒng)進入初始化階段屏幕提示回車確認。APIC的初始配置包括Controller ID、Fabric Name、管理IP、網(wǎng)關等參數(shù)。實驗環(huán)境只有一臺控制器很多參數(shù)可以按默認走生產(chǎn)環(huán)境標準部署是三臺APIC組成集群Controller ID、Fabric Name必須三臺統(tǒng)一規(guī)劃管理IP也要避開業(yè)務網(wǎng)段。配置項實驗環(huán)境生產(chǎn)環(huán)境建議Controller ID1分別設置為1/2/3Fabric Name自定義名稱三臺保持一致Management IP192.168.1.222/24規(guī)劃獨立管理網(wǎng)段Gateway192.168.1.1管理網(wǎng)段網(wǎng)關POD ID1默認配置完成后系統(tǒng)自動拉起服務等控制臺回到可登錄狀態(tài)瀏覽器訪問https://192.168.1.222能看到APIC登錄頁面就算安裝成功。到這里2.2.4r版本已經(jīng)跑起來了接下來開始升級4.2.7u。4. APIC升級到4.2.7uFirmware Repository上傳與Controller Upgrade系統(tǒng)重裝完成后Web界面里還是2.2.4r。手動安裝只是第一步真正的生產(chǎn)使用至少要在4.2以上所以繼續(xù)升級到4.2.7u。升級動作都在Web界面的Firmware管理模塊里完成順序是上傳固件、確認倉庫、發(fā)起控制器升級、等待重啟。4.1 上傳固件Upload Firmware的本地提交與HTTP方式登錄APIC Web界面進入Admin菜單找到Download Tasks在空白區(qū)域右鍵選擇Upload Firmware。這里有本地提交和HTTP路徑兩種選擇。本地方式是把4.2.7u的ISO文件從你的電腦直接傳上去走瀏覽器上傳通道適合文件服務器沒開的時候應急。HTTP方式則是填一個URL讓APIC自己去拉走的是后臺下載通道。4.2這代本地方式還能正常用后面到5.x就要注意了本地方式容易卡死最好統(tǒng)一走HTTP。上傳開始后任務列表里能看到進度。ISO文件有好幾個G取決于網(wǎng)絡環(huán)境可能需要等待一段時間。上傳期間不要關閉瀏覽器標簽也不要切到其他用戶操作同一個任務。完成后在Firmware Repository里就能看到4.2.7u條目版本名、上傳時間都會列出來。如果上傳任務長時間沒有進度先看APIC到文件服務器的網(wǎng)絡通不通再從APIC側(cè)ping一下文件服務器IP兩層都通問題基本出在文件名或目錄大小寫。提示Firmware Repository是升級動作的唯一版本來源Controller Upgrade只能從這里選版本上傳沒成功就看到倉庫里沒數(shù)據(jù)先回來檢查上傳任務。4.2 Controller Upgrade4.2.7u版本升級實操倉庫里有了4.2.7u后找到Controller Firmware節(jié)點右鍵選擇Controller Upgrade彈出升級對話框在版本列表里選4.2.7u點擊Upgrade Now立即執(zhí)行。升級任務會立刻進入運行狀態(tài)。整個過程分幾個階段先把鏡像分發(fā)到控制器本地接著做配置備份然后重啟控制器加載新版本。升級期間APIC會重啟一次屬于正常現(xiàn)象不要看到Web界面斷連就去手動重啟設備。重啟完成后APIC會重新拉起服務Web界面逐步恢復訪問。這個升級動作操作的順序不要亂先后順序整理如下。步驟操作位置動作1Admin → Download Tasks右鍵Upload Firmware上傳4.2.7u2Firmware Repository確認4.2.7u出現(xiàn)在版本列表3Controller Firmware右鍵Controller Upgrade4升級對話框選擇4.2.7u并Upgrade Now4.3 升級狀態(tài)跟蹤重啟期間該看什么、不該做什么升級發(fā)起后Download Tasks或升級任務面板會顯示整體進度包括鏡像下載、配置備份、控制器重啟等階段。每個階段耗時不短中間控制臺會頻繁出現(xiàn)服務重啟。這段時間最忌諱的是手動干預比如斷電、重啟、關閉瀏覽器任一動作都可能導致控制器狀態(tài)不一致嚴重的話得重新上傳固件再走一遍。等待期間可以觀察vKVM控制臺的日志輸出如果停在某個位置超過較長時間先判斷是正常的服務拉起還是卡死。APIC控制器服務全起來通常要十幾分鐘只要控制臺還在持續(xù)打日志就耐心等。如果升級任務直接顯示失敗不要立刻重新發(fā)起Controller Upgrade先打開任務詳情看失敗原因常見的是磁盤空間不足或鏡像下載不完整把根因處理掉再重試才有意義。升級完成后輸入https://192.168.1.222登錄后確認版本號更新到4.2.7u控制器狀態(tài)為Active這輪升級就正式完成了。5. APIC安裝升級避坑指南三個Starting卡死點與引導盤問題手動安裝和升級APIC遇到的問題很多不是一次性報錯而是卡在某個位置不動或者重啟后找不到引導排查起來費時間。這章把踩過的坑按現(xiàn)象、原因、解決的順序列清楚遇到同類問題可以直接對照。5.1 安裝卡死三個Starting掛起現(xiàn)象安裝引導過程中屏幕會停在Starting Terminate Plymouth Boot Screen、Starting Anaconda NetworkManager configuration、Starting Dump dmesg to /var/log/dmesg這幾個Starting提示中的任意一個10分鐘沒有下文等多久都不會再動。原因網(wǎng)上常見的改inst.rzam0、在引導命令行里改參數(shù)這些方法我都試過沒有效果。多方驗證下來比較可信的方向有兩個TPM沒有正確激活或者硬盤容量不足。單獨激活TPM后我重新測試依然會卡死懷疑需要TPM加磁盤容量同時滿足才能穩(wěn)定通過。我實驗室的APIC是三塊硬盤兩塊組RAID1一塊組RAID0容量并不寬裕系統(tǒng)安裝時對臨時空間的要求不低。解決先把TPM在BIOS里激活為Active再把硬盤容量做大最好每塊盤都是500GB起步多配幾塊。如果條件允許可以試試TPM激活加擴容同時操作。這個坑在安裝階段出現(xiàn)頻率最高建議在掛ISO之前就把這兩項準備好而不是等到卡死之后再去猜原因。5.2 引導盤丟失CIMC默認啟動設備與RAID1不一致現(xiàn)象系統(tǒng)安裝完成、重啟后屏幕提示找不到引導設備無法進入系統(tǒng)看著就像是安裝失敗了一樣。原因安裝程序把引導寫在了RAID1虛擬盤上但CIMC里配置的boot drive指向的是RAID0那塊一百來G的盤。啟動時CIMC按自己配置的順序去引導從RAID0沒找到系統(tǒng)就報找不到引導。我一開始誤判成安裝失敗重復裝了兩遍才反應過來。解決進CIMC存儲設置把RAID1虛擬盤設為boot drive保存后重啟。這個操作不會影響RAID數(shù)據(jù)只是修改啟動優(yōu)先級?？梢栽谥貑⑶跋却_認一下boot drive的指向避免重啟后再折騰一輪。這個坑最容易讓人做無用功因為安裝日志完全正常問題出在CIMC的啟動配置上。5.3 5.x升級上傳卡死本地方式不行HTTP方式穩(wěn)現(xiàn)象升級到5.x版本時用本地方式上傳ISO上傳開始后不久進度就不再變化任務掛起沒有下文刷新任務列表也看不到成功狀態(tài)。原因高版本固件上傳對本地瀏覽器上傳通道的兼容性不好連接被掛住重試多次結(jié)果一樣。本地方式在4.2這代還能正常用到了5.x就成了高風險操作。我一開始還以為是瀏覽器問題換了瀏覽器還是卡最后換回HTTP方式才順利傳完。解決改用HTTP文件服務器方式上傳把ISO地址填給APIC讓它直接從HTTP服務器拉取。這也是為什么前面強調(diào)文件服務器不要裝完就拆后面升級還要靠它。如果HTTP也沒反應先確認APIC到文件服務器的路由和防火墻8080端口要從APIC側(cè)能訪問。這個坑的教訓是能走HTTP的固件上傳就不要圖省事走本地。5.4 TPM灰色不可配置先設BIOS administrator密碼現(xiàn)象BIOS的Advanced → Trust Computing頁面里TPM開關是灰色鼠標無法操作Current Status也無法修改。原因BIOS沒有設置administrator密碼安全配置鎖定TPM相關選項不被允許修改。這是BIOS層面的保護機制并不是硬件不支持TPM很多人在這一步誤判成服務器型號不支持直接跳過TPM配置結(jié)果安裝階段卡死找不到原因。解決先在BIOS里設置administrator密碼簡單放password也夠?qū)嶒炗帽４嫱顺龊笾匦逻M入Trust ComputingTPM開關就能操作了。設置完成后確認Current Status顯示為Active再離開。這個坑很容易被忽略而TPM狀態(tài)不對又會引發(fā)安裝過程卡死屬于連環(huán)坑配置順序上一定要把BIOS密碼放在TPM激活之前。6. 裝完怎么驗證從Web版本號到集群狀態(tài)的確認方法APIC裝完或者升級完不能只看一眼版本號就算結(jié)束?？刂破髦貑⒑蠓绽鹩醒舆t我習慣按固定順序過三遍確認系統(tǒng)真正進入可用狀態(tài)。第一遍先看Web界面。瀏覽器打開https://192.168.1.222能正常出現(xiàn)登錄頁并完成登錄說明控制器Web服務已經(jīng)起來了。登錄后看Dashboard右上角的版本號升級后應顯示4.2.7u或目標5.x版本如果還是舊版本號說明升級沒有實際生效需要回去看任務狀態(tài)。緊接著打開System → Controllers確認控制器狀態(tài)是Active不是Out-of-Service也不是Standby。第二遍用CLI確認。SSH登錄APIC執(zhí)行版本查看命令apic1# version # 輸出中的 Software Version 與升級目標一致 apic1# show version # 查看更詳細的系統(tǒng)固件信息部分版本支持該命令如果show version在當前版本不識別用version命令就夠了。APIC的命令集每個大版本都會調(diào)整命令不存在時報錯是正常的不要硬套網(wǎng)絡設備的習慣以Web界面信息為準。第三遍看集群健康。單節(jié)點的實驗環(huán)境Fabric健康分數(shù)不一定是滿分但只要沒有紅色告警、控制器沒有進入服務中斷狀態(tài)就算正常。生產(chǎn)環(huán)境的話還要登錄其他兩個APIC節(jié)點確認三臺控制器的版本一致、集群同步正常。健康分數(shù)和控制器狀態(tài)都確認完再去做業(yè)務配置也不遲。這套驗證動作我堅持了很長時間后來總結(jié)成四步清單MD5校驗、TPM狀態(tài)確認、HTTP服務器連通性、RAID引導盤指向。每次手動裝APIC前強制把清單過一遍再開始動安裝流程這習慣幫我少熬了不知道多少夜的待機等待希望幫到你。本文還有配套的精品資源點擊獲取