簡介CNware虛擬化平臺解決方案是一份聚焦企業(yè)級虛擬化與云計算規(guī)劃的技術(shù)演示PPT適合IT決策者、云平臺架構(gòu)師及運維管理人員閱讀。內(nèi)容以航天云宏自研云操作系統(tǒng)為基礎(chǔ)系統(tǒng)梳理了虛擬化引擎、虛擬化管理、云服務(wù)管理三個核心層次并依次覆蓋方案背景、產(chǎn)品配置、客戶價值、方案優(yōu)勢與公司簡介結(jié)構(gòu)清晰、邏輯完整。壓縮包內(nèi)共1個文件為1.32MB的pptx演示文稿頁數(shù)精煉且信息密度較高可直接用于內(nèi)部評審或方案匯報。目前已有164人瀏覽學(xué)習(xí)。借助這份PPT讀者可以快速了解國產(chǎn)虛擬化平臺在電信、金融、大型企業(yè)、政府等領(lǐng)域的典型落地場景理解從底層資源虛擬化到上層云服務(wù)運營的整體解決思路也可用于對標(biāo)自身虛擬化項目中的架構(gòu)設(shè)計和產(chǎn)品選型是一份具有實戰(zhàn)參考價值的解決方案材料。1. 從一份 PPT 講到 CNware國產(chǎn)化虛擬化平臺不是把 VMware 換個名字收到一份名為 CNware 虛擬化平臺解決方案.pptx 的材料時我第一反應(yīng)是又一個國產(chǎn)化替代的入場者。后來把里面的架構(gòu)圖和部署參數(shù)看完才發(fā)現(xiàn)CNware 走的是 KVM/QEMU 這條完全開源的底座路線它解決的問題很直接企業(yè)或數(shù)據(jù)中心要換掉商用虛擬化平臺又要保留虛機遷移、存儲池化、模板分發(fā)這些日常運維習(xí)慣CNware 把這些能力收進(jìn)一個可交付的解決方案里。說它不是把 VMware 換個名字是因為它的管理面和計算面可以分開部署硬件兼容性也寬松得多。適合誰正在做國產(chǎn)化評估的甲方、IDC 運維團隊以及想用低成本把虛擬化平臺跑起來的實施工程師。接下來我從這張 PPT 里的方案出發(fā)把組件選型、安裝步驟和參數(shù)設(shè)置拆成一份能照著做的落地筆記。2. 先拆開解決方案里的黑匣子CNware 的組件選型與最小實驗環(huán)境2.1 CNware 在方案里真正賣的是哪三樣計算、存儲池和橋接網(wǎng)絡(luò)CNware 這類平臺表面上是「虛擬化管理平臺」實際上交付的是三塊東西。第一塊是計算虛擬化底層直接使用 KVM 內(nèi)核模塊和 QEMU 用戶態(tài)進(jìn)程每臺物理機變成一個計算節(jié)點負(fù)責(zé)創(chuàng)建和管理虛擬機。第二塊是存儲池它并不強制綁定分布式存儲而是采用了 LVM、本地目錄、iSCSI、分布式存儲多種后端并存的方式這份 XXT 里的存儲章節(jié)重點強調(diào)了「按業(yè)務(wù)場景選后端」而不是像很多開源方案那樣只推一種 Ceph。第三塊是網(wǎng)絡(luò)虛擬化借助 Linux Bridge 和 Open vSwitch 兩種模式把物理網(wǎng)卡切成多個橋接網(wǎng)絡(luò)為虛擬機提供二層或三層網(wǎng)絡(luò)能力。這三塊里最容易讓新人誤判的是存儲。很多人看 PPT 首頁會以為 CNware 自帶一套完整的分布式存儲實際上它的架構(gòu)是「存儲接入層」真正干活的后端可以是已有的集中式存儲陣列也可以是服務(wù)器內(nèi)置磁盤組成的 LVM 池。這個設(shè)計有很實際的好處如果機房已經(jīng)采購了中端存儲CNware 不需要你重新買一套直接通過 iSCSI 或者 FC 接進(jìn)來就能用如果沒有獨立存儲也可以用 LVM 把本地盤池化。方案 PPT 里的容量計算表一般會按「可用容量 裸容量 × RAID 效率 × 預(yù)留比例」來寫這個公式后面的章節(jié)我會展開算一個例子。2.2 控制面與數(shù)據(jù)面分離為什么管理網(wǎng)和業(yè)務(wù)網(wǎng)一定要拆開CNware 的部署拓?fù)淅镉幸粋€很明確的原則管理面Managment Plane和數(shù)據(jù)面Data Plane必須分開。管理面承載的是管理節(jié)點、數(shù)據(jù)庫、Agent 心跳、策略下發(fā)這些控制流量數(shù)據(jù)面承載的是虛擬機之間、虛擬機與物理網(wǎng)絡(luò)之間的真實業(yè)務(wù)流量。PPT 里的網(wǎng)絡(luò)規(guī)劃圖通常會把物理機網(wǎng)卡分成三組一組連接管理交換機一組連接業(yè)務(wù)交換機一組預(yù)留做存儲網(wǎng)絡(luò)。如果只有兩塊網(wǎng)卡最差也要做成兩個 VLAN 分隔的 trunk把管理 VLAN 和業(yè)務(wù) VLAN 分開走。為什么必須拆開因為控制面一旦被業(yè)務(wù)流量擠滿最先掉鏈子的不是虛擬機性能而是管理節(jié)點的 Agent 心跳。心跳超時后平臺會認(rèn)為計算節(jié)點失聯(lián)觸發(fā)虛擬機 HA 遷移如果只有一臺物理機這個操作反而可能導(dǎo)致誤關(guān)機。我見過一個實際案例部署時圖省事把所有流量塞在同一張網(wǎng)卡上視頻業(yè)務(wù)一上來管理面 ping 管理節(jié)點延遲到了 300 多毫秒平臺頻繁告警最后只能重新規(guī)劃網(wǎng)絡(luò)。CNware 的管理面一般走 TCP 8443 端口和 Agent 的 9000 端口這些端口被防火墻誤攔也會出現(xiàn)「節(jié)點離線」的假象后面避坑章節(jié)會說。2.3 用一臺物理機搭出最小實驗環(huán)境CPU、內(nèi)存、磁盤的底線參數(shù)CNware 雖然是企業(yè)級方案但做最小化驗證并不需要三臺服務(wù)器起步。如果你只是跑通流程、驗證遷移和模板功能一臺物理機就夠了條件是這一臺物理機同時跑管理節(jié)點和計算節(jié)點。底線參數(shù)可以參考下面的表資源最小配置推薦配置說明CPU8 核心支持 Intel VT-x 或 AMD-V16 核心以上必須確認(rèn) BIOS 里虛擬化開關(guān)已打開內(nèi)存32 GB64 GB管理節(jié)點約占 8 GB其余給運行中的虛擬機系統(tǒng)盤240 GB SSD480 GB SSD放管理節(jié)點系統(tǒng)和數(shù)據(jù)庫余量越大越耐造數(shù)據(jù)盤1 TB HDD2 TB SSD 或 RAID10作為 LVM 存儲池用于創(chuàng)建虛擬機磁盤網(wǎng)卡2 個千兆口2 個萬兆口一個走管理網(wǎng)絡(luò)一個走業(yè)務(wù)網(wǎng)絡(luò)操作系統(tǒng)推薦 CentOS 7.9 或兼容版本同左內(nèi)核版本需支持 KVM 模塊這里要單獨說一下 CPU 的坑。很多人在 Windwos 物理機里裝 VMware Workstation 時遇到過「此平臺不支持虛擬化」的提示在 CNware 裸機部署時會遇到一模一樣的現(xiàn)象裝完系統(tǒng)啟動 libvirt 檢查 KVM 可用性報錯說 CPU 不支持虛擬化擴展。原因幾乎都不是 CPU 真不支持而是 BIOS 里的 Intel VT-x 或 AMD-V 開關(guān)默認(rèn)關(guān)閉或者被超線程和嵌套虛擬化配置干擾。實驗環(huán)境里內(nèi)存和磁盤都可以湊合CPU 虛擬化開關(guān)是硬門檻這一步不過后面全都是白費。3. 從裸機到進(jìn)入管理面板CNware 落地的四步安裝過程3.1 第一步在 BIOS 里打開虛擬化開關(guān)把「虛擬化不可用」擋在第一關(guān)CNware 計算節(jié)點的宿主機安裝操作系統(tǒng)前有一個動作必須先做確認(rèn) CPU 虛擬化已經(jīng)啟用。這個動作我很建議在裝系統(tǒng)之前就完成而不是裝完之后再回頭看報錯。重啟服務(wù)器進(jìn)入 BIOS找到 Intel Virtualization Technology 或 AMD SVM Mode 選項設(shè)置為 Enabled。Intel 平臺還要順帶看一眼 VT-d雖然 CNware 默認(rèn)不強制使用直通設(shè)備但開了之后后續(xù)做 PCIE 直通或 SR-IOV 會方便很多。進(jìn)入已裝好的系統(tǒng)后用下面的命令確認(rèn) KVM 模塊是否加載正常# 確認(rèn) CPU 支持虛擬化擴展 grep -E (vmx|svm) /proc/cpuinfo # 加載 KVM 內(nèi)核模塊并確認(rèn)已經(jīng)生效 modprobe kvm modprobe kvm_intel # AMD 平臺換成 kvm_amd lsmod | grep kvm邏輯說明第一條命令在 Intel 平臺上會看到 vmx 標(biāo)志AMD 平臺上會看到 svm 標(biāo)志。如果沒有任何輸出不用往下走了回到 BIOS 里重新檢查開關(guān)如果輸出存在但加載模塊時提示 Operation not permitted多半是嵌套虛擬化沒開或內(nèi)核模塊被禁用。參數(shù)說明中值得注意的是lsmod 的結(jié)果里除了 kvm 本身還應(yīng)該能看到 kvm_intel 或 kvm_amd只有 kvm 主模塊而看不到平臺模塊虛擬機創(chuàng)建時一樣會報錯。3.2 第二步給宿主機安裝最小化系統(tǒng)分區(qū)、網(wǎng)卡和主機名的決定CNware 計算節(jié)點不推薦把系統(tǒng)裝成帶桌面的完整發(fā)行版最小化安裝能減少很多不必要的服務(wù)干擾。這里我一般會用 CentOS 7.9 的最小化安裝鏡像安裝時選擇「Minimal Install」。分區(qū)方案建議做成下面的形式/boot分區(qū)獨立給 1 GB根分區(qū)/用 LVM 管理預(yù)留 30% 的剩余空間不分配方便后續(xù)給 Docker 或大數(shù)據(jù)組件留余地。數(shù)據(jù)盤單獨劃分不要把手動掛載的/data目錄也放進(jìn)根分區(qū) LVM 里后面創(chuàng)建存儲池會用它。網(wǎng)卡配置建議在安裝階段直接做掉。管理網(wǎng)卡配置靜態(tài) IP網(wǎng)關(guān)指向管理交換機 VLAN 的網(wǎng)關(guān)業(yè)務(wù)網(wǎng)卡可以暫時不配 IP或者配置一個不沖突的網(wǎng)段地址等到管理面板里添加網(wǎng)絡(luò)時再統(tǒng)一管理。安裝完成后確認(rèn)主機名并設(shè)置時鐘同步# 設(shè)置主機名建議包含節(jié)點角色例如 cnware-node01 hostnamectl set-hostname cnware-node01 # 安裝 chrony 并配置 NTP 同步防止管理節(jié)點和計算節(jié)點時鐘偏差 yum install -y chrony systemctl enable --now chronyd # 驗證時間同步狀態(tài) chronyc tracking邏輯說明主機名和時鐘同步是很多實施工程師會跳過的步驟但這恰恰是后面集群能正常工作的基礎(chǔ)。CNware 管理節(jié)點會基于時間戳做任務(wù)調(diào)度如果計算節(jié)點和管理節(jié)點的時間差超過 30 秒Agent 上報的數(shù)據(jù)會出現(xiàn)沖突虛擬機的 HA 策略也會被誤觸發(fā)。參數(shù)上值得留意的細(xì)節(jié)是chronyc tracking輸出里的System time字段如果顯示超過 1000 微秒建議檢查 NTP 服務(wù)器配置而不是繼續(xù)往后走。3.3 第三步初始化管理節(jié)點加載平臺服務(wù)并創(chuàng)建管理員賬號管理節(jié)點是 CNware 的入口安裝包里通常是一個可執(zhí)行的安裝腳本常見做法是把整個安裝包傳上服務(wù)器后解壓進(jìn)入目錄直接運行。為了保證可復(fù)現(xiàn)性我一般會在執(zhí)行安裝前手動檢查幾個前置條件防火墻放行 8443 端口、SELinux 設(shè)為 permissive 或 disabled、磁盤空間滿足要求。以下命令是在管理節(jié)點上執(zhí)行的標(biāo)準(zhǔn)流程# 關(guān)閉 SELinux并臨時設(shè)置當(dāng)前會話 setenforce 0 sed -i s/SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config # 開放管理端口 8443 和數(shù)據(jù)庫端口 3306 firewall-cmd --permanent --add-port8443/tcp firewall-cmd --permanent --add-port3306/tcp firewall-cmd --reload # 執(zhí)行平臺初始化腳本參數(shù)為管理網(wǎng)段的 IP 和網(wǎng)段掩碼 ./install.sh --mgmt-ip 192.168.10.10 --mgmt-bits 24腳本執(zhí)行完成后終端會輸出一個管理頁面地址和臨時管理員密碼。首次登錄時需要修改密碼并創(chuàng)建新的管理員賬號。這里的核心參數(shù)是--mgmt-ip必須使用管理網(wǎng)卡的地址不能圖省事寫成 127.0.0.1否則計算節(jié)點從業(yè)務(wù)網(wǎng)絡(luò)訪問不到管理面后面注冊節(jié)點時就會出現(xiàn) Agent 在線異常。3.4 第四步把計算節(jié)點接入管理面板注冊與驗證 Agent 心跳計算節(jié)點接入管理面板的方式分為兩種一種是在管理頁面的 Web 界面里點擊「添加計算節(jié)點」填入節(jié)點 IP 和用戶名密碼平臺會自動下發(fā) Agent 安裝包另一種是從安裝包中提取 Agent 安裝文件在計算節(jié)點上手工安裝。手工安裝更直觀也能把安裝日志留在本地排查命令如下# 計算節(jié)點上安裝 agent 包參數(shù)指向管理節(jié)點的 IP 和端口 tar -xzf cnware-agent.tar.gz cd cnware-agent ./install.sh --server 192.168.10.10 --port 9000 # 啟動 agent 服務(wù)并檢查運行狀態(tài) systemctl start cnware-agent systemctl status cnware-agent # 查看 agent 日志確認(rèn)與管理節(jié)點的長連接已建立 tail -n 50 /var/log/cnware/agent.log邏輯說明Agent 安裝的核心參數(shù)是--server它必須指向管理節(jié)點的管理網(wǎng) IP而不是計算節(jié)點自己的 IP。很多實施人員在手工安裝時把這里的地址寫錯導(dǎo)致 Agent 一直處于重連狀態(tài)。驗證成功的標(biāo)志是管理面板上節(jié)點狀態(tài)從「未注冊」變成「在線」同時 agent.log 里出現(xiàn)心跳上報成功的記錄。這一步完成后平臺的最小編排環(huán)路已經(jīng)打通管理節(jié)點下發(fā)任務(wù)計算節(jié)點執(zhí)行虛擬機的創(chuàng)建和銷毀。4. 虛擬機的三個必調(diào)參數(shù)存儲、網(wǎng)絡(luò)和模板的坑一次說清楚4.1 存儲池LVM 還是文件目錄一張表解決大多場景CNware 管理面板里創(chuàng)建虛擬機之前必須先有存儲池。很多新手在這一步會糾結(jié)選哪種存儲池類型其實不需要糾結(jié)按場景判斷如果只有一臺計算節(jié)點且數(shù)據(jù)盤是本地盤直接用目錄池或者 LVM 池是最省事的如果有多臺計算節(jié)點且數(shù)據(jù)要漂移就必須讓存儲后端落在共享存儲上。下表是三種常用存儲池的適用判斷存儲池類型適合場景優(yōu)點缺點目錄池Directory單節(jié)點測試、鏡像庫存放創(chuàng)建簡單無需分區(qū)不支持磁盤快照的高級特性LVM 池單節(jié)點生產(chǎn)環(huán)境支持快照磁盤性能好擴容需要操作卷組步驟繁瑣iSCSI 池多節(jié)點共享存儲支持虛擬機熱遷移依賴外部存儲陣列的穩(wěn)定性這里特別提醒一點LVM 池在創(chuàng)建之后虛擬機的系統(tǒng)盤會生成一個邏輯卷這個邏輯卷的默認(rèn)分配策略是立即全量分配還是精簡分配會直接影響后續(xù)虛擬機克隆的體驗。如果面板里存在「精簡配置」選項建議開啟否則創(chuàng)建 10 臺虛擬機就會占滿整個卷組。開啟精簡配置后虛擬機實際使用了多少空間才是占用的空間而初始創(chuàng)建只需要很小的元數(shù)據(jù)開銷。4.2 業(yè)務(wù)網(wǎng)絡(luò)vSwitch、VLAN 和多網(wǎng)卡綁定的取舍CNware 的網(wǎng)絡(luò)部分采用的是「物理網(wǎng)卡 → 橋接設(shè)備 → 虛擬交換機」的層級。在管理面板里添加網(wǎng)絡(luò)時會要求選擇橋接模式Linux Bridge 模式適合大多數(shù)常規(guī)業(yè)務(wù)Open vSwitch 模式適合需要流量監(jiān)控、QoS 和隧道封裝的場景。如果虛擬機需要和物理機在同一網(wǎng)段通信并對外提供服務(wù)選擇 Linux Bridge 并指定一個物理網(wǎng)卡作為 uplink 就行。計算節(jié)點的業(yè)務(wù)網(wǎng)卡可能存在多塊這時候建議先做綁定再橋接避免虛擬機流量只走單網(wǎng)卡。常見做法是讓兩塊物理網(wǎng)卡做 mode 4LACP綁定然后把綁定口加入橋接設(shè)備。注意不要在綁定口上配置 IP否則 Linux Bridge 會把 IP 流量和橋接流量混在一起。VLAN 方面如果業(yè)務(wù)網(wǎng)是一個 trunk 端口需要在面板上為不同租戶或不同業(yè)務(wù)創(chuàng)建獨立的 VLAN 網(wǎng)絡(luò)虛機網(wǎng)卡關(guān)聯(lián)到對應(yīng)網(wǎng)絡(luò)即可。4.3 鏡像模板從 qcow2 到 Windows 驅(qū)動哪一步最容易被卡住模板可以說是虛擬化平臺里「后悔藥」最多的地方但也是最容易出問題的地方。CNware 的鏡像模板通常使用 qcow2 格式創(chuàng)建模板的方式有兩種一種是從一個安裝好的虛擬機直接「轉(zhuǎn)換為模板」另一種是上傳現(xiàn)成的 qcow2 鏡像文件。第一種方式最穩(wěn)妥因為虛擬機的系統(tǒng)配置、網(wǎng)卡驅(qū)動、主機名已經(jīng)正確處理模板分發(fā)出去不會有「水土不服」的問題。Windows 虛擬機模板是重災(zāi)區(qū)。很多人在創(chuàng)建 Windows 模板時沒有安裝 VirtIO 驅(qū)動導(dǎo)致模板分發(fā)后虛擬機網(wǎng)卡無法識別、磁盤識別異常。解決方法是創(chuàng)建 Windows 虛擬機時必須掛載 VirtIO 驅(qū)動 ISO并在系統(tǒng)安裝過程中加載對應(yīng)驅(qū)動。經(jīng)過多次實踐我發(fā)現(xiàn)最省時間的做法是先把 Windows 系統(tǒng)裝好裝完 VirtIO 驅(qū)動再更新系統(tǒng)補丁最后做 sysprep 清理系統(tǒng)標(biāo)識然后才轉(zhuǎn)成模板。省略 sysprep 的模板批量克隆后會出現(xiàn)計算機名重復(fù)、SID 沖突這些網(wǎng)絡(luò)連接問題排錯成本比重新做模板高得多。5. 避坑CNware 落地最容易翻車的 6 個現(xiàn)場現(xiàn)象、原因、解決5.1 虛擬機起不來終端報「KVM 不可用」現(xiàn)象在管理面板上創(chuàng)建虛擬機后任務(wù)秒失敗查看計算節(jié)點日志提示kvm: disabled by bios或operation not supported。原因BIOS 中虛擬化開關(guān)處于關(guān)閉狀態(tài)或者內(nèi)核 kvm 模塊未加載。解決重啟進(jìn)入 BIOS 打開 Intel VT-x/AMD-V確認(rèn)/proc/cpuinfo里有 vmx/svm 標(biāo)志再執(zhí)行modprobe kvm_intel。這一條和 Windows 上跑 VMware 提示「此平臺不支持虛擬化」是同一個底層問題盡早排查能省下大量時間。5.2 Agent 顯示離線但計算節(jié)點的網(wǎng)絡(luò)是通的現(xiàn)象計算節(jié)點注冊成功后第二天在管理面板里顯示離線但該節(jié)點可以正常 ping 通其他設(shè)備。原因Agent 服務(wù)進(jìn)程崩潰或心跳端口被防火墻攔截最常見的是管理平臺升級后Agent 版本不匹配導(dǎo)致心跳數(shù)據(jù)格式異常。解決先看systemctl status cnware-agent是否還在運行如果服務(wù)在但離線查看/var/log/cnware/agent.log最后一段日志確認(rèn)連接是否被服務(wù)端重置。一般重啟 Agent 能解決如果反復(fù)離線重啟順序是管理節(jié)點的平臺服務(wù)先重啟等管理頁面可訪問后再啟動計算節(jié)點 Agent 服務(wù)。5.3 虛擬機硬件配置特別高性能卻跑不滿物理機現(xiàn)象一臺 32 核 64 GB 的物理機只跑了 2 臺虛擬機但 CPU 使用率就是上不去。原因CPU 的調(diào)度策略默認(rèn)使用kvm線程的默認(rèn)權(quán)重或者在創(chuàng)建虛擬機時沒有開啟 CPU 綁定和 NUMA 感知另一個常見原因是物理機的 CPU 超頻被 BIOS 關(guān)掉性能模式被設(shè)成了省電模式。解決在虛擬機配置里綁定虛擬 CPU 到物理 CPU 核心開啟 NUMA 自動均衡同時在 BIOS 里把 CPU 電源管理設(shè)置為 Performance 模式。5.4 存儲池空間充足虛擬機創(chuàng)建卻提示「卷創(chuàng)建失敗」現(xiàn)象LVM 存儲池顯示剩余空間有 200 GB但創(chuàng)建一臺 50 GB 磁盤的虛擬機時報錯。原因LVM 的總空間是卷組空間但邏輯卷默認(rèn)使用lvcreate的連續(xù)分配策略物理卷上剩余的連續(xù)空閑區(qū)域不足尤其是在測試環(huán)境里反復(fù)創(chuàng)建刪除虛擬機之后碎片化嚴(yán)重。解決修改 LVM 分配策略為--alloc cling或--alloc anywhere如果面板不支持這個參數(shù)可以在存儲池所在宿主機上手動用lvcreate -n vm-disk -L 50G vg-data --alloc anywhere創(chuàng)建邏輯卷再在面板上掛載為既有磁盤。這個坑在頻繁測試和刪卷的實驗室里非常常見。5.5 虛擬機遷移后網(wǎng)絡(luò)變慢丟包明顯現(xiàn)象通過在線遷移把虛擬機從節(jié)點 A 挪到節(jié)點 B遷移后虛擬機內(nèi) ping 網(wǎng)關(guān)延遲變高甚至有 1% 的丟包。原因遷移前后的宿主機不在同一個二層網(wǎng)絡(luò)內(nèi)或者虛擬機網(wǎng)卡的橋接設(shè)備發(fā)生了漂移。遷移時 CNware 只遷移了內(nèi)存和磁盤狀態(tài)但網(wǎng)絡(luò)前端類型如果不同就會觸發(fā)降級。解決遷移前確認(rèn)兩臺計算節(jié)點的業(yè)務(wù)網(wǎng)絡(luò)都用同一個網(wǎng)橋且虛擬機網(wǎng)卡的驅(qū)動類型一致如果是 Linux Bridge遷移后手動在面板上「斷電重啟網(wǎng)絡(luò)」重新關(guān)聯(lián)到目標(biāo)節(jié)點的橋接設(shè)備就能恢復(fù)。5.6 管理節(jié)點重啟后虛擬機全部關(guān)機沒有自動拉起現(xiàn)象管理節(jié)點做了一次計劃內(nèi)重啟恢復(fù)后發(fā)現(xiàn)所有計算節(jié)點上的虛擬機都是關(guān)機狀態(tài)。原因CNware 的 HA 策略默認(rèn)只在「計算節(jié)點意外掉線」時生效管理節(jié)點主動重啟不會觸發(fā)遷移同時虛擬機的「開機自啟動」策略默認(rèn)是關(guān)閉狀態(tài)。解決在每臺虛擬機的電源管理設(shè)置里勾選「宿主機啟動后自動開機」如果是集群環(huán)境配置管理節(jié)點的高可用讓管理面本身具備故障轉(zhuǎn)移能力而不是依賴單臺管理節(jié)點。6. 用命令行驗證集群健康把「能開能關(guān)」變成「可度量」管理面板能做的事情命令行幾乎都能做而且命令行更適合巡檢腳本。這里分享一個我每次維護完 CNware 都會跑一遍的檢查鏈路先看物理節(jié)點狀態(tài)再看虛擬機的實際運行狀態(tài)最后檢查存儲和網(wǎng)絡(luò)的關(guān)鍵指標(biāo)。# 查看所有計算節(jié)點的 CPU 和內(nèi)存占用 virsh nodeinfo virsh dominfo vm-name # 查看單臺虛機的運行配置 # 查看存儲池剩余空間和虛擬磁盤狀態(tài) virsh pool-list --all virsh vol-list --pool default # 檢查橋接設(shè)備是否正常工作 ip link show br0 bridge link show br0單個命令的說明可能不夠我把輸出結(jié)果怎么看列出來virsh nodeinfo最后的CPU model和CPU socket如果出現(xiàn)與物理機規(guī)格不符的情況說明 BIOS 識別有問題bridge link show里如果某個虛機網(wǎng)卡顯示state DOWN而對應(yīng)虛機是正常運行狀態(tài)說明網(wǎng)卡前端和后端有狀態(tài)漂移需要檢查 VirtIO 驅(qū)動。這些檢查不出問題平臺的健康度就有了一個大致的證明。我自己的維護習(xí)慣是每次升級管理平臺或修改存儲配置后不直接去 Web 界面創(chuàng)建一堆虛擬機來測試而是先用命令行跑一遍virsh list --all確認(rèn)所有虛機狀態(tài)沒有變成paused再手動觸發(fā)一次在線遷移把一臺測試虛機從此節(jié)點遷到彼節(jié)點遷完立刻看virsh domblklist和virsh domiflist確認(rèn)磁盤和網(wǎng)卡路徑都正確。這套流程看起來慢實際上比在面板里反復(fù)點鼠標(biāo)快得多也能在第一時間暴露平臺級的配置偏差。CNware 虛擬化平臺這套方案最重要的一塊拼圖不是功能有多少而是遇到問題的時候能不能快速定位到底是哪一層出了狀況。把前五章講到的架構(gòu)、參數(shù)和坑都過一遍之后再用命令行巡檢去驗證每一步的成果整個平臺的可維護性會有明顯提升。希望這份筆記里的經(jīng)驗和教訓(xùn)能幫你在自己的環(huán)境里少走一些彎路。本文還有配套的精品資源點擊獲取