国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

FusionCompute 6.5實(shí)驗(yàn)手冊:CNA/VRM部署與遷移運(yùn)維

FusionCompute 6.5實(shí)驗(yàn)手冊:CNA/VRM部署與遷移運(yùn)維 簡介FusionCompute實(shí)驗(yàn)手冊1是華為HCIP-Cloud Computing V4.0認(rèn)證培訓(xùn)的官方實(shí)驗(yàn)指導(dǎo)材料面向備考該認(rèn)證的學(xué)員以及希望系統(tǒng)掌握華為服務(wù)器虛擬化平臺FusionCompute運(yùn)營與運(yùn)維技能的工程師。手冊圍繞7個實(shí)驗(yàn)、四個部分展開先在KVM虛擬化嵌套環(huán)境中完成從CNA到VRM的環(huán)境搭建理解FusionCompute基礎(chǔ)架構(gòu)再練習(xí)計算、存儲、網(wǎng)絡(luò)三類資源池管理體會計算虛擬化、存儲虛擬化與網(wǎng)絡(luò)虛擬化的核心能力隨后進(jìn)入虛擬機(jī)發(fā)放與管理涵蓋虛擬機(jī)創(chuàng)建、Tools安裝、模板封裝與導(dǎo)入導(dǎo)出、快照、規(guī)格調(diào)整、HA、熱遷移、安全組與規(guī)則組等業(yè)務(wù)運(yùn)維要點(diǎn)最后是用戶管理、管理數(shù)據(jù)備份與時間管理等常見運(yùn)維實(shí)驗(yàn)。資源包僅含1個docx文檔約10.53MB結(jié)構(gòu)完整、實(shí)驗(yàn)步驟與拓?fù)渑渲谜f明齊備適合對照搭建實(shí)驗(yàn)環(huán)境并逐項(xiàng)動手驗(yàn)證也可作為日常運(yùn)維與故障排查的參考。目前已有227人學(xué)習(xí)。1. 兩臺服務(wù)器、七個實(shí)驗(yàn)這套 FusionCompute 6.5 手冊適合誰機(jī)架上擺著兩臺剛上架的服務(wù)器CNA 已經(jīng)裝完瀏覽器卻怎么也打不開 VRM 的 8443 登錄頁——這是很多人第一次接觸 FusionCompute 實(shí)驗(yàn)手冊時的真實(shí)開場。這套 HCIP-Cloud Computing V4.0 配套的 FusionCompute 實(shí)驗(yàn)指導(dǎo)手冊圍繞 6.5.0 版本把內(nèi)容拆成七個實(shí)驗(yàn)、四大部分環(huán)境搭建、虛擬資源管理、虛擬機(jī)發(fā)放與管理、常見運(yùn)維。它的價值不在于講清虛擬化概念而在于給你一條從 ISO 引導(dǎo)到資源池可用的完整路徑每一步都有界面位置和參數(shù)可對。適合三類人準(zhǔn)備認(rèn)證考試、需要把實(shí)驗(yàn)環(huán)境跑通的學(xué)員手上有一批服務(wù)器、想先在小環(huán)境驗(yàn)證 FusionCompute 可行性的運(yùn)維以及從其他虛擬化平臺轉(zhuǎn)過來、需要快速摸清 CNA 與 VRM 邊界的老手。下面按我實(shí)際復(fù)現(xiàn)的順序拆。2. 從 ISO 到 8443 可登錄CNA 與 VRM 的嵌套安裝鏈路手冊開篇給了一個很具體的場景某企業(yè)想減少硬件投入先拿兩臺服務(wù)器搭一套 FusionCompute驗(yàn)證業(yè)務(wù)跑在虛擬化上的可行性。這個設(shè)定決定了實(shí)驗(yàn)環(huán)境不是生產(chǎn)部署而是“能裝、能管、能遷移”的最小閉環(huán)。整條鏈路是先在物理機(jī)上跑 KVM再在 KVM 里開兩臺虛擬機(jī)當(dāng) CNA最后用安裝工具把 VRM 部署到其中一臺 CNA 上。聽起來繞但這樣做的收益很直接環(huán)境可以快照回滾裝壞了重來只要幾分鐘不用重裝物理機(jī)。我一般把這條鏈路拆成三個檢查點(diǎn)CNA 的 8443 能不能打開、VRM 安裝向?qū)懿荒苓B上 CNA、VRM 登錄后能不能看到主機(jī)。三個點(diǎn)任何一個不通后面添加集群、掛存儲都是白費(fèi)。下面按這三個點(diǎn)倒推每一步的配置。2.1 為什么用 KVM 嵌套資源賬與網(wǎng)絡(luò)賬先算清嵌套虛擬化的第一個坑不在 FusionCompute而在宿主機(jī)的 CPU 虛擬化暴露方式。如果 KVM 虛擬機(jī)的 CPU 模式設(shè)成qemu64這類默認(rèn)模型CNA 裝完能啟動但再往下創(chuàng)建虛擬機(jī)時會發(fā)現(xiàn)硬件虛擬化指令不可用虛擬機(jī)起不來。常見做法是把 CNA 虛擬機(jī)的 CPU 模式設(shè)成host-passthrough讓上層看到宿主機(jī)的完整指令集退一步也要用同一代 CPU 的命名模型保證兩臺 CNA 的 CPU 特性一致否則后面做熱遷移會直接報 CPU 不兼容。資源賬要提前算。實(shí)驗(yàn)環(huán)境里每臺 CNA 我一般給 8 vCPU、16GB 內(nèi)存、120GB 系統(tǒng)盤VRM 給 4 vCPU、8GB 內(nèi)存、80GB 磁盤。低于這個數(shù)安裝過程能走完但再開兩臺業(yè)務(wù)虛擬機(jī)就很緊HA 和遷移實(shí)驗(yàn)會因?yàn)闆]有足夠空閑內(nèi)存而失敗。磁盤不要用精簡置備的宿主盤疊太多層I/O 延遲會放大安裝過程會莫名卡在解壓階段。網(wǎng)絡(luò)賬更容易翻車。手冊給的地址規(guī)劃是管理網(wǎng)192.168.201.0/24、存儲網(wǎng)192.168.202.0/24CNA01 管理192.168.201.101、存儲192.168.202.101CNA02 對應(yīng).102VRM 管理地址192.168.201.100。在 KVM 里給每臺 CNA 配兩張?zhí)摂M網(wǎng)卡分別橋接到兩個不同的虛擬交換機(jī)不要圖省事用 NAT 模式NAT 下 CNA 能出去但管理 PC 主動連 CNA 的 8443 和安裝向?qū)У幕爻塘髁繒粨踝”憩F(xiàn)就是“向?qū)б恢碧崾具B接超時”。角色管理 IP存儲 IP主要用途CNA01192.168.201.101192.168.202.101承載虛擬機(jī)、提供計算資源CNA02192.168.201.102192.168.202.102第二臺計算節(jié)點(diǎn)用于 HA 與遷移VRM192.168.201.100無管理平面Web 入口 8443管理 PC192.168.201.10無運(yùn)行安裝向?qū)?、瀏覽器訪問提示管理 PC 的地址不要和 VRM 計劃地址沖突安裝向?qū)诓渴鹎白鲆淮蔚刂诽綔y沖突時提示不直觀容易被當(dāng)成軟件包損壞。2.2 裝 CNA磁盤選擇、管理 IP 與 root 密碼的三個卡點(diǎn)CNA 的安裝介質(zhì)是FusionCompute 6.5.0_Installer.zip里的主機(jī) ISO。把 ISO 掛到 KVM 虛擬機(jī)的光驅(qū)啟動后選擇安裝過程本身不復(fù)雜卡點(diǎn)集中在三處。第一處是磁盤選擇。安裝器會列出所有可用磁盤選中即格式化沒有二次確認(rèn)的機(jī)會。嵌套環(huán)境里經(jīng)常給 CNA 掛了兩塊盤一塊系統(tǒng)盤一塊準(zhǔn)備做本地存儲的實(shí)驗(yàn)盤選錯就把實(shí)驗(yàn)數(shù)據(jù)清了。我一般先在 KVM 層面只掛系統(tǒng)盤裝完再加熱插盤減少誤選。第二處是管理網(wǎng)絡(luò)配置。主機(jī)名按CNA01、CNA02命名管理 IP 填手冊里的地址掩碼255.255.255.0網(wǎng)關(guān)填管理網(wǎng)段的網(wǎng)關(guān)。DNS 在純實(shí)驗(yàn)環(huán)境可以留空但一旦后面要配時間同步或者接認(rèn)證源沒有 DNS 會多繞一圈。存儲平面的 IP 不在安裝界面配等進(jìn)了 VRM 再做存儲接口這一點(diǎn)手冊的實(shí)驗(yàn)流程里是分開的別在安裝階段找存儲 IP 的輸入框。第三處是 root 密碼復(fù)雜度。FusionCompute 的密碼策略要求長度、大小寫、數(shù)字、特殊字符組合且不能包含用戶名。實(shí)驗(yàn)環(huán)境里很多人圖省事設(shè)Admin123安裝器接受但后面添加主機(jī)到 VRM 時可能觸發(fā)密碼過期策略表現(xiàn)是添加成功、過一會主機(jī)狀態(tài)變成“離線”。我一般在實(shí)驗(yàn)環(huán)境也設(shè)一個符合策略且不過期的密碼省掉后面排查時間。裝完重啟拔掉 ISO做三步驗(yàn)證管理 PC 上ping 192.168.201.101通ssh root192.168.201.101能登錄瀏覽器打開https://192.168.201.101:8443能看到 CNA 本地管理頁。第三步很多人會跳過但它能提前暴露證書和端口問題比等到 VRM 安裝向?qū)箦e再回頭查要省事。注意CNA 的 Web 管理頁和 VRM 的 Web 管理頁不是一個東西CNA 的 8443 只用于單機(jī)維護(hù)日常資源管理走 VRM 的 8443。兩臺設(shè)備同端口不同地址瀏覽器標(biāo)簽別開混。2.3 部署 VRMInstaller 向?qū)Ю锉仨殞R的四個參數(shù)VRM 的軟件包是FusionCompute 6.5.0_VRM.zip部署靠安裝工具向?qū)瓿伞O驅(qū)茉诠芾?PC 上所以管理 PC 必須能同時訪問 CNA 的管理 IP 和計劃給 VRM 的地址。整個向?qū)Ю镉兴膫€參數(shù)值得停下來核對。第一個是目標(biāo) CNA 的管理 IP。向?qū)冗B一臺 CNA把 VRM 虛擬機(jī)部署到這臺主機(jī)上。實(shí)驗(yàn)環(huán)境填192.168.201.101。如果這臺 CNA 之前被別的 VRM 管過向?qū)Э赡芴崾局鳈C(jī)狀態(tài)異常處理辦法是在 CNA 側(cè)清理殘留注冊信息或者換一臺干凈的 CNA 先部署。第二個是 VRM 軟件包路徑。解壓后的FusionCompute 6.5.0_VRM.zip不要改文件名向?qū)О垂潭野拿罂赡芴崾尽败浖袷讲徽_”。路徑里也不要有中文和空格Windows 管理 PC 上放在D:\fc\這類短路徑最穩(wěn)。第三個是 VRM 的管理 IP、掩碼和網(wǎng)關(guān)。填192.168.201.100、255.255.255.0、管理網(wǎng)網(wǎng)關(guān)。這個地址一旦確定后面改起來要進(jìn) VRM 后臺實(shí)驗(yàn)階段盡量一次填對。第四個是 VRM 虛擬機(jī)的磁盤位置。如果此時還沒有掛 IP-SAN向?qū)?VRM 磁盤放在 CNA 的本地存儲里等后面加了共享存儲也不建議把 VRM 遷過去做實(shí)驗(yàn)VRM 自身依賴存儲的鏈路越簡單越好。向?qū)芡旰鬄g覽器打開https://192.168.201.100:8443用默認(rèn)管理員賬號登錄首次登錄會強(qiáng)制改密碼。登錄后先看兩處系統(tǒng)管理里的服務(wù)狀態(tài)是否全部正常資源池里能否看到被部署的那臺 CNA。這兩處正常環(huán)境搭建實(shí)驗(yàn)就算閉環(huán)可以進(jìn)下一章的資源池配置。3. 集群、IP-SAN 與精簡磁盤把計算和存儲資源池化環(huán)境搭好后VRM 里只有一臺孤零零的主機(jī)既沒有集群也沒有共享存儲虛擬機(jī)只能放本地盤HA 和遷移都做不了。手冊第二部分要解決的就是把兩臺 CNA 組成一個集群、把 IP-SAN 掛進(jìn)來、再創(chuàng)建一塊可被集群內(nèi)主機(jī)同時訪問的磁盤。這一章的順序不能反先集群后存儲先存儲接口后掃描 LUN先數(shù)據(jù)存儲后創(chuàng)建磁盤。順序反了界面上的按鈕會是灰的或者掃描結(jié)果為空。我復(fù)現(xiàn)時習(xí)慣把這一章當(dāng)成一次“資源池驗(yàn)收”集群里兩臺主機(jī)狀態(tài)正常、數(shù)據(jù)存儲掛載成功且兩臺主機(jī)都能看到、創(chuàng)建一塊精簡磁盤并確認(rèn)使用率不是 100%。三個條件滿足后面發(fā)放虛擬機(jī)才有意義。3.1 建集群再加主機(jī)CPU 兼容性決定熱遷移上限集群在 FusionCompute 里不只是個文件夾它是資源調(diào)度和 HA 的邊界。同一集群內(nèi)的主機(jī)才能做虛擬機(jī)熱遷移跨集群只能關(guān)機(jī)遷移。創(chuàng)建路徑在 VRM 的“資源池”視圖新建集群時會給幾個策略開關(guān)HA、電源管理、計算資源調(diào)度。實(shí)驗(yàn)環(huán)境建議先把 HA 打開電源管理關(guān)掉計算資源調(diào)度保持默認(rèn)等虛擬機(jī)跑起來再按需調(diào)。添加主機(jī)時填 CNA 的管理 IP 和 root 密碼兩臺依次加。加第二臺時如果提示“主機(jī)已被其他集群管理”說明這臺 CNA 之前注冊過先在 VRM 的主機(jī)列表里找殘留記錄刪掉或者在 CNA 后臺重置注冊狀態(tài)再重新添加。移動主機(jī)用拖拽或“移動到”都行刪除集群前必須先把集群內(nèi)主機(jī)移走否則刪除按鈕不可用這是界面上的硬約束不是 bug。CPU 兼容性是這一節(jié)最容易被忽略的點(diǎn)。嵌套環(huán)境里兩臺 CNA 虛擬機(jī)的 CPU 模型如果一臺是host-passthrough、另一臺是命名模型集群能建起來虛擬機(jī)也能各自跑但一做熱遷移就失敗日志里提示 CPU 特性不匹配。常見做法是建集群前先統(tǒng)一兩臺 CNA 的 CPU 模型或者把集群的 CPU 基線設(shè)成較低的那一代。這個坑在實(shí)驗(yàn)里不致命在生產(chǎn)里就是遷移窗口打不開血淚經(jīng)驗(yàn)往往來自第一次做主機(jī)維護(hù)。集群策略作用實(shí)驗(yàn)環(huán)境建議HA主機(jī)故障時在另一臺主機(jī)重啟虛擬機(jī)打開配合兩臺 CNA 驗(yàn)證計算資源調(diào)度按負(fù)載在主機(jī)間遷移虛擬機(jī)默認(rèn)或關(guān)閉實(shí)驗(yàn)負(fù)載低開了看不出效果電源管理低負(fù)載時下電空閑主機(jī)關(guān)閉嵌套環(huán)境喚醒容易失敗3.2 IP-SAN 接入三步啟動器號、端口綁定、掃描 LUN存儲接入是這套實(shí)驗(yàn)里操作步驟最多的一段。IP-SAN 走 iSCSICNA 作為 initiator存儲陣列作為 target中間要過三關(guān)啟動器號唯一、存儲接口綁定正確、陣列側(cè)放通 initiator。第一步是修改 iSCSI 啟動器號。CNA 安裝后自帶一個默認(rèn) IQN如果是克隆出來的虛擬機(jī)兩臺 CNA 的 IQN 可能一模一樣陣列側(cè)看到兩個相同 initiator 會拒絕或只認(rèn)一個。在 CNA 后臺改啟動器號文件把名字改成帶主機(jī)名后綴的唯一值再重啟 iSCSI 服務(wù)# 查看當(dāng)前啟動器名克隆出來的 CNA 經(jīng)常兩臺完全一樣 cat /etc/iscsi/initiatorname.iscsi # 改成本機(jī)唯一的名字后綴用主機(jī)名區(qū)分 echo InitiatorNameiqn.2024-01.local:cna01 /etc/iscsi/initiatorname.iscsi # 重啟 iSCSI 服務(wù)讓新名字生效再確認(rèn)一次 systemctl restart iscsid cat /etc/iscsi/initiatorname.iscsi這段命令的關(guān)鍵在最后一行重啟后必須回讀確認(rèn)服務(wù)重啟失敗時文件已經(jīng)改了但進(jìn)程還用舊值表現(xiàn)就是“明明改了 IQN陣列側(cè)還是看不到新名字”。iqn.2024-01.local:cna01只是示例格式實(shí)際用哪一年的命名空間不影響功能關(guān)鍵是兩臺主機(jī)不能重復(fù)。第二步是配置端口綁定和存儲接口。在 VRM 的主機(jī)配置里找到存儲接口把存儲平面的網(wǎng)口和 IP 綁上去CNA01 填192.168.202.101CNA02 填192.168.202.102。綁定完成后在 CNA 后臺ping一下陣列的 iSCSI 業(yè)務(wù)地址通不過就別往下走先查 VLAN 和交換機(jī)端口。第三步是添加存儲資源并掃描。存儲類型選 IP-SAN填陣列的 iSCSI 目標(biāo) IP 和端口3260CHAP 認(rèn)證實(shí)驗(yàn)環(huán)境可以不配。掃描存儲設(shè)備后應(yīng)該能看到陣列上劃好的 LUN選中 LUN 添加數(shù)據(jù)存儲命名DS01塊大小保持默認(rèn)。如果掃描結(jié)果為空按順序查三處CNA 到陣列網(wǎng)絡(luò)通不通、陣列側(cè)有沒有把 CNA 的 IQN 加進(jìn)白名單、啟動器號是不是重復(fù)。提示添加數(shù)據(jù)存儲會對 LUN 做格式化實(shí)驗(yàn)前確認(rèn)這個 LUN 上沒有還要保留的數(shù)據(jù)。手冊里這一步寫得比較輕但它是不可逆操作。3.3 精簡磁盤不是萬能三種磁盤類型的分配與性能賬數(shù)據(jù)存儲掛好后創(chuàng)建磁盤這一步看似只是填容量實(shí)際上磁盤類型決定了后面虛擬機(jī)的空間利用率和 I/O 表現(xiàn)。FusionCompute 6.5 里常見三種類型普通、普通延遲置零、精簡。普通磁盤創(chuàng)建時一次性分配并置零創(chuàng)建慢但寫入性能穩(wěn)定普通延遲置零創(chuàng)建快首次寫入時再置零適合批量發(fā)放但對首次寫入延遲敏感的場景要慎用精簡磁盤按實(shí)際使用量分配支持超配創(chuàng)建最快但使用率上去后性能會下降且需要監(jiān)控存儲剩余空間。實(shí)驗(yàn)環(huán)境我一般用精簡磁盤因?yàn)橐?yàn)證模板部署和快照空間利用率高但如果這個實(shí)驗(yàn)里要跑數(shù)據(jù)庫或者做性能對比就換成普通磁盤避免把存儲層的延遲算到虛擬機(jī)頭上。創(chuàng)建時容量填 40GB、數(shù)量 1創(chuàng)建完在數(shù)據(jù)存儲的使用率里確認(rèn)只占了幾百 MB說明精簡分配生效。磁盤類型分配方式創(chuàng)建速度適用場景普通創(chuàng)建時全量分配并置零慢對 I/O 穩(wěn)定性敏感的業(yè)務(wù)盤普通延遲置零創(chuàng)建時分配首次寫入置零中批量發(fā)放、能接受首寫延遲精簡按實(shí)際寫入增長快實(shí)驗(yàn)、模板盤、空間緊張環(huán)境4. 分布式交換機(jī)、VLAN 池與端口組網(wǎng)絡(luò)資源的落地順序計算和存儲就位后虛擬機(jī)還缺一張能跨主機(jī)漂移的網(wǎng)。FusionCompute 的網(wǎng)絡(luò)模型里分布式交換機(jī)是跨主機(jī)的邏輯交換機(jī)端口組是虛擬機(jī)掛網(wǎng)卡的入口VLAN 池負(fù)責(zé)給端口組分配 VLAN ID上行鏈路把邏輯交換機(jī)接到物理網(wǎng)口。這四樣?xùn)|西的創(chuàng)建順序是固定的先交換機(jī)、再上行鏈路、再 VLAN 池、最后端口組。順序亂了端口組創(chuàng)建時選不到 VLAN或者上行鏈路加不進(jìn)去。這一章我建議配合一次遷移實(shí)驗(yàn)做驗(yàn)證把一臺虛擬機(jī)從 CNA01 遷到 CNA02遷移后 IP 不變、同 VLAN 能通、跨 VLAN 隔離。網(wǎng)絡(luò)配置對不對遷移一次比看十遍界面更直觀。4.1 DVS 與標(biāo)準(zhǔn)交換機(jī)跨主機(jī)遷移時才見真章FusionCompute 里每臺主機(jī)可以配標(biāo)準(zhǔn)交換機(jī)也可以接入分布式交換機(jī)。標(biāo)準(zhǔn)交換機(jī)的配置只在本機(jī)生效虛擬機(jī)遷到另一臺主機(jī)后如果目標(biāo)主機(jī)沒有同名端口組和相同 VLAN遷移會失敗或者遷移后網(wǎng)絡(luò)不通。分布式交換機(jī)的配置是跨主機(jī)共享的端口組建一次集群內(nèi)主機(jī)都能用虛擬機(jī)遷移時網(wǎng)絡(luò)配置跟著走。實(shí)驗(yàn)里兩臺 CNA必須用分布式交換機(jī)否則 HA 和熱遷移實(shí)驗(yàn)做不完整。創(chuàng)建時名稱填DVS01模式選 VLAN 池MTU 先保持1500。MTU 這一項(xiàng)后面配存儲網(wǎng)絡(luò)時會再提到業(yè)務(wù)網(wǎng)絡(luò)不要隨手改 9000端到端有一臺設(shè)備不支持就會丟包表現(xiàn)是“小包通、大包斷”排查起來很費(fèi)時間。4.2 先上行鏈路、再 VLAN 池、后端口組上行鏈路是把 DVS 接到物理網(wǎng)口的那一步。每臺主機(jī)至少選一個物理網(wǎng)口做上行鏈路綁定模式實(shí)驗(yàn)環(huán)境用主備最穩(wěn)負(fù)載分擔(dān)需要交換機(jī)側(cè)配置匹配配不好會出現(xiàn)單邊流量虛擬機(jī)時通時斷。加完上行鏈路在 DVS 上確認(rèn)每臺主機(jī)的鏈路狀態(tài)都是“正?!痹偻伦?。VLAN 池按手冊規(guī)劃建兩個VLAN 201 給業(yè)務(wù)管理VLAN 202 給存儲。VLAN ID 要和物理交換機(jī) trunk 放通的列表一致不一致時虛擬機(jī)掛端口組能成功但流量出不去。端口組建的時候綁定 DVS、選 VLAN ID名稱建議帶 VLAN 號比如pg-business-201后面虛擬機(jī)掛網(wǎng)卡時不容易選錯。步驟界面位置關(guān)鍵參數(shù)常見失敗表現(xiàn)創(chuàng)建 DVS網(wǎng)絡(luò)資源 → 分布式交換機(jī)名稱 DVS01、VLAN 池模式模式選錯后面加不了 VLAN 池添加上行鏈路DVS → 上行鏈路每臺主機(jī)至少一個物理網(wǎng)口鏈路狀態(tài)異常虛擬機(jī)不通添加 VLAN 池DVS → VLAN 池201、202與交換機(jī) trunk 不一致流量出不去添加端口組DVS → 端口組綁定 VLAN ID虛擬機(jī)選不到端口組4.3 管理、存儲、業(yè)務(wù)三網(wǎng)分離的網(wǎng)口與 MTU 規(guī)劃手冊的地址規(guī)劃里管理網(wǎng)和存儲網(wǎng)是分開的這不是為了好看而是為了避免存儲流量把管理平面打滿。管理網(wǎng)跑 VRM 和 CNA 的心跳、Web 訪問存儲網(wǎng)跑 iSCSI 讀寫業(yè)務(wù)網(wǎng)跑虛擬機(jī)對外服務(wù)。三張網(wǎng)在物理上可以是同一臺交換機(jī)上的不同 VLAN但網(wǎng)口和 VLAN 要分開配。存儲網(wǎng)的 MTU 如果要用 9000必須從 CNA 網(wǎng)口、虛擬交換機(jī)、物理交換機(jī)到存儲陣列逐段確認(rèn)任何一段是 1500 都會導(dǎo)致大包分片或丟棄。我一般先在實(shí)驗(yàn)環(huán)境保持 1500 把流程跑通等存儲性能成為瓶頸再動 MTU改動前記錄每段配置改完用大包 ping 驗(yàn)證。管理網(wǎng)不要開 jumbo frameVRM 和安裝向?qū)У牧髁啃¢_了反而增加不確定性。5. 安裝與運(yùn)維的五個高頻翻車點(diǎn)現(xiàn)象、原因與處置這套實(shí)驗(yàn)的步驟寫得細(xì)但真正卡人的往往不是步驟本身而是環(huán)境差異帶來的“界面能點(diǎn)、結(jié)果不對”。下面五條是我復(fù)現(xiàn)時遇到、也在別人環(huán)境里見過的翻車點(diǎn)按現(xiàn)象、原因、解決三段寫方便對照排查。每條都對應(yīng)手冊里的一個實(shí)驗(yàn)環(huán)節(jié)但手冊不會告訴你失敗時長什么樣。5.1 安裝階段向?qū)нB不上 CNA 與添加主機(jī)失敗現(xiàn)象一VRM 安裝向?qū)崾具B接 CNA 失敗或超時。管理 PC 能 ping 通 CNA 的管理 IP但向?qū)Ь褪沁B不上。原因通常是管理 PC 和 CNA 不在同一網(wǎng)段中間過了 NAT 或者多層路由向?qū)Щ爻塘髁勘粨踝∫部赡苁?KVM 虛擬網(wǎng)卡用了 NAT 模式CNA 出方向正常入方向不通。解決辦法是把管理 PC 的網(wǎng)卡改到192.168.201.0/24網(wǎng)段KVM 虛擬網(wǎng)卡改橋接先保證雙向 ping 通再跑向?qū)АG短篆h(huán)境里這一條占安裝失敗的大半?,F(xiàn)象二添加主機(jī)到集群失敗提示主機(jī)已被管理或證書校驗(yàn)失敗。原因有兩個CNA 之前注冊過別的 VRM殘留信息沒清或者 CNA 和 VRM 的時間偏差太大證書校驗(yàn)過不去。解決時先在 VRM 主機(jī)列表刪掉殘留記錄在 CNA 后臺用date看時間偏差超過幾分鐘就先配 NTP 同步再重新添加。實(shí)驗(yàn)環(huán)境里虛擬機(jī)掛起幾天再恢復(fù)時間漂移很常見別一上來就懷疑密碼錯。5.2 存儲與網(wǎng)絡(luò)階段LUN 掃不到、遷移卡住現(xiàn)象三添加 IP-SAN 存儲后掃描不到 LUN。按網(wǎng)絡(luò)、白名單、啟動器號三處查。先ping陣列 iSCSI 地址不通就查 VLAN 和存儲接口綁定通了再看陣列側(cè)有沒有把 CNA 的 IQN 加進(jìn) initiator 白名單最后回 CNA 確認(rèn)兩臺主機(jī)的啟動器號不重復(fù)??寺〕鰜淼?CNA 是重災(zāi)區(qū)兩臺 IQN 一樣時陣列側(cè)只認(rèn)一條另一臺掃描結(jié)果永遠(yuǎn)為空?,F(xiàn)象四虛擬機(jī)熱遷移進(jìn)度卡住或直接失敗。日志里常見兩類提示CPU 特性不兼容、遷移網(wǎng)絡(luò)不通。CPU 問題按 3.1 節(jié)統(tǒng)一集群內(nèi)主機(jī) CPU 模型網(wǎng)絡(luò)問題要確認(rèn)集群是否配了遷移網(wǎng)絡(luò)沒配時遷移流量走管理網(wǎng)管理網(wǎng)一忙就超時。實(shí)驗(yàn)環(huán)境可以先用關(guān)機(jī)遷移驗(yàn)證存儲和網(wǎng)絡(luò)通不通再回頭調(diào)熱遷移。5.3 虛擬機(jī)階段模板克隆后藍(lán)屏與網(wǎng)卡改名現(xiàn)象五Windows 模板部署出來的虛擬機(jī)藍(lán)屏或首次啟動進(jìn)不了系統(tǒng)。原因多是模板封裝前沒裝 Tools、沒做 sysprep克隆出來的 SID 和驅(qū)動狀態(tài)不對。正確順序是源虛擬機(jī)裝 Tools → 確認(rèn)設(shè)備管理器無異常 → 執(zhí)行sysprep /generalize /shutdown→ 關(guān)機(jī)后轉(zhuǎn)模板。少了 sysprep 這一步單臺測試可能正常批量部署時就會出問題這是最典型的“單機(jī)驗(yàn)證通過、批量翻車”。Linux 模板則是另一個畫風(fēng)克隆后網(wǎng)卡名從eth0變成eth1IP 配不上。原因是 udev 規(guī)則按 MAC 綁定了網(wǎng)卡名。封裝前清掉綁定規(guī)則和網(wǎng)卡配置里的硬件地址# 清掉按 MAC 綁定網(wǎng)卡名的規(guī)則避免克隆后變成 eth1 rm -f /etc/udev/rules.d/70-persistent-net.rules # 去掉 ifcfg 里的 HWADDR 和 UUID讓新虛擬機(jī)重新生成 sed -i /^HWADDR/d /etc/sysconfig/network-scripts/ifcfg-eth0 sed -i /^UUID/d /etc/sysconfig/network-scripts/ifcfg-eth0 # 確認(rèn)清理結(jié)果再關(guān)機(jī)轉(zhuǎn)模板 grep -E HWADDR|UUID /etc/sysconfig/network-scripts/ifcfg-eth0這段腳本只做清理不碰 IP、掩碼、網(wǎng)關(guān)所以模板里的網(wǎng)絡(luò)配置會保留克隆后按需改 IP 即可。CentOS 7 如果啟用了可預(yù)測網(wǎng)卡命名光刪規(guī)則文件還不夠常見做法是在內(nèi)核啟動參數(shù)里加net.ifnames0 biosdevname0讓網(wǎng)卡穩(wěn)定叫eth0。改完必須重啟驗(yàn)證一次再轉(zhuǎn)模板別在沒重啟的情況下直接封裝規(guī)則可能沒生效。6. 把手冊變成可驗(yàn)收的交付物一份 10 分鐘檢查清單手冊的實(shí)驗(yàn)步驟走完環(huán)境“看起來能用”和“真的能交付”之間還差一次驗(yàn)收。我習(xí)慣在關(guān)掉瀏覽器之前跑一遍檢查清單十分鐘內(nèi)能發(fā)現(xiàn)大部分隱患。下面這張表按檢查項(xiàng)、檢查方式、通過標(biāo)準(zhǔn)三列寫順序就是交付前的執(zhí)行順序。檢查項(xiàng)檢查方式通過標(biāo)準(zhǔn)管理網(wǎng)連通管理 PC 分別 ping 三個管理 IP全部通丟包為 0VRM Web瀏覽器打開https://192.168.201.100:8443能登錄服務(wù)狀態(tài)無告警CNA 主機(jī)狀態(tài)VRM 資源池 → 主機(jī)兩臺均為“正?!睌?shù)據(jù)存儲VRM 存儲 → 數(shù)據(jù)存儲已掛載使用率低于 80%DVS 上行鏈路網(wǎng)絡(luò) → DVS → 上行鏈路每臺主機(jī)至少一條“正常”虛擬機(jī) Tools虛擬機(jī)詳情 → Tools 狀態(tài)“已運(yùn)行”版本與主機(jī)匹配快照殘留虛擬機(jī) → 快照無超過三天的臨時快照連不通的時候不用逐項(xiàng)猜先跑一段連通性腳本把范圍縮小#!/bin/bash # 交付前在管理網(wǎng) PC 上執(zhí)行先確認(rèn)四條鏈路再打開瀏覽器 for ip in 192.168.201.100 192.168.201.101 192.168.201.102 192.168.202.101; do if ping -c 2 -W 1 $ip /dev/null 21; then echo OK $ip else echo FAIL $ip fi done # 只看 HTTP 狀態(tài)碼-k 跳過自簽證書校驗(yàn)-o /dev/null 丟棄頁面內(nèi)容 curl -k -s -o /dev/null -w VRM HTTP %{http_code}\n https://192.168.201.100:8443-c 2是每個地址發(fā)兩個包-W 1是單包超時一秒實(shí)驗(yàn)網(wǎng)段里夠用-k是因?yàn)?VRM 默認(rèn)自簽證書不加會直接報證書錯誤看不到狀態(tài)碼。腳本輸出里如果管理地址全通、存儲地址不通問題就鎖定在存儲接口或 VLAN不用再翻安裝日志。VRM 返回 200 或 302 都算正常返回 000 說明端口沒起來或者被防火墻擋了。這套手冊最大的價值是把七個實(shí)驗(yàn)串成一條可復(fù)現(xiàn)的鏈路但它不會替你做環(huán)境驗(yàn)收。從那以后我每次交付 FusionCompute 實(shí)驗(yàn)環(huán)境都強(qiáng)制先跑一遍這四個 ping 和 8443 狀態(tài)碼再談集群策略和遷移順序反了就是給自己挖坑。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰97玖玖爱| 欧美天天谢综合网| 少妇被c 黄 免费观看| 中文字幕日韩精品一区二区三区| 99精品久久久久久久婷婷| 欧姜老司机| 91久久18禁| 中日高清无码操逼视频| 无码久久亚洲高清,| 超碰 97国产熟女| 亚洲av国产av综合av卡| 男人亚洲天堂| 日韩大香蕉AV影片| 色臀aV| 操死我干死我| 亚洲精品久| 免费看一级a性色生活片久久无| 夜夜嗨视频| 韩国毛片一区二区三区| 国产熟女精品区| 99成人| 亚洲一区二区三区播放在线| 中文字幕欧美日韩三级| 亚洲狠狠入| 另类视频在线| 日韩人妻无码专区| 青娱乐久久艹| 亞洲久久直播| 国模精品娜娜一二三区| 亚洲免费成人精品电影| 东北丰满熟女国产一区| 国产精品白丝在线播放| 五月丁香激情四射| 久9re热视频这里只有精品| 成人小电影网站tex| 国产亚洲欧洲在线观看| 欧美亚洲丝袜美女电影| 91在线免费观看处女| 国产精品一二三区福利| 九九热在线视频| 一区二区三区精品久久| 国产三级日产三级韩国三级| 黄色AAAAA欧美| 98久久超碰| 国产精品粉嫩福利在线| 操死我了啊啊啊| 欧美78| 人人综合| 天天插夜夜爽| 中文久久96| 色香综合天天影视综合 | 自拍丝袜美腿人妻| 91亚洲黄色网| AV综合中文字幕干| 欧美色天堂网在线视频| 亚洲天堂少妇| 日韩一级二级| 色色色色日本| 熟女人妻一区二区三区免费看 | 清纯唯美亚洲综合| 久久精9| 色色香蕉| 亚洲 暴爽 AV人人爽日日碰| 久久夜精品一区二区三区| av资源在线播放天堂| 亚洲丝袜少妇在线| 怡春苑东京热| 天天大干大香蕉| 欧美91精品国产自产| 北约熟女超碰| 神马久久午夜| 超碰97人人乐| 亚洲少妇诱惑| 九九九九一区| 97免费视频网| 欧美日韩操操操| 中文有码9| 丝袜av一区二区三区| 欧美极度丰满熟妇hd| 啊啊啊啊啊好多水| 蜜臀99久久精品| 欧美不卡在线美女| 日韩乱插| 亚洲性爱电影| 亚洲图片欧美色图| 91精品久久久久久| 偷拍在线观看视频| 伊人97超碰| 亚洲成人性爱在线观看| 精品无码一区二区三区色欲| 91夜色| 尤物视频网 刘玥| 久久9精品视频| 日本肏逼视频在线观看| 精品人妻1区| 神马麻豆福利院| 久久伦理视频久久大香蕉视频| 精品一区二区啪啪啪| 免费国产电影一区二区| yiqicaoav| 九九av| 日韩欧美亚欧在线视频| 五月天亚洲色图| 中国熟女网站| 99色婷婷中文字幕乱色| 国产久久久9999| 九九综合| 欧美一区二区成人一卡| 69视频入口| 欧美日韩国产精品久久色婷婷| 欲香欲色天天天综合和网| 亚洲男人的天堂亚洲| 欧美人妻一区| 久久久久久精品免费看A级| 国产97在线 | 亚洲| 欧美偷| 精品久久艹| 国产亚洲日本| 欧美色吧综合| 国产丁香精品露脸视频 | 人人操人人操人人操人人操人人操人人人11.CM | 无码久久亚洲高清,| 一本色道熟妇| 美国黄片aaa| 翔田千里A片一区二区| 国产有码一区| 久久久久久久久九九久孕交| 久久久久久九九九九-美女久久久久久久-成人AV| 亚洲国产第一页综合视频| 色999;丁香五月| 欧美 日韩第一性色| 国产传媒av天美传媒在线| 亚洲av淫乱| 加勒比伊人影院| 最好看的中文字幕在线2018| 97视频620| 影音先锋日本乱伦| 天天看片麻豆| 丁香婷婷五月| 97国产色图| 亚洲天堂7777| 蜜臀99久| 韩国国产欧美情侣视频在线| 亚洲九区| 九九九九9999| www老逼91| 欧美日韩亚洲天堂| 亚洲男人的天堂在线看| 国产精品无码成人精品| 亚洲熟妇综合久久久久久| 色就色综合| 人妻人人澡人人爽人人| 日韩成人性爱电影在线播放| 这里只有97精品| 五月天大香蕉| 欧美1区二区三区公司| 热热热热日日漂亮永久永久国产日| 黑人白女精品一区| 欧美精品不卡一二三四在线91| 91一起操| 国产精品不卡一区二区三区av| 国产日韩精品一区二区三区| 艹少妇网站| 欧美综合亚洲| 人人妻人人操人人乐| 91久久久亚洲| 久久成人午夜狠狠| 亚洲大色堂| 国产午夜无码片在线观看影视| 欧美色道啊| 99这里有精品视频| 国产二区三区免费视频| 中国熟妇| 久久久专区| 天天日天天插| 日韩成人性爱电影在线播放| 蜜臀久久99精品久久久电影| 天天综合网AV91| 亚洲激情视频| 91老女人| 色欲天天综合网| 91欧美偷拍| 天天做天天爱| 91狠狠综合久久| 一区二区三区视频国产免费| AV一二区| 97鸡把在线视频| 八戒无码国产午夜福利| 国产女人高潮视频| 无套后入双马尾| 亚洲av影院在线观看| 夜夜高潮夜夜爽高清视频一 | 97色碰| 丁香六月东京热| 久久九七| 呦呦一区| 大香蕉免费中文| 在线啊啊啊| 久久九九视频九九视频| 日少妇亚洲版| 欧洲综合色| 伦激情人妻另类人妻| 啊啊啊好想要| 懂色AV一区二区三区| 骚熟女AV网| 特级毛片特黄久久免费看| 国产中文字幕在线| 1769一区| 另类av天堂| 男人夜色天堂ss| 日韩人妻中文视频| 中文字幕精品区先锋资源| 久久亚州精品成人Av无| 超碰日韩人妻| 亚洲小电影免费涩涩成人在线高清| 好爽视频在线观看| 久久线上视频免费看| 久久一本大香蕉 | 日本丝袜美腿人妻九九| 日韩伦理久 久久 清纯| 日本亚洲vr欧美不卡高清专区| 国产吞精a级片激情电影| 久久久久久一日韩字幕无码| 久久精品欧美一区二区三区不卡| 人人看人人插| 精品国产无码中文| 操逼操逼视频操逼| 欧亚在线视频| 亚洲精品美女久久久久久久久| 久久成人国产| 午夜高清成人在线视频| 亚码激情| 欧美精品双插| 啊啊啊在线看| 91熟女在线| 校园春色五月天| 超碰色美女| 国产又粗又长又大的视频| 欧美的精品的视频| 大象AV在线| 欧美在线天堂| 以及麻豆国产入口在线观看免费| 最新av中文字幕高清| 日本东京热加勒比久久| 精品成人av一区二区三区在线| 中文字幕 国产区| 天天日天天爽| 97 国产一区| 久久精品天美| 亚欧洲日韩国产精品| 99999精品| 国内偷拍精品一区二区| 国产精品制服丝袜清纯唯美| 日韩精品 资源| 欧美精品人妻视频| 97AV在线免费观看| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 日韩天堂av电影在线观看| 草久久久| 91女在线观看| 国产精品毛片| 操操操五月天婷婷丁香影院| 中文字幕成人理论在线| 色色色综合网| 影音先锋一区二区在线资源| 丝袜美腿操av| 人妻 中文 日韩| 97天天爽| 欧美日本视频一区| 久久精品国产亚洲AV清纯| 粉嫩av平台| 中文字幕狠狠玩| 国产黄a三级三级三级av在线看| 美日韩在线不卡人妻| 四虎精品亚洲| AV网站高清无码在线观看| 五月综合视频| 中出后入| 一二三四视频中文字幕在线看| 亚欧无码在线| 少妇诱惑视频| 在线不欧美| 乱色视频中文字幕| 狠狠躁日日躁夜夜躁A| 亚洲男人天堂AV| 日本高清一区二区在线| 草草影院在线视频| 风韵犹存大大大大香蕉| 国产一区二区三区影片| 国产精品视频在线播放 | 蜜臀久久99精品久久久久| 911av网站免费观看| 99婷婷| 在线小说视频一区| 国产精品嫩草影院免费| 伊色综合天堂色97| 亚洲欧美碰碰| 激情五月天综合网| 51一区二区三区| 美女写真| 麻豆伊人网| 9色国产精品一区粉嫩| www.夜夜| 九九热三级片| 国产精品老熟女一区二区| 久久97视频| 国产精品无码AV网站| 日韩亚洲美女一区久久| 亚洲,欧美,综合网| 婷婷色五月激情| 国产精品69久久久久孕妇欧美 | 亚洲熟女一区| 自拍鲍鱼一区在线高清观看免费| 日日躁狠狠躁天天躁精品| 图片区小说区| 啊啊啊水好多| 色999人与兽| 78超碰| 野狼激情网| 啊啊啊男女| 看大黄色大片原件| 超碰4A| 婷婷九月色| 淫淫综合网| 青娱乐国产精品| 长久操视频| 欧美极度丰满熟妇hd| 青青五月天| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 99热在线观看| 美女丝袜激情小说| 免费视频在线观看啊啊啊啊啊| 亚洲国产一级黄色视频| 欧洲精品一二三在线| 91精品丝袜在线观看| 天天日天天干少妇日| 91最新综合| 男人的天堂一区三区| 久久午夜色播影院免费高清| 国产精品69久久久久孕妇欧美| 99色| 国产 日韩 另类 视频一区爱| 大香蕉伊人网| 夜夜高潮夜夜爽国产伦精品| 97干色天堂| 人人色人人操在线| 日韩无码三级影院| 久久东京热久久| 亚洲综合骚逼| 中文乱码99| 亚洲AV免费在线| 天天摸夜夜添无码小视频| 久草免费在线视频| 欧美成人精品一区二区男人蜜臀 | 无码 黑人一区二区三区| 97精品视频在线播放| 精品人妻一区二区三区-国产精品| 日本欧美亚洲高清在线看| 试看日韩黄片| 99精品人妻| 日韩人人精品| 97 国产精品| 性性久久| 欧美在线55555| 亚洲色图久久成人| 亚洲另类综合欧美| 色五月婷婷网| 91狠狠色丁香婷婷综合久久| a在线视频免费观看| 伊人影院综合是一个与深夜成人在线| 中文字幕一区二区三区字幕| 天天干天天操天天操夜夜操天天操| 亚州五月| 天天性射网| 天天摸天天舔天天操| 丁香五月天久久精品视频一区二区三区| 欧美激情综合色综合啪啪五月| 色综合久久88色综合久久天天| 亚洲无线码欧洲精品区别| 一区二区三区美女超清| 在线午夜成人无码视频| 国产乱伦亚洲| 日韩欧美一级特黄大片| 亚洲AV噜噜狠狠网址蜜桃动漫| 欧美精品一区二区少妇免费A片| 日产操逼| 天天操天天射天天日| 翔田千里无码中出中文字幕| 大香蕉黄色一级片免费看| AV天堂国产| 国产精品麻豆免费视频| 久久久久亚洲av综合波多野制衣| 成年人黄色小视频网站| 一级久久性爱视频| 青草av在线| 天天日日夜夜| 97人人爱人人做人人乐| 级品肉射| 玖色av| 亚洲天天自拍| A 天堂| 亚洲国产一区二区入口| 成人性爱全视频观看| 一区在线观看中文字幕| 综精品久久久aaaa| 亚洲色资源| 999熟女精品| 啊啊啊啊啊啊在线| a片偷拍视频| 国产成人无码啪| 亚洲午夜av| 混色激情av| 91九色网| 久久极品伊人| 精品国产一区二区三区久久久蜜臀| 操死我干死我| 欧美美女后入| 欧综合网| 国产成人网| 2017天天操天天日| 农村女一级毛卡片| 免费一级黄色录像影片| 自拍偷拍2025在线观看| 亚欧美天堂在线| 免费超碰97久久| 国产999精品久久久| 成人小说另类在线| 激情色色| 欧洲精品久久| 亚洲无992tv| 婷婷中文网| 99爱久久视频频| 蜜臀网址在线| 日韩操逼HD| 日韩亚洲美州欧洲综三区一品在线| 热久日综合| 久草免费在线视频| 717影院理论午夜伦八戒| 亚洲色图欧美色图制服丝袜 | 日韩三级伦理中文字幕| 在线视频日韩欧美国产| 91美女在线看| 亚洲国产精品V?在线播放| 色婷久久| 大香蕉92| 一区操逼日比视频| 亚洲另类色图片| 猛猛干| 懂色AV蜜臀无码精品APP| 福利风月五月天影院| 新婚人妻扶着粗大强行坐下| www四虎| 中文三一区| 日韩人妻播放| 久草精品视频| av网页一区二区三区| 久久嫩草国产成人一区| 欧美亚洲中文| 九九久久首页| 久久青青草在线视频| 久久久国产三级黄色片| 久久精品无码熟妇一区二区三区视频导航 | 试看60秒 爽| 国产成人+综合亚洲+天堂| 亚州熟妇精品| 极品尤物女神在线观看| 小骚逼被操的爽不爽| 一级做a爰片性色毛片久久| 91久久精品蜜臀| 男女国产精品| 超碰调教97| 蜜桃狠狠色伊人亚洲综合网站| 久久久久久人妻| 久久久999国产精品| 久久久久久AⅤ无码免费肉站| 久久一本大香蕉| 欧美精品xxxwww| 亚洲性图91| 久久久久久久久成人av解说| 激情文学小说一区二区| 色综合久久888| 成人无码欧美一级A片狼牙直播| 亚洲另类电影| 97精| 色香在线| 亚洲97精品| 国产不卡片| 久草精品国产99| 97在线青| 91Chinese在线| 人人操人人肉久久精品| 在线 亚洲 网爆 自拍| 天天草夜夜草高潮片| 97久久天天综合色天天综合色电影 | 后入内射蜜桃臀| 色婷婷亚洲婷婷| 亚热日本熟女| 噜噜噜无码AV一级一级久久影院| 久久系列| 亚洲欧美一区二区不卡视频播放 | 蘋果手機免費看成人Av| 五月婷婷丁香| 亚洲一卡二卡在线免费| 欧美精品不卡一二三四在线91| 91久久久久免| 日韩免费看在线黄色片| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久天天摸| 欧美激情性爱视频网站| 精品一区二区三区18| 香蕉一区二区三区在线视频| 午夜高清成人在线视频| 性无码专区2020| 后入综合久久| 天天综合网1| 99精品热| 久久社区一区二区三区| 九七超碰| 日日躁天天躁狠狠躁| 欧美性色综合网| 亚州欧美另类| 天堂伊人久久| 久久久久久久久久久97| 色牛牛AV| 久久riav中文精品| 激情五月天中文字幕色| 人妻少妇无码| 美日韩一二三区| 大香蕉AV丝袜| 综合激情五月丁香| 日韩亚洲中文字幕在线| av一区二区三区不卡| 东京热,男人的天堂| 精品无码一二三四区| 中文啪啪视频| 亚洲丝袜色| 久久亚洲av成人无码国产| 一本久道在线综合视频| 女沟厕偷窥piss小便| 91女日逼| 日韩欧视频| 国产自啪精品视频网站黑丝| 欧美午夜视频| 91总综合网| 91精品人妻一区二区三区蜜桃臀| 中文无码一二三区| 丁香五月天视频| 天天躁日日躁AAAXX| 国产三级日产三级韩国三级 | 久久亚洲天堂| 97视频在线免费播放| 精品美女少妇一区二区三区| 日韩激情视频| 大香蕉宅男伊人| 九九热视频这里只有精品| 亚州成人A√| 日韩在线女优天天干| 亚洲春色激情小说| 亚洲色图 欧美热图 清纯唯美 另类自拍| 噜噜在线| oumeisetu综合| 日韩人妻少妇中文字幕| 97AV爱| 夜夜操夜夜爽夜夜高潮| 大香蕉中文aV在线| 97公开久久| 日本一久是| 嗯~啊~快点 死我视频免费看网站| 日韩78m视频| 热的中文 热的有码 热的国产| 欧美熟女丝袜| 亚洲国产97在线精品一区| 加勒比色99999| 亚洲加勒比| 国产无码精品成人| 懂色天天爱天天日天天射天天澡| 性开放中文AV高清无码免费看| 操逼逼福利视频| 啊视频在线| 中文字幕一区 二区三四五 区日 日骚| 亚洲 图片 综合91| 青女在线| 粉嫩av一区二区三区天美传媒| 好吊色综合| 日本潮催一卡操| 思思热久久成人| 久久久免费一级黄片| 久热超碰| 一区二区不卡| 久久αⅴ| 免费人成在线观看网站品爱网| a级成人毛片免费视频高清| 久久精品性| 国产视频一区二区在线| 91在线/欧洲| 91色香| 欧美性爱1080p| www.99热| 久久熟女久| 777超碰| 欧美日韩国产三级黄色| 日本大片日本一区二区免费高清| 久久最新视频免费观看| 3P丝袜熟女 色综合| 爱妃国产亚洲视频中文字幕| 夜夜草网站| 欧美日韩少妇色情| 婷婷爽人人婷婷爽视频| 91成人久久| 国产夜夜操| 中文字幕视频在线观看| 久操网线| 丰满搜索结果 -第18页- 久久高清无码| 9久9久| 亚洲欧洲综合av在线| 亚洲欧美精品一区天堂久久 | 丝袜美腿射精91| 69国产对白刺激| 91啪啪视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 长长久久88视频| 精品久久艹| 国产在线激情视频| 天天操天天射青青草| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 美女啊啊啊啊啊啊| 999岛国大片| 青青欧美| 波多野结衣先锋影音| 国产欧美一区二区| 加勒比海色香蕉婷婷| 天天色,天天干,天天干| 性欧美精| 13小男生GAY自慰脱裤子| 理论久久婷婷网8| 这里都是精品| 精品成人女人久久| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 日韩欧美午夜一区二区| 97青青操视频| 91精品人| 刺激性视频黄页| 夜夜骑夜夜操| 欧美嗯啊……在线观看视频免费| 中文字幕三四五区| 五月丁香婷婷色| 搡老女人老91妇女熟女| 亚洲黄色a级片| 爱妻综合网| 黄色欧美性爱视频| 欧美性五月| 国内毛片免费h片在线| 久超碰这里只有精品| 天堂种子在线www网资源| 欧美,日韩,中文,另类| 91人人臊| 花花AV导航| 人妻AV 中文字幕的| 亚洲91色| 亚洲天堂第一页| 亚洲?V无码专区在线电影| 青青草视频导航官网| 午夜福利国产欧美日韩夜夜| 欧美在线色图| 99re热有精品视频国产| 欧美瑟综合| 九七超碰人人乐| 91精品久久久久久77777| 日日爽熟女| 六月丁香网| 91精品国产91久久青草| 国产AV人人 夜夜人人澡| 免费精品中文字幕| com 首页 18岁 禁区 女优 免费 精选 同城 | 亚洲欧美日产国产91毛片| av日韩国产一区二区| 激情久久日韩精品中文字幕麻豆| 120分钟婬片免费看| 啊啊啊想要| 久久日本熟妇熟色高清| 人澡逼| 日本亚洲熟女视频| 国产精品操| 久久久中文版| 色色五月天婷婷| 久热精品在线国产| 亚洲区小说| 欧美日韩人人精品| 操逼操操操91| 搡老熟女免费视频| 91熟女视频网| 国产传媒美日韩av| www狠狠| 国产欧美日本亚洲精品| 欧美热图99| 久偷拍| 五月激情综合网| 国产毛片在线| 欧美裸体美女日麻屄| 97超视频在线观看| 色香阁在线| 五月丁香社区婷婷日韩欧美精品影院 | 国产91影院| 久久婷婷一区| 久久精品视频一区三区小泽玛利亚| 婷婷五月丁香五月| 亚洲综合中文字幕有码 | 美腿丝袜高跟网免费视频免费视频| 日本韩欧美在线播放a| 黄人人操人人操| 久久区| 日韩欧美麻豆| 久久人妻无码毛片A片麻豆| 日本三级日本三级三级人妇四虎| 大香蕉乱伦视频网| 国产一级作爱毛片| 国产乱伦性爱区| 欧美裸体美女日麻屄| AV女资源| 精品妇操一区二区三区| 最新av在线| 青青草黑寡妇男人天堂| 懂色AV一区二区三区| 日韩中文字幕二区| 成人福利视频网| 伊人久久综合精品欧美| 国产最火爆久久国产网站网站 | 黄色片A级一区二区三区| 97超碰美女| 日韩欧美三级| 91熟女视频网| 蜜臀va69| 久久久亚洲熟妇资源| 欧洲一区二区三区四区在线观看| 久草综合视频| 亚洲一区二区 麻豆传媒| 蜜臀AV成人精品蜜臀AV久久| 精品国产污一区二区三区| 熟女丝袜视频| 草b在线| 亚洲综合性感在线| 国内操逼视频二区| 密臀视频一区二区三区| 中文幕97| 国产99999久久精品| 美女网站黄页| 清纯唯美第一页| 亚洲天天自拍| 青青青青操国内视频在线| 久久啊啊| 久久精品国产精品一区| 综合伊人激情| 国产精品免费日韩| 亚洲一区二区三区四区视频| 999国产精品999| 婷婷激情四射| 一牛影视久久久一区二区三区| 免费的av网| 久久精9| 夜夜免费视频| 偷偷人人精品女女久久| 久久超碰97| 无码精品久久| 日操粉逼逼| 久久久久久久人妻| 精品无码一区二区| 粉嫩AV一区夜夜嗨| 久久婷婷苹果| 91香蕉国产尤物视频| 夜夜操青青草| 97色在线| 超碰99热中文字幕| 天天天操天天天爱| 91亚洲人| 一区二区三区黄片免费观看| 国内三级自拍小视频在线观看| 欧美|91色综合| 91草草草| 日骚逼视频| 狠狠操官网| 啊视频在线| 日日橹狠狠爱欧美超碰| 亚洲色综合| 欧亚不卡| 男女啊啊啊啊啊| 在线岛国新天堂8| 九月婷婷久久| 亚洲精品国产av天美传媒| 久久久久久人体| 国产强奸91| 亚洲天堂,男人| 久草精品视频| 97综合久久| 人妻aa| 97se综合网| 超碰九九| 精品一区二区成人| 国产视频一区二区在线观看| 另类老少妇| 草莓精品视频在线免费观看| 日本天天操| 久草线上视频免费看| 一级做受视频免费是看美女| 91九色精品熟女内射| 涩涩久久精品| 欧美日韩国产成人高清| 九九热精品在线| 精品无码产区一区二| 五月丁香六月综合缴清无码| 98色网| 97操97干| 中文字幕日韩人妻视频一区二区三区| 久久精品免费| 亚洲风情在线观看| 日本综合久久| 欧美色图自拍| 国产AV毛片| 99啪啪视频| 欧美色图综合| 性爱动态120秒| 99超碰碰| 丁香五月成人| 久久久久久十| 狠狠色综合网| 日韩91网| 久久激情综合| 亚洲美女高潮喷水视频| 亚洲精品乱码久久久久久蜜桃麻豆| 91高跟美女在线播放| 国产辣妈在线视频福利| 国内精品不卡无毒99999| 亚洲色人阁| 91 刺激在线| 欧美天天干| 人妻啊啊人妻啊| 日韩97在线| www.狠狠操| 蜜臀久久99精品久久久久久-DVD| 天天日少妇逼AV| 久夜视频| 宅男午夜在线视频| 精品亚洲一区在线观看| 99re69| 91艹B视频| 啊啊啊啊在线播放| 天天爽人人综合免费7799| 97超级久久| 麻豆蜜桃视频在线观看| 国产女同在线观看视频| 白丝jkav| 亚洲 日韩 丝袜 熟女 变态| 国产欧美日产一区二区三区 - 国产欧美日| 福利伊人玖玖国产| 天天性射网| 91人妻爽爽人人做人人澡| 91天天看| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 美女诱惑久久| 色老汉色| 欧美劲爆视频一区二区| 五月天伊人网| 10000部十八禁看电影| AV免费在线播放一区| 欧美日韩小说| 韩日男人的天堂| 乱论91| 九热久| 久久国模av| 无码伊人久久大杳蕉中文无码| 欧美色院| 涩涩久久精品| 玖玖综合.com| 国产精品亚洲无码| 激情小说激情视频| 丝袜综合| 婷婷五月综合在线| 综合av社区| 99操逼| 久久久性爱视频| 丁香五月天啪啪| 国产AAAAAABBBBB| 久肏视频字幕| 狠插 制服 自拍| 亚洲色啪| 欧美日产国产在线成人第一区| 色婷婷日韩精品一区二区三区| 国产天天骚| 天天精品| 8x福利精品第一福利视频导航| 天天操天天干美女网址导航| AV丝袜少妇| 色色99| 一级特级aaaa毛片免费观看 | 五月天久久久| 免费一级a毛片久久久久久鸭绿欲| 久久久天堂| 福利一级版子| 伊人久久亚洲中文字幕| 91GD.COM| 国产精品久久久久久久毛片1| 91色色网站| 国产美女高潮视频| 精品九九九九九九九九九| 超碰日本97美女人妻人人玩人人爱| 风流老熟女一区二区三区l| 蜜臀一区二区三区在线| 少妇贴图| 欧美性五月| 加勒比伊人综合| 91麻豆天美国产| 精品一区二区三区蜜桃臀赵总 | 鸥美插入视频| 中文字幕一区 二区三四五 区日 日骚| 日韩乱中文| 日本成人A片网站| 国产女大学生AV| 日本天天干天天操一区| 亚洲午夜精品久久久中文影院| 99国内熟女露脸视频| 国产亚洲欧洲在线观看| 蜜臀精品1区2区| 久久手机视直播| 欧美极品女人的天堂| 99精彩视频| 思思99热| 五月丁香综合| 人妻天堂综合网| 大香樵伊人网| AV 少妇 人妻 偷拍| 日本久久精品| 99爱在线视频| 亚洲熟妇自偷自拍另欧美| 色99色| 免费观看欧美日韩操逼视频| 天天干天天拍| 亚洲精品丝袜-不卡成人免费…… 久久久久成人蜜桃精品 | 97爱亚洲综合色| 欧美激情 日韩精品| 青娱乐 成人娱乐在线| 天天干一区二区| 99.色网| 性生活久久久久久久久久| 亚洲综合影片| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 色综合中文字幕不卡| 亚洲人在线成线成人| 天天弄欧美| 精品乱码久久久久| 超碰欧美在线欧美| 九九九九九九九九九九九蜜桃| 爱丝福利| 欧美色图91| 91精品无码久久久久久久| 国产在线综合网| 中日亚韩免费视频| 92人人操人人| 狠狠久久亚洲欧美专区| 欧洲射精91| 色九九九综合| 后入合集| 中英熟女操女| 十八禁av无码免费网站APP| 久久久久久久亚洲Av无码| 国产精品久久久久久久久AV大片| 亚洲成人网站在线观看| 欧美 亚洲 制服 精品| 超碰碰97| 九九久精品| 天天躁日日躁狠狠躁| 啪啪啪精品| 亚欧性爱在线无码| 国产精品国产自产拍高清AV| 久久久久久中文版| 青青草在线视频美女| 亚洲九九九九| 91社区拍啪人妻| 91久久久久免| 伦理弟一页| 国色综合天| 国产精品毛片?v一区二区三区 | 污电影在线观看| 97综合在线| 亚洲 日韩 丝袜 熟女 变态| 少妇一线天久久久久久| 亚洲熟女乱综合一区二区三区| 亚州欧美在线| 十八禁av无码免费网站APP| 丁香六月啪啪| 伦在线97| 日韩无码极品| 无码少妇精品一区二区60岁老人| 国产精品熟女AV中文字幕在线播放| 2017天天透天天通天天擦| 亚洲天天操| 色青青久久影视| 在线97在线| 蜜臀AV午夜精品久| 亚欧性爱ab| 色婷婷婷五月天激情四射| 婷婷激情四射| 强奸乱伦资源| 99re69综合| 97资源久久| ?亚洲伊人伊成久久人综合网| 日韩99神马视频播放片在线播放| 日韩有码回春沙龙第一页| 日韩免费看在线黄色片| 麻豆精品久久久久久久| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 超碰 97国产熟女| 新怡红院| 亚洲人妻中文高清| 日韩精品第3页| 美女裸体无遮挡永久免费观看网站| 欧美日韩第一页| 男人天堂免费| 草草影院日本第一页| 免费看污网站| 东京热天堂网| 91无码中出人妻视频| 超碰欧美97资源| 把腿张开老子CAO烂你| 蜜屁Av| 日韩亚洲精品一区二区| 久久超碰免费的| 人人摸人人入| 精品大久久| 91激情| 老鸭窝亚洲毛片| 久久少妇| 男人的天堂2018东京热啪啪啪| 果冻传媒A片麻豆熟妇人妻| 亚洲第一在线视频| 中出20p| 欧美在线播放aaaa| 婷婷丁香人妻 | 99在线啪| 粉嫩绯色AV一区二区在线| 黄久在线| 91干熟女| 天天干夜夜鈤| 五月丁香久久| 天天综合网91| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 九九热免费在线国产视频伊人五月| 久久久精品| yiren97| 亚洲国产成人福利在线观看| 2026国产精品视频| 国产成人无码高清| 婷婷人妻激情| 成人综合色网| 色哟哟AⅤ| 在线观看视频91| 九九探花视频在线观看| 99999亚洲另类| 骚货人妻偷情自拍在线视频| 国产免费黄色一级大片| 韩国女主播青草在线| 国产色精品午夜大片| 青青草华人在线欧美在线| 97电影院超碰| 日本成人免费一区二区三区| 97精品国产手机| 熟女人妻一区二区三区| 国产精品久久久亚洲第一牛牛_在线观看| 色色99| 97资源视频| 九九九只有精品| 精品夜夜澡人妻无码| 曰韩操B| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 嗯嗯啊在线视频| 国产美女口爆吞精视频| 啊啊啊不要嗯嗯在线观看| 五月婷婷激情综合| 中日韩一区二区三区欧美| 极品色电影院| 色97| 乱伦AVxx| 日韩在线观看三级电影| 欧美亚洲宗合色性图| 99色热| 18禁精品网站在线看| 亚洲熟女诱惑| 日韩 成人 有码| 亚洲精品一区中文字幕乱码| 在线岛| 屁股久久久久久久久久| 精品国产久久乱码| 欧美熟妇视频| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲精品乱码久久久久久蜜桃麻豆| 美女啊啊啊啊pc| 久久欧美性爱视频| 亚洲97成人在线观看| 欧美三四五区| 蜜臀久久在线视频| 日韩97超碰中文字幕| 欧美久久伊人| 成人小说视频在线精品欧美| 欧美日韩久久精品爱爱| 亚洲精品97中文字幕| 伊人97色天使| 五月综合视频| 青青操轻轻| 大香蕉一区二区在线观看.| 99热这里只有精品18| 欧美九一精品久久久熟妇| 亚洲 欧美 小说| 在线观看十八禁| 婷婷九月色| 久久久久国产一区二| 国产黄色动态精品| 日本三级韩国三级美三级91| 岛国小电影| 丁香久久| www.超碰在线| 大香蕉免费乱伦视频| 国产9 9在线 | 亚洲| 中文字幕欧美丝袜07资源| 久久风骚城市人| 国产人妻精品一区二区三区秋霞 | 精品丰满熟妇人妻一区| 嗯嗯啊啊好大好爽| 色综合加勒比四四季| 国产女上位好爽在线| www.夜夜| 玖玖在线视频| 久久久久国产无av| 国产精品久久久久中文字幕| 色操逼网| 丁香九月 婷婷| 综合国产影视三级| 亚洲āv网址在线观看| 极品白嫩美少妇在地板上位骑射淫水泛滥| 欧美三级偷拍| 欧美成97爱| 国产精品夜夜夜| 色97国产69香蕉| 久久九九精品一区二区| 舔舔啊| 97操97干| 久久久久久久久久久久97| 密臀在线视频| 亚洲交性| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 国产久久久久久| 试看60秒 爽| 久久久久久精| 精品欧美不卡在线播放| 欧美夜夜草视频| 国产一区二区三区白丝| 亚洲精品尤物yw在线影院| 久草视频观看视频在线| av网页一区二区三区| 高跟丝袜AV专区国产| www.色婷婷色综合| 夜夜爽77777| 欧美在线伊人色|