“網(wǎng)絡(luò)又?jǐn)嗔四闳ブ貑⒁幌侣酚善??！边@是我做網(wǎng)絡(luò)運(yùn)維這些年聽到最多的一句話。前段時(shí)間我統(tǒng)計(jì)了一下手頭處理過(guò)的工單真正靠重啟解決問(wèn)題的不到兩成多數(shù)故障在重啟后確實(shí)能撐一陣子但過(guò)幾天又復(fù)發(fā)有些甚至因?yàn)榉磸?fù)重啟把故障隱患拖成了設(shè)備損壞。今天想聊的網(wǎng)絡(luò)故障分層排查本質(zhì)上就是改掉這個(gè)條件反射——不是反對(duì)重啟而是反對(duì)在信息不足的情況下把重啟當(dāng)成排查手段。分層排查的思路并不復(fù)雜把網(wǎng)絡(luò)按層次拆開根據(jù)現(xiàn)象先把范圍縮小從底層往上層一層層驗(yàn)證用每個(gè)層次獨(dú)有的證據(jù)來(lái)圈定故障根因。這套方法不管你是管家里的 WiFi還是維護(hù)幾百人的辦公網(wǎng)絡(luò)都適用。盲目重啟治標(biāo)不治本分層排查才是讓問(wèn)題徹底暴露出來(lái)的正道。1. 別急著重啟先搞清楚“分層”到底在分什么1.1 盲目重啟為什么是排查的大忌很多人習(xí)慣一斷網(wǎng)就重啟設(shè)備這個(gè)動(dòng)作在家庭場(chǎng)景里偶爾奏效是因?yàn)榧矣寐酚善鞯?CPU 和內(nèi)存性能有限長(zhǎng)時(shí)間運(yùn)行后 NAT 會(huì)話表被占滿、WiFi 無(wú)線信道被鄰居干擾、DHCP 租約表混亂重啟確實(shí)能把這些臨時(shí)狀態(tài)清掉。但在企業(yè)環(huán)境里情況完全不一樣核心交換機(jī)、防火墻、上網(wǎng)行為管理這些設(shè)備一重啟整網(wǎng)連接全部斷開正在跑的業(yè)務(wù)、數(shù)據(jù)庫(kù)連接、視頻會(huì)議全部中斷影響面比故障本身還大。更麻煩的是重啟會(huì)清空設(shè)備內(nèi)存里的臨時(shí)狀態(tài)包括 ARP 緩存、MAC 地址表、NAT 會(huì)話表、DHCP 租約信息。這些恰恰是定位故障最重要的證據(jù)。比如一個(gè) MAC 地址在交換機(jī)上不停漂移可能顯示有環(huán)路NAT 會(huì)話表滿可能是內(nèi)網(wǎng)有設(shè)備在瘋狂發(fā)起連接。你手一快重啟了這些線索全沒了。層疊的故障癥狀就像犯罪現(xiàn)場(chǎng)重啟等于把所有痕跡都擦掉了。即便是在家里我也建議先做一件事再?zèng)Q定要不要重啟觀察設(shè)備指示燈和故障特征。是電源燈不亮還是 Internet 燈紅燈是所有設(shè)備都斷還是只有手機(jī)斷是有線斷還是無(wú)線斷這些信息記下來(lái)比反復(fù)插拔電源有價(jià)值得多。1.2 用一張“分層認(rèn)知地圖”替代瞎猜網(wǎng)絡(luò)分層不是考試?yán)锏母拍钏举|(zhì)上是把一套復(fù)雜的通信系統(tǒng)拆成幾個(gè)相對(duì)獨(dú)立的模塊每一層只負(fù)責(zé)自己的事。以 TCP/IP 模型為例從下往上大概是物理層管電信號(hào)和光信號(hào)數(shù)據(jù)鏈路層管同一鏈路內(nèi)的幀轉(zhuǎn)發(fā)網(wǎng)絡(luò)層管 IP 尋址和路由傳輸層管端口和會(huì)話應(yīng)用層管用戶實(shí)際看到的應(yīng)用協(xié)議。我習(xí)慣用一個(gè)寄快遞的類比來(lái)解釋分層物理層就是道路和車輛鏈路層是快遞分揀站網(wǎng)絡(luò)層是收件地址的規(guī)劃系統(tǒng)傳輸層是快遞簽收確認(rèn)應(yīng)用層是收件人打開包裹使用里面的東西。包裹寄不到可能是路塌了物理層可能是分揀站分錯(cuò)了鏈路層可能是地址寫錯(cuò)網(wǎng)絡(luò)層也可能是收件人電話打不通傳輸層還可能是包裹里的東西本身就壞了應(yīng)用層。每一層的問(wèn)題要用不同的工具去查順序也很重要從底下往上看下層不通上層必然不通。這套認(rèn)知的價(jià)值在于當(dāng)你說(shuō)“網(wǎng)絡(luò)通”或“網(wǎng)絡(luò)不通”的時(shí)候得先明確你到底在說(shuō)哪一層。Ping 通網(wǎng)關(guān)只代表網(wǎng)絡(luò)層到網(wǎng)關(guān)沒問(wèn)題不代表應(yīng)用層沒問(wèn)題能上微信但打不開網(wǎng)頁(yè)可能根本不是網(wǎng)絡(luò)故障而是 DNS 或代理的問(wèn)題。分層的目的就是逼你把這個(gè)模糊的“不通”拆成具體可驗(yàn)證的“哪一層不通”。2. 信息采集故障現(xiàn)象里藏著的定位密碼2.1 先問(wèn)三個(gè)問(wèn)題影響范圍、時(shí)間特征、最近改動(dòng)接到故障報(bào)告我不會(huì)立刻跑過(guò)去看設(shè)備而是先問(wèn)三個(gè)問(wèn)題。第一個(gè)是影響范圍是一個(gè)人斷網(wǎng)一個(gè)辦公室斷網(wǎng)還是全公司都斷范圍越廣越說(shuō)明問(wèn)題出在共享的骨干設(shè)備或出口鏈路上范圍越小越可能是終端、網(wǎng)線、接入端口的問(wèn)題。第二個(gè)是時(shí)間特征是突然就斷了還是斷斷續(xù)續(xù)已經(jīng)好幾天是在某個(gè)固定時(shí)間點(diǎn)必現(xiàn)還是完全隨機(jī)固定時(shí)間點(diǎn)和周期性任務(wù)往往有關(guān)聯(lián)比如定時(shí)備份、半夜的病毒掃描、設(shè)備定時(shí)重啟。第三個(gè)是最近有沒有改動(dòng)有沒有加過(guò)新的交換機(jī)、改過(guò) VLAN、調(diào)過(guò)防火墻策略、換過(guò) IP 地址段網(wǎng)絡(luò)故障里相當(dāng)大一部分是變更引入的回歸問(wèn)題。這三個(gè)問(wèn)題不是聊天是在建立故障的“時(shí)空坐標(biāo)系”。我見過(guò)不少排查半天最后發(fā)現(xiàn)是前一天有人把一根跳線從核心交換機(jī)上拔掉插到了別的設(shè)備上這種問(wèn)題如果一開始就問(wèn)“最近動(dòng)過(guò)什么”五分鐘就能定位。雖然很多時(shí)候用戶會(huì)說(shuō)“什么都