器性能問(wèn)題排查與優(yōu)化實(shí)戰(zhàn)指南)
1. 服務(wù)器響應(yīng)緩慢的常見(jiàn)癥狀與初步判斷當(dāng)服務(wù)器出現(xiàn)性能問(wèn)題時(shí)通常會(huì)表現(xiàn)出以下幾種典型癥狀以Linux系統(tǒng)為例SSH登錄延遲輸入命令后長(zhǎng)時(shí)間無(wú)響應(yīng)或連接建立耗時(shí)超過(guò)3秒HTTP請(qǐng)求超時(shí)網(wǎng)頁(yè)加載時(shí)間超過(guò)5秒或API響應(yīng)時(shí)間超過(guò)正常值的3倍系統(tǒng)監(jiān)控異常通過(guò)top命令觀察到CPU負(fù)載持續(xù)高于核心數(shù)的70%內(nèi)存使用率超過(guò)90%Swap交換分區(qū)頻繁讀寫(xiě)磁盤(pán)I/O等待時(shí)間超過(guò)50ms經(jīng)驗(yàn)提示建議先執(zhí)行uptime查看平均負(fù)載正常值應(yīng)小于CPU核心數(shù)。例如4核機(jī)器負(fù)載長(zhǎng)期高于4就需要警惕。2. 系統(tǒng)性排查的完整流程2.1 資源占用分析三板斧CPU瓶頸檢測(cè)# 實(shí)時(shí)監(jiān)控CPU使用率 top -c # 按CPU占用排序 shift P # 查看每個(gè)CPU核心的詳細(xì)負(fù)載 mpstat -P ALL 1內(nèi)存泄漏排查# 查看內(nèi)存總量和使用情況 free -h # 檢測(cè)內(nèi)存泄漏進(jìn)程 smem -s swap -r | head -10磁盤(pán)I/O檢查# 查看磁盤(pán)讀寫(xiě)速度 iostat -x 1 # 檢查磁盤(pán)空間 df -Th # 定位大文件 du -sh /* | sort -rh | head -102.2 網(wǎng)絡(luò)性能深度檢測(cè)對(duì)于Web服務(wù)器需要特別關(guān)注網(wǎng)絡(luò)層指標(biāo)檢測(cè)項(xiàng)正常值范圍異常處理建議TCP連接數(shù)1000(常規(guī)服務(wù)器)檢查netstat -ant丟包率0.1%ping -c 100 目標(biāo)IP帶寬利用率70%iftop -nNP實(shí)時(shí)監(jiān)控連接延遲200mstraceroute 目標(biāo)IP實(shí)測(cè)技巧使用mtr工具結(jié)合--tcp參數(shù)可以同時(shí)檢測(cè)路由和TCP性能mtr --report --tcp --port 80 example.com3. 高頻問(wèn)題解決方案庫(kù)3.1 MySQL數(shù)據(jù)庫(kù)拖慢案例現(xiàn)象PHP應(yīng)用響應(yīng)慢但CPU/內(nèi)存占用不高排查步驟檢查慢查詢(xún)?nèi)罩維HOW VARIABLES LIKE slow_query_log%;臨時(shí)解決方案SET GLOBAL long_query_time 1; SET GLOBAL slow_query_log 1;永久優(yōu)化方案# my.cnf配置 [mysqld] slow_query_log 1 slow_query_log_file /var/log/mysql-slow.log long_query_time 1 log_queries_not_using_indexes 13.2 日志文件爆滿(mǎn)應(yīng)急處理典型場(chǎng)景/var分區(qū)使用率100%處理流程# 1. 快速釋放空間 truncate -s 0 /var/log/syslog # 2. 輪轉(zhuǎn)日志 logrotate -f /etc/logrotate.conf # 3. 預(yù)防性配置 vim /etc/logrotate.d/自定義規(guī)則4. 高級(jí)診斷工具鏈4.1 內(nèi)核級(jí)性能分析# 安裝perf工具 apt install linux-tools-common # 采樣CPU使用 perf top -p pgrep nginx # 生成火焰圖 perf record -F 99 -ag -- sleep 30 perf script | FlameGraph/stackcollapse-perf.pl | FlameGraph/flamegraph.pl output.svg4.2 全鏈路追蹤方案對(duì)于微服務(wù)架構(gòu)建議采用OpenTelemetry埋點(diǎn)Jaeger可視化追蹤PrometheusGrafana監(jiān)控看板配置示例# docker-compose.yml片段 jaeger: image: jaegertracing/all-in-one ports: - 16686:16686 - 6831:6831/udp5. 長(zhǎng)效優(yōu)化機(jī)制建設(shè)5.1 自動(dòng)化監(jiān)控體系推薦組合方案基礎(chǔ)監(jiān)控Node Exporter Prometheus日志分析Loki Grafana告警通知Alertmanager 企業(yè)微信/釘釘5.2 性能基線管理建立服務(wù)器健康檔案# 采集系統(tǒng)基準(zhǔn)數(shù)據(jù) cat EOF baseline.sh #!/bin/bash echo CPU: $(grep model name /proc/cpuinfo | wc -l) cores echo MEM: $(free -h | awk /Mem/{print $2}) echo DISK: $(lsblk -d -o NAME,ROTA,SIZE | grep -v NAME) EOF我在實(shí)際運(yùn)維中發(fā)現(xiàn)90%的服務(wù)器性能問(wèn)題都源于配置不當(dāng)或資源監(jiān)控缺失。建議至少每周檢查一次/var/log/messages中的內(nèi)核告警這對(duì)預(yù)防突發(fā)性性能下降非常有效 Linux服務(wù)器性能問(wèn)題排查與優(yōu)化實(shí)戰(zhàn)指南
1. 服務(wù)器響應(yīng)緩慢的常見(jiàn)癥狀與初步判斷當(dāng)服務(wù)器出現(xiàn)性能問(wèn)題時(shí)通常會(huì)表現(xiàn)出以下幾種典型癥狀以Linux系統(tǒng)為例SSH登錄延遲輸入命令后長(zhǎng)時(shí)間無(wú)響應(yīng)或連接建立耗時(shí)超過(guò)3秒HTTP請(qǐng)求超時(shí)網(wǎng)頁(yè)加載時(shí)間超過(guò)5秒或API響應(yīng)時(shí)間超過(guò)正常值的3倍系統(tǒng)監(jiān)控異常通過(guò)top命令觀察到CPU負(fù)載持續(xù)高于核心數(shù)的70%內(nèi)存使用率超過(guò)90%Swap交換分區(qū)頻繁讀寫(xiě)磁盤(pán)I/O等待時(shí)間超過(guò)50ms經(jīng)驗(yàn)提示建議先執(zhí)行uptime查看平均負(fù)載正常值應(yīng)小于CPU核心數(shù)。例如4核機(jī)器負(fù)載長(zhǎng)期高于4就需要警惕。2. 系統(tǒng)性排查的完整流程2.1 資源占用分析三板斧CPU瓶頸檢測(cè)# 實(shí)時(shí)監(jiān)控CPU使用率 top -c # 按CPU占用排序 shift P # 查看每個(gè)CPU核心的詳細(xì)負(fù)載 mpstat -P ALL 1內(nèi)存泄漏排查# 查看內(nèi)存總量和使用情況 free -h # 檢測(cè)內(nèi)存泄漏進(jìn)程 smem -s swap -r | head -10磁盤(pán)I/O檢查# 查看磁盤(pán)讀寫(xiě)速度 iostat -x 1 # 檢查磁盤(pán)空間 df -Th # 定位大文件 du -sh /* | sort -rh | head -102.2 網(wǎng)絡(luò)性能深度檢測(cè)對(duì)于Web服務(wù)器需要特別關(guān)注網(wǎng)絡(luò)層指標(biāo)檢測(cè)項(xiàng)正常值范圍異常處理建議TCP連接數(shù)1000(常規(guī)服務(wù)器)檢查netstat -ant丟包率0.1%ping -c 100 目標(biāo)IP帶寬利用率70%iftop -nNP實(shí)時(shí)監(jiān)控連接延遲200mstraceroute 目標(biāo)IP實(shí)測(cè)技巧使用mtr工具結(jié)合--tcp參數(shù)可以同時(shí)檢測(cè)路由和TCP性能mtr --report --tcp --port 80 example.com3. 高頻問(wèn)題解決方案庫(kù)3.1 MySQL數(shù)據(jù)庫(kù)拖慢案例現(xiàn)象PHP應(yīng)用響應(yīng)慢但CPU/內(nèi)存占用不高排查步驟檢查慢查詢(xún)?nèi)罩維HOW VARIABLES LIKE slow_query_log%;臨時(shí)解決方案SET GLOBAL long_query_time 1; SET GLOBAL slow_query_log 1;永久優(yōu)化方案# my.cnf配置 [mysqld] slow_query_log 1 slow_query_log_file /var/log/mysql-slow.log long_query_time 1 log_queries_not_using_indexes 13.2 日志文件爆滿(mǎn)應(yīng)急處理典型場(chǎng)景/var分區(qū)使用率100%處理流程# 1. 快速釋放空間 truncate -s 0 /var/log/syslog # 2. 輪轉(zhuǎn)日志 logrotate -f /etc/logrotate.conf # 3. 預(yù)防性配置 vim /etc/logrotate.d/自定義規(guī)則4. 高級(jí)診斷工具鏈4.1 內(nèi)核級(jí)性能分析# 安裝perf工具 apt install linux-tools-common # 采樣CPU使用 perf top -p pgrep nginx # 生成火焰圖 perf record -F 99 -ag -- sleep 30 perf script | FlameGraph/stackcollapse-perf.pl | FlameGraph/flamegraph.pl output.svg4.2 全鏈路追蹤方案對(duì)于微服務(wù)架構(gòu)建議采用OpenTelemetry埋點(diǎn)Jaeger可視化追蹤PrometheusGrafana監(jiān)控看板配置示例# docker-compose.yml片段 jaeger: image: jaegertracing/all-in-one ports: - 16686:16686 - 6831:6831/udp5. 長(zhǎng)效優(yōu)化機(jī)制建設(shè)5.1 自動(dòng)化監(jiān)控體系推薦組合方案基礎(chǔ)監(jiān)控Node Exporter Prometheus日志分析Loki Grafana告警通知Alertmanager 企業(yè)微信/釘釘5.2 性能基線管理建立服務(wù)器健康檔案# 采集系統(tǒng)基準(zhǔn)數(shù)據(jù) cat EOF baseline.sh #!/bin/bash echo CPU: $(grep model name /proc/cpuinfo | wc -l) cores echo MEM: $(free -h | awk /Mem/{print $2}) echo DISK: $(lsblk -d -o NAME,ROTA,SIZE | grep -v NAME) EOF我在實(shí)際運(yùn)維中發(fā)現(xiàn)90%的服務(wù)器性能問(wèn)題都源于配置不當(dāng)或資源監(jiān)控缺失。建議至少每周檢查一次/var/log/messages中的內(nèi)核告警這對(duì)預(yù)防突發(fā)性性能下降非常有效