上周五下午我接到一臺(tái)剛上線的銀河麒麟V10服務(wù)器。業(yè)務(wù)已經(jīng)跑起來(lái)了SSH端口直接暴露在辦公網(wǎng)root用戶可以遠(yuǎn)程登錄密碼還是安裝時(shí)順手敲的那個(gè)。掃描器跑了一輪兩個(gè)高危四個(gè)中危。說(shuō)實(shí)話這不是個(gè)別現(xiàn)象。國(guó)產(chǎn)化替代推進(jìn)到現(xiàn)在很多團(tuán)隊(duì)的狀態(tài)是“系統(tǒng)裝上了業(yè)務(wù)能跑了安全基線還在裸奔”。麒麟V10本身是成熟的服務(wù)器操作系統(tǒng)但默認(rèn)配置和生產(chǎn)環(huán)境的安全要求有不少差距上線后如果不做一輪針對(duì)性的加固和巡檢風(fēng)險(xiǎn)幾乎是敞開(kāi)的。這篇文章我系統(tǒng)整理一下麒麟V10上線后必做的6項(xiàng)加固動(dòng)作每一項(xiàng)都搭配對(duì)應(yīng)的巡檢命令最后給出一份可以直接拿去用的命令速查表。適合正好接手麒麟V10服務(wù)器、準(zhǔn)備做等保自查或者剛開(kāi)始接觸國(guó)產(chǎn)操作系統(tǒng)的運(yùn)維同學(xué)參考。1. 上線前先想清楚加固和巡檢到底解決什么問(wèn)題做加固之前我建議先建立一個(gè)基本認(rèn)知加固是一次性的收斂動(dòng)作巡檢是持續(xù)的驗(yàn)證閉環(huán)。兩個(gè)事情配合起來(lái)才有意義。1.1 默認(rèn)配置和生產(chǎn)需求的差距麒麟V10雖然基于成熟的Linux體系但它默認(rèn)開(kāi)啟的服務(wù)、密碼策略、SSH配置更多是考慮“開(kāi)箱能用”而不是“開(kāi)箱安全”。舉個(gè)例子默認(rèn)情況下很多部署為了遠(yuǎn)程維護(hù)方便會(huì)保留root直接SSH登錄的能力密碼復(fù)雜度策略也可能只要求8位字母就夠防火墻默認(rèn)zone的策略是否嚴(yán)格限制了來(lái)源IP取決于安裝時(shí)的選擇。這些問(wèn)題在測(cè)試環(huán)境無(wú)所謂放到生產(chǎn)環(huán)境就是實(shí)打?qū)嵉陌踩L(fēng)險(xiǎn)。所以上線后的第一件事不是急著部署業(yè)務(wù)而是先花幾個(gè)小時(shí)把賬戶、口令、網(wǎng)絡(luò)暴露面、補(bǔ)丁狀態(tài)、日志審計(jì)這些基礎(chǔ)項(xiàng)過(guò)一遍。我把這輪操作稱為“上線加固”。1.2 為什么巡檢必須長(zhǎng)期存在加固做完不是終點(diǎn)。開(kāi)發(fā)團(tuán)隊(duì)可能為了臨時(shí)調(diào)試開(kāi)一個(gè)端口忘了關(guān)某個(gè)服務(wù)崩潰后沒(méi)有自動(dòng)拉起新添加的用戶被錯(cuò)誤地加入了sudo組這些情況都會(huì)讓系統(tǒng)狀態(tài)在不知不覺(jué)中偏離安全基線。巡檢的價(jià)值在于用一套固定的命令清單定期檢查系統(tǒng)狀態(tài)把“偏離”及時(shí)暴露出來(lái)。與其等安全掃描報(bào)告出來(lái)再救火不如自己先把問(wèn)題消化掉。下文提到的每一項(xiàng)加固動(dòng)作我都會(huì)配一條對(duì)應(yīng)的檢查命令方便你把它做成周期任務(wù)。2. 第1項(xiàng)加固賬戶、口令和登錄失敗鎖定賬戶和口令是系統(tǒng)的第一道門。這道門如果沒(méi)守住其他加固做得再好也是白搭。2.1 先給所有本地賬戶過(guò)一次篩子拿到一臺(tái)麒麟V10服務(wù)器我習(xí)慣先列出所有UID為0的賬戶。UID為0意味著超級(jí)權(quán)限這類賬戶每多一個(gè)風(fēng)險(xiǎn)就擴(kuò)大一分。awk -F: $30{print $1} /etc/passwd正常情況下應(yīng)該只看到root。如果冒出來(lái)其他賬戶馬上審查是什么時(shí)候創(chuàng)建的、用來(lái)干嘛的說(shuō)不清楚就直接鎖定。passwd -l 用戶名 usermod -L 用戶名然后看所有賬戶的登錄shell設(shè)置。很多安裝包會(huì)創(chuàng)建不具備登錄能力的服務(wù)賬戶這些賬戶的shell應(yīng)該是/sbin/nologin或/bin/false。如果發(fā)現(xiàn)某個(gè)服務(wù)賬戶的shell竟然是/bin/bash說(shuō)明它具備交互式登錄能力需要重點(diǎn)確認(rèn)。awk -F: ($7 ! /sbin/nologin $7 ! /bin/false){print $1, $7} /etc/passwd2.2 口令復(fù)雜度、有效期和弱口令掃描口令策略通過(guò)/etc/login.defs和控制PAM的/etc/security/pwquality.conf配合實(shí)現(xiàn)。/etc/login.defs控制密碼的默認(rèn)有效期和最小長(zhǎng)度vim /etc/login.defs重點(diǎn)關(guān)注這幾項(xiàng)PASS_MAX_DAYS 90 PASS_MIN_DAYS 1 PASS_MIN_LEN 9 PASS_WARN_AGE 7PASS_MIN_LEN在較新系統(tǒng)上通常只是參考真正的密碼復(fù)雜度由pwquality模塊控制。建議在/etc/security/pwquality.conf里做如下配置minlen 9 dcredit -1 ucredit -1 lcredit -1 ocredit -1含義是密碼最小長(zhǎng)度9位至少包含一個(gè)數(shù)字、一個(gè)大寫字母、一個(gè)小寫字母、一個(gè)特殊字符。參數(shù)里的負(fù)數(shù)表示至少包含的字符類別數(shù)量。這里有個(gè)我踩過(guò)的坑只改配置文件不改PAM引用密碼策略是不生效的。麒麟V10的PAM配置分散在/etc/pam.d/system-auth等文件里底層一般已經(jīng)引入了pwquality模塊但修改后最好新建一個(gè)普通用戶測(cè)一下弱口令能否通過(guò)確保策略真的落地。口令修改后再用工具或者手工方式檢查一下歷史遺留密碼是否弱口令。比較高效的做法是用chage抽查重點(diǎn)賬戶chage -l root確認(rèn)上次修改時(shí)間是否符合預(yù)期。2.3 登錄失敗鎖定把暴力破解擋在門外SSH暴露在公網(wǎng)上遲早會(huì)遇到密碼爆破。PAM的faillock模塊可以在連續(xù)失敗指定次數(shù)后鎖定賬戶一段時(shí)間。在/etc/pam.d/system-auth里加入類似下面的配置auth required pam_faillock.so preauth audit deny5 unlock_time600 auth [defaultdie] pam_faillock.so authfail audit deny5 unlock_time600 auth sufficient pam_unix.so try_first_pass account required pam_faillock.so注意不同小版本的PAM配置結(jié)構(gòu)會(huì)有差異修改前一定備份原文件并且開(kāi)一個(gè)新的SSH終端測(cè)試登錄是否會(huì)失敗。這里面的坑在于如果順序放錯(cuò)可能導(dǎo)致正常用戶也登錄不上。還有一點(diǎn)強(qiáng)烈建議root賬戶不要加入失敗鎖定或者確保你有一條帶外控制臺(tái)通道可以應(yīng)急。否則暴力破解可能直接把root鎖死你又沒(méi)有物理訪問(wèn)手段那就只能去機(jī)房了。巡檢命令faillock --user 用戶名 lastb -n 20lastb列出最近20條失敗的登錄嘗試能看到攻擊來(lái)源IP和嘗試時(shí)間。3. 第2項(xiàng)加固SSH遠(yuǎn)程通道收斂與密鑰認(rèn)證SSH是Linux服務(wù)器最常用的管理入口也是被攻擊最多的服務(wù)。第2項(xiàng)加固專門處理SSH通道。3.1 關(guān)閉root直接登錄但保留sudo通道生產(chǎn)環(huán)境我一般會(huì)關(guān)掉root直接SSH登錄要求管理員用普通用戶登錄后再sudo提權(quán)。這樣做的好處是所有提權(quán)行為都會(huì)記錄到sudo日志里出了問(wèn)題能追溯。實(shí)際操作順序很重要否則容易把自己鎖在門外useradd opsadmin usermod -aG wheel opsadmin passwd opsadmin確認(rèn)opsadmin能用sudo再修改/etc/ssh/sshd_configPermitRootLogin no修改完成后先測(cè)試配置再重載服務(wù)sshd -t systemctl reload sshdsshd -t是檢查語(yǔ)法返回沒(méi)有任何輸出就是沒(méi)問(wèn)題。重載SSH服務(wù)不會(huì)斷開(kāi)已有連接但新連接才會(huì)應(yīng)用新配置。3.2 使用密鑰認(rèn)證替代口令認(rèn)證如果條件允許我強(qiáng)烈建議把SSH登錄方式改成公鑰認(rèn)證然后禁用密碼登錄。做法是管理機(jī)生成密鑰對(duì)公鑰追加到服務(wù)器~/.ssh/authorized_keysssh-keygen -t ed25519 -C opsadminkylin ssh-copy-id opsadmin服務(wù)器IP然后修改sshd_configPubkeyAuthentication yes PasswordAuthentication no PermitEmptyPasswords no這里有個(gè)權(quán)限細(xì)節(jié)必須注意.ssh目錄權(quán)限應(yīng)該是700authorized_keys文件權(quán)限應(yīng)該是600否則sshd出于安全考慮會(huì)忽略這個(gè)文件。chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys3.3 連接超時(shí)、重試次數(shù)和子配置目錄SSH暴力破解腳本一般會(huì)快速嘗試多個(gè)密碼限制單連接的重試次數(shù)能明顯降低風(fēng)險(xiǎn)MaxAuthTries 4 LoginGraceTime 30 ClientAliveInterval 300 ClientAliveCountMax 2MaxAuthTries限制每次連接最多嘗試4次認(rèn)證LoginGraceTime限制SSH登錄過(guò)程必須在30秒內(nèi)完成ClientAliveInterval每300秒發(fā)送一次心跳ClientAliveCountMax連續(xù)2次沒(méi)有響應(yīng)就斷開(kāi)避免大量僵尸連接占用資源。另外新版OpenSSH支持/etc/ssh/sshd_config.d/目錄下的分片配置。這有個(gè)坑如果主配置里寫了某個(gè)參數(shù)分片配置又寫了一次后面的會(huì)覆蓋前面的。排查SSH配置異常時(shí)別忘了看一眼這個(gè)目錄ls /etc/ssh/sshd_config.d/巡檢命令sshd -T | grep -E permitrootlogin|passwordauthentication|maxauthtriessshd -T輸出的是實(shí)際生效的最終配置比直接看sshd_config更準(zhǔn)確。4. 第3項(xiàng)加固防火墻最小化開(kāi)放與無(wú)用服務(wù)清理第3項(xiàng)解決的是“到底哪些門開(kāi)著”的問(wèn)題。網(wǎng)絡(luò)暴露面越小被攻擊的概率越低。4.1 盤點(diǎn)當(dāng)前的監(jiān)聽(tīng)端口先別急著關(guān)先看清楚系統(tǒng)在監(jiān)聽(tīng)哪些端口ss -lntup重點(diǎn)關(guān)注監(jiān)聽(tīng)在0.0.0.0和::上的端口這類端口對(duì)所有網(wǎng)卡開(kāi)放。如果業(yè)務(wù)只需要內(nèi)網(wǎng)訪問(wèn)卻監(jiān)聽(tīng)在公網(wǎng)地址上就需要調(diào)整。4.2 用firewalld收斂訪問(wèn)來(lái)源麒麟V10默認(rèn)的防火墻是firewalld。我常用的做法是先刪除默認(rèn)放行的服務(wù)再按來(lái)源IP加白名單。firewall-cmd --get-default-zone firewall-cmd --list-all假設(shè)只允許內(nèi)網(wǎng)192.168.10.0/24訪問(wèn)SSH其他來(lái)源一律拒絕firewall-cmd --permanent --zonepublic --remove-servicessh firewall-cmd --permanent --zonepublic --add-rich-rulerule familyipv4 source address192.168.10.0/24 service namessh accept firewall-cmd --reload這里有個(gè)務(wù)必注意的坑如果你是遠(yuǎn)程通過(guò)SSH操作而當(dāng)前機(jī)器IP不在允許范圍內(nèi)執(zhí)行reload的瞬間連接就會(huì)斷掉。穩(wěn)妥的辦法是先用--timeout參數(shù)加臨時(shí)規(guī)則確認(rèn)沒(méi)問(wèn)題再轉(zhuǎn)成永久規(guī)則firewall-cmd --zonepublic --add-rich-rulerule familyipv4 source address當(dāng)前IP service namessh accept --timeout60010分鐘內(nèi)操作錯(cuò)了也能恢復(fù)連接。也可以配合帶外管理控制臺(tái)但誰(shuí)能保證控制臺(tái)一定好用呢。4.3 清理無(wú)用服務(wù)和開(kāi)機(jī)自啟服務(wù)越少攻擊面越小?？串?dāng)前哪些服務(wù)設(shè)置成了開(kāi)機(jī)自啟systemctl list-unit-files --typeservice --stateenabled再看當(dāng)前運(yùn)行中的服務(wù)systemctl list-units --typeservice --staterunning對(duì)服務(wù)器來(lái)說(shuō)avahi-daemonmDNS廣播、cups打印服務(wù)、bluetooth、rpcbind不用NFS時(shí)可以關(guān)這些服務(wù)如果存在通常沒(méi)有保留必要systemctl disable --now avahi-daemon cups cups-browsed rpcbind禁用前一定要確認(rèn)沒(méi)有其他服務(wù)依賴它們。我的習(xí)慣是停一個(gè)服務(wù)就用ss -lntup和業(yè)務(wù)測(cè)試確認(rèn)一次別圖快一次性全停。巡檢命令firewall-cmd --list-all --zonepublic systemctl list-units --typeservice --staterunning | wc -l5. 第4項(xiàng)加固補(bǔ)丁更新與離線環(huán)境補(bǔ)丁管理漏洞修補(bǔ)永遠(yuǎn)是安全加固里最樸素也最有效的一環(huán)。麒麟V10的補(bǔ)丁管理分兩種情況能訪問(wèn)軟件源和完全離線。5.1 在線環(huán)境下更新補(bǔ)丁一般先刷新緩存再查看可更新的安全補(bǔ)丁yum clean all yum makecache yum check-update查看有安全公告相關(guān)的更新yum updateinfo list security生產(chǎn)環(huán)境我建議有節(jié)奏地更新而不是一股腦全量更新。先在一臺(tái)測(cè)試機(jī)執(zhí)行更新確認(rèn)核心業(yè)務(wù)不受到影響再分批上生產(chǎn)。更新操作本身要避開(kāi)業(yè)務(wù)高峰yum update -y自動(dòng)更新我一般不建議打開(kāi)。服務(wù)器自動(dòng)更新引發(fā)內(nèi)核重啟后業(yè)務(wù)中斷的事太常見(jiàn)了安全補(bǔ)丁也得有人值守地打。5.2 離線環(huán)境本地軟件源是離線部署的基礎(chǔ)很多麒麟V10部署在隔離內(nèi)網(wǎng)無(wú)法訪問(wèn)外部軟件源。這時(shí)候最可靠的做法是搭建一個(gè)本地yum源。在有網(wǎng)絡(luò)或能拿到安裝包的環(huán)境準(zhǔn)備好rpm包和依賴然后拷入內(nèi)網(wǎng)服務(wù)器。yumdownloader --resolve --destdir/tmp/os_packages postgresql-server如果找不到y(tǒng)umdownloader先安裝yum-utilsyum install -y yum-utils把rpm包拷貝到內(nèi)網(wǎng)服務(wù)器比如放到/data/osrepo/Packages下然后生成倉(cāng)庫(kù)元數(shù)據(jù)yum install -y createrepo createrepo /data/osrepo在/etc/yum.repos.d/下新建local.repo[local] nameLocal Repository baseurlfile:///data/osrepo enabled1 gpgcheck0最后刷新yum clean all yum makecache離線部署PostgreSQL和PostGIS這類復(fù)雜軟件時(shí)依賴關(guān)系非常容易缺胳膊少腿。提前把postgis依賴的geos、proj、gdal等包全部用yumdownloader --resolve拉下來(lái)放到同一個(gè)本地倉(cāng)庫(kù)能省掉大量現(xiàn)場(chǎng)排查依賴的時(shí)間。這也是離線環(huán)境下最實(shí)用的經(jīng)驗(yàn)之一。內(nèi)核和關(guān)鍵補(bǔ)丁更新前先記錄當(dāng)前內(nèi)核版本并準(zhǔn)備回滾方案uname -r rpm -qa | grep ^kernel grubby --infoALL需要回滾時(shí)用grubby切換默認(rèn)啟動(dòng)的內(nèi)核grubby --set-default /boot/vmlinuz-舊版本號(hào) reboot巡檢命令yum check-update --security uname -r6. 第5項(xiàng)加固日志審計(jì)與root權(quán)限通道收緊日志是安全事件發(fā)生后唯一能還原現(xiàn)場(chǎng)的東西。root權(quán)限的使用通道如果不做限制賬戶混用問(wèn)題會(huì)非常突出。6.1 用auditd記錄關(guān)鍵文件的變更麒麟V10預(yù)裝了auditd審計(jì)服務(wù)。加固時(shí)至少要把賬戶文件、SSH配置、sudo配置納入監(jiān)控。systemctl enable --now auditd auditctl -l添加監(jiān)控規(guī)則auditctl -w /etc/passwd -p wa -k identity auditctl -w /etc/shadow -p wa -k identity auditctl -w /etc/ssh/sshd_config -p wa -k sshd_config auditctl -w /etc/sudoers -p wa -k sudoers-p wa表示記錄寫入和屬性修改操作-k參數(shù)是給規(guī)則打標(biāo)簽方便后續(xù)檢索。注意這些規(guī)則通過(guò)命令行添加后重啟會(huì)丟失。需要持久化的話寫到/etc/audit/rules.d/下的規(guī)則文件里。auditd日志默認(rèn)放在/var/log/audit/audit.log默認(rèn)大小有限流量大的系統(tǒng)日志會(huì)滾動(dòng)得很快。調(diào)整/etc/audit/auditd.conf里的max_log_file和num_logsmax_log_file 200 num_logs 5 space_left_action SYSLOG至少保證日志空間充足不會(huì)因?yàn)閷憹M導(dǎo)致系統(tǒng)異常。巡檢時(shí)可以查最近有沒(méi)有敏感文件的修改記錄ausearch -k identity -ts recent6.2 sudo和su這兩個(gè)提權(quán)通道的口子不要留太大先排查sudo授權(quán)配置里有沒(méi)有異常項(xiàng)grep -r ^[^#] /etc/sudoers /etc/sudoers.d/重點(diǎn)是看兩條第一有沒(méi)有某個(gè)用戶被授予了類似ALL(ALL) NOPASSWD: ALL的權(quán)限而不自知第二有沒(méi)有直接允許執(zhí)行特定危險(xiǎn)命令但寫錯(cuò)了語(yǔ)法的規(guī)則。建議運(yùn)維人員統(tǒng)一加入wheel組通過(guò)sudo提權(quán)usermod -aG wheel opsadmin同時(shí)限制su命令只允許wheel組的用戶切換身份。在/etc/pam.d/su里啟用pam_wheelauth required pam_wheel.so use_uid這樣普通用戶即使知道root密碼也無(wú)法通過(guò)su直接變成root所有提權(quán)動(dòng)作必須走sudo而sudo的操作會(huì)被記錄。6.3 遠(yuǎn)程日志與日常巡檢把日志集中轉(zhuǎn)發(fā)到日志服務(wù)器是很有價(jià)值的在內(nèi)網(wǎng)環(huán)境里尤其重要。如果已經(jīng)有rsyslog在/etc/rsyslog.conf或/etc/rsyslog.d/里加上*.* 日志服務(wù)器IP:514然后重啟rsyslogsystemctl restart rsyslog巡檢命令journalctl --since 24 hours ago -p err last -20 ausearch -k identity -ts today | tail7. 第6項(xiàng)加固核心服務(wù)與系統(tǒng)資源專項(xiàng)巡檢前5項(xiàng)做完系統(tǒng)的基礎(chǔ)面基本穩(wěn)了。但服務(wù)掛掉、磁盤寫滿、句柄耗盡這類問(wèn)題不是安全加固能解決的需要做專項(xiàng)巡檢。7.1 服務(wù)存活和失敗自動(dòng)恢復(fù)第一步看系統(tǒng)里有沒(méi)有啟動(dòng)失敗的服務(wù)systemctl --failed如果有failed狀態(tài)的unit記下名字查看具體日志journalctl -u 服務(wù)名 --since today對(duì)核心業(yè)務(wù)服務(wù)最好在service單元里配置自動(dòng)重啟。雖然很多安裝包默認(rèn)帶了Restart配置但如果二進(jìn)制是被前臺(tái)進(jìn)程方式拉起的建議寫成一個(gè)systemd服務(wù)托管。一個(gè)典型的單元配置[Unit] DescriptionMy App [Service] ExecStart/usr/local/bin/myapp Restarton-failure RestartSec5 Userappuser [Install] WantedBymulti-user.target注意覆蓋系統(tǒng)自帶的service配置時(shí)不要直接改/usr/lib/systemd/system/目錄要在/etc/systemd/system/下用override方式避免包管理器升級(jí)時(shí)把你改的東西沖掉。7.2 磁盤、內(nèi)存和文件句柄的隱患磁盤滿導(dǎo)致業(yè)務(wù)寫崩是我見(jiàn)過(guò)最高發(fā)的運(yùn)維事故。巡檢時(shí)不能只看空間還要看inodedf -h df -idf -i檢查inode耗盡。很多運(yùn)維只盯著df -h卻忽視大量的小文件把inode耗盡磁盤顯示有剩余空間但文件就是寫不進(jìn)去。比如某個(gè)應(yīng)用異常時(shí)瘋狂產(chǎn)生空日志文件inode瞬間被打滿。內(nèi)存和句柄情況free -h ulimit -n sysctl fs.file-maxulimit -n是當(dāng)前用戶能打開(kāi)的文件數(shù)限制fs.file-max是系統(tǒng)級(jí)上限。如果業(yè)務(wù)報(bào)“too many open files”先看這兩個(gè)值。很多Java應(yīng)用和大數(shù)據(jù)處理程序都需要調(diào)高nofile限制單獨(dú)在systemd單元或/etc/security/limits.conf里設(shè)置。7.3 內(nèi)核參數(shù)和時(shí)間同步狀態(tài)確認(rèn)關(guān)鍵內(nèi)核參數(shù)是否符合預(yù)期sysctl net.ipv4.ip_forward sysctl net.ipv4.tcp_syncookies如果服務(wù)器不做路由轉(zhuǎn)發(fā)ip_forward應(yīng)該為0tcp_syncookies建議為1能在一定程度上緩解SYN Flood。時(shí)間同步也很關(guān)鍵。Kerberos認(rèn)證、日志時(shí)間比對(duì)、集群一致性都依賴準(zhǔn)確時(shí)間。檢查時(shí)間源狀態(tài)chronyc sources -v如果沒(méi)有chronyd先安裝啟用systemctl enable --now chronyd巡檢命令systemctl --failed df -h df -i free -h dmesg -T -l err,warning | tail -30日志里kernel報(bào)錯(cuò)往往是硬件或驅(qū)動(dòng)異常的前兆早發(fā)現(xiàn)往往能省下后面一場(chǎng)故障應(yīng)急。8. 巡檢命令速查表與落地建議最后把前面每一項(xiàng)的核心巡檢命令匯總成一張速查表方便打印出來(lái)貼工位或者直接放進(jìn)自己的運(yùn)維筆記。巡檢對(duì)象核心命令關(guān)注點(diǎn)高危賬戶awk -F: $30{print $1} /etc/passwd確認(rèn)只有root是UID 0口令有效期chage -l 用戶名密碼是否長(zhǎng)期未改登錄失敗記錄lastb -n 20是否有固定IP在爆破SSH生效配置sshd -T | grep -E permitrootlogin|passwordauthenticationroot是否可遠(yuǎn)程登錄SSH登錄日志journalctl -u sshd --since today多次失敗認(rèn)證記錄防火墻規(guī)則firewall-cmd --list-all --zonepublic開(kāi)放端口是否都在預(yù)期內(nèi)監(jiān)聽(tīng)端口ss -lntup是否有未知進(jìn)程在監(jiān)聽(tīng)端口正在運(yùn)行的服務(wù)systemctl list-units --typeservice --staterunning有沒(méi)有解釋不清楚的服務(wù)服務(wù)失敗狀態(tài)systemctl --failedFailed狀態(tài)是否有新增安全補(bǔ)丁yum check-update --security是否有未處理的安全更新磁盤空間與inodedf -h df -i任一使用率超過(guò)85%就要警惕內(nèi)存使用free -h是否持續(xù)走swap審計(jì)規(guī)則auditctl -l關(guān)鍵文件監(jiān)控規(guī)則是否在時(shí)間同步chronyc sources -v時(shí)間源是否處于正常狀態(tài)SELinux狀態(tài)getenforce確認(rèn)運(yùn)行模式是否符合預(yù)期8.1 把巡檢做成腳本放到cron里手工執(zhí)行一遍上面的命令不難但難在堅(jiān)持。我習(xí)慣把整套巡檢命令寫成bash腳本輸出到固定文件再用crontab定時(shí)執(zhí)行。#!/bin/bash echo $(date %F %T) echo ---- failed services ---- systemctl --failed --no-pager echo ---- disk space ---- df -h | grep -v tmpfs echo ---- disk inode ---- df -i | grep -v tmpfs echo ---- memory ---- free -h echo ---- listening ports ---- ss -lntup echo ---- recent login failures ---- lastb -n 10 echo ---- audit rules ---- auditctl -l賦予執(zhí)行權(quán)限后放入定時(shí)任務(wù)chmod x /usr/local/bin/kylin_audit.sh crontab -e0 8 * * * /usr/local/bin/kylin_audit.sh /var/log/kylin_audit.log 21每天早上8點(diǎn)自動(dòng)巡檢上班掃一眼日志就行。這里的輸出內(nèi)容不要直接郵件或者當(dāng)作告警源畢竟巡檢是“盡早發(fā)現(xiàn)”告警規(guī)則還是要單獨(dú)設(shè)計(jì)。8.2 加固后業(yè)務(wù)異常時(shí)的排查鏈路加固完以后最常見(jiàn)的反饋是“某個(gè)功能突然訪問(wèn)不了了”。遇到這種情況不要慌按鏈路來(lái)先用ss -lntup確認(rèn)服務(wù)本身是不是還在監(jiān)聽(tīng)。再用firewall-cmd --list-all --zonepublic確認(rèn)端口有沒(méi)有被防火墻攔掉。然后檢查SELinux狀態(tài)getenforce。麒麟V10的SELinux默認(rèn)可能是Enforcing如果你用非標(biāo)準(zhǔn)端口跑服務(wù)或者自定義了目錄SELinux可能會(huì)靜默攔截連接。查看audit2why或者直接看/var/log/audit/audit.log里有沒(méi)有avc denied記錄。最后才看應(yīng)用自身的日志。我給過(guò)很多同事這個(gè)排查順序大多數(shù)“加固后連不上”的問(wèn)題都出在防火墻規(guī)則和SELinux策略上尤其是遠(yuǎn)程操作時(shí)改了防火墻規(guī)則導(dǎo)致自己斷連的情況基本每個(gè)運(yùn)維都經(jīng)歷過(guò)一兩次。所以每次做防火墻變更前一定先給自己留一條超出失效時(shí)間的放行規(guī)則或者確保有帶外通道能上去這算是我踩過(guò)不少坑之后最深刻的體會(huì)。最后再分享一個(gè)個(gè)人習(xí)慣所有加固動(dòng)作和命令輸出我會(huì)按日期歸檔保存當(dāng)時(shí)的變更前后對(duì)比。比如sshd -T的輸出、firewall-cmd --list-all的結(jié)果、chage -l的狀態(tài)這些截圖或文本留存下來(lái)后面做等保檢查或者排查“這到底是誰(shuí)改的”時(shí)特別有用。加固這件事做到位不難難的是每次都留痕讓每一次變更都經(jīng)得起追溯。