文本處理三劍客的實(shí)戰(zhàn)拆解grep、awk、sed 到底該怎么用很多人第一次接觸命令行文本處理都是從一條grep開(kāi)始的。查日志、篩配置、找報(bào)錯(cuò)一條命令下去屏幕上刷刷刷滾出結(jié)果那種感覺(jué)確實(shí)很爽。但真到了要批量改文件、做字段統(tǒng)計(jì)、按條件重組數(shù)據(jù)的時(shí)候光靠grep就不夠用了于是開(kāi)始翻awk和sed的手冊(cè)結(jié)果被一堆$1、NR、s///g搞得頭暈。我見(jiàn)過(guò)不少同行這三個(gè)命令用了好幾年實(shí)際只會(huì)grep 關(guān)鍵字 文件和sed -i s/舊/新/g稍微復(fù)雜一點(diǎn)的需求就退回寫(xiě)腳本效率白白丟掉一大截。這篇內(nèi)容就是想把grep、awk、sed這三個(gè)命令從“會(huì)用”拉到“用透”的層面。我不打算照著手冊(cè)逐條翻譯參數(shù)而是按真實(shí)工作里最常見(jiàn)的場(chǎng)景來(lái)拆怎么精準(zhǔn)篩選、怎么按字段做統(tǒng)計(jì)、怎么安全地批量替換。每個(gè)命令都會(huì)講清楚它解決什么問(wèn)題、核心機(jī)制是什么、參數(shù)為什么這么選再配上可以直接復(fù)制運(yùn)行的實(shí)例。不管你是剛接觸命令行的新手還是已經(jīng)能寫(xiě)點(diǎn) shell 但總覺(jué)得不夠利索的老手應(yīng)該都能從里面摳出幾招能馬上用上的東西。1. 先把三個(gè)命令的分工掰清楚在動(dòng)手之前有個(gè)認(rèn)知必須先建立起來(lái)grep、awk、sed不是三個(gè)可以互相替代的工具它們各自負(fù)責(zé)文本處理流水線上的不同環(huán)節(jié)。搞混分工是很多人用起來(lái)別扭的根源。1.1 三者的定位差異找、改、算用一句話概括grep負(fù)責(zé)找sed負(fù)責(zé)改awk負(fù)責(zé)算。grep的本質(zhì)是一個(gè)行過(guò)濾器。它逐行讀入文本判斷每一行是否匹配給定模式匹配就輸出不匹配就丟棄。它不關(guān)心行里面的結(jié)構(gòu)只關(guān)心“這一行整體符不符合條件”。所以它最擅長(zhǎng)的事情是從一大堆內(nèi)容里撈出包含某個(gè)特征的行。sed的本質(zhì)是一個(gè)流編輯器。它也是逐行處理但它不只是判斷而是可以對(duì)匹配到的內(nèi)容做替換、刪除、插入、追加等編輯動(dòng)作。關(guān)鍵在于“流”字——它不需要把整個(gè)文件讀進(jìn)內(nèi)存再改而是一邊讀一邊改一邊輸出所以處理大文件時(shí)內(nèi)存占用很穩(wěn)。awk的本質(zhì)是一個(gè)字段級(jí)處理語(yǔ)言。它把每一行按分隔符切成若干字段你可以按字段做條件判斷、數(shù)值計(jì)算、格式化輸出還支持變量、數(shù)組、循環(huán)、函數(shù)。嚴(yán)格來(lái)說(shuō)它已經(jīng)是一門小型編程語(yǔ)言了只是語(yǔ)法緊湊到可以寫(xiě)成一行。理解了這個(gè)分工很多選擇就自然清楚了只是篩行用grep要改內(nèi)容用sed要按列統(tǒng)計(jì)或做復(fù)雜條件處理用awk。當(dāng)然實(shí)際工作中三者經(jīng)常串起來(lái)用管道一接各干各的活。1.2 為什么很多人只學(xué)會(huì)了 grep這里插一句觀察。大部分人卡在grep階段不是因?yàn)閍wk和sed難而是因?yàn)闆](méi)有遇到非用不可的場(chǎng)景。日常的“找一下”需求grep確實(shí)夠了。真正逼著人往上走的往往是這幾類任務(wù)日志里按狀態(tài)碼統(tǒng)計(jì)次數(shù)、配置文件批量改某個(gè)字段、從結(jié)構(gòu)化文本里抽某幾列重排。這些任務(wù)用grep硬做會(huì)很別扭用awk或sed就是幾秒鐘的事。所以下面的內(nèi)容我會(huì)盡量從“什么場(chǎng)景下必須用它”切入而不是干講語(yǔ)法。語(yǔ)法查手冊(cè)就有場(chǎng)景判斷才是經(jīng)驗(yàn)。2. grep不只是“搜關(guān)鍵字”grep看起來(lái)最簡(jiǎn)單但它的參數(shù)組合能玩出的花樣比想象中多。很多人只用過(guò)grep 關(guān)鍵詞 文件其實(shí)它的正則能力、上下文控制、文件級(jí)篩選都相當(dāng)能打。2.1 基礎(chǔ)匹配與正則的取舍最基本的用法不用多說(shuō)grep error app.log這會(huì)在app.log里找出所有包含error的行。但這里有個(gè)容易被忽略的點(diǎn)默認(rèn)情況下grep用的是基本正則表達(dá)式BRE某些元字符需要轉(zhuǎn)義才能生效。比如你想匹配“以 error 開(kāi)頭”的行寫(xiě)grep ^error沒(méi)問(wèn)題但想用、?、|這些擴(kuò)展元字符就得加-E切到擴(kuò)展正則ERE或者老老實(shí)實(shí)加反斜杠。我的建議是只要用到稍微復(fù)雜一點(diǎn)的正則直接上-E。可讀性好不容易因?yàn)檗D(zhuǎn)義漏寫(xiě)而匹配錯(cuò)。對(duì)比一下# BRE 寫(xiě)法豎線要轉(zhuǎn)義 grep error\|warning app.log # ERE 寫(xiě)法清爽 grep -E error|warning app.log兩種都能跑但后者明顯更好維護(hù)。團(tuán)隊(duì)協(xié)作時(shí)別人讀你的命令不用在腦子里做轉(zhuǎn)義換算。還有一個(gè)高頻需求是忽略大小寫(xiě)加-i即可。日志里Error、ERROR、error混著出現(xiàn)是常態(tài)不加-i很容易漏。grep -iE error|fail|exception app.log這條命令在實(shí)際排查問(wèn)題時(shí)出場(chǎng)率極高一次把三類異常關(guān)鍵詞都撈出來(lái)。2.2 上下文參數(shù)-A、-B、-C 的實(shí)戰(zhàn)價(jià)值只輸出匹配行很多時(shí)候信息不夠。比如日志里報(bào)了一行NullPointerException你光看這一行根本不知道前面發(fā)生了什么。這時(shí)候上下文參數(shù)就派上用場(chǎng)了-A n輸出匹配行之后的 n 行After-B n輸出匹配行之前的 n 行Before-C n輸出匹配行前后各n 行Contextgrep -B 3 -A 5 NullPointerException app.log這條命令會(huì)把異常行前面 3 行、后面 5 行一起打出來(lái)通常足夠看清調(diào)用棧的開(kāi)頭部分。我個(gè)人的習(xí)慣是排查異常時(shí)用-B 5 -A 10因?yàn)楫惓Ｐ畔⑼趻伋鳇c(diǎn)之后才展開(kāi)前面幾行則是觸發(fā)條件。提示-A、-B、-C輸出的上下文行之間會(huì)用--分隔多個(gè)匹配塊不會(huì)糊在一起這個(gè)細(xì)節(jié)在結(jié)果很長(zhǎng)時(shí)很有用。2.3 遞歸搜索與文件類型過(guò)濾在項(xiàng)目目錄里找某個(gè)函數(shù)在哪定義是日常高頻操作。-r遞歸搜索配合--include限定文件類型能避免把二進(jìn)制文件、日志、依賴目錄全掃一遍grep -rn --include*.py def process_data ./src這里-n是顯示行號(hào)定位問(wèn)題時(shí)必不可少。--include支持通配符也可以寫(xiě)多個(gè)。反過(guò)來(lái)還有--exclude和--exclude-dir用來(lái)排除node_modules、.git這類不該搜的目錄grep -rn --exclude-dir{.git,node_modules,dist} TODO .不加排除的話在大項(xiàng)目里搜一次可能要等十幾秒加上之后通常一秒內(nèi)出結(jié)果。這個(gè)差別在反復(fù)搜索時(shí)非常明顯。2.4 反向匹配與計(jì)數(shù)-v 和 -c 的組合拳-v是反向匹配輸出不包含模式的行。這個(gè)參數(shù)在過(guò)濾噪音時(shí)特別好用。比如看配置文件時(shí)想跳過(guò)所有注釋行和空行g(shù)rep -vE ^\s*#|^\s*$ config.conf^\s*#匹配以可選空白開(kāi)頭后跟#的行^\s*$匹配空行-v把它們都排除掉剩下的就是有效配置。-c是只輸出匹配的行數(shù)不輸出內(nèi)容。它和-v組合能快速統(tǒng)計(jì)有效行數(shù)grep -vcE ^\s*#|^\s*$ config.conf再進(jìn)一步-o配合sort | uniq -c可以做詞頻統(tǒng)計(jì)。-o的意思是只輸出匹配到的部分而不是整行。比如統(tǒng)計(jì)日志里各狀態(tài)碼出現(xiàn)次數(shù)grep -oE status[0-9]{3} access.log | sort | uniq -c | sort -rn這條管道先抽出所有statusxxx片段排序后去重計(jì)數(shù)再按次數(shù)倒序排列。雖然嚴(yán)格說(shuō)統(tǒng)計(jì)活是awk更擅長(zhǎng)但grep -o這條路在臨時(shí)排查時(shí)寫(xiě)起來(lái)更快。2.5 grep 的邊界什么時(shí)候該換工具grep的短板很明確它不理解字段結(jié)構(gòu)。一旦需求變成“第二列大于 100 的行”或者“按第三列分組求和”grep就無(wú)能為力了硬做只能靠一堆正則拼湊既脆弱又難讀。這種時(shí)候別硬扛直接換awk。同樣需要修改內(nèi)容時(shí)grep只能看不能改得交給sed。3. sed流式編輯的穩(wěn)與險(xiǎn)sed最出名的用法是替換但它能做的遠(yuǎn)不止替換。刪除行、插入行、按行號(hào)操作、多點(diǎn)編輯都是它的常規(guī)能力。不過(guò)sed也是三個(gè)命令里最容易出事的一個(gè)尤其是-i原地修改用不好會(huì)把文件改壞。3.1 替換命令 s 的完整語(yǔ)法拆解替換的基本形式是s/模式/替換內(nèi)容/標(biāo)志。很多人只知道s/舊/新/g其實(shí)標(biāo)志位和分隔符都有講究。先說(shuō)分隔符。默認(rèn)用/但如果模式或替換內(nèi)容里本身含/比如處理路徑就得轉(zhuǎn)義很煩。這時(shí)候可以換分隔符sed允許用任意字符常見(jiàn)的是#或|# 處理路徑時(shí)用 # 當(dāng)分隔符避免轉(zhuǎn)義 sed s#/old/path#/new/path#g config.txt再說(shuō)標(biāo)志位標(biāo)志含義使用場(chǎng)景g全局替換一行內(nèi)所有匹配都換一行可能出現(xiàn)多次目標(biāo)時(shí)無(wú)只替換每行第一個(gè)匹配明確只想改第一處時(shí)p打印匹配行常配-n只想看被替換的行i忽略大小寫(xiě)GNU sed 支持大小寫(xiě)混雜時(shí)數(shù)字 n只替換第 n 個(gè)匹配精確定位某一處g是最容易漏的。不加g時(shí)sed只替換每行的第一處匹配如果一行里有多個(gè)目標(biāo)后面的會(huì)被漏掉。這個(gè)坑我見(jiàn)過(guò)太多次——有人改完配置發(fā)現(xiàn)只改了一半排查半天才發(fā)現(xiàn)是漏了g。3.2 原地修改 -i 的正確姿勢(shì)與備份策略-i是原地修改直接把結(jié)果寫(xiě)回文件。方便是真方便危險(xiǎn)也是真危險(xiǎn)——改錯(cuò)了沒(méi)有撤銷。所以我的習(xí)慣是永遠(yuǎn)帶備份后綴sed -i.bak s/old_value/new_value/g config.conf這樣原文件會(huì)被保存成config.conf.bak改壞了隨時(shí)能恢復(fù)。等確認(rèn)沒(méi)問(wèn)題再刪備份。多花一秒鐘省掉可能的半小時(shí)。還有一個(gè)跨平臺(tái)差異要注意某些系統(tǒng)的sed -i要求后面必須跟一個(gè)參數(shù)哪怕是空字符串寫(xiě)法是sed -i s/.../.../而 GNU 版本則直接sed -i s/.../.../。如果你寫(xiě)的腳本要在不同環(huán)境跑這一點(diǎn)會(huì)導(dǎo)致命令直接報(bào)錯(cuò)。穩(wěn)妥的做法是先確認(rèn)目標(biāo)環(huán)境的sed版本或者在腳本里做兼容判斷。注意-i修改前務(wù)必確認(rèn)模式匹配范圍。一個(gè)寫(xiě)得太寬的正則可能匹配到意料之外的行改完才發(fā)現(xiàn)問(wèn)題就晚了。建議先不加-i跑一遍看輸出確認(rèn)無(wú)誤再加。3.3 按行號(hào)與模式刪除、插入、追加sed的刪除命令是d可以按行號(hào)刪也可以按模式刪# 刪除第 5 行 sed 5d file.txt # 刪除第 3 到第 8 行 sed 3,8d file.txt # 刪除所有空行 sed /^\s*$/d file.txt # 刪除包含 DEBUG 的行 sed /DEBUG/d file.txt插入用i在匹配行前插入追加用a在匹配行后追加# 在每個(gè) [section] 前插入一行注釋 sed /^\[.*\]$/i # ---- section start ---- config.ini # 在文件末尾追加一行 sed $a # end of file config.ini這里$表示最后一行。i和a后面跟的內(nèi)容如果含特殊字符建議用單引號(hào)包住整個(gè)腳本避免 shell 提前解釋。3.4 多點(diǎn)編輯與腳本化-e 和 -f當(dāng)需要一次做多個(gè)編輯動(dòng)作時(shí)用-e串聯(lián)sed -e s/foo/bar/g -e s/baz/qux/g -e /^#/d file.txt多個(gè)-e按順序執(zhí)行前一個(gè)的結(jié)果會(huì)作為后一個(gè)的輸入。如果編輯邏輯很長(zhǎng)寫(xiě)成腳本文件更清晰用-f引用# 把編輯規(guī)則寫(xiě)進(jìn) rules.sed # s/foo/bar/g # s/baz/qux/g # /^#/d sed -f rules.sed file.txt腳本化還有個(gè)好處規(guī)則可以版本管理團(tuán)隊(duì)共享比每次手敲一長(zhǎng)串命令可靠得多。3.5 sed 處理大文件時(shí)的內(nèi)存表現(xiàn)前面提過(guò)sed是流式處理逐行讀逐行輸出所以即使文件有幾個(gè) G內(nèi)存占用也基本恒定。這一點(diǎn)和“先讀進(jìn)內(nèi)存再處理”的方式有本質(zhì)區(qū)別。實(shí)際測(cè)試中處理一個(gè)幾百萬(wàn)行的日志文件sed的內(nèi)存占用通常穩(wěn)定在幾 MB 級(jí)別速度也很快。但要注意-i原地修改時(shí)sed實(shí)際上是寫(xiě)一個(gè)臨時(shí)文件再替換原文件所以磁盤上需要額外空間容納新文件。如果磁盤快滿了-i可能中途失敗。這種時(shí)候可以先輸出到新文件確認(rèn)后再手動(dòng)替換。4. awk字段級(jí)處理的真正威力如果說(shuō)grep和sed是“行”級(jí)別的工具那awk就是“字段”級(jí)別的。它把每行拆成列讓你能按列做判斷、計(jì)算、格式化這是它區(qū)別于前兩者的核心能力。很多人覺(jué)得awk語(yǔ)法怪其實(shí)它的結(jié)構(gòu)非常規(guī)整模式 { 動(dòng)作 }模式?jīng)Q定哪些行參與處理動(dòng)作決定對(duì)這些行做什么。4.1 內(nèi)置變量$0、$1、NR、NF、FS、OFSawk的內(nèi)置變量是理解它的鑰匙先把這幾個(gè)吃透大部分用法就通了變量含義典型用途$0整行內(nèi)容輸出原始行$1~$n第 n 個(gè)字段按列取值NR當(dāng)前行號(hào)跨文件累計(jì)加行號(hào)、按行篩選NF當(dāng)前行的字段數(shù)取最后一列、判斷列數(shù)FS輸入字段分隔符指定按什么切列OFS輸出字段分隔符控制輸出格式舉個(gè)最直觀的例子打印文件的第二列和第四列awk {print $2, $4} data.txt默認(rèn)按空白空格或制表符切分。如果數(shù)據(jù)是逗號(hào)分隔的 CSV就要指定FSawk -F, {print $1, $3} data.csv-F是FS的命令行快捷寫(xiě)法。也可以用-F \t處理制表符分隔的文件。NF有個(gè)經(jīng)典技巧取每行最后一列。因?yàn)樽侄螖?shù)不固定不能寫(xiě)死$5但$NF永遠(yuǎn)指向最后一個(gè)字段awk {print $NF} data.txt倒數(shù)第二列則是$(NF-1)。這個(gè)寫(xiě)法在處理列數(shù)不定的日志時(shí)特別順手。4.2 模式匹配與條件過(guò)濾awk的模式部分可以省略表示所有行也可以是條件表達(dá)式。比如只處理第三列大于 100 的行awk -F, $3 100 {print $1, $3} data.csv注意這里$3 100是數(shù)值比較awk會(huì)自動(dòng)把字段轉(zhuǎn)成數(shù)字。如果要字符串比較用或~正則匹配# 第五列包含 error 的行 awk -F, $5 ~ /error/ {print $0} data.csv # 第五列不包含 error 的行 awk -F, $5 !~ /error/ {print $0} data.csv~是正則匹配!~是反向。這個(gè)能力讓awk在篩選時(shí)比grep更精準(zhǔn)因?yàn)榭梢韵薅ā爸辉谀骋涣欣镎摇倍皇钦姓?。比如日志里error可能出現(xiàn)在消息正文里但你只想找狀態(tài)列是 error 的行用awk就能精確鎖定。4.3 統(tǒng)計(jì)求和、計(jì)數(shù)、求平均的寫(xiě)法awk做統(tǒng)計(jì)是它的看家本領(lǐng)。求和awk -F, {sum $3} END {print sum} data.csv計(jì)數(shù)awk END {print NR} data.txtNR在處理到END時(shí)就是總行數(shù)所以這條命令等價(jià)于wc -l但awk還能順便做別的。求平均awk -F, {sum $3; count} END {print sum/count} data.csv按分組統(tǒng)計(jì)是更常見(jiàn)的需求。比如按第一列分組對(duì)第三列求和awk -F, {sum[$1] $3} END {for (k in sum) print k, sum[k]} data.csv這里sum是一個(gè)關(guān)聯(lián)數(shù)組鍵是分組名值是累加和。END塊里遍歷數(shù)組輸出。這個(gè)模式幾乎可以套用到所有“按某列分組做聚合”的場(chǎng)景改一下累加邏輯就行。再進(jìn)一步按分組求平均并保留兩位小數(shù)awk -F, {sum[$1] $3; cnt[$1]} END {for (k in sum) printf %s %.2f\n, k, sum[k]/cnt[k]} data.csvprintf的格式控制和 C 語(yǔ)言一致%.2f保留兩位小數(shù)。輸出對(duì)齊、格式統(tǒng)一時(shí)用它比print更可控。4.4 BEGIN 與 END 塊的使用時(shí)機(jī)awk的三個(gè)塊BEGIN、主體、END。BEGIN在讀取任何行之前執(zhí)行一次適合初始化變量、打印表頭END在所有行處理完后執(zhí)行一次適合輸出匯總結(jié)果。awk -F, BEGIN {print name,total} {sum[$1] $3} END {for (k in sum) print k , sum[k]} data.csv這條命令先打印表頭再輸出分組匯總結(jié)果直接就是一份可讀的報(bào)表。BEGIN里還可以設(shè)置FS、OFS比命令行參數(shù)更靈活awk BEGIN {FS,; OFS\t} {print $1, $3} data.csv這樣輸入按逗號(hào)切輸出用制表符分隔適合后續(xù)粘貼到表格軟件里。4.5 awk 與 grep、sed 的管道協(xié)作三者串起來(lái)用才是完整形態(tài)。舉個(gè)實(shí)際場(chǎng)景從日志里篩出錯(cuò)誤行提取時(shí)間戳和錯(cuò)誤碼再按錯(cuò)誤碼統(tǒng)計(jì)。grep -E ERROR app.log \ | awk {print $1, $5} \ | awk {count[$2]} END {for (c in count) print c, count[c]} \ | sort -k2 -rn第一步grep篩出錯(cuò)誤行第二步awk抽時(shí)間戳和錯(cuò)誤碼兩列第三步按錯(cuò)誤碼計(jì)數(shù)最后排序。每一步職責(zé)單一組合起來(lái)卻完成了相當(dāng)復(fù)雜的分析。這種“小工具串管道”的思路比寫(xiě)一個(gè)大而全的腳本更容易調(diào)試——哪一步結(jié)果不對(duì)單獨(dú)跑那一步就能定位。5. 三個(gè)命令的選型判斷與組合套路學(xué)到這里語(yǔ)法層面基本齊了但實(shí)際用的時(shí)候還是會(huì)猶豫“這個(gè)需求該用哪個(gè)”。這一節(jié)把常見(jiàn)的判斷邏輯和組合模式整理出來(lái)相當(dāng)于一份速查。5.1 一張表看懂該用誰(shuí)需求首選理由找包含某關(guān)鍵詞的行g(shù)rep行過(guò)濾是它的本職找某列滿足條件的行awk能定位到字段比整行匹配精準(zhǔn)批量替換文本sed流式替換大文件也穩(wěn)按列統(tǒng)計(jì)求和/平均awk字段級(jí)計(jì)算是它的強(qiáng)項(xiàng)刪除/插入特定行sed行級(jí)編輯直接支持多條件組合篩選awk支持邏輯運(yùn)算和正則遞歸搜目錄grep -r遞歸和文件過(guò)濾現(xiàn)成格式化輸出報(bào)表awkprintf控制格式判斷的核心就一句話看需求落在“行”還是“字段”上。行級(jí)篩選和編輯交給grep/sed字段級(jí)計(jì)算和條件交給awk。5.2 常見(jiàn)組合模式篩選-轉(zhuǎn)換-統(tǒng)計(jì)最經(jīng)典的三段式管道grep篩、sed清洗、awk統(tǒng)計(jì)。grep 2024- app.log \ | sed s/\[//g; s/\]//g \ | awk {print $2, $6} \ | awk {sum[$1] $2} END {for (k in sum) print k, sum[k]}這個(gè)模式的好處是每一步都能單獨(dú)驗(yàn)證。先跑grep看篩出來(lái)的行對(duì)不對(duì)再加sed看清洗結(jié)果最后加awk看統(tǒng)計(jì)。出問(wèn)題時(shí)不用猜是哪一步的鍋。另一個(gè)常見(jiàn)組合是awk生成sed腳本做條件替換。比如只替換滿足某條件的行awk -F, $3 100 {print s/^ $1 /REPLACED/} data.csv fix.sed sed -f fix.sed target.txt先用awk根據(jù)數(shù)據(jù)生成替換規(guī)則再交給sed執(zhí)行。這種“數(shù)據(jù)驅(qū)動(dòng)編輯”的思路在批量處理時(shí)很有用規(guī)則不是寫(xiě)死的而是從數(shù)據(jù)里算出來(lái)的。5.3 性能對(duì)比什么時(shí)候別硬用管道管道雖好但不是所有場(chǎng)景都適合。三個(gè)命令串起來(lái)意味著數(shù)據(jù)要經(jīng)過(guò)多次讀寫(xiě)如果數(shù)據(jù)量特別大比如上千萬(wàn)行管道開(kāi)銷會(huì)累積。這種時(shí)候可以考慮用單個(gè)awk完成全部邏輯因?yàn)閍wk本身就能做篩選、轉(zhuǎn)換、統(tǒng)計(jì)awk -F, $3 100 {sum[$1] $3} END {for (k in sum) print k, sum[k]} data.csv一條awk頂替了grep | sed | awk三段少了兩輪數(shù)據(jù)傳遞。當(dāng)然可讀性會(huì)下降一些所以我的原則是數(shù)據(jù)量小、邏輯清晰時(shí)用管道數(shù)據(jù)量大、性能敏感時(shí)合并到單個(gè)awk。這個(gè)取舍沒(méi)有絕對(duì)標(biāo)準(zhǔn)跑一下time對(duì)比最直接。6. 踩過(guò)的坑與實(shí)戰(zhàn)心得語(yǔ)法和套路講完最后這部分是我在實(shí)際使用中攢下來(lái)的經(jīng)驗(yàn)有些是踩坑換來(lái)的有些是反復(fù)用之后總結(jié)的順手寫(xiě)法。這些內(nèi)容手冊(cè)里不會(huì)寫(xiě)但真正影響效率。6.1 正則轉(zhuǎn)義與特殊字符的連環(huán)坑grep、sed、awk三者的正則方言并不完全一致這是最容易出錯(cuò)的地方。grep默認(rèn) BREsed默認(rèn)也是 BREawk則更接近 ERE。同一個(gè)正則在不同命令里可能表現(xiàn)不同。舉個(gè)具體的在 BRE 里是普通字符要匹配“一個(gè)或多個(gè)”得寫(xiě)\在 ERE 里才是量詞。所以grep a匹配的是字面的a而grep -E a匹配一個(gè)或多個(gè)a。這個(gè)差異如果不注意匹配結(jié)果會(huì)完全不對(duì)。另一個(gè)高頻坑是sed替換內(nèi)容里的特殊字符。替換內(nèi)容中表示“整個(gè)匹配”\1表示第一個(gè)捕獲組。如果你想替換成字面的得寫(xiě)成\。比如把AB替換成AB本身直接寫(xiě)s/AB/AB/會(huì)因?yàn)楸唤忉尪玫狡婀纸Y(jié)果正確寫(xiě)法是s/AB/A\B/。提示拿不準(zhǔn)正則行為時(shí)先用echo 測(cè)試字符串 | grep/sed/awk ...小范圍驗(yàn)證確認(rèn)匹配范圍再上真實(shí)文件。這個(gè)習(xí)慣能擋掉大部分誤操作。6.2 大文件處理時(shí)的內(nèi)存與速度權(quán)衡處理大文件時(shí)三個(gè)命令的表現(xiàn)差異明顯。grep和sed都是流式的內(nèi)存占用穩(wěn)定awk如果用了關(guān)聯(lián)數(shù)組做分組統(tǒng)計(jì)內(nèi)存會(huì)隨分組數(shù)增長(zhǎng)。分組數(shù)少比如按狀態(tài)碼分組就幾十個(gè)鍵沒(méi)問(wèn)題但如果按用戶 ID 分組、用戶有幾百萬(wàn)數(shù)組就會(huì)吃掉大量?jī)?nèi)存。這種時(shí)候的應(yīng)對(duì)辦法是要么先sort再順序處理犧牲時(shí)間換內(nèi)存要么分批處理。我遇到過(guò)一次按請(qǐng)求 ID 統(tǒng)計(jì)的場(chǎng)景直接awk數(shù)組把內(nèi)存撐爆了后來(lái)改成先sort再逐段處理才穩(wěn)住。所以看到“按高基數(shù)字段分組”的需求心里要有個(gè)預(yù)警。速度方面grep通常最快因?yàn)樗蛔銎ヅ洳蛔鰟e的sed次之a(chǎn)wk因?yàn)楣δ芏鄦涡刑幚黹_(kāi)銷略大但勝在一次能做完所有事綜合下來(lái)未必慢。具體場(chǎng)景跑time最靠譜別憑感覺(jué)。6.3 先預(yù)覽再落盤我的操作習(xí)慣這條是我最想強(qiáng)調(diào)的任何帶-i或重定向到原文件的命令執(zhí)行前先不加修改地跑一遍看輸出。# 第一步預(yù)覽確認(rèn)匹配范圍 sed s/old/new/g config.conf | grep -n new # 第二步確認(rèn)無(wú)誤再原地改且?guī)浞?sed -i.bak s/old/new/g config.conf多花這十幾秒能避免絕大多數(shù)“改錯(cuò)了文件”的事故。尤其是正則寫(xiě)得比較寬的時(shí)候預(yù)覽能直接暴露“匹配到了不該匹配的行”這個(gè)問(wèn)題。我見(jiàn)過(guò)有人一個(gè)s/.*/.../下去把整個(gè)文件改成一行的就是因?yàn)闆](méi)預(yù)覽。6.4 把常用組合固化成小腳本反復(fù)用的命令組合值得固化成腳本或別名。比如我常用的“統(tǒng)計(jì)日志里各錯(cuò)誤碼次數(shù)”#!/bin/bash # errstat.sh - 統(tǒng)計(jì)日志中各錯(cuò)誤碼出現(xiàn)次數(shù) LOG_FILE${1:?請(qǐng)傳入日志文件路徑} grep -E ERROR|FATAL $LOG_FILE \ | awk {print $5} \ | sort | uniq -c | sort -rn存成errstat.sh加執(zhí)行權(quán)限以后./errstat.sh app.log一條命令出結(jié)果。比每次手敲管道快得多也不容易敲錯(cuò)。類似的還有“清理配置文件注釋行”“按列重排 CSV”等用順手了就固化下來(lái)日積月累能省下大量重復(fù)勞動(dòng)。我個(gè)人在實(shí)際操作中的體會(huì)是這三個(gè)命令的價(jià)值不在于語(yǔ)法多復(fù)雜而在于把判斷和操作拆得足夠細(xì)。grep只管找sed只管改awk只管算每個(gè)工具做一件事并做好再用管道串起來(lái)。真正熟練之后面對(duì)一個(gè)文本處理需求腦子里第一反應(yīng)不是“寫(xiě)個(gè)腳本”而是“這條管道該怎么接”。這個(gè)思維轉(zhuǎn)變比記住多少參數(shù)都重要。