)
1. 項目起底caveman到底在解決什么問題1.1 為什么叫cavemancaveman不是一個復古游戲也不是什么部落生存App這是我維護了大半年的一個命令行工具項目。名字聽起來確實像穴居人核心思路也刻意走原始路線用標準C寫一個零第三方依賴的日志解析與指標聚合程序編譯出來只有一個可執(zhí)行文件扔到幾十臺只裝了最小化系統(tǒng)的老服務器上也能直接跑。最初觸發(fā)這個項目的是很現(xiàn)實的問題。團隊里有一套Python寫的日志統(tǒng)計腳本看起來功能挺全但每次部署都像渡劫有的機器Python版本不對有的機器缺pip包有的機器因為安全策略不讓你聯(lián)網(wǎng)裝東西。更麻煩的是腳本一跑就是兩三個小時中途內(nèi)存漲到2GB多經(jīng)常被OOM Killer干掉。我那時候就想到底有沒有一種方式能讓這種工具像cp、grep一樣拷過去就能用跑起來還不容易死。那次排查持續(xù)了一周最后我干脆決定自己動手。既然要避開解釋器、運行時和包管理這些麻煩最直接的選擇就是C語言。于是caveman這個項目就誕生了目標非常簡單一個二進制處理完輸入就退出內(nèi)存占用可預測速度盡量快出錯時能夠給出明確提示而不會整機崩潰。1.2 需求清單的確認任何項目動手之前需求不敲定后面一定會反復返工。caveman的第一版需求清單其實很短但每條都是從實際痛點里提煉出來的需求說明優(yōu)先級單一可執(zhí)行文件拷貝即用不依賴任何外部運行時和動態(tài)庫極高啟動速度快冷啟動到開始處理數(shù)據(jù)不超過50ms高內(nèi)存可控處理1GB文件時峰值內(nèi)存不超過200MB高支持管道處理能從stdin讀入也能直接處理文件列表高輸出格式穩(wěn)定支持CSV和JSON兩種輸出方便下游腳本消費中錯誤可診斷任何異常都能定位到具體的行號和狀態(tài)中這份清單看著簡單但后來每次做技術取舍我都會回頭對照它。要不要引入第三方解析庫不會破壞單一可執(zhí)行文件的需求。要不要用多線程并行處理暫緩因為多線程會把內(nèi)存峰值和調(diào)試成本都拉高。要不要支持復雜的表達式過濾不加那會模糊項目的邊界。定下需求之后整體方向就清晰了。這個工具的核心是一個狀態(tài)機驅(qū)動的流式解析器外加一個簡單但夠用的哈希表做聚合統(tǒng)計最后按固定格式輸出。整個過程不需要把整個文件讀進內(nèi)存而是采用固定緩沖區(qū)的流式讀取逐塊處理逐行聚合。1.3 適用對象與場景caveman適合誰首先是天天跟日志、文本記錄打交道的運維和后端開發(fā)者。比如你需要統(tǒng)計一天之內(nèi)某個業(yè)務接口的調(diào)用次數(shù)、異常碼分布、響應耗時分位數(shù)但手頭只有一個解壓后的原始日志又不想費勁去搭大數(shù)據(jù)平臺這種場景就很適合。其次它適合所有對部署環(huán)境有嚴格限制的場景。我已經(jīng)不止一次碰到客戶機器不允許安裝任何額外軟件包的情況甚至不保證有Python環(huán)境。這種時候一個編譯好的caveman可執(zhí)行文件比什么都好用直接scp上去就能跑跑完把結果拿回來機器上不留任何痕跡。如果你是一個對新工具持有好奇心愿意自己動手折騰的人也可以把它當作一個學習案例。后面我會講到手寫狀態(tài)機解析、內(nèi)存池設計、哈希表沖突處理這些偏底層的細節(jié)思路可以遷移到很多其他語言的項目里。2. 整體設計與架構決策2.1 技術選型為什么是C而不是Go或Rust決定用C語言不是因為我偏愛C而是這個項目的需求恰好把C的劣勢都規(guī)避了又把C的優(yōu)勢發(fā)揮到極致。先說說為什么不用Go。Go的部署確實方便交叉編譯也是加分項但Go二進制里塞了運行時體積隨隨便便就上10MB。在追求“盡可能小”的場景里這多出來的體積不算致命可還有另外一個問題Go的GC會帶來不確定的停頓雖然通常影響不大但在處理超大日志時觀察過幾次內(nèi)存翻倍和GC暫停和我“內(nèi)存可控”的目標有點沖突。Rust其實是不錯的選擇內(nèi)存安全、性能接近C而且cargo管理依賴很舒服。但Rust對編譯工具鏈的要求不低很多老服務器上的gcc版本不行rustup安裝又受網(wǎng)絡限制。做運維工具的人都有個習慣能用現(xiàn)有環(huán)境輕松編譯的就選現(xiàn)有的不要為了一時舒服制造部署負擔。C語言就是那個“在任何一個機器上都大概率能編譯”的語言。標準C11加上POSIX接口只依賴libc和內(nèi)核編譯選項控制得當連動態(tài)庫都可以不依賴。在嵌入式、容器、最小化Linux系統(tǒng)這些場景里C幾乎是唯一一個不太需要擔心“環(huán)境沒有它就跑不了”的語言。當然選C等于把內(nèi)存管理的責任全部背到自己身上。這個代價不能忽視所以我專門設計了內(nèi)存池來集中管理內(nèi)存分配后面會詳細說。2.2 模塊劃分與數(shù)據(jù)流caveman的代碼結構刻意做得非常簡單我不喜歡一個工具項目一上來就搞十幾個目錄。最終劃分成四個核心模塊main.c入口、命令行參數(shù)解析、頂層流程控制parser.c流式解析器負責把文本按行拆開并提取字段store.c聚合存儲層負責哈希表、內(nèi)存池和統(tǒng)計值更新report.c輸出層負責將結果寫成CSV或JSON這四個模塊之間只通過很小的幾個接口交互。main拿到命令行參數(shù)之后把輸入源統(tǒng)一抽象成一個“讀取器”。讀取器要么是open后的文件描述符要么直接是stdin解析器不關心數(shù)據(jù)從哪來只關心next()函數(shù)是否還能返回新的一行。這樣的分層帶來一個額外的好處測試的時候可以把任意一段文本通過管道喂進去不用構建復雜的測試文件系統(tǒng)。我在單元測試里大量使用echo加管道的組合比如echo -e a\nb\nc | caveman --format csv測起來非常順手。數(shù)據(jù)流的方向是單向的一行文本進入parser之后解析出鍵值對更新到store里。store里的數(shù)據(jù)最終由report讀取并格式化。全程沒有回調(diào)函數(shù)沒有復雜的事件循環(huán)就是一個簡單的線性流程。這種設計思路可能在一些人眼里過于樸素但恰恰是這種樸素讓問題定位變得特別容易。任何一個環(huán)節(jié)出問題只要追蹤一個方向就能找到根因。2.3 三個關鍵取舍第一個取舍是不用多線程。日志解析這個任務本質(zhì)上是IO密集和簡單計算密集的混合體理論上用多線程確實能提速。但我評估了一下復雜度多線程意味著要處理鎖競爭、線程池、任務隊列還要處理各個線程統(tǒng)計結果的合并。一旦引入這些內(nèi)存峰值會上去bug排查難度也會成倍增加。項目初版先跑通性能不夠再做多進程也行反正數(shù)據(jù)可以分片。第二個取舍是不做異步IO。異步IO很時髦但對這個項目來說收益不大。我們用標準read/write配合一個64KB的緩沖區(qū)在絕大多數(shù)場景下已經(jīng)能吃掉磁盤的吞吐能力。真要做異步還得考慮不同平臺的多路復用機制差異這明顯違背了零負擔部署的初衷。第三個取舍是內(nèi)存池。C語言里malloc和free本身不慢但頻繁分配小塊內(nèi)存會出現(xiàn)碎片和性能抖動。對于解析日志這種模式每解析一行就有若干臨時字符串如果用malloc/free那調(diào)用次數(shù)會極其夸張。內(nèi)存池的做法是一次性向系統(tǒng)申請一大塊內(nèi)存內(nèi)部用游標切分解析過程中產(chǎn)生的臨時對象全部從池子里分配任務結束直接把整塊內(nèi)存交還系統(tǒng)。省掉了free的逐個調(diào)用也避免了碎片的出現(xiàn)。需要強調(diào)一點內(nèi)存池不是所有情況的萬能藥。如果每個對象生命周期差異很大內(nèi)存池可能會造成巨大浪費。但日志解析的特點是周期短、體量大、生命周期整齊所有臨時字符串都是活到當前行處理完就不用了這正好匹配內(nèi)存池的長處。3. 實操過程從零構建caveman核心3.1 工程骨架與構建腳本我習慣新建項目時先把構建腳本寫好哪怕是三四個源文件的小項目也要讓make build和make test能一鍵完成。caveman的目錄結構很簡單caveman/ ├── src/ │ ├── main.c │ ├── parser.c │ ├── parser.h │ ├── store.c │ ├── store.h │ ├── report.c │ └── report.h ├── tests/ │ ├── run_tests.sh │ └── fixtures/ ├── Makefile └── README.mdMakefile寫得也比較克制沒有用autotools因為不想為了一個單文件工具引入一整套構建系統(tǒng)。下面是核心的構建規(guī)則我做了個簡化版CC ? gcc CFLAGS ? -stdc11 -O2 -Wall -Wextra -fno-strict-aliasing LDFLAGS ? -static BIN : caveman SRC : $(wildcard src/*.c) OBJ : $(SRC:.c.o) all: $(BIN) $(BIN): $(OBJ) $(CC) $(CFLAGS) -o $ $^ $(LDFLAGS) %.o: %.c $(CC) $(CFLAGS) -c -o $ $ test: $(BIN) bash tests/run_tests.sh clean: rm -f $(OBJ) $(BIN)幾個值得注意的細節(jié)。第一-fno-strict-aliasing在C語言里基本屬于保險開關因為有些老代碼在指針類型轉(zhuǎn)換上不夠嚴謹取消嚴格別名規(guī)則能減少莫名奇妙的優(yōu)化bug。第二-static這個選項會把libc靜態(tài)鏈接進去生成的文件會稍微大一點但換來的是在目標機器上不需要任何動態(tài)庫。對于caveman這種工具追求的就是極致的可移植性體積多幾百KB完全可以接受。編譯生成的二進制在老服務器上實測大概是300KB左右這在今天動輒幾十MB的工具里面真的有點特殊的時代感。但就是這300KB解決了我們長久以來的部署難題。3.2 手寫狀態(tài)機解析器解析器是caveman最核心的部分也是最值得說的。如果考慮用正則表達式來解析日志那寫起來確實舒服但正則庫的依賴會打破零依賴原則而且正則引擎在處理特別長的行時存在災難性回溯的風險。對于一個需要長時間穩(wěn)定運行的解析工具這種不確定性是不能接受的。所以我把解析器做成一個確定性的狀態(tài)機。以解析常見的訪問日志為例一條日志長這樣2025-01-15T10:24:3108:00 [INFO] user10086 api/order/detail code200 cost185ms我們需要提取時間、用戶ID、接口路徑、狀態(tài)碼和耗時。狀態(tài)機的思路是逐字符掃描把整個解析過程分為幾個明確的狀態(tài)STATE_TIME讀取時間字段遇到空格就切到下一個字段STATE_LEVEL讀日志級別遇到空格切換到字段掃描STATE_FIELD讀取keyvalue對遇到空格繼續(xù)下一對遇到換行結束本行核心代碼示意大致長這樣typedef enum { STATE_TIME, STATE_LEVEL, STATE_FIELD, STATE_DONE } ParseState; int parse_line(const char *line, size_t len, ParsedRecord *out) { ParseState state STATE_TIME; size_t i 0; Field cur {0}; while (i len state ! STATE_DONE) { char c line[i]; switch (state) { case STATE_TIME: if (c ) { state STATE_LEVEL; } break; case STATE_LEVEL: if (c ) { state STATE_FIELD; } break; case STATE_FIELD: if (c ) { cur.key_start field_start; } else if (c ) { commit_field(out, cur); state STATE_FIELD; field_start i 1; } else if (c \n) { commit_field(out, cur); state STATE_DONE; } break; default: break; } i; } return 0; }這段代碼是高度簡化后的示意圖真實實現(xiàn)里我會把字段名解析和值截取分開做還會處理轉(zhuǎn)義字符。但核心思想就是這個用狀態(tài)變量記住當前在哪個階段每讀一個字符做一次判斷復雜度是O(n)理論上不會出現(xiàn)正則那樣回溯到指數(shù)級的情況。手寫狀態(tài)機的另一個好處是我可以精確控制哪些字符需要處理哪些可以直接跳過。比如解析大量日志時很多字段我們是根本不關心的狀態(tài)機可以不把它們的內(nèi)容復制到任何緩沖區(qū)里直接跳過只保留字段起止位置后面需要時再按需拷貝。這種零拷貝思路比正則表達式那種“匹配結果即復制”的方式高效得多。3.3 內(nèi)存池和哈希表設計之前提到內(nèi)存池是本項目控制內(nèi)存的關鍵。這里的實現(xiàn)思路并不復雜我用一個鏈式的大塊結構每個塊默認64KB塊內(nèi)用offset分配內(nèi)存塊用完就新開一個塊typedef struct PoolBlock { size_t used; size_t capacity; struct PoolBlock *next; char data[]; } PoolBlock; typedef struct { PoolBlock *head; size_t block_size; } Pool; void *pool_alloc(Pool *p, size_t size) { size (size 7) ~7; // 8字節(jié)對齊 PoolBlock *b p-head; if (b-used size b-capacity) { b create_block(p, max(p-block_size, size)); b-next p-head; p-head b; } void *ptr b-data b-used; b-used size; return ptr; }每次分配都從當前塊的used游標上切一塊出去不做單獨釋放。因為日志解析場景中所有需要保留到最終報告里的數(shù)據(jù)只包括聚合鍵和累加值這些數(shù)據(jù)一旦確定就不會再改變所以不需要在任務結束前釋放某個單獨的字符串。整池銷毀時只需要遍歷一次鏈表把每個塊free掉就行。哈希表方面我也沒有引入任何外部哈希庫而是自己實現(xiàn)了一個鏈地址法的哈希表。鍵是一個字符串視圖也就是指針加長度而不是以\0結尾的字符串。這樣可以避免為了查詢在內(nèi)存池里額外復制一份同樣的字符串。哈希函數(shù)我選擇了FNV-1a這種哈希算法簡單、速度快而且在處理短字符串時分布非常均勻。查找過程是先通過哈希定位到桶再在桶內(nèi)鏈表中逐個比較長度和memcmp。因為這個場景的鍵通常比較短具體業(yè)務里一般也就幾十個不同字段桶里鏈表很短沖突基本可以忽略。但如果鍵數(shù)量非常多我會在初始化哈希表時設定較大的桶數(shù)比如默認4096個桶在聚合數(shù)超過負載因子之后再動態(tài)擴容。內(nèi)存池和哈希表組合的精妙之處在于整個程序在生命周期內(nèi)不會調(diào)用很多次系統(tǒng)分配函數(shù)從而避免內(nèi)存碎片。我曾在處理10GB日志時觀察過RSS曲線它的峰值很穩(wěn)定基本是一個平臺狀態(tài)而不是那種鋸齒形波動。3.4 參數(shù)解析與退出碼約定命令行參數(shù)解析部分是整個項目里最“無聊”的模塊但它直接決定了工具好不好用。caveman支持的參數(shù)不多這也是我刻意克制的結果caveman [-f input_file] [-o output_file] [--format csv|json] [--field TIME,CODE,COST] [--mode count|sum|avg]參數(shù)越少使用門檻越低也越不容易出錯。每個參數(shù)我都選擇了簡短且含義明確的命名而不是搞一堆縮寫。同時我還支持從環(huán)境變量讀取默認參數(shù)這樣在腳本里可以將一些固定配置收斂。退出碼的約定也必須固定下來。0表示正常處理完畢1表示參數(shù)解析錯誤2表示輸入文件無法打開3表示解析過程中出現(xiàn)了無法跳過的致命錯誤。這個約定看著簡單但自動化腳本非常依賴它。比如在采集平臺里一旦某臺機器返回碼不是0調(diào)度器就能立刻知道任務失敗而不需要再去解析標準輸出里的錯誤信息。標準輸出只輸出正式結果錯誤信息全部走標準錯誤輸出。這也是一個小細節(jié)但直接影響下游腳本能否安全地把結果重定向到文件。如果你在日志里混入報錯信息那結果文件就會變成無法解析的垃圾。4. 常見問題與排坑記錄4.1 靜態(tài)編譯之后竟然還是缺依賴理論上加了-static之后生成的二進制就不依賴任何動態(tài)庫了但我在第一次部署時還是踩了坑拿到目標機器上一跑提示Illegal instruction。排查了很久才發(fā)現(xiàn)問題出在編譯時的CPU指令集。編譯caveman的機器是較新的CPUgcc默認會根據(jù)當前機器的特性啟用一部分新指令集擴展而目標服務器的CPU比較老不支持這些指令于是一執(zhí)行就非法指令。解決辦法是在Makefile里明確指定編譯目標平臺的最小子集CFLAGS -marchx86-64 -mtunegeneric這樣編譯器只會使用所有x86-64處理器都支持的基礎指令兼容性一下就上去了。后續(xù)我在給其他架構編譯的時候也會檢查-march參數(shù)比如針對ARM平臺會改用-marcharmv7-a或者直接不指定。這個坑提醒我靜態(tài)鏈接解決的是運行庫依賴但解決不了CPU指令集差異。在面向多環(huán)境的通用工具上寧可犧牲一點本地機器的性能也要保證生成二進制在目標環(huán)境能跑。4.2 大文件處理時的內(nèi)存水位突然升高有一段時間我持續(xù)觀測到caveman處理大文件時的內(nèi)存峰值不穩(wěn)定有時300MB有時600MB。一開始以為是哈希表擴容導致但排查后發(fā)現(xiàn)真正的罪魁禍首是輸出層。原來的輸出邏輯是在所有行解析完成之后把整個報告一次性拼成一個巨大的字符串然后再一次性write出去。這個字符串的大小取決于聚合結果數(shù)量而當unique鍵數(shù)量很多時內(nèi)存自然飆升。解決方式非常直接改成分塊寫入。每生成一批記錄就立刻調(diào)用write落盤并清空內(nèi)部緩沖區(qū)。因為報告數(shù)據(jù)本身是順序遍歷哈希表產(chǎn)生的所以這不需要復雜的調(diào)度只需要在遍歷過程中維持一個小的寫緩沖比如32KB寫滿就flush一次。修改之后內(nèi)存峰值穩(wěn)定在180MB以內(nèi)即在處理10GB日志時也沒再出現(xiàn)過超出預期的情況。項目中凡是遇到內(nèi)存抖動的大概率都是在某個地方攢了大量的中間數(shù)據(jù)而不是真正的業(yè)務數(shù)據(jù)量太大。4.3 管道模式下stdin的數(shù)據(jù)怎么處理另一個容易出問題的是stdin輸入模式。如果用戶執(zhí)行cat file | caveman --format json程序是讀取標準輸入而不是直接從文件讀取。這本身沒問題但我在初版實現(xiàn)里沿用了普通文件的lseek來跳過無效頭部結果stdin不允許lseek直接返回ESPIPE報錯。這個問題讓測試腳本時斷時續(xù)后來我統(tǒng)一用一個輸入抽象層來解決。這個抽象層內(nèi)部維護一個當前讀取方式標志普通文件模式下可以使用pread或lseek管道模式下只能順序讀取并維護自己的offset狀態(tài)。這個調(diào)整的影響面不小因為它促使我重新梳理了“輸入源”這個概念。現(xiàn)在caveman不僅能讀普通文件和stdin還能通過文件描述符參數(shù)與上游進程協(xié)作處理一些更復雜的管道場景。4.4 在CI流水線里的集成思路既然部署場景是自動化環(huán)境caveman自然也要能被CI流水線方便地使用。我在項目的tests目錄里寫了一個run_tests.sh把常規(guī)使用場景全部覆蓋成斷言式測試#!/bin/bash set -euo pipefail caveman_bin${1:-./caveman} printf user1 code200\nuser2 code500\nuser1 code200\n | \ $caveman_bin --field user,code --mode count --format csv /tmp/t1.csv test $(cat /tmp/t1.csv) $user,code,count\n1,200,2\n2,500,1 echo PASS: basic count aggregation這些測試在每次代碼變更后都會跑所以后續(xù)迭代一直沒有鬧出過什么大回歸。CI流水線里我把編譯環(huán)節(jié)拆成了兩步先做常規(guī)編譯再跑一次針對老CPU的兼容性編譯。只有兩步都通過才會生成release二進制。5. 實測數(shù)據(jù)與個人經(jīng)驗5.1 測試環(huán)境測試這組數(shù)據(jù)使用的是一臺很普通的4核8GB內(nèi)存虛擬機磁盤是普通SSD操作系統(tǒng)是Debian 11內(nèi)核版本5.10。對比對象是團隊原來使用的Python腳本它用正則表達式逐行匹配把所有結果保存在字典里最后一次性打印。輸入數(shù)據(jù)是一份模擬的訪問日志共1000萬行大小約1.2GB。字段包括時間戳、用戶ID、接口路徑、狀態(tài)碼和耗時。聚合任務要求按狀態(tài)碼和接口路徑兩個維度統(tǒng)計調(diào)用次數(shù)和平均耗時。5.2 性能與資源占用對比指標Python腳本caveman處理耗時約23分40秒約42秒峰值內(nèi)存2.1GB156MB依賴需Python3.8無啟動時間約0.45秒約3毫秒這個數(shù)據(jù)看起來差距非常大但實際測試并不意外。Python腳本在正則匹配和字典維護上有較大的開銷而且它把中間結果全部保留到字典中又疊加了對象頭信息的內(nèi)存放大。caveman走的是流式處理和緊湊的內(nèi)存池存儲邏輯更貼近底層性能自然占優(yōu)。耗時從十幾分鐘變成幾十秒對于每天需要跑好幾次統(tǒng)計的任務來說改善非常直觀。更重要的是內(nèi)存從2.1GB降到156MB這讓它能夠跑在一些配置很低的采集機器上不再會因為內(nèi)存不足而被系統(tǒng)殺掉。5.3 哪些場景適合caveman從這半年多的使用經(jīng)驗看caveman比較適合以下幾類場景第一是日志聚合。無論是Nginx訪問日志、應用日志還是業(yè)務埋點日志只要格式相對固定caveman就能用很小的代價完成統(tǒng)計。對格式不規(guī)則的文本它的狀態(tài)機設計也能通過新增狀態(tài)分支來適應。第二是數(shù)據(jù)清洗和簡單轉(zhuǎn)換。一些臨時性的文本處理任務如果把Python腳本部署到目標機器環(huán)境實在太重。用caveman可以一次編譯到處運行在處理大批量數(shù)據(jù)時還不容易卡死。第三是嵌入式或邊緣計算場景。那些機器資源非常緊張不僅是CPU和內(nèi)存連存儲空間都吝嗇。caveman一個300KB的二進制放在任何地方都不會覺得占地方。不適用的場景也有。如果字段結構高度動態(tài)每行格式都不一樣那狀態(tài)機寫起來會非常痛苦。這時候更通用的awk甚至Python反而是更好的選擇。另外如果需要實時監(jiān)聽并處理持續(xù)到達的數(shù)據(jù)流caveman的單次運行模型也不合適它更適合批處理。5.4 一些額外的經(jīng)驗體會整個caveman項目做下來我最大的體會是工具的價值常常不體現(xiàn)在功能多少上而體現(xiàn)在它能不能在特定環(huán)境里穩(wěn)定完成一件事。很多時候我們并不缺功能強大的軟件缺的是能放在任何機器上、不用折騰依賴、不會半路崩潰的小工具。如果你也想做一個類似的工具我建議從需求清單開始清晰寫下你的邊界條件。這個清單會在你頭腦發(fā)熱想加功能時幫你保持理智。另外C語言項目的內(nèi)存管理一定不能圖省事散著malloc內(nèi)存池或預分配策略對長時間運行的批處理工具幾乎是必需品。最后一點多做真實數(shù)據(jù)的壓測。我用10GB日志壓測過caveman之后才發(fā)現(xiàn)自己最初的輸出緩沖設計有問題。紙上推演一百遍都不如實際跑一次大文件來得直接。 用C語言寫一個零依賴日志解析工具：caveman的設計與實現(xiàn)
1. 項目起底caveman到底在解決什么問題1.1 為什么叫cavemancaveman不是一個復古游戲也不是什么部落生存App這是我維護了大半年的一個命令行工具項目。名字聽起來確實像穴居人核心思路也刻意走原始路線用標準C寫一個零第三方依賴的日志解析與指標聚合程序編譯出來只有一個可執(zhí)行文件扔到幾十臺只裝了最小化系統(tǒng)的老服務器上也能直接跑。最初觸發(fā)這個項目的是很現(xiàn)實的問題。團隊里有一套Python寫的日志統(tǒng)計腳本看起來功能挺全但每次部署都像渡劫有的機器Python版本不對有的機器缺pip包有的機器因為安全策略不讓你聯(lián)網(wǎng)裝東西。更麻煩的是腳本一跑就是兩三個小時中途內(nèi)存漲到2GB多經(jīng)常被OOM Killer干掉。我那時候就想到底有沒有一種方式能讓這種工具像cp、grep一樣拷過去就能用跑起來還不容易死。那次排查持續(xù)了一周最后我干脆決定自己動手。既然要避開解釋器、運行時和包管理這些麻煩最直接的選擇就是C語言。于是caveman這個項目就誕生了目標非常簡單一個二進制處理完輸入就退出內(nèi)存占用可預測速度盡量快出錯時能夠給出明確提示而不會整機崩潰。1.2 需求清單的確認任何項目動手之前需求不敲定后面一定會反復返工。caveman的第一版需求清單其實很短但每條都是從實際痛點里提煉出來的需求說明優(yōu)先級單一可執(zhí)行文件拷貝即用不依賴任何外部運行時和動態(tài)庫極高啟動速度快冷啟動到開始處理數(shù)據(jù)不超過50ms高內(nèi)存可控處理1GB文件時峰值內(nèi)存不超過200MB高支持管道處理能從stdin讀入也能直接處理文件列表高輸出格式穩(wěn)定支持CSV和JSON兩種輸出方便下游腳本消費中錯誤可診斷任何異常都能定位到具體的行號和狀態(tài)中這份清單看著簡單但后來每次做技術取舍我都會回頭對照它。要不要引入第三方解析庫不會破壞單一可執(zhí)行文件的需求。要不要用多線程并行處理暫緩因為多線程會把內(nèi)存峰值和調(diào)試成本都拉高。要不要支持復雜的表達式過濾不加那會模糊項目的邊界。定下需求之后整體方向就清晰了。這個工具的核心是一個狀態(tài)機驅(qū)動的流式解析器外加一個簡單但夠用的哈希表做聚合統(tǒng)計最后按固定格式輸出。整個過程不需要把整個文件讀進內(nèi)存而是采用固定緩沖區(qū)的流式讀取逐塊處理逐行聚合。1.3 適用對象與場景caveman適合誰首先是天天跟日志、文本記錄打交道的運維和后端開發(fā)者。比如你需要統(tǒng)計一天之內(nèi)某個業(yè)務接口的調(diào)用次數(shù)、異常碼分布、響應耗時分位數(shù)但手頭只有一個解壓后的原始日志又不想費勁去搭大數(shù)據(jù)平臺這種場景就很適合。其次它適合所有對部署環(huán)境有嚴格限制的場景。我已經(jīng)不止一次碰到客戶機器不允許安裝任何額外軟件包的情況甚至不保證有Python環(huán)境。這種時候一個編譯好的caveman可執(zhí)行文件比什么都好用直接scp上去就能跑跑完把結果拿回來機器上不留任何痕跡。如果你是一個對新工具持有好奇心愿意自己動手折騰的人也可以把它當作一個學習案例。后面我會講到手寫狀態(tài)機解析、內(nèi)存池設計、哈希表沖突處理這些偏底層的細節(jié)思路可以遷移到很多其他語言的項目里。2. 整體設計與架構決策2.1 技術選型為什么是C而不是Go或Rust決定用C語言不是因為我偏愛C而是這個項目的需求恰好把C的劣勢都規(guī)避了又把C的優(yōu)勢發(fā)揮到極致。先說說為什么不用Go。Go的部署確實方便交叉編譯也是加分項但Go二進制里塞了運行時體積隨隨便便就上10MB。在追求“盡可能小”的場景里這多出來的體積不算致命可還有另外一個問題Go的GC會帶來不確定的停頓雖然通常影響不大但在處理超大日志時觀察過幾次內(nèi)存翻倍和GC暫停和我“內(nèi)存可控”的目標有點沖突。Rust其實是不錯的選擇內(nèi)存安全、性能接近C而且cargo管理依賴很舒服。但Rust對編譯工具鏈的要求不低很多老服務器上的gcc版本不行rustup安裝又受網(wǎng)絡限制。做運維工具的人都有個習慣能用現(xiàn)有環(huán)境輕松編譯的就選現(xiàn)有的不要為了一時舒服制造部署負擔。C語言就是那個“在任何一個機器上都大概率能編譯”的語言。標準C11加上POSIX接口只依賴libc和內(nèi)核編譯選項控制得當連動態(tài)庫都可以不依賴。在嵌入式、容器、最小化Linux系統(tǒng)這些場景里C幾乎是唯一一個不太需要擔心“環(huán)境沒有它就跑不了”的語言。當然選C等于把內(nèi)存管理的責任全部背到自己身上。這個代價不能忽視所以我專門設計了內(nèi)存池來集中管理內(nèi)存分配后面會詳細說。2.2 模塊劃分與數(shù)據(jù)流caveman的代碼結構刻意做得非常簡單我不喜歡一個工具項目一上來就搞十幾個目錄。最終劃分成四個核心模塊main.c入口、命令行參數(shù)解析、頂層流程控制parser.c流式解析器負責把文本按行拆開并提取字段store.c聚合存儲層負責哈希表、內(nèi)存池和統(tǒng)計值更新report.c輸出層負責將結果寫成CSV或JSON這四個模塊之間只通過很小的幾個接口交互。main拿到命令行參數(shù)之后把輸入源統(tǒng)一抽象成一個“讀取器”。讀取器要么是open后的文件描述符要么直接是stdin解析器不關心數(shù)據(jù)從哪來只關心next()函數(shù)是否還能返回新的一行。這樣的分層帶來一個額外的好處測試的時候可以把任意一段文本通過管道喂進去不用構建復雜的測試文件系統(tǒng)。我在單元測試里大量使用echo加管道的組合比如echo -e a\nb\nc | caveman --format csv測起來非常順手。數(shù)據(jù)流的方向是單向的一行文本進入parser之后解析出鍵值對更新到store里。store里的數(shù)據(jù)最終由report讀取并格式化。全程沒有回調(diào)函數(shù)沒有復雜的事件循環(huán)就是一個簡單的線性流程。這種設計思路可能在一些人眼里過于樸素但恰恰是這種樸素讓問題定位變得特別容易。任何一個環(huán)節(jié)出問題只要追蹤一個方向就能找到根因。2.3 三個關鍵取舍第一個取舍是不用多線程。日志解析這個任務本質(zhì)上是IO密集和簡單計算密集的混合體理論上用多線程確實能提速。但我評估了一下復雜度多線程意味著要處理鎖競爭、線程池、任務隊列還要處理各個線程統(tǒng)計結果的合并。一旦引入這些內(nèi)存峰值會上去bug排查難度也會成倍增加。項目初版先跑通性能不夠再做多進程也行反正數(shù)據(jù)可以分片。第二個取舍是不做異步IO。異步IO很時髦但對這個項目來說收益不大。我們用標準read/write配合一個64KB的緩沖區(qū)在絕大多數(shù)場景下已經(jīng)能吃掉磁盤的吞吐能力。真要做異步還得考慮不同平臺的多路復用機制差異這明顯違背了零負擔部署的初衷。第三個取舍是內(nèi)存池。C語言里malloc和free本身不慢但頻繁分配小塊內(nèi)存會出現(xiàn)碎片和性能抖動。對于解析日志這種模式每解析一行就有若干臨時字符串如果用malloc/free那調(diào)用次數(shù)會極其夸張。內(nèi)存池的做法是一次性向系統(tǒng)申請一大塊內(nèi)存內(nèi)部用游標切分解析過程中產(chǎn)生的臨時對象全部從池子里分配任務結束直接把整塊內(nèi)存交還系統(tǒng)。省掉了free的逐個調(diào)用也避免了碎片的出現(xiàn)。需要強調(diào)一點內(nèi)存池不是所有情況的萬能藥。如果每個對象生命周期差異很大內(nèi)存池可能會造成巨大浪費。但日志解析的特點是周期短、體量大、生命周期整齊所有臨時字符串都是活到當前行處理完就不用了這正好匹配內(nèi)存池的長處。3. 實操過程從零構建caveman核心3.1 工程骨架與構建腳本我習慣新建項目時先把構建腳本寫好哪怕是三四個源文件的小項目也要讓make build和make test能一鍵完成。caveman的目錄結構很簡單caveman/ ├── src/ │ ├── main.c │ ├── parser.c │ ├── parser.h │ ├── store.c │ ├── store.h │ ├── report.c │ └── report.h ├── tests/ │ ├── run_tests.sh │ └── fixtures/ ├── Makefile └── README.mdMakefile寫得也比較克制沒有用autotools因為不想為了一個單文件工具引入一整套構建系統(tǒng)。下面是核心的構建規(guī)則我做了個簡化版CC ? gcc CFLAGS ? -stdc11 -O2 -Wall -Wextra -fno-strict-aliasing LDFLAGS ? -static BIN : caveman SRC : $(wildcard src/*.c) OBJ : $(SRC:.c.o) all: $(BIN) $(BIN): $(OBJ) $(CC) $(CFLAGS) -o $ $^ $(LDFLAGS) %.o: %.c $(CC) $(CFLAGS) -c -o $ $ test: $(BIN) bash tests/run_tests.sh clean: rm -f $(OBJ) $(BIN)幾個值得注意的細節(jié)。第一-fno-strict-aliasing在C語言里基本屬于保險開關因為有些老代碼在指針類型轉(zhuǎn)換上不夠嚴謹取消嚴格別名規(guī)則能減少莫名奇妙的優(yōu)化bug。第二-static這個選項會把libc靜態(tài)鏈接進去生成的文件會稍微大一點但換來的是在目標機器上不需要任何動態(tài)庫。對于caveman這種工具追求的就是極致的可移植性體積多幾百KB完全可以接受。編譯生成的二進制在老服務器上實測大概是300KB左右這在今天動輒幾十MB的工具里面真的有點特殊的時代感。但就是這300KB解決了我們長久以來的部署難題。3.2 手寫狀態(tài)機解析器解析器是caveman最核心的部分也是最值得說的。如果考慮用正則表達式來解析日志那寫起來確實舒服但正則庫的依賴會打破零依賴原則而且正則引擎在處理特別長的行時存在災難性回溯的風險。對于一個需要長時間穩(wěn)定運行的解析工具這種不確定性是不能接受的。所以我把解析器做成一個確定性的狀態(tài)機。以解析常見的訪問日志為例一條日志長這樣2025-01-15T10:24:3108:00 [INFO] user10086 api/order/detail code200 cost185ms我們需要提取時間、用戶ID、接口路徑、狀態(tài)碼和耗時。狀態(tài)機的思路是逐字符掃描把整個解析過程分為幾個明確的狀態(tài)STATE_TIME讀取時間字段遇到空格就切到下一個字段STATE_LEVEL讀日志級別遇到空格切換到字段掃描STATE_FIELD讀取keyvalue對遇到空格繼續(xù)下一對遇到換行結束本行核心代碼示意大致長這樣typedef enum { STATE_TIME, STATE_LEVEL, STATE_FIELD, STATE_DONE } ParseState; int parse_line(const char *line, size_t len, ParsedRecord *out) { ParseState state STATE_TIME; size_t i 0; Field cur {0}; while (i len state ! STATE_DONE) { char c line[i]; switch (state) { case STATE_TIME: if (c ) { state STATE_LEVEL; } break; case STATE_LEVEL: if (c ) { state STATE_FIELD; } break; case STATE_FIELD: if (c ) { cur.key_start field_start; } else if (c ) { commit_field(out, cur); state STATE_FIELD; field_start i 1; } else if (c \n) { commit_field(out, cur); state STATE_DONE; } break; default: break; } i; } return 0; }這段代碼是高度簡化后的示意圖真實實現(xiàn)里我會把字段名解析和值截取分開做還會處理轉(zhuǎn)義字符。但核心思想就是這個用狀態(tài)變量記住當前在哪個階段每讀一個字符做一次判斷復雜度是O(n)理論上不會出現(xiàn)正則那樣回溯到指數(shù)級的情況。手寫狀態(tài)機的另一個好處是我可以精確控制哪些字符需要處理哪些可以直接跳過。比如解析大量日志時很多字段我們是根本不關心的狀態(tài)機可以不把它們的內(nèi)容復制到任何緩沖區(qū)里直接跳過只保留字段起止位置后面需要時再按需拷貝。這種零拷貝思路比正則表達式那種“匹配結果即復制”的方式高效得多。3.3 內(nèi)存池和哈希表設計之前提到內(nèi)存池是本項目控制內(nèi)存的關鍵。這里的實現(xiàn)思路并不復雜我用一個鏈式的大塊結構每個塊默認64KB塊內(nèi)用offset分配內(nèi)存塊用完就新開一個塊typedef struct PoolBlock { size_t used; size_t capacity; struct PoolBlock *next; char data[]; } PoolBlock; typedef struct { PoolBlock *head; size_t block_size; } Pool; void *pool_alloc(Pool *p, size_t size) { size (size 7) ~7; // 8字節(jié)對齊 PoolBlock *b p-head; if (b-used size b-capacity) { b create_block(p, max(p-block_size, size)); b-next p-head; p-head b; } void *ptr b-data b-used; b-used size; return ptr; }每次分配都從當前塊的used游標上切一塊出去不做單獨釋放。因為日志解析場景中所有需要保留到最終報告里的數(shù)據(jù)只包括聚合鍵和累加值這些數(shù)據(jù)一旦確定就不會再改變所以不需要在任務結束前釋放某個單獨的字符串。整池銷毀時只需要遍歷一次鏈表把每個塊free掉就行。哈希表方面我也沒有引入任何外部哈希庫而是自己實現(xiàn)了一個鏈地址法的哈希表。鍵是一個字符串視圖也就是指針加長度而不是以\0結尾的字符串。這樣可以避免為了查詢在內(nèi)存池里額外復制一份同樣的字符串。哈希函數(shù)我選擇了FNV-1a這種哈希算法簡單、速度快而且在處理短字符串時分布非常均勻。查找過程是先通過哈希定位到桶再在桶內(nèi)鏈表中逐個比較長度和memcmp。因為這個場景的鍵通常比較短具體業(yè)務里一般也就幾十個不同字段桶里鏈表很短沖突基本可以忽略。但如果鍵數(shù)量非常多我會在初始化哈希表時設定較大的桶數(shù)比如默認4096個桶在聚合數(shù)超過負載因子之后再動態(tài)擴容。內(nèi)存池和哈希表組合的精妙之處在于整個程序在生命周期內(nèi)不會調(diào)用很多次系統(tǒng)分配函數(shù)從而避免內(nèi)存碎片。我曾在處理10GB日志時觀察過RSS曲線它的峰值很穩(wěn)定基本是一個平臺狀態(tài)而不是那種鋸齒形波動。3.4 參數(shù)解析與退出碼約定命令行參數(shù)解析部分是整個項目里最“無聊”的模塊但它直接決定了工具好不好用。caveman支持的參數(shù)不多這也是我刻意克制的結果caveman [-f input_file] [-o output_file] [--format csv|json] [--field TIME,CODE,COST] [--mode count|sum|avg]參數(shù)越少使用門檻越低也越不容易出錯。每個參數(shù)我都選擇了簡短且含義明確的命名而不是搞一堆縮寫。同時我還支持從環(huán)境變量讀取默認參數(shù)這樣在腳本里可以將一些固定配置收斂。退出碼的約定也必須固定下來。0表示正常處理完畢1表示參數(shù)解析錯誤2表示輸入文件無法打開3表示解析過程中出現(xiàn)了無法跳過的致命錯誤。這個約定看著簡單但自動化腳本非常依賴它。比如在采集平臺里一旦某臺機器返回碼不是0調(diào)度器就能立刻知道任務失敗而不需要再去解析標準輸出里的錯誤信息。標準輸出只輸出正式結果錯誤信息全部走標準錯誤輸出。這也是一個小細節(jié)但直接影響下游腳本能否安全地把結果重定向到文件。如果你在日志里混入報錯信息那結果文件就會變成無法解析的垃圾。4. 常見問題與排坑記錄4.1 靜態(tài)編譯之后竟然還是缺依賴理論上加了-static之后生成的二進制就不依賴任何動態(tài)庫了但我在第一次部署時還是踩了坑拿到目標機器上一跑提示Illegal instruction。排查了很久才發(fā)現(xiàn)問題出在編譯時的CPU指令集。編譯caveman的機器是較新的CPUgcc默認會根據(jù)當前機器的特性啟用一部分新指令集擴展而目標服務器的CPU比較老不支持這些指令于是一執(zhí)行就非法指令。解決辦法是在Makefile里明確指定編譯目標平臺的最小子集CFLAGS -marchx86-64 -mtunegeneric這樣編譯器只會使用所有x86-64處理器都支持的基礎指令兼容性一下就上去了。后續(xù)我在給其他架構編譯的時候也會檢查-march參數(shù)比如針對ARM平臺會改用-marcharmv7-a或者直接不指定。這個坑提醒我靜態(tài)鏈接解決的是運行庫依賴但解決不了CPU指令集差異。在面向多環(huán)境的通用工具上寧可犧牲一點本地機器的性能也要保證生成二進制在目標環(huán)境能跑。4.2 大文件處理時的內(nèi)存水位突然升高有一段時間我持續(xù)觀測到caveman處理大文件時的內(nèi)存峰值不穩(wěn)定有時300MB有時600MB。一開始以為是哈希表擴容導致但排查后發(fā)現(xiàn)真正的罪魁禍首是輸出層。原來的輸出邏輯是在所有行解析完成之后把整個報告一次性拼成一個巨大的字符串然后再一次性write出去。這個字符串的大小取決于聚合結果數(shù)量而當unique鍵數(shù)量很多時內(nèi)存自然飆升。解決方式非常直接改成分塊寫入。每生成一批記錄就立刻調(diào)用write落盤并清空內(nèi)部緩沖區(qū)。因為報告數(shù)據(jù)本身是順序遍歷哈希表產(chǎn)生的所以這不需要復雜的調(diào)度只需要在遍歷過程中維持一個小的寫緩沖比如32KB寫滿就flush一次。修改之后內(nèi)存峰值穩(wěn)定在180MB以內(nèi)即在處理10GB日志時也沒再出現(xiàn)過超出預期的情況。項目中凡是遇到內(nèi)存抖動的大概率都是在某個地方攢了大量的中間數(shù)據(jù)而不是真正的業(yè)務數(shù)據(jù)量太大。4.3 管道模式下stdin的數(shù)據(jù)怎么處理另一個容易出問題的是stdin輸入模式。如果用戶執(zhí)行cat file | caveman --format json程序是讀取標準輸入而不是直接從文件讀取。這本身沒問題但我在初版實現(xiàn)里沿用了普通文件的lseek來跳過無效頭部結果stdin不允許lseek直接返回ESPIPE報錯。這個問題讓測試腳本時斷時續(xù)后來我統(tǒng)一用一個輸入抽象層來解決。這個抽象層內(nèi)部維護一個當前讀取方式標志普通文件模式下可以使用pread或lseek管道模式下只能順序讀取并維護自己的offset狀態(tài)。這個調(diào)整的影響面不小因為它促使我重新梳理了“輸入源”這個概念。現(xiàn)在caveman不僅能讀普通文件和stdin還能通過文件描述符參數(shù)與上游進程協(xié)作處理一些更復雜的管道場景。4.4 在CI流水線里的集成思路既然部署場景是自動化環(huán)境caveman自然也要能被CI流水線方便地使用。我在項目的tests目錄里寫了一個run_tests.sh把常規(guī)使用場景全部覆蓋成斷言式測試#!/bin/bash set -euo pipefail caveman_bin${1:-./caveman} printf user1 code200\nuser2 code500\nuser1 code200\n | \ $caveman_bin --field user,code --mode count --format csv /tmp/t1.csv test $(cat /tmp/t1.csv) $user,code,count\n1,200,2\n2,500,1 echo PASS: basic count aggregation這些測試在每次代碼變更后都會跑所以后續(xù)迭代一直沒有鬧出過什么大回歸。CI流水線里我把編譯環(huán)節(jié)拆成了兩步先做常規(guī)編譯再跑一次針對老CPU的兼容性編譯。只有兩步都通過才會生成release二進制。5. 實測數(shù)據(jù)與個人經(jīng)驗5.1 測試環(huán)境測試這組數(shù)據(jù)使用的是一臺很普通的4核8GB內(nèi)存虛擬機磁盤是普通SSD操作系統(tǒng)是Debian 11內(nèi)核版本5.10。對比對象是團隊原來使用的Python腳本它用正則表達式逐行匹配把所有結果保存在字典里最后一次性打印。輸入數(shù)據(jù)是一份模擬的訪問日志共1000萬行大小約1.2GB。字段包括時間戳、用戶ID、接口路徑、狀態(tài)碼和耗時。聚合任務要求按狀態(tài)碼和接口路徑兩個維度統(tǒng)計調(diào)用次數(shù)和平均耗時。5.2 性能與資源占用對比指標Python腳本caveman處理耗時約23分40秒約42秒峰值內(nèi)存2.1GB156MB依賴需Python3.8無啟動時間約0.45秒約3毫秒這個數(shù)據(jù)看起來差距非常大但實際測試并不意外。Python腳本在正則匹配和字典維護上有較大的開銷而且它把中間結果全部保留到字典中又疊加了對象頭信息的內(nèi)存放大。caveman走的是流式處理和緊湊的內(nèi)存池存儲邏輯更貼近底層性能自然占優(yōu)。耗時從十幾分鐘變成幾十秒對于每天需要跑好幾次統(tǒng)計的任務來說改善非常直觀。更重要的是內(nèi)存從2.1GB降到156MB這讓它能夠跑在一些配置很低的采集機器上不再會因為內(nèi)存不足而被系統(tǒng)殺掉。5.3 哪些場景適合caveman從這半年多的使用經(jīng)驗看caveman比較適合以下幾類場景第一是日志聚合。無論是Nginx訪問日志、應用日志還是業(yè)務埋點日志只要格式相對固定caveman就能用很小的代價完成統(tǒng)計。對格式不規(guī)則的文本它的狀態(tài)機設計也能通過新增狀態(tài)分支來適應。第二是數(shù)據(jù)清洗和簡單轉(zhuǎn)換。一些臨時性的文本處理任務如果把Python腳本部署到目標機器環(huán)境實在太重。用caveman可以一次編譯到處運行在處理大批量數(shù)據(jù)時還不容易卡死。第三是嵌入式或邊緣計算場景。那些機器資源非常緊張不僅是CPU和內(nèi)存連存儲空間都吝嗇。caveman一個300KB的二進制放在任何地方都不會覺得占地方。不適用的場景也有。如果字段結構高度動態(tài)每行格式都不一樣那狀態(tài)機寫起來會非常痛苦。這時候更通用的awk甚至Python反而是更好的選擇。另外如果需要實時監(jiān)聽并處理持續(xù)到達的數(shù)據(jù)流caveman的單次運行模型也不合適它更適合批處理。5.4 一些額外的經(jīng)驗體會整個caveman項目做下來我最大的體會是工具的價值常常不體現(xiàn)在功能多少上而體現(xiàn)在它能不能在特定環(huán)境里穩(wěn)定完成一件事。很多時候我們并不缺功能強大的軟件缺的是能放在任何機器上、不用折騰依賴、不會半路崩潰的小工具。如果你也想做一個類似的工具我建議從需求清單開始清晰寫下你的邊界條件。這個清單會在你頭腦發(fā)熱想加功能時幫你保持理智。另外C語言項目的內(nèi)存管理一定不能圖省事散著malloc內(nèi)存池或預分配策略對長時間運行的批處理工具幾乎是必需品。最后一點多做真實數(shù)據(jù)的壓測。我用10GB日志壓測過caveman之后才發(fā)現(xiàn)自己最初的輸出緩沖設計有問題。紙上推演一百遍都不如實際跑一次大文件來得直接。