在日常社區(qū)運(yùn)營(yíng)和內(nèi)容審核的對(duì)接中一類高頻出現(xiàn)的文本總是讓人頭疼賬號(hào)在評(píng)論區(qū)、商品問(wèn)答區(qū)、私信入口批量投放“哈嘍我們是源頭工廠有需要就找我呀”這類攬客話術(shù)。它不算明顯的違規(guī)廣告單看每個(gè)字都很正常但架不住量大、變體多、人工審不完。本文就以此為切入點(diǎn)完整實(shí)現(xiàn)一個(gè)可運(yùn)行的營(yíng)銷引流文本檢測(cè)小工具從文本歸一化、規(guī)則設(shè)計(jì)、權(quán)重打分到配置外置、灰度上線全流程拆解。讀者不需要機(jī)器學(xué)習(xí)基礎(chǔ)只要會(huì)寫 Python 函數(shù)就能跟著跑通已經(jīng)做過(guò)內(nèi)容風(fēng)控的同學(xué)也可以直接拿去對(duì)照自己的規(guī)則庫(kù)查漏補(bǔ)缺。1. 從一個(gè)真實(shí)場(chǎng)景說(shuō)起營(yíng)銷引流文本為什么需要工程化治理先把問(wèn)題定義清楚。所謂“營(yíng)銷引流文本”指的是那些目標(biāo)明確、但表述上刻意模糊的商業(yè)推廣內(nèi)容自稱廠家、批發(fā)、一手貨源引導(dǎo)用戶離開當(dāng)前平臺(tái)去私下溝通制造限時(shí)緊迫感等等。這類內(nèi)容在電商評(píng)論區(qū)、二手交易區(qū)、內(nèi)容社區(qū)、在線客服會(huì)話里都非常常見。它和傳統(tǒng)意義上的垃圾廣告有幾個(gè)明顯區(qū)別也正因?yàn)檫@些區(qū)別簡(jiǎn)單的關(guān)鍵詞黑名單很難奏效。1.1 這類文本的三個(gè)技術(shù)特征第一個(gè)特征是詞匯本身是正常詞?！霸搭^工廠”“批發(fā)價(jià)”“有需要找我”這些詞單獨(dú)拎出來(lái)在正規(guī)的商品描述、售后說(shuō)明、用戶提問(wèn)里都會(huì)出現(xiàn)。你把“源頭工廠”整個(gè)拉黑第二天就會(huì)收到一堆誤傷投訴。所以規(guī)則必須建立在詞組組合上而不是單詞上。第二個(gè)特征是變體成本極低。加個(gè)全角字母、塞幾個(gè)零寬字符、把“微信”寫成“薇信”、把漢字重復(fù)幾遍都能在不改變?nèi)搜坶喿x效果的前提下繞過(guò)字面匹配。這一點(diǎn)在后文會(huì)專門用一節(jié)講文本歸一化因?yàn)檫@是所有文本風(fēng)控的第一道地基。第三個(gè)特征是分級(jí)困難。一句“我是源頭工廠歡迎咨詢”到底該直接攔截還是人工復(fù)核如果全部攔截誤傷率會(huì)高到業(yè)務(wù)方無(wú)法接受如果全部放過(guò)等于沒(méi)做。實(shí)際工程里必須有中間檔位也就是“疑似”狀態(tài)把判斷權(quán)交給人。1.2 幾種常見方案的邊界對(duì)比在動(dòng)手寫代碼之前先看清楚幾種技術(shù)路線的適用邊界避免一上來(lái)就選錯(cuò)工具。方案實(shí)現(xiàn)成本可解釋性變體對(duì)抗能力適合階段純關(guān)鍵詞黑名單極低強(qiáng)很弱冷啟動(dòng)、兜底歸一化 組合正則低強(qiáng)中等規(guī)則庫(kù)主力詞向量/文本分類模型高弱強(qiáng)有標(biāo)注數(shù)據(jù)后大模型語(yǔ)義判別中中強(qiáng)增量補(bǔ)充、復(fù)核輔助需要強(qiáng)調(diào)的是這幾條路線不是替代關(guān)系而是疊加關(guān)系。一個(gè)成熟的文本風(fēng)控系統(tǒng)通常是歸一化打底規(guī)則引擎跑主力模型負(fù)責(zé)兜底和兜住長(zhǎng)尾人工復(fù)核處理爭(zhēng)議樣本最后把復(fù)核結(jié)果回流成新的規(guī)則和訓(xùn)練數(shù)據(jù)。本文聚焦第二條路線因?yàn)樗亲钊菀自趦芍軆?nèi)上線、并且效果立刻可量化的方案。對(duì)于日均評(píng)論量在幾萬(wàn)到幾十萬(wàn)量級(jí)的業(yè)務(wù)一套設(shè)計(jì)良好的規(guī)則引擎能得到超過(guò)八成的問(wèn)題召回誤傷也完全可控。1.3 本文要實(shí)現(xiàn)的系統(tǒng)能力具體來(lái)說(shuō)我們要做的東西包含這幾個(gè)能力點(diǎn)輸入一條原始文本輸出一個(gè) 0 到 100 的分?jǐn)?shù)以及block/review/pass三檔結(jié)論。支持解釋不僅告訴你“這條有問(wèn)題”還要告訴你“命中了哪條規(guī)則、命中了哪幾個(gè)字”。支持配置化規(guī)則庫(kù)不寫死在代碼里能通過(guò)文件修改并生效。支持批量與單條兩種調(diào)用方式便于本地調(diào)試和接入服務(wù)。附帶單元測(cè)試保證改了規(guī)則之后不會(huì)悄悄把已有能力改壞。下面進(jìn)入環(huán)境準(zhǔn)備。2. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)2.1 運(yùn)行環(huán)境與依賴選擇這個(gè)項(xiàng)目刻意只使用 Python 標(biāo)準(zhǔn)庫(kù)原因很實(shí)際內(nèi)容審核往往要嵌到已有的服務(wù)里多引一個(gè)第三方包就多一份版本沖突風(fēng)險(xiǎn)和供應(yīng)鏈風(fēng)險(xiǎn)。re、unicodedata、json、argparse、unittest全部?jī)?nèi)置裝好 Python 就能跑。環(huán)境說(shuō)明Python 版本建議使用 3.8 及以上。本文用到的dataclasses在 3.7 之后是標(biāo)準(zhǔn)庫(kù)f-string 的格式說(shuō)明符在 3.6 之后可用。具體小版本請(qǐng)按你自己的項(xiàng)目統(tǒng)一這里不寫死。操作系統(tǒng)Windows、macOS、Linux 均可代碼中沒(méi)有平臺(tái)相關(guān)調(diào)用。編輯器PyCharm、VS Code 都行建議開啟保存時(shí)自動(dòng)格式化。不需要數(shù)據(jù)庫(kù)、不需要 Web 框架全部邏輯跑在單進(jìn)程內(nèi)存里。如果你后續(xù)要接到 Flask / FastAPI 的接口里直接把RuleEngine實(shí)例掛在應(yīng)用啟動(dòng)階段初始化一次即可規(guī)則編譯是一次性的運(yùn)行期只有正則匹配開銷。2.2 目錄結(jié)構(gòu)設(shè)計(jì)項(xiàng)目結(jié)構(gòu)如下保持扁平方便直接復(fù)制text_guard_demo/ ├── text_guard/ │ ├── __init__.py │ ├── normalize.py │ ├── rules.py │ ├── engine.py │ └── cli.py ├── config/ │ └── rules.json ├── samples.txt └── tests/ └── test_engine.py這里的分層是按職責(zé)切的normalize.py只負(fù)責(zé)把文本洗干凈rules.py只放規(guī)則數(shù)據(jù)engine.py負(fù)責(zé)匹配和打分cli.py只做輸入輸出。這樣切的好處是將來(lái)你想把規(guī)則換成模型只動(dòng)engine.py想把規(guī)則換成數(shù)據(jù)庫(kù)下發(fā)只動(dòng)rules.py的加載邏輯。很多人在寫這類小工具時(shí)喜歡全塞在一個(gè)文件里調(diào)試時(shí)舒服上線后維護(hù)會(huì)很痛苦。2.3 安裝與運(yùn)行方式創(chuàng)建目錄并初始化mkdir -p text_guard_demo/text_guard text_guard_demo/config text_guard_demo/tests cd text_guard_demo touch text_guard/__init__.py tests/__init__.py__init__.py可以為空它的作用是讓text_guard成為一個(gè)包這樣python -m text_guard.cli才能正常找到模塊。tests/__init__.py同理方便測(cè)試發(fā)現(xiàn)。運(yùn)行單元測(cè)試python -m unittest discover -s tests -v運(yùn)行命令行工具python -m text_guard.cli -t 哈嘍我們是源頭工廠有需要就找我呀下面開始寫真正的邏輯。3. 文本歸一化把變體拉回可比較的形態(tài)3.1 為什么歸一化是第一步先看一組例子。下面這五條文本人一眼就能看出是同一句話但字符串比較的結(jié)果全是“不相等”哈嘍我們是源頭工廠有需要就找我呀 哈嘍,我們是源頭工廠,有需要就找我呀 哈嘍我們是源頭工廠有需\u200b要就找我呀 哈嘍我們是源頭工廠有需要要要找我呀 哈嘍我們是源頭工廠有需要就找我丫第一條用的是全角逗號(hào)第二條用半角逗號(hào)第三條中間插了一個(gè)零寬空格U200B第四條把“要”重復(fù)了三遍第五條把“呀”換成了字形接近的“丫”。如果你把規(guī)則寫成re.search(有需要就找我, text)只有第一條能命中。這不是規(guī)則寫得不對(duì)而是輸入沒(méi)有對(duì)齊。所以歸一化的定位不是“美化文本”而是把所有等價(jià)寫法映射到同一個(gè)可比較形態(tài)把對(duì)抗成本從規(guī)則方轉(zhuǎn)移回發(fā)布方。3.2 三類必須處理的字符噪聲第一類全角與兼容字符。全角字母到、全角數(shù)字到、全角標(biāo)點(diǎn)、帶圈數(shù)字、羅馬數(shù)字都屬于 Unicode 的兼容字符區(qū)。Python 的unicodedata.normalize(NFKC, text)可以把它們統(tǒng)一折疊成常見形態(tài)。這個(gè)函數(shù)不需要額外依賴一次調(diào)用就能把大量“換皮”寫法拉平。需要注意的是NFKC 是冪等的重復(fù)調(diào)用結(jié)果不變所以在整條流水線里調(diào)一次就夠不必每步都調(diào)。第二類不可見字符。零寬空格U200B、零寬非連接符U200C、零寬連接符U200D、左右方向標(biāo)記U200E、U200F、字節(jié)序標(biāo)記UFEFF、軟連字符U00AD這些字符在終端里看不見卻真實(shí)存在于字符串中。用正則把這些區(qū)間整體刪掉即可。同時(shí)把 ASCII 控制字符除\t、\n、\r外也一并清理避免日志里出現(xiàn)亂碼。第三類夸張重復(fù)。把某個(gè)漢字重復(fù)兩三次是極常見的規(guī)避手法。處理方式是用反向引用壓縮連續(xù)三個(gè)及以上相同字符折疊成一個(gè)。這里有一個(gè)細(xì)節(jié)必須注意——數(shù)字不能壓縮。如果你無(wú)腦用(.)\1{2,}那么“最后100件”會(huì)被壓成“最后10件”價(jià)格和型號(hào)信息就丟了后續(xù)如果要做數(shù)量識(shí)別會(huì)出錯(cuò)。所以正則里要把數(shù)字和空白排除掉。3.3 歸一化順序?yàn)槭裁床荒茈S意調(diào)換歸一化的每一步都有先后依賴順序錯(cuò)了會(huì)留下漏洞。推薦順序是刪除不可見字符和控制字符。NFKC 折疊全角與兼容字符。統(tǒng)一轉(zhuǎn)小寫。壓縮重復(fù)字符。壓縮連續(xù)空白并去掉首尾空格。為什么“刪不可見字符”要放在最前面因?yàn)檫@些字符可能夾在 Unicode 組合序列中間先折疊再做刪除有可能產(chǎn)生新的組合結(jié)果導(dǎo)致漏刪。為什么不轉(zhuǎn)小寫就壓縮重復(fù)大小寫混寫如vv折疊前后是兩種形態(tài)先轉(zhuǎn)小寫能保證壓縮邏輯看到的是同一個(gè)字符。另外提醒一點(diǎn)本文的規(guī)則庫(kù)是針對(duì)中文話術(shù)設(shè)計(jì)的所以沒(méi)有做繁簡(jiǎn)轉(zhuǎn)換。如果你的業(yè)務(wù)場(chǎng)景里繁體內(nèi)容占比不低建議在 NFKC 之后、轉(zhuǎn)小寫之前插入一步繁簡(jiǎn)統(tǒng)一用開源的字表映射即可不要自己手寫幾百對(duì)字符。這一步加不加取決于你的實(shí)際數(shù)據(jù)分布不要為了“完整”而堆功能。4. 規(guī)則設(shè)計(jì)與打分模型4.1 用組合詞而不是單詞這是規(guī)則庫(kù)設(shè)計(jì)里最容易踩的坑。假設(shè)你把“工廠”設(shè)為關(guān)鍵詞后果是什么用戶問(wèn)“這個(gè)工廠的生產(chǎn)資質(zhì)能看下嗎”直接被判成營(yíng)銷。誤傷幾次之后業(yè)務(wù)方就會(huì)要求關(guān)掉整個(gè)功能。正確的做法是把詞拆成“意圖信號(hào)”每個(gè)信號(hào)用詞組或短語(yǔ)表達(dá)身份宣稱類源頭工廠、源頭廠家、一手貨源、廠家直銷、工廠直供、原廠直供。注意這里全都是兩到四個(gè)字的組合單獨(dú)一個(gè)“工廠”或“貨源”不構(gòu)成信號(hào)。引導(dǎo)聯(lián)系類加V、加微信、留聯(lián)系方式、私信我、私聊我、滴滴我、扣1。這類信號(hào)的危險(xiǎn)度最高因?yàn)樗哪康木褪前讶藦钠脚_(tái)導(dǎo)走。招呼攬客類有需要就找我、歡迎咨詢、歡迎來(lái)撩、隨時(shí)找我。這是最典型的“哈嘍體”尾巴。價(jià)格誘惑類批發(fā)價(jià)、出廠價(jià)、低價(jià)清倉(cāng)、一件代發(fā)、量大從優(yōu)。緊迫感類限時(shí)、秒殺、手慢無(wú)、僅限今天、最后 N 件。批量起訂類N 件起批、起訂量、大量現(xiàn)貨。這樣拆分以后單條文本的召回和精準(zhǔn)度都會(huì)好很多。同時(shí)規(guī)則具備可解釋性命中了哪一類審核人員一眼就能看懂原因。4.2 權(quán)重怎么定有了信號(hào)之后要給權(quán)重。權(quán)重的意義不是“精確概率”而是相對(duì)危險(xiǎn)度的排序。本文的取值思路是規(guī)則權(quán)重理由引導(dǎo)聯(lián)系25直接觸達(dá)用戶風(fēng)險(xiǎn)最高招呼攬客18典型攬客尾巴但可能出現(xiàn)在客服場(chǎng)景身份宣稱15單獨(dú)出現(xiàn)不足以判定需組合價(jià)格誘惑12常見于正常促銷緊迫感10廣告常用但正?；顒?dòng)也用批量起訂8補(bǔ)充信號(hào)幾個(gè)設(shè)計(jì)要點(diǎn)值得說(shuō)明。第一同一條規(guī)則在一條文本里只計(jì)一次分。有人會(huì)想“命中三次就乘三”這會(huì)讓刷分變得極其容易——重復(fù)五遍“加V”就能把分?jǐn)?shù)頂?shù)缴舷蕖Ｓ胷e.search而不是re.finditer天然做到一條規(guī)則一次計(jì)分。第二分?jǐn)?shù)要有上限。所有命中權(quán)重求和后做一次min(raw, 100)避免后續(xù)加規(guī)則時(shí)分?jǐn)?shù)計(jì)算溢出預(yù)期區(qū)間也方便閾值調(diào)整。第三權(quán)重是調(diào)出來(lái)的不是想出來(lái)的。上線后一定要跑真實(shí)的復(fù)核樣本把誤判的樣本和漏判的樣本分別列出來(lái)看是該調(diào)權(quán)重還是該補(bǔ)規(guī)則。憑感覺調(diào)權(quán)重兩周之后沒(méi)人記得為什么是 15 而不是 12。4.3 閾值分級(jí)與人工復(fù)核三檔閾值的取值建議score 45→block直接攔截或折疊展示。20 score 45→review進(jìn)入人工復(fù)核隊(duì)列。score 20→pass正常放行。為什么中間要留這么寬的一檔因?yàn)闋I(yíng)銷文本的判定本質(zhì)上是概率性的兩檔攔/放會(huì)逼著你在“誤傷太多”和“漏放太多”之間二選一。有了 review 檔你可以先用較寬的規(guī)則召回再通過(guò)人工復(fù)核把樣本標(biāo)出來(lái)逐步把規(guī)則收緊。這也是冷啟動(dòng)階段最務(wù)實(shí)的策略。需要提醒的是閾值不能幾個(gè)業(yè)務(wù)線共用一套?？头?huì)話里的“歡迎咨詢”是正常的商品評(píng)論區(qū)里的“歡迎咨詢”就很可疑。合理的做法是給不同場(chǎng)景各配一套閾值或者給規(guī)則加上場(chǎng)景標(biāo)簽。5. 完整實(shí)戰(zhàn)一個(gè)可運(yùn)行的文本風(fēng)控小工具下面把四個(gè)模塊的代碼完整寫出來(lái)每段都能直接復(fù)制進(jìn)對(duì)應(yīng)文件運(yùn)行。5.1 歸一化模塊文件路徑text_guard/normalize.py文本歸一化把各種變體寫法統(tǒng)一成可比較的形態(tài)。 import re import unicodedata # 零寬字符、方向控制符、軟連字符等不可見字符 _INVISIBLE_RE re.compile(r[\u200b-\u200f\u202a-\u202e\u2060\ufeff\u00ad]) # ASCII 控制字符\t、\n、\r 交給后面的空白壓縮處理 _CTRL_RE re.compile(r[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]) # 三個(gè)及以上連續(xù)相同的「非數(shù)字、非空白」字符壓縮成一個(gè) _REPEAT_RE re.compile(r([^\d\s])\1{2,}) # 連續(xù)空白壓縮成一個(gè)空格 _SPACE_RE re.compile(r\s) def strip_invisible(text: str) - str: 刪除零寬字符和控制字符避免「看起來(lái)一樣、實(shí)際不同」的文本繞過(guò)規(guī)則。 return _INVISIBLE_RE.sub(, _CTRL_RE.sub(, text)) def to_halfwidth(text: str) - str: 使用 NFKC 歸一化把全角字母數(shù)字、兼容字符折疊成常見形態(tài)。 return unicodedata.normalize(NFKC, text) def collapse_repeats(text: str) - str: 壓縮夸張重復(fù)有需要要要找我 - 有需要找我。數(shù)字不壓縮避免破壞價(jià)格和型號(hào)。 return _REPEAT_RE.sub(r\1, text) def normalize(text: str) - str: 歸一化主入口順序不可隨意調(diào)換。 if not text: return t strip_invisible(text) t to_halfwidth(t) t t.lower() t collapse_repeats(t) t _SPACE_RE.sub( , t).strip() return t逐段解釋一下。strip_invisible做了兩層sub嵌套外層刪零寬字符內(nèi)層刪控制字符順序無(wú)關(guān)因?yàn)閮深悈^(qū)間不重疊。to_halfwidth里用 NFKC 而不做手工映射是因?yàn)槿亲帜赣?26 個(gè)、全角數(shù)字 10 個(gè)、各種標(biāo)點(diǎn)幾十個(gè)手寫映射表既容易漏又難維護(hù)標(biāo)準(zhǔn)庫(kù)已經(jīng)把這件事件做好了。collapse_repeats的替換串是r\1配合正則里的捕獲組([^\d\s])把整段重復(fù)壓縮成第一個(gè)字符。數(shù)字被顯式排除是為了保住“最后100件”這類信息。最后normalize函數(shù)的順序就是 3.3 節(jié)說(shuō)的順序注釋里也標(biāo)明了不可隨意調(diào)換。5.2 規(guī)則定義模塊文件路徑text_guard/rules.py規(guī)則數(shù)據(jù)定義。這里只放數(shù)據(jù)不放邏輯。 from dataclasses import dataclass from typing import List dataclass(frozenTrue) class Rule: rule_id: str # 規(guī)則唯一標(biāo)識(shí)用于日志和解釋 pattern: str # 正則在「已歸一化文本」上匹配 weight: int # 命中分值 desc: str # 人話描述給審核人員看 DEFAULT_RULES: List[Rule] [ Rule( rule_idsrc_factory_claim, patternr源頭工廠|源頭廠家|一手貨源|廠家直銷|工廠直供|原廠直供, weight15, desc自稱源頭/廠家直供, ), Rule( rule_idcontact_solicit, patternr加\s*[v威薇微w]|加個(gè)?微信|留個(gè)?聯(lián)系方式|私信我|私聊我|滴滴我|扣\s*1, weight25, desc引導(dǎo)私下聯(lián)系, ), Rule( rule_idsales_greeting, patternr有需要就?找我|需要的?話?[^,。?]{0,6}找我|歡迎咨詢|歡迎來(lái)撩|隨時(shí)找我, weight18, desc招呼式攬客, ), Rule( rule_idprice_claim, patternr批發(fā)價(jià)|出廠價(jià)|低價(jià)清倉(cāng)|跳樓價(jià)|賺差價(jià)|一件代發(fā)|量大從優(yōu), weight12, desc低價(jià)/代發(fā)話術(shù), ), Rule( rule_idurgency, patternr限時(shí)|秒殺|手慢無(wú)|僅限今天|最后\s*\d\s*件, weight10, desc制造緊迫感, ), Rule( rule_idwholesale_qty, patternr\d\s*件起批|起訂量|大量現(xiàn)貨, weight8, desc批量起訂話術(shù), ), ]幾個(gè)正則細(xì)節(jié)需要單獨(dú)說(shuō)明。加\s*[v威薇微w]里的\s*是為了兼容“加 V”這種中間帶空格的寫法。歸一化已經(jīng)把連續(xù)空白壓成一個(gè)空格但空格還在所以匹配時(shí)必須允許它。需要的?話?[^,。?]{0,6}找我是“需要的資料可以找我”這類長(zhǎng)句的兜底。中間允許 0 到 6 個(gè)非標(biāo)點(diǎn)字符超過(guò) 6 個(gè)字符通常說(shuō)明這是兩個(gè)獨(dú)立語(yǔ)義誤傷風(fēng)險(xiǎn)上升。這里的[^,。?]用的是半角標(biāo)點(diǎn)因?yàn)闅w一化已經(jīng)通過(guò) NFKC 把中文逗號(hào)句號(hào)問(wèn)號(hào)轉(zhuǎn)成了半角。最后\s*\d\s*件允許數(shù)字兩邊有空格同樣是為了兼容“最后 100 件”這類排版。注意這里和collapse_repeats不沖突因?yàn)閿?shù)字沒(méi)有被壓縮。5.3 規(guī)則引擎模塊文件路徑text_guard/engine.py規(guī)則引擎負(fù)責(zé)匹配、打分、給出結(jié)論。 import re from dataclasses import dataclass, field from typing import List, Sequence from .normalize import normalize from .rules import Rule, DEFAULT_RULES VERDICT_BLOCK block VERDICT_REVIEW review VERDICT_PASS pass dataclass class Hit: rule_id: str desc: str weight: int matched: str dataclass class Decision: text: str normalized: str score: int verdict: str hits: List[Hit] field(default_factorylist) def to_dict(self) - dict: return { verdict: self.verdict, score: self.score, normalized: self.normalized, hits: [ { rule_id: h.rule_id, desc: h.desc, weight: h.weight, matched: h.matched, } for h in self.hits ], } class RuleEngine: def __init__( self, rules: Sequence[Rule] DEFAULT_RULES, block_threshold: int 45, review_threshold: int 20, ): if review_threshold block_threshold: raise ValueError(review_threshold 必須小于 block_threshold) # 規(guī)則在初始化階段一次性編譯運(yùn)行期不再重復(fù)編譯 self._rules [(rule, re.compile(rule.pattern)) for rule in rules] self.block_threshold block_threshold self.review_threshold review_threshold def decide(self, text: str) - Decision: normalized normalize(text) hits: List[Hit] [] for rule, pattern in self._rules: # 用 search 而不是 finditer同一條規(guī)則只計(jì)一次分 m pattern.search(normalized) if m: hits.append( Hit( rule_idrule.rule_id, descrule.desc, weightrule.weight, matchedm.group(0), ) ) score min(sum(h.weight for h in hits), 100) if score self.block_threshold: verdict VERDICT_BLOCK elif score self.review_threshold: verdict VERDICT_REVIEW else: verdict VERDICT_PASS return Decision( texttext, normalizednormalized, scorescore, verdictverdict, hitshits, )這段代碼里有三處設(shè)計(jì)是刻意的值得單獨(dú)講。構(gòu)造期編譯正則。re.compile本身有緩存但顯式編譯能保證行為確定也避免運(yùn)行期第一次調(diào)用時(shí)的抖動(dòng)。規(guī)則庫(kù)一旦大起來(lái)幾百條每次請(qǐng)求重復(fù)編譯的開銷不可忽視尤其是高頻短文本場(chǎng)景。用search而不是finditer。這是 4.2 節(jié)說(shuō)的“一條規(guī)則只計(jì)一次分”的實(shí)現(xiàn)基礎(chǔ)。如果改成finditer并累加惡意用戶只要把話術(shù)重復(fù)幾遍就能把分?jǐn)?shù)打滿整個(gè)閾值體系就失效了。分?jǐn)?shù)封頂 100。這個(gè)細(xì)節(jié)在多規(guī)則疊加時(shí)很重要。如果不封頂將來(lái)加規(guī)則容易把分?jǐn)?shù)推到幾百閾值就需要跟著重算歷史積累的調(diào)參經(jīng)驗(yàn)全部作廢。封頂之后閾值區(qū)間保持穩(wěn)定。5.4 命令行入口文件路徑text_guard/cli.py命令行入口支持單條、文件和標(biāo)準(zhǔn)輸入三種方式。 import argparse import json import sys from .engine import RuleEngine def build_parser() - argparse.ArgumentParser: parser argparse.ArgumentParser( progtext-guard, description營(yíng)銷引流話術(shù)檢測(cè)小工具, ) source parser.add_mutually_exclusive_group() source.add_argument(-t, --text, help檢測(cè)單條文本) source.add_argument(-f, --file, help檢測(cè)文本文件每行一條) parser.add_argument(--block, typeint, default45, help攔截閾值默認(rèn) 45) parser.add_argument(--review, typeint, default20, help復(fù)核閾值默認(rèn) 20) parser.add_argument(--json, actionstore_true, help以 JSON 行格式輸出) return parser def main(argvNone) - int: args build_parser().parse_args(argv) engine RuleEngine(block_thresholdargs.block, review_thresholdargs.review) if args.text is not None: items [args.text] elif args.file: with open(args.file, encodingutf-8) as f: items [line.rstrip(\n) for line in f if line.strip()] else: items [line.rstrip(\n) for line in sys.stdin if line.strip()] for idx, item in enumerate(items, start1): decision engine.decide(item) if args.json: payload decision.to_dict() payload[line] idx print(json.dumps(payload, ensure_asciiFalse)) else: print(f[{idx}] {decision.verdict.upper():6} score{decision.score:3} {item}) for hit in decision.hits: print(f - {hit.rule_id}({hit.weight}): {hit.matched}) return 0 if __name__ __main__: raise SystemExit(main())ensure_asciiFalse這一行很關(guān)鍵。默認(rèn)的json.dumps會(huì)把中文轉(zhuǎn)成\uXXXX日志里幾乎沒(méi)法看排查問(wèn)題時(shí)非常痛苦。加上這個(gè)參數(shù)后輸出保持中文原樣配合encodingutf-8讀文件整條鏈路不會(huì)出現(xiàn)亂碼。raise SystemExit(main())是標(biāo)準(zhǔn)寫法保證入口函數(shù)的返回值能正確傳遞給操作系統(tǒng)便于在腳本里通過(guò)退出碼判斷成功與否。5.5 單元測(cè)試文件路徑tests/test_engine.pyimport unittest from text_guard.engine import ( RuleEngine, VERDICT_BLOCK, VERDICT_PASS, VERDICT_REVIEW, ) from text_guard.normalize import normalize class NormalizeTest(unittest.TestCase): def test_fullwidth_to_halfwidth(self): self.assertEqual(normalize(加), 加v) def test_zero_width_removed(self): self.assertEqual(normalize(加\u200bv), 加v) def test_repeat_collapsed(self): self.assertEqual(normalize(有需要要要找我), 有需要找我) def test_digits_kept(self): self.assertEqual(normalize(最后100件), 最后100件) class EngineTest(unittest.TestCase): def setUp(self): self.engine RuleEngine() def test_marketing_greeting_is_review(self): d self.engine.decide(哈嘍我們是源頭工廠有需要就找我呀) self.assertEqual(d.verdict, VERDICT_REVIEW) self.assertEqual(d.score, 33) def test_hard_sell_is_block(self): d self.engine.decide(源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu)) self.assertEqual(d.verdict, VERDICT_BLOCK) self.assertEqual(d.score, 52) def test_normal_question_passes(self): d self.engine.decide(這個(gè)零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程) self.assertEqual(d.verdict, VERDICT_PASS) def test_contact_only_is_review(self): d self.engine.decide(有貨的話加個(gè)微信聊) self.assertEqual(d.verdict, VERDICT_REVIEW) if __name__ __main__: unittest.main()測(cè)試用例的設(shè)計(jì)思路是“一類風(fēng)險(xiǎn)一條”。歸一化層測(cè)四個(gè)點(diǎn)全角折疊、零寬刪除、重復(fù)壓縮、數(shù)字保留。引擎層測(cè)四個(gè)點(diǎn)打招呼式攬客、硬廣、正常提問(wèn)、僅引導(dǎo)聯(lián)系。這樣改規(guī)則時(shí)有基線保護(hù)不會(huì)出現(xiàn)“修了漏判、炸了誤傷”還不知道的情況。如果你的團(tuán)隊(duì)用 pytest這套用例可以直接跑不需要改任何斷言寫法因?yàn)閡nittest.TestCase的子類 pytest 也識(shí)別。5.6 運(yùn)行驗(yàn)證與結(jié)果解讀準(zhǔn)備樣本文件文件路徑samples.txt哈嘍我們是源頭工廠有需要就找我呀 源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu) 這個(gè)零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程 你好請(qǐng)問(wèn)這個(gè)型號(hào)還有貨嗎 限時(shí)秒殺最后3件手慢無(wú)需要的私聊我執(zhí)行python -m text_guard.cli -f samples.txt預(yù)期輸出[1] REVIEW score33 哈嘍我們是源頭工廠有需要就找我呀 - src_factory_claim(15): 源頭工廠 - sales_greeting(18): 有需要就找我 [2] BLOCK score52 源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu) - src_factory_claim(15): 源頭工廠 - contact_solicit(25): 加v - price_claim(12): 一件代發(fā) [3] PASS score15 這個(gè)零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程 - src_factory_claim(15): 源頭工廠 [4] PASS score0 你好請(qǐng)問(wèn)這個(gè)型號(hào)還有貨嗎 [5] REVIEW score35 限時(shí)秒殺最后3件手慢無(wú)需要的私聊我 - contact_solicit(25): 私聊我 - urgency(10): 限時(shí)逐條解讀一下結(jié)果這幾條正好覆蓋了系統(tǒng)的主要行為。第 1 條就是標(biāo)題里那句話得分 33落在 review 檔。它命中了“源頭工廠”這個(gè)身份宣稱和“有需要就找我”這個(gè)攬客尾巴但沒(méi)有引導(dǎo)聯(lián)系、沒(méi)有價(jià)格誘惑所以不直接攔截。這個(gè)判定是合理的——如果你看到一條評(píng)論是這么寫的通常會(huì)選擇折疊或者限流而不是直接刪除賬號(hào)。第 2 條得分 52直接 block。注意它的命中項(xiàng)里contact_solicit匹配到的是歸一化之后的加v說(shuō)明全角字母折疊生效了。三條規(guī)則疊加剛好越過(guò)攔截線這正是“組合信號(hào)”的價(jià)值——單獨(dú)任何一條都不足以定罪。第 3 條只命中身份宣稱得 15 分判 pass。這條最值得注意它證明了兩件事一是組合詞設(shè)計(jì)確實(shí)降低了誤傷如果規(guī)則里放的是單個(gè)“工廠”這條會(huì)被判 review二是 review 閾值設(shè)在 20 是有依據(jù)的單信號(hào)不應(yīng)該進(jìn)復(fù)核隊(duì)列否則復(fù)核隊(duì)列會(huì)被大量正常提問(wèn)淹沒(méi)。第 4 條零命中正常放行。第 5 條命中了引導(dǎo)聯(lián)系和緊迫感得 35 分進(jìn) review。這里其實(shí)可以討論私聊我權(quán)重 25 是否過(guò)高如果這條來(lái)自客服場(chǎng)景可能是正?；貜?fù)。這就是為什么 4