據(jù)處理：異常值、抽樣與聚合避坑指南)
Pandas 數(shù)據(jù)處理指南異常值、抽樣和數(shù)據(jù)聚合前陣子幫一個(gè)做電商數(shù)據(jù)的朋友看報(bào)表他拿一份兩百多萬行的訂單明細(xì)跑groupby(channel).agg({amount:sum})出來的 GMV 跟業(yè)務(wù)方口徑差了將近三成。他一開始懷疑是 SQL 導(dǎo)出口徑不一致翻來覆去對(duì)了兩天最后定位到三個(gè)問題疊在一起幾條測(cè)試賬號(hào)的大額訂單沒剔掉一批amount為空的記錄被sum當(dāng) 0 算進(jìn)了分母還有一個(gè)渠道因?yàn)槌闃拥年P(guān)系樣本量只有幾十條卻被當(dāng)成正常渠道參與排名。這三個(gè)問題分別對(duì)應(yīng)數(shù)據(jù)處理的三個(gè)基本功——異常值處理、抽樣、聚合恰好也是絕大多數(shù)人覺得自己會(huì)用、真到業(yè)務(wù)里卻頻繁翻車的三個(gè)地方。這篇內(nèi)容想聊的就是這三件事。它適合已經(jīng)能寫df.groupby()、df.sample()但經(jīng)常在結(jié)果對(duì)不上、口徑說不清、跑得慢這幾件事上卡住的人。我會(huì)把每個(gè)環(huán)節(jié)里那些文檔上不寫、但實(shí)際項(xiàng)目里一定會(huì)遇到的東西講透包括檢測(cè)方法什么條件下會(huì)失效、抽樣參數(shù)背后代表什么、聚合結(jié)果怎么組織才能直接進(jìn)報(bào)表。文中用到的代碼都可以直接復(fù)制到 Notebook 里跑數(shù)據(jù)表結(jié)構(gòu)我盡量寫得通用換成你自己的字段名就能用。1. 異常值先分三類錯(cuò)誤值、極端值、結(jié)構(gòu)性偏移處理方式完全不同很多人對(duì)異常值的處理方式是跑個(gè) describe看到最大值離譜就刪掉這個(gè)做法在真實(shí)業(yè)務(wù)里十次有八次會(huì)出錯(cuò)。異常值不是一個(gè)統(tǒng)計(jì)學(xué)概念它是統(tǒng)計(jì)概念和業(yè)務(wù)語義的交叉點(diǎn)同樣一個(gè)數(shù)值在不同的字段上有完全不同的含義。我習(xí)慣先把它分成三類因?yàn)檫@三類的處置邏輯是互斥的。第一類是錯(cuò)誤值本質(zhì)是數(shù)據(jù)在采集、傳輸、錄入環(huán)節(jié)出了問題。典型表現(xiàn)是單位錯(cuò)位金額字段里混進(jìn)了一條以分為單位的記錄、編碼錯(cuò)誤缺失被填成-1、9999、0而不是NaN、類型錯(cuò)位日期列里混進(jìn)了字符串。這類值不屬于偏大偏小它壓根就是錯(cuò)的處理方式應(yīng)該是修正或者置空而不是簡(jiǎn)單刪除。第二類是極端值數(shù)據(jù)本身是對(duì)的只是落在分布尾部。比如某個(gè)大客戶單筆下了五十萬的訂單這個(gè)值真實(shí)發(fā)生了刪掉它等于把真實(shí)業(yè)務(wù)抹掉。這類值要考慮的是它對(duì)我要算的指標(biāo)有沒有影響——算平均值它影響巨大算中位數(shù)幾乎沒影響。第三類是結(jié)構(gòu)性偏移指的不是單條記錄異常而是某個(gè)分組的整體分布和其他分組不在一個(gè)量級(jí)上。比如某個(gè)渠道的客單價(jià)整體是其他渠道的十倍這往往不是渠道用戶質(zhì)量高而是這個(gè)渠道的金額字段包含了運(yùn)費(fèi)或者稅費(fèi)采集口徑跟別人不一樣。這類問題用單變量檢測(cè)方法根本發(fā)現(xiàn)不了必須按分組切開看。1.1 用 describe 和 value_counts 做第一輪體檢動(dòng)手之前先做體檢不要上來就寫過濾條件。我通常跑這么幾行import pandas as pd import numpy as np df.info() df.describe(includeall).T df[amount].value_counts().head(20) df[amount].value_counts().tail(20)describe看的是分布輪廓重點(diǎn)看三個(gè)數(shù)min是不是負(fù)數(shù)金額類字段出現(xiàn)負(fù)數(shù)通常意味著退款混進(jìn)來了、max是不是比75%分位大出好幾個(gè)數(shù)量級(jí)、mean和50%分位的差距有多大。均值遠(yuǎn)大于中位數(shù)說明右偏嚴(yán)重后面選檢測(cè)方法時(shí)就不能用基于正態(tài)假設(shè)的那套。value_counts的頭部和尾部是在找哨兵值。所謂哨兵值就是用特定數(shù)字表示特殊含義的約定-1表示未填寫、0表示未知、9999表示不適用。這類值在統(tǒng)計(jì)上看起來可能不離譜-1甚至不大但它會(huì)嚴(yán)重污染均值。我遇到過age字段大量填0的情況算出來平均年齡 26 歲實(shí)際主力用戶是 35 歲以上就是被這批 0 拉下去的。這一步的經(jīng)驗(yàn)是先看value_counts的尾部再看describe。因?yàn)樯诒低谖膊砍霈F(xiàn)得很突然比如正常金額都是幾十到幾千尾部突然出現(xiàn)一個(gè)-999一眼就能看出來。而describe只會(huì)告訴你最小值是 -999不會(huì)告訴你這個(gè)值出現(xiàn)了 800 次。1.2 IQR 的上下界怎么算什么時(shí)候它會(huì)騙你IQR 法是箱線圖的數(shù)學(xué)基礎(chǔ)計(jì)算很直接q1 df[amount].quantile(0.25) q3 df[amount].quantile(0.75) iqr q3 - q1 lower q1 - 1.5 * iqr upper q3 1.5 * iqr mask_normal df[amount].between(lower, upper) print(f下界 {lower:.2f} 上界 {upper:.2f} 異常占比 {(~mask_normal).mean():.2%})1.5這個(gè)系數(shù)不是拍腦袋的在正態(tài)分布下它對(duì)應(yīng)的區(qū)間大約覆蓋 99.3% 的數(shù)據(jù)所以正常數(shù)據(jù)被判為異常的比例應(yīng)該在 1% 以內(nèi)。這個(gè)數(shù)字很重要——如果你用 IQR 算出來的異常比例是 15%那不是數(shù)據(jù)有問題是方法用錯(cuò)了說明數(shù)據(jù)分布嚴(yán)重偏離正態(tài)或者 Q1、Q3 本身就被污染了。IQR 最容易騙人的場(chǎng)景是右偏嚴(yán)重的數(shù)據(jù)比如訂單金額、用戶消費(fèi)額、頁(yè)面停留時(shí)長(zhǎng)。這類數(shù)據(jù) Q1 和 Q3 都擠在左側(cè)IQR 很小算出來的上界就會(huì)很低把大量正常的大額訂單判成異常。我實(shí)測(cè)過一份客單價(jià)數(shù)據(jù)Q1 是 38Q3 是 96上界算出來只有 183但實(shí)際上千的單子占了 8%這些全是真實(shí)的大客戶訂單。通用的補(bǔ)救辦法是先做對(duì)數(shù)變換再算 IQR或者直接用分位數(shù)縮尾比如把上下 1% 的值截?cái)嗟?1% 和 99% 分位的值上后者對(duì)業(yè)務(wù)解釋更友好因?yàn)樗桓淖償?shù)據(jù)的單調(diào)性lo, hi df[amount].quantile([0.01, 0.99]) df[amount_winsor] df[amount].clip(lowerlo, upperhi)1.3 刪除、縮尾、標(biāo)記、分箱四種處置各自適用什么場(chǎng)景檢測(cè)出來之后怎么處理這是最見功力的地方。我整理了一張對(duì)照表基本覆蓋了日常遇到的場(chǎng)景處置方式適用場(chǎng)景風(fēng)險(xiǎn)點(diǎn)直接刪除確認(rèn)為錯(cuò)誤值且占比低于 1%占比高時(shí)會(huì)造成樣本偏差縮尾clip極端值真實(shí)存在但要算均值類指標(biāo)會(huì)壓縮真實(shí)差異需在報(bào)告里注明打標(biāo)記不刪極端值本身是分析對(duì)象如大客戶識(shí)別下游所有計(jì)算都要帶上標(biāo)記過濾分箱處理用于建模特征或做分布對(duì)比分箱邊界選擇主觀性強(qiáng)單獨(dú)分組結(jié)構(gòu)性偏移如某渠道口徑不同需要額外解釋容易讓報(bào)表難讀刪除這條我想多說一句。很多教程寫刪除 3σ 之外的記錄但從來沒說刪完之后必須重新檢查分布。原因很簡(jiǎn)單刪掉尾部會(huì)改變均值、方差、分位數(shù)如果下游還有別的過濾條件兩次過濾疊加可能把某個(gè)分組刪空。我的習(xí)慣是刪除前后各跑一次groupby.size()確認(rèn)每個(gè)分組的剩余量都還夠做結(jié)論經(jīng)驗(yàn)閾值是單組不低于 30 條不夠就別刪改成標(biāo)記。還有一個(gè)更隱蔽的坑刪除操作會(huì)破壞索引連續(xù)性。如果后續(xù)用位置索引iloc或者把索引當(dāng)成 ID 用刪完就容易錯(cuò)位。所以刪除之后一律加.reset_index(dropTrue)或者干脆養(yǎng)成習(xí)慣任何過濾之后都重置一次。2. 檢測(cè)手段的選型從 MAD 到孤立森林每種方法的失效條件是什么搞清楚異常值的分類之后接下來的問題是用什么方法找出來。這里有個(gè)很普遍的誤區(qū)方法越復(fù)雜越好。實(shí)際上孤立森林、LOF 這些算法在業(yè)務(wù)數(shù)據(jù)上的表現(xiàn)經(jīng)常不如一個(gè)老老實(shí)實(shí)的分位數(shù)閾值原因是它們對(duì)參數(shù)和數(shù)據(jù)尺度非常敏感而業(yè)務(wù)數(shù)據(jù)往往是臟的、混合分布的、量綱不統(tǒng)一的。我的選型邏輯是按數(shù)據(jù)形態(tài)走單變量近似對(duì)稱的用 Z-score單變量偏態(tài)的用 MAD多變量相關(guān)的用馬氏距離或孤立森林時(shí)間序列用滾動(dòng)統(tǒng)計(jì)量。下面逐個(gè)說清楚它們的前提和失效邊界。2.1 Z-score 的前提是近似正態(tài)偏態(tài)數(shù)據(jù)上它會(huì)誤傷Z-score 就是標(biāo)準(zhǔn)分(x - mean) / std閾值一般取 3z (df[amount] - df[amount].mean()) / df[amount].std() outliers df[z.abs() 3]寫法簡(jiǎn)單到?jīng)]什么可說問題在于它的兩個(gè)隱含假設(shè)均值能代表中心標(biāo)準(zhǔn)差能代表離散程度。這兩個(gè)假設(shè)只有在分布近似對(duì)稱時(shí)才成立。右偏數(shù)據(jù)里尾部的大值會(huì)把均值往上拉同時(shí)把標(biāo)準(zhǔn)差撐大結(jié)果是真正的異常反而算不出高分。這個(gè)現(xiàn)象叫掩蔽效應(yīng)是 Z-score 在業(yè)務(wù)數(shù)據(jù)上最致命的問題。還有一個(gè)技術(shù)細(xì)節(jié)容易被忽略std()默認(rèn)是樣本標(biāo)準(zhǔn)差ddof1如果跟別的系統(tǒng)比對(duì)結(jié)果時(shí)對(duì)方用的是總體標(biāo)準(zhǔn)差閾值會(huì)有一點(diǎn)差異。數(shù)據(jù)量大的時(shí)候影響可以忽略數(shù)據(jù)量小的時(shí)候比如幾百條值得注意。2.2 修正 Z-score 用中位數(shù)和 MAD抗噪但要注意 MAD 為 0修正 Z-score 把均值和標(biāo)準(zhǔn)差換成中位數(shù)和絕對(duì)中位差MAD這兩個(gè)統(tǒng)計(jì)量的崩潰點(diǎn)高得多少量極端值影響不了它們med df[amount].median() mad (df[amount] - med).abs().median() modified_z 0.6745 * (df[amount] - med) / mad outliers df[modified_z.abs() 3.5]0.6745這個(gè)常數(shù)是為了讓 MAD 在正態(tài)分布下和標(biāo)準(zhǔn)差可比等價(jià)于1 / 1.4826。閾值3.5是文獻(xiàn)里通用的經(jīng)驗(yàn)值對(duì)應(yīng)正態(tài)分布下大約 0.02% 的比例。這個(gè)方法有一個(gè)必須處理的邊界情況MAD 等于 0。當(dāng)超過一半的數(shù)據(jù)取值完全相同時(shí)就會(huì)發(fā)生典型場(chǎng)景是大量用戶的下單次數(shù)都是 1此時(shí)(x - med)對(duì)大多數(shù)記錄是 0MAD 就是 0除零之后全是inf或nan。處理方式是加一個(gè)極小值保護(hù)或者在這種場(chǎng)景下?lián)Q成基于計(jì)數(shù)的異常定義mad max(mad, 1e-9)我個(gè)人的經(jīng)驗(yàn)是對(duì)于次數(shù)型字段下單次數(shù)、登錄次數(shù)、點(diǎn)擊次數(shù)MAD 和 IQR 都不太好使因?yàn)榉植际请x散且高度集中的。這時(shí)候更靠譜的做法是直接用業(yè)務(wù)規(guī)則比如下單次數(shù)大于 50 次且 7 天內(nèi)完成這類組合條件。2.3 多變量異常馬氏距離和孤立森林的落地寫法單變量檢測(cè)看不到組合起來才異常的記錄。比如一個(gè)用戶年齡 25 歲、年消費(fèi) 80 萬這兩個(gè)值單獨(dú)看都不算極端但放在一起就非常可疑。這類問題需要多變量方法。馬氏距離考慮變量間的相關(guān)性要求數(shù)據(jù)近似多元正態(tài)而且樣本量要大于特征數(shù)否則協(xié)方差矩陣不可逆from scipy.spatial.distance import mahalanobis cols [age, amount, order_cnt] X df[cols].dropna().to_numpy() mu X.mean(axis0) cov_inv np.linalg.pinv(np.cov(X, rowvarFalse)) d np.array([mahalanobis(row, mu, cov_inv) for row in X]) threshold np.quantile(d, 0.99)注意這里用了pinv而不是inv因?yàn)樘卣髦g高度相關(guān)時(shí)協(xié)方差矩陣奇異inv會(huì)直接報(bào)錯(cuò)。另外mahalanobis是逐行調(diào)用的幾百萬行會(huì)非常慢實(shí)際項(xiàng)目里建議用矩陣運(yùn)算重寫d np.sqrt(np.einsum(ij,jk,ik-i, X - mu, cov_inv, X - mu))。孤立森林不依賴分布假設(shè)思路是隨機(jī)切分空間異常點(diǎn)因?yàn)橄∈杷愿菀妆还铝⒊鰜砺窂礁?。落地寫法from sklearn.ensemble import IsolationForest model IsolationForest( n_estimators200, contamination0.01, max_samplesauto, random_state42, n_jobs-1, ) model.fit(df[cols].fillna(0)) df[if_flag] model.predict(df[cols].fillna(0)) # -1 為異常 df[if_score] model.score_samples(df[cols].fillna(0))contamination是最關(guān)鍵的參數(shù)它直接決定判定比例設(shè)成 0.01 就意味著一定有 1% 的記錄被判為異常不管數(shù)據(jù)里到底有沒有這么多。這是一個(gè)很強(qiáng)的先驗(yàn)假設(shè)所以我一般不用predict的硬標(biāo)簽而是用score_samples拿連續(xù)分?jǐn)?shù)再結(jié)合業(yè)務(wù)規(guī)則人工圈定閾值。這樣既能利用算法的排序能力又不會(huì)因?yàn)閰?shù)設(shè)置錯(cuò)誤而誤刪大量正常數(shù)據(jù)。2.4 時(shí)間序列上的異常滾動(dòng)統(tǒng)計(jì)量比全局閾值靠譜時(shí)間序列的異常判定不能用全局閾值因?yàn)闃I(yè)務(wù)本身有周期性和趨勢(shì)。春節(jié)期間的訂單量比平時(shí)高五倍那是正常的但某個(gè)工作日的訂單量突然掉了一半那才是異常。常用做法是滾動(dòng)中位數(shù)加滾動(dòng) MAD用局部統(tǒng)計(jì)量代替全局統(tǒng)計(jì)量df df.sort_values(dt).reset_index(dropTrue) roll_med df[amount].rolling(window7, min_periods3).median() roll_mad (df[amount] - roll_med).abs().rolling(window7, min_periods3).median() score 0.6745 * (df[amount] - roll_med) / roll_mad.replace(0, np.nan) df[ts_flag] score.abs() 3.5min_periods必須顯式設(shè)置否則前 6 行的結(jié)果全是NaN容易在后面被誤當(dāng)成正常值。窗口大小按業(yè)務(wù)周期定日數(shù)據(jù)用 7周數(shù)據(jù)用 4 到 8太小容易把正常波動(dòng)判成異常太大會(huì)讓異常點(diǎn)污染窗口內(nèi)的統(tǒng)計(jì)量導(dǎo)致檢測(cè)滯后。還有一個(gè)更實(shí)用的做法是同比環(huán)比結(jié)合即(今日 - 上周同日) / 上周同日超過某個(gè)比例就標(biāo)記。這個(gè)方法業(yè)務(wù)解釋性極強(qiáng)報(bào)表上可以直接展示較上周同日下降 62%比一堆統(tǒng)計(jì)量更容易讓人相信。3. sample 不只是隨機(jī)抽幾行抽樣參數(shù)、分層方案與代表性校驗(yàn)抽樣這件事在很多人心里就是數(shù)據(jù)太大跑不動(dòng)抽一萬行先看看。但抽樣的目的是讓樣本能代表總體一旦這個(gè)前提不成立后面所有的分析結(jié)論都是廢的。我見過最典型的翻車是拿df.sample(1000)抽出來的樣本去評(píng)估轉(zhuǎn)化率抽出來的結(jié)果比全量高了兩個(gè)百分點(diǎn)查到最后是因?yàn)樵紨?shù)據(jù)按時(shí)間排序隨機(jī)抽樣恰好抽到了一個(gè)促銷時(shí)段。3.1 n、frac、weights、replace 的實(shí)際含義sample的參數(shù)不多但每個(gè)都有實(shí)際影響df.sample(n1000, random_state42) # 固定條數(shù) df.sample(frac0.1, random_state42) # 固定比例 df.sample(n1000, replaceTrue, random_state42) # 有放回 df.sample(n1000, weightsweight_col, random_state42) # 加權(quán)random_state在需要復(fù)現(xiàn)的場(chǎng)景必須固定尤其是做 A/B 對(duì)比分析時(shí)兩次抽樣用了不同的種子結(jié)果差異可能完全來自抽樣本身而不是業(yè)務(wù)變化。replaceTrue只在一種情況下需要樣本量要超過總體或者要做 Bootstrap 估計(jì)。日常抽樣基本不用因?yàn)橹貜?fù)樣本會(huì)讓統(tǒng)計(jì)量的方差被低估。weights是加權(quán)抽樣適合做重要性抽樣或者過采樣。有個(gè)坑值得說weights可以傳列名也可以傳數(shù)組但如果傳入的 Series 索引和 DataFrame 索引不一致pandas 會(huì)按位置對(duì)齊而不是按索引結(jié)果可能完全錯(cuò)亂。穩(wěn)妥做法是直接傳.to_numpy()。frac和n不能同時(shí)指定這個(gè)大家都知道。但有個(gè)隱蔽問題frac大于 1 且沒設(shè)replaceTrue時(shí)會(huì)報(bào)錯(cuò)而frac1返回的是打亂后的全量數(shù)據(jù)不是原始順序很多人在這一步誤以為數(shù)據(jù)被改了。3.2 分層抽樣手寫循環(huán)比 groupby.apply 更省心分層抽樣保證每個(gè)分組在樣本里的比例和總體一致這是報(bào)表抽樣幾乎必做的事。常見寫法有兩種我更推薦手寫循環(huán)def stratified_sample(df, col, n_per_groupNone, fracNone, seed42): parts [] for key, g in df.groupby(col, observedTrue, sortFalse): if n_per_group is not None: k min(n_per_group, len(g)) parts.append(g.sample(nk, random_stateseed)) else: parts.append(g.sample(fracfrac, random_stateseed)) return pd.concat(parts, ignore_indexTrue) sample_df stratified_sample(df, channel, frac0.05)為什么不用groupby.apply(lambda x: x.sample(...))兩個(gè)原因。一是新版 pandas 對(duì)返回結(jié)果形狀不一致的apply會(huì)有棄用警告行為在版本間有變化維護(hù)成本高。二是apply會(huì)把每個(gè)分組當(dāng)獨(dú)立函數(shù)調(diào)用幾萬個(gè)分組的時(shí)候速度慢一個(gè)數(shù)量級(jí)。手寫循環(huán)雖然多幾行但行為完全可控出問題好排查。min(n_per_group, len(g))這個(gè)保護(hù)必須加。小分組的數(shù)據(jù)量小于要求抽樣量時(shí)sample(nk)會(huì)直接拋ValueError整個(gè)流程中斷。用min兜底配合后面的一致性核對(duì)能馬上發(fā)現(xiàn)哪些分組樣本不足。observedTrue也不能省。如果你的分組字段是category類型默認(rèn)行為會(huì)把所有類別組合都列出來包括數(shù)據(jù)里根本不存在的組合白跑一堆空分組。新版 pandas 里這個(gè)默認(rèn)值已經(jīng)改了但如果代碼要兼容老版本顯式寫上更保險(xiǎn)。3.3 樣本量怎么估以及抽完必須做的一致性核對(duì)樣本量不是拍腦袋定的。判斷比例類指標(biāo)比如轉(zhuǎn)化率時(shí)用這個(gè)公式n z2 × p × (1-p) / e2z是置信水平對(duì)應(yīng)的分位數(shù)95% 對(duì)應(yīng) 1.96p是預(yù)期比例不知道就取 0.5此時(shí)方差最大e是允許誤差。取p0.5、e0.03算出來 n 約等于 1067。如果總體本身不大還要做有限總體修正n_adj n / (1 (n - 1) / N)總體 5000 條時(shí)修正后的樣本量是 878比 1067 小了不少。這個(gè)修正很容易被忽略導(dǎo)致對(duì)小數(shù)據(jù)集做了不必要的過度抽樣。抽完之后必須做一致性核對(duì)這一步比抽樣本身更重要。我通常跑三件事分組占比對(duì)比、關(guān)鍵字段的分位數(shù)對(duì)比、空值率對(duì)比。total_ratio df[channel].value_counts(normalizeTrue) sample_ratio sample_df[channel].value_counts(normalizeTrue) compare pd.DataFrame({總體: total_ratio, 樣本: sample_ratio}) compare[偏差] (compare[樣本] - compare[總體]).round(4) print(compare.sort_values(偏差, keyabs, ascendingFalse))偏差超過 1 個(gè)百分點(diǎn)就要警惕。如果發(fā)現(xiàn)某個(gè)分組偏差明顯先檢查這個(gè)分組的總量是不是太小小于 100 條時(shí)抽樣波動(dòng)本身就大排除之后再考慮加大樣本量或者改成按權(quán)重抽樣。對(duì)連續(xù)型字段用quantile([0.1, 0.25, 0.5, 0.75, 0.9])對(duì)比總體和樣本兩列并排看。這一步能發(fā)現(xiàn)隨機(jī)抽樣抽偏了分布的情況比如整體樣本量夠了但高分位被系統(tǒng)性低估。3.4 分層抽樣的一個(gè)變體按業(yè)務(wù)重要性分配配額嚴(yán)格按比例分層有時(shí)候不實(shí)用。比如做渠道分析時(shí)主力渠道占 90% 的量長(zhǎng)尾渠道加起來只占 10% 但包含幾十個(gè)渠道按比例抽的話每個(gè)長(zhǎng)尾渠道只能分到幾條根本沒法單獨(dú)看。這時(shí)候用配額抽樣更合理主力渠道按比例抽長(zhǎng)尾渠道強(qiáng)制保底若干條。big stratified_sample(df[df[channel].isin([A, B])], channel, frac0.02) small stratified_sample(df[~df[channel].isin([A, B])], channel, n_per_group50) sample_df pd.concat([big, small], ignore_indexTrue)這樣做出來的樣本不能直接用來算整體均值因?yàn)樗?jīng)過了人為加權(quán)。但如果用途是看每個(gè)渠道的畫像那完全合理。關(guān)鍵在于樣本用途決定了抽樣方案而不是反過來。這一點(diǎn)我會(huì)在交付分析結(jié)果時(shí)明確寫出來避免下游拿著加權(quán)樣本去算全站 GMV。4. groupby 的執(zhí)行邏輯與 agg 寫法把聚合結(jié)果做成能直接進(jìn)報(bào)表的形狀聚合是三個(gè)環(huán)節(jié)里最常用的也是最容易產(chǎn)生結(jié)果對(duì)不上的環(huán)節(jié)。原因往往不在groupby本身而在于 NaN 的處理、索引的形狀、以及聚合函數(shù)的語義選擇——sum()對(duì)全 NaN 分組返回 0mean()對(duì)全 NaN 分組返回 NaN這兩個(gè)行為的差異能讓報(bào)表數(shù)字出現(xiàn)明顯偏差。4.1 groupby 到底做了什么為什么要關(guān)注 as_index 和 observedgroupby的執(zhí)行過程是拆分-應(yīng)用-合并按 key 把數(shù)據(jù)切成若干塊對(duì)每塊執(zhí)行聚合函數(shù)再把結(jié)果拼成新表。理解這一點(diǎn)很多行為的來源就清楚了。as_indexFalse決定了分組字段是留在索引上還是變成普通列。大多數(shù)接報(bào)表的場(chǎng)景都應(yīng)該設(shè)成False因?yàn)楹罄m(xù)要merge、要導(dǎo)出 Excel、要寫進(jìn)數(shù)據(jù)庫(kù)索引里的列很麻煩result df.groupby(channel, as_indexFalse).agg(gmv(amount, sum))dropna決定分組字段為 NaN 的記錄要不要參與。默認(rèn)是丟棄這在統(tǒng)計(jì)上合理但在業(yè)務(wù)上經(jīng)常出問題——空的分組字段往往代表未歸類直接丟掉會(huì)讓總數(shù)對(duì)不上。我一般會(huì)先把空值填成未知再分組這樣總量是守恒的。observedTrue前面提過主要影響 categorical 類型。還有一個(gè)相關(guān)的坑如果分組字段的 dtype 是object但實(shí)際取值只有少數(shù)幾個(gè)可以先轉(zhuǎn)成category分組速度能快好幾倍內(nèi)存也能省一半以上。4.2 命名聚合比傳字典更清晰也更好接下游聚合的寫法有好幾種從差到好排下來# 寫法一多函數(shù)聚合結(jié)果是 MultiIndex 列 df.groupby(channel).agg({amount: [sum, mean, count]}) # 寫法二傳字典只能給一列配一個(gè)函數(shù)或函數(shù)列表 df.groupby(channel).agg({amount: sum, order_id: nunique}) # 寫法三命名聚合推薦 summary df.groupby(channel, as_indexFalse).agg( gmv(amount, sum), order_cnt(order_id, nunique), avg_price(amount, mean), p90(amount, lambda x: x.quantile(0.9)), )寫法一的問題是多函數(shù)聚合出來是二級(jí)列名result[amount][sum]這種取法在導(dǎo)出、重命名、拼接時(shí)都很別扭得用flatten處理。寫法三直接給每個(gè)聚合結(jié)果命名列名是扁平的可以直接進(jìn)報(bào)表。用lambda算分位數(shù)很方便但性能很差——它是逐組調(diào)用 Python 函數(shù)幾萬個(gè)分組時(shí)能慢十倍以上。數(shù)據(jù)量大時(shí)改用functools.partial或者先算分位數(shù)列再聚合from functools import partial q90 partial(pd.Series.quantile, q0.9) summary df.groupby(channel, as_indexFalse).agg(p90(amount, q90))另外還有一個(gè)語義陷阱count和size的區(qū)別。count統(tǒng)計(jì)非空值數(shù)量size統(tǒng)計(jì)行數(shù)含空值。做訂單數(shù)統(tǒng)計(jì)時(shí)如果用錯(cuò)空值多的分組會(huì)少算。nunique默認(rèn)不統(tǒng)計(jì)空值這個(gè)行為一般符合預(yù)期但如果需要把空值也算一種取值得顯式dropnaFalse。4.3 transform 和 apply 的分工以及性能差距transform的作用是按組計(jì)算但結(jié)果保持原表形狀用來做組內(nèi)標(biāo)準(zhǔn)化、組內(nèi)占比、缺失值組內(nèi)填充特別方便df[channel_avg] df.groupby(channel)[amount].transform(mean) df[amount_ratio] df[amount] / df[channel_avg] df[rank_in_channel] df.groupby(channel)[amount].rank(ascendingFalse, methoddense)如果不要求保留原形狀只是想拿到每組一個(gè)值那就用agg它比transform快因?yàn)椴恍枰呀Y(jié)果廣播回每一行。apply最靈活可以返回任意形狀但也是三者里最慢的。它的價(jià)值在于邏輯復(fù)雜、沒法用內(nèi)置函數(shù)表達(dá)的場(chǎng)景比如組內(nèi)要做時(shí)間序列插值、要做排序后取第 N 行top3 df.groupby(channel, group_keysFalse).apply( lambda g: g.nlargest(3, amount), include_groupsFalse )新版 pandas 里apply作用在 DataFrame 上時(shí)分組列默認(rèn)會(huì)包含在數(shù)據(jù)里需要在函數(shù)里排除否則會(huì)報(bào)錯(cuò)或者產(chǎn)生重復(fù)列。加include_groupsFalse是比較穩(wěn)妥的寫法老版本沒有這個(gè)參數(shù)需要用g.drop(columns...)手動(dòng)剔除。4.4 pivot_table 和 crosstab 的適用邊界pivot_table本質(zhì)上是groupby加透視適合做二維交叉表。跟groupby的區(qū)別在于它能一次把行維度、列維度都鋪開適合直接給人看pivot pd.pivot_table( df, indexchannel, columnsmonth, valuesamount, aggfuncsum, fill_value0, marginsTrue, margins_name合計(jì) )fill_value0很重要否則交叉表里沒有數(shù)據(jù)的位置是NaN做后續(xù)計(jì)算時(shí)會(huì)傳播。marginsTrue會(huì)自動(dòng)加行列合計(jì)省去手工算總數(shù)的一步但要注意合計(jì)行在索引里叫All可以自定義跟數(shù)據(jù)行混在一起如果后面還要做運(yùn)算記得先剔除。crosstab適合算頻次分布比pivot_table寫起來簡(jiǎn)潔pd.crosstab(df[channel], df[status], normalizeindex, marginsFalse)normalizeindex按行歸一化輸出的就是每個(gè)渠道里各狀態(tài)的占比做轉(zhuǎn)化率分析很方便。normalizecolumns按列normalizeTrue按總數(shù)。這三個(gè)值容易搞混我的記法是歸一化的方向就是分母所在的方向。5. 三個(gè)環(huán)節(jié)串成一條流水線可復(fù)用函數(shù)與幾個(gè)高頻報(bào)錯(cuò)分開看每個(gè)環(huán)節(jié)都不難真到項(xiàng)目里麻煩出在三者交織的地方。異常值處理改變了分布抽樣就要重新校驗(yàn)抽樣讓部分分組數(shù)據(jù)變少聚合時(shí)就要處理小樣本分組聚合結(jié)果又要回到異常值判斷里做交叉驗(yàn)證。把這些串起來我的做法是把每一步寫成獨(dú)立函數(shù)中間產(chǎn)物落盤方便回溯。5.1 函數(shù)拆分與參數(shù)設(shè)計(jì)整條流水線拆成四個(gè)函數(shù)每個(gè)函數(shù)只做一件事參數(shù)顯式傳入不依賴全局變量def profile(df, cols): 輸出字段體檢表空值率、唯一值數(shù)、分位數(shù)、疑似哨兵值 rows [] for c in cols: s df[c] rows.append({ col: c, dtype: str(s.dtype), null_rate: round(s.isna().mean(), 4), nunique: s.nunique(), min: s.min() if pd.api.types.is_numeric_dtype(s) else None, p01: s.quantile(0.01) if pd.api.types.is_numeric_dtype(s) else None, p50: s.quantile(0.5) if pd.api.types.is_numeric_dtype(s) else None, p99: s.quantile(0.99) if pd.api.types.is_numeric_dtype(s) else None, max: s.max() if pd.api.types.is_numeric_dtype(s) else None, }) return pd.DataFrame(rows) def flag_outliers(df, col, methodmad, k3.5): 只打標(biāo)記不刪數(shù)據(jù) s df[col] if method mad: med s.median() mad max((s - med).abs().median(), 1e-9) score 0.6745 * (s - med) / mad return (score.abs() k).fillna(False) if method iqr: q1, q3 s.quantile([0.25, 0.75]) iqr q3 - q1 return ~s.between(q1 - 1.5 * iqr, q3 1.5 * iqr) raise ValueError(funknown method: {method}) def build_sample(df, group_col, frac0.05, min_n30, seed42): 分層抽樣小分組保底 min_n 條 parts [] for key, g in df.groupby(group_col, observedTrue, sortFalse): k max(min_n, int(round(len(g) * frac))) parts.append(g.sample(nmin(k, len(g)), random_stateseed)) return pd.concat(parts, ignore_indexTrue) def build_summary(df, group_col, value_col, id_col): return df.groupby(group_col, as_indexFalse).agg( cnt(id_col, nunique), total(value_col, sum), avg(value_col, mean), p50(value_col, median), )這樣拆的好處是每一步都能單獨(dú)驗(yàn)證。profile的輸出可以直接貼進(jìn)分析報(bào)告當(dāng)數(shù)據(jù)質(zhì)量說明flag_outliers加了_flag列而不刪數(shù)據(jù)出問題隨時(shí)能切換策略重跑。5.2 SettingWithCopyWarning 的根因和三種消除方式這個(gè)警告幾乎人人都見過很多人直接warnings.filterwarnings(ignore)了事但它是真實(shí)問題的信號(hào)。根因在于 pandas 無法確定你拿到的 DataFrame 是原始數(shù)據(jù)的視圖還是副本賦值操作可能改了原表也可能沒改行為不確定。最常見的觸發(fā)寫法是鏈?zhǔn)剿饕? 觸發(fā)警告 df[df[status] paid][discount] 0.9 # 正確寫法一先 copy sub df[df[status] paid].copy() sub[discount] 0.9 # 正確寫法二用 loc 一次定位 df.loc[df[status] paid, discount] 0.9寫法二最推薦一次完成定位和賦值不會(huì)產(chǎn)生中間對(duì)象。寫法的關(guān)鍵是copy()不能省很多人覺得加了copy()會(huì)多占內(nèi)存實(shí)際上 pandas 3.0 之后寫時(shí)復(fù)制是默認(rèn)行為copy()的開銷比想象中小得多而且能避免一堆難以排查的問題。還有一類更隱蔽的情況merge之后修改某一列時(shí)觸發(fā)這個(gè)警告。原因是merge結(jié)果的某些塊可能跟原始 DataFrame 共享內(nèi)存。處理方法一樣merge之后如果要做原地修改先.copy()。5.3 dtype 被悄悄改掉整數(shù)變浮點(diǎn)、空值被當(dāng)成 0這個(gè)坑比上一個(gè)大得多因?yàn)樗粓?bào)警告只給你一個(gè)錯(cuò)誤的數(shù)字。第一個(gè)典型場(chǎng)景原本是int64的列里出現(xiàn)空值pandas 會(huì)自動(dòng)把它轉(zhuǎn)成float64?？雌饋碇皇穷愋妥兞藢?shí)際影響是id列變成浮點(diǎn)之后作為字典鍵或者跟字符串拼接會(huì)出現(xiàn)123.0這種結(jié)果去重、關(guān)聯(lián)、導(dǎo)出全都會(huì)出問題。解法是用可空整型df[qty] df[qty].astype(Int64) # 注意大寫 IInt64大寫是 pandas 擴(kuò)展類型支持pd.NAint64小寫是 numpy 類型不支持。這個(gè)大小寫區(qū)別坑過很多人。同理還有string和object、boolean和bool。第二個(gè)場(chǎng)景sum()把 NaN 當(dāng) 0 加。這是sum的設(shè)計(jì)行為skipnaTrue是默認(rèn)值。影響在于分母——如果算客單價(jià)時(shí)用amount_sum / order_count而amount有一批是 NaN那分子少算、分母照算客單價(jià)就被系統(tǒng)性低估。正確做法是先把空值處理掉再算或者在聚合里顯式指定df.groupby(channel).agg( gmv(amount, lambda x: x.sum(min_count1)), # 全空時(shí)返回 NaN 而不是 0 cnt(order_id, nunique), )min_count1的意思是至少要有 1 個(gè)非空值才計(jì)算結(jié)果全空分組返回 NaN這樣在報(bào)表里一眼就能看出哪些分組數(shù)據(jù)缺失而不是被 0 悄悄糊過去。第三個(gè)場(chǎng)景groupby之后 dtype 發(fā)生變化。分類字段轉(zhuǎn)成索引之后類型可能變尤其是用了category的地方。做完聚合之后加一句print(result.dtypes)檢查一下養(yǎng)成習(xí)慣能省掉大量為什么數(shù)字不對(duì)的排查時(shí)間。5.4 內(nèi)存與速度category 和避免 apply 的實(shí)測(cè)差距數(shù)據(jù)量上到千萬行之后性能就變成必須考慮的事。我做過一輪對(duì)比同一份 800 萬行的訂單數(shù)據(jù)幾個(gè)改動(dòng)帶來的差異很明顯改動(dòng)大致效果說明分組字段轉(zhuǎn)category分組耗時(shí)下降 40%–60%取值基數(shù)低時(shí)收益最大用agg命名聚合替代apply聚合耗時(shí)下降一個(gè)數(shù)量級(jí)apply是逐組 Python 調(diào)用數(shù)值列降精度float32內(nèi)存占用減少約一半精度要求不高的場(chǎng)景可用讀數(shù)據(jù)時(shí)指定dtype和usecols讀取階段內(nèi)存減少 60% 以上從源頭控制最有效用pd.NA替代np.nan語義更清晰內(nèi)存略增整數(shù)列可空時(shí)必需category的收益來自兩點(diǎn)一是值實(shí)際只存一份每個(gè)位置存的是整數(shù)編碼內(nèi)存從每行一個(gè)字符串變成每行一個(gè)小整數(shù)二是分組時(shí)可以直接按整數(shù)編碼做哈希比字符串比較快得多。轉(zhuǎn)的時(shí)候要注意如果某列取值基數(shù)接近行數(shù)比如用戶 ID轉(zhuǎn)成 category 反而更慢更占內(nèi)存轉(zhuǎn)之前先看nunique() / len(df)這個(gè)比值低于 0.1 再考慮。讀取階段優(yōu)化是最劃算的因?yàn)槭〉氖侨鞒痰膬?nèi)存峰值dtype_map { order_id: string, channel: category, qty: Int32, amount: float32, } df pd.read_csv(orders.csv, usecolslist(dtype_map), dtypedtype_map)usecols只讀需要的列這一步經(jīng)常能省掉一半以上的內(nèi)存和時(shí)間。很多人的習(xí)慣是先全量讀進(jìn)來再刪列實(shí)際上源頭就過濾掉更高效。float32要注意精度金額類字段如果對(duì)小數(shù)位有嚴(yán)格要求比如到分用float32可能產(chǎn)生累積誤差建議保留float64或者干脆用整數(shù)存分。最后提一個(gè)容易被忽略的性能陷阱在groupby之后鏈?zhǔn)秸{(diào)用多次聚合不如一次agg里全寫完。每次鏈?zhǔn)秸{(diào)用都會(huì)重新觸發(fā)一次分組計(jì)算雖然 pandas 內(nèi)部有一些優(yōu)化但顯式一次寫完更穩(wěn)定。我在幾個(gè)項(xiàng)目里對(duì)比過把三次獨(dú)立的groupby().sum()、groupby().mean()、groupby().count()合并成一個(gè)agg耗時(shí)大約能降到三分之一。還有一個(gè)我個(gè)人的小習(xí)慣所有聚合結(jié)果在導(dǎo)出之前先跑一次總量守衡校驗(yàn)——用原始數(shù)據(jù)的amount.sum()和聚合結(jié)果的total.sum()對(duì)比兩者必須完全相等浮點(diǎn)用np.isclose。這一步能抓出絕大多數(shù)過濾條件寫錯(cuò)、空值被丟棄、分組字段意外為 NaN 的問題。寫完一條流水線加上這個(gè)校驗(yàn)交付時(shí)心里就有底了。 Pandas數(shù)據(jù)處理：異常值、抽樣與聚合避坑指南
Pandas 數(shù)據(jù)處理指南異常值、抽樣和數(shù)據(jù)聚合前陣子幫一個(gè)做電商數(shù)據(jù)的朋友看報(bào)表他拿一份兩百多萬行的訂單明細(xì)跑groupby(channel).agg({amount:sum})出來的 GMV 跟業(yè)務(wù)方口徑差了將近三成。他一開始懷疑是 SQL 導(dǎo)出口徑不一致翻來覆去對(duì)了兩天最后定位到三個(gè)問題疊在一起幾條測(cè)試賬號(hào)的大額訂單沒剔掉一批amount為空的記錄被sum當(dāng) 0 算進(jìn)了分母還有一個(gè)渠道因?yàn)槌闃拥年P(guān)系樣本量只有幾十條卻被當(dāng)成正常渠道參與排名。這三個(gè)問題分別對(duì)應(yīng)數(shù)據(jù)處理的三個(gè)基本功——異常值處理、抽樣、聚合恰好也是絕大多數(shù)人覺得自己會(huì)用、真到業(yè)務(wù)里卻頻繁翻車的三個(gè)地方。這篇內(nèi)容想聊的就是這三件事。它適合已經(jīng)能寫df.groupby()、df.sample()但經(jīng)常在結(jié)果對(duì)不上、口徑說不清、跑得慢這幾件事上卡住的人。我會(huì)把每個(gè)環(huán)節(jié)里那些文檔上不寫、但實(shí)際項(xiàng)目里一定會(huì)遇到的東西講透包括檢測(cè)方法什么條件下會(huì)失效、抽樣參數(shù)背后代表什么、聚合結(jié)果怎么組織才能直接進(jìn)報(bào)表。文中用到的代碼都可以直接復(fù)制到 Notebook 里跑數(shù)據(jù)表結(jié)構(gòu)我盡量寫得通用換成你自己的字段名就能用。1. 異常值先分三類錯(cuò)誤值、極端值、結(jié)構(gòu)性偏移處理方式完全不同很多人對(duì)異常值的處理方式是跑個(gè) describe看到最大值離譜就刪掉這個(gè)做法在真實(shí)業(yè)務(wù)里十次有八次會(huì)出錯(cuò)。異常值不是一個(gè)統(tǒng)計(jì)學(xué)概念它是統(tǒng)計(jì)概念和業(yè)務(wù)語義的交叉點(diǎn)同樣一個(gè)數(shù)值在不同的字段上有完全不同的含義。我習(xí)慣先把它分成三類因?yàn)檫@三類的處置邏輯是互斥的。第一類是錯(cuò)誤值本質(zhì)是數(shù)據(jù)在采集、傳輸、錄入環(huán)節(jié)出了問題。典型表現(xiàn)是單位錯(cuò)位金額字段里混進(jìn)了一條以分為單位的記錄、編碼錯(cuò)誤缺失被填成-1、9999、0而不是NaN、類型錯(cuò)位日期列里混進(jìn)了字符串。這類值不屬于偏大偏小它壓根就是錯(cuò)的處理方式應(yīng)該是修正或者置空而不是簡(jiǎn)單刪除。第二類是極端值數(shù)據(jù)本身是對(duì)的只是落在分布尾部。比如某個(gè)大客戶單筆下了五十萬的訂單這個(gè)值真實(shí)發(fā)生了刪掉它等于把真實(shí)業(yè)務(wù)抹掉。這類值要考慮的是它對(duì)我要算的指標(biāo)有沒有影響——算平均值它影響巨大算中位數(shù)幾乎沒影響。第三類是結(jié)構(gòu)性偏移指的不是單條記錄異常而是某個(gè)分組的整體分布和其他分組不在一個(gè)量級(jí)上。比如某個(gè)渠道的客單價(jià)整體是其他渠道的十倍這往往不是渠道用戶質(zhì)量高而是這個(gè)渠道的金額字段包含了運(yùn)費(fèi)或者稅費(fèi)采集口徑跟別人不一樣。這類問題用單變量檢測(cè)方法根本發(fā)現(xiàn)不了必須按分組切開看。1.1 用 describe 和 value_counts 做第一輪體檢動(dòng)手之前先做體檢不要上來就寫過濾條件。我通常跑這么幾行import pandas as pd import numpy as np df.info() df.describe(includeall).T df[amount].value_counts().head(20) df[amount].value_counts().tail(20)describe看的是分布輪廓重點(diǎn)看三個(gè)數(shù)min是不是負(fù)數(shù)金額類字段出現(xiàn)負(fù)數(shù)通常意味著退款混進(jìn)來了、max是不是比75%分位大出好幾個(gè)數(shù)量級(jí)、mean和50%分位的差距有多大。均值遠(yuǎn)大于中位數(shù)說明右偏嚴(yán)重后面選檢測(cè)方法時(shí)就不能用基于正態(tài)假設(shè)的那套。value_counts的頭部和尾部是在找哨兵值。所謂哨兵值就是用特定數(shù)字表示特殊含義的約定-1表示未填寫、0表示未知、9999表示不適用。這類值在統(tǒng)計(jì)上看起來可能不離譜-1甚至不大但它會(huì)嚴(yán)重污染均值。我遇到過age字段大量填0的情況算出來平均年齡 26 歲實(shí)際主力用戶是 35 歲以上就是被這批 0 拉下去的。這一步的經(jīng)驗(yàn)是先看value_counts的尾部再看describe。因?yàn)樯诒低谖膊砍霈F(xiàn)得很突然比如正常金額都是幾十到幾千尾部突然出現(xiàn)一個(gè)-999一眼就能看出來。而describe只會(huì)告訴你最小值是 -999不會(huì)告訴你這個(gè)值出現(xiàn)了 800 次。1.2 IQR 的上下界怎么算什么時(shí)候它會(huì)騙你IQR 法是箱線圖的數(shù)學(xué)基礎(chǔ)計(jì)算很直接q1 df[amount].quantile(0.25) q3 df[amount].quantile(0.75) iqr q3 - q1 lower q1 - 1.5 * iqr upper q3 1.5 * iqr mask_normal df[amount].between(lower, upper) print(f下界 {lower:.2f} 上界 {upper:.2f} 異常占比 {(~mask_normal).mean():.2%})1.5這個(gè)系數(shù)不是拍腦袋的在正態(tài)分布下它對(duì)應(yīng)的區(qū)間大約覆蓋 99.3% 的數(shù)據(jù)所以正常數(shù)據(jù)被判為異常的比例應(yīng)該在 1% 以內(nèi)。這個(gè)數(shù)字很重要——如果你用 IQR 算出來的異常比例是 15%那不是數(shù)據(jù)有問題是方法用錯(cuò)了說明數(shù)據(jù)分布嚴(yán)重偏離正態(tài)或者 Q1、Q3 本身就被污染了。IQR 最容易騙人的場(chǎng)景是右偏嚴(yán)重的數(shù)據(jù)比如訂單金額、用戶消費(fèi)額、頁(yè)面停留時(shí)長(zhǎng)。這類數(shù)據(jù) Q1 和 Q3 都擠在左側(cè)IQR 很小算出來的上界就會(huì)很低把大量正常的大額訂單判成異常。我實(shí)測(cè)過一份客單價(jià)數(shù)據(jù)Q1 是 38Q3 是 96上界算出來只有 183但實(shí)際上千的單子占了 8%這些全是真實(shí)的大客戶訂單。通用的補(bǔ)救辦法是先做對(duì)數(shù)變換再算 IQR或者直接用分位數(shù)縮尾比如把上下 1% 的值截?cái)嗟?1% 和 99% 分位的值上后者對(duì)業(yè)務(wù)解釋更友好因?yàn)樗桓淖償?shù)據(jù)的單調(diào)性lo, hi df[amount].quantile([0.01, 0.99]) df[amount_winsor] df[amount].clip(lowerlo, upperhi)1.3 刪除、縮尾、標(biāo)記、分箱四種處置各自適用什么場(chǎng)景檢測(cè)出來之后怎么處理這是最見功力的地方。我整理了一張對(duì)照表基本覆蓋了日常遇到的場(chǎng)景處置方式適用場(chǎng)景風(fēng)險(xiǎn)點(diǎn)直接刪除確認(rèn)為錯(cuò)誤值且占比低于 1%占比高時(shí)會(huì)造成樣本偏差縮尾clip極端值真實(shí)存在但要算均值類指標(biāo)會(huì)壓縮真實(shí)差異需在報(bào)告里注明打標(biāo)記不刪極端值本身是分析對(duì)象如大客戶識(shí)別下游所有計(jì)算都要帶上標(biāo)記過濾分箱處理用于建模特征或做分布對(duì)比分箱邊界選擇主觀性強(qiáng)單獨(dú)分組結(jié)構(gòu)性偏移如某渠道口徑不同需要額外解釋容易讓報(bào)表難讀刪除這條我想多說一句。很多教程寫刪除 3σ 之外的記錄但從來沒說刪完之后必須重新檢查分布。原因很簡(jiǎn)單刪掉尾部會(huì)改變均值、方差、分位數(shù)如果下游還有別的過濾條件兩次過濾疊加可能把某個(gè)分組刪空。我的習(xí)慣是刪除前后各跑一次groupby.size()確認(rèn)每個(gè)分組的剩余量都還夠做結(jié)論經(jīng)驗(yàn)閾值是單組不低于 30 條不夠就別刪改成標(biāo)記。還有一個(gè)更隱蔽的坑刪除操作會(huì)破壞索引連續(xù)性。如果后續(xù)用位置索引iloc或者把索引當(dāng)成 ID 用刪完就容易錯(cuò)位。所以刪除之后一律加.reset_index(dropTrue)或者干脆養(yǎng)成習(xí)慣任何過濾之后都重置一次。2. 檢測(cè)手段的選型從 MAD 到孤立森林每種方法的失效條件是什么搞清楚異常值的分類之后接下來的問題是用什么方法找出來。這里有個(gè)很普遍的誤區(qū)方法越復(fù)雜越好。實(shí)際上孤立森林、LOF 這些算法在業(yè)務(wù)數(shù)據(jù)上的表現(xiàn)經(jīng)常不如一個(gè)老老實(shí)實(shí)的分位數(shù)閾值原因是它們對(duì)參數(shù)和數(shù)據(jù)尺度非常敏感而業(yè)務(wù)數(shù)據(jù)往往是臟的、混合分布的、量綱不統(tǒng)一的。我的選型邏輯是按數(shù)據(jù)形態(tài)走單變量近似對(duì)稱的用 Z-score單變量偏態(tài)的用 MAD多變量相關(guān)的用馬氏距離或孤立森林時(shí)間序列用滾動(dòng)統(tǒng)計(jì)量。下面逐個(gè)說清楚它們的前提和失效邊界。2.1 Z-score 的前提是近似正態(tài)偏態(tài)數(shù)據(jù)上它會(huì)誤傷Z-score 就是標(biāo)準(zhǔn)分(x - mean) / std閾值一般取 3z (df[amount] - df[amount].mean()) / df[amount].std() outliers df[z.abs() 3]寫法簡(jiǎn)單到?jīng)]什么可說問題在于它的兩個(gè)隱含假設(shè)均值能代表中心標(biāo)準(zhǔn)差能代表離散程度。這兩個(gè)假設(shè)只有在分布近似對(duì)稱時(shí)才成立。右偏數(shù)據(jù)里尾部的大值會(huì)把均值往上拉同時(shí)把標(biāo)準(zhǔn)差撐大結(jié)果是真正的異常反而算不出高分。這個(gè)現(xiàn)象叫掩蔽效應(yīng)是 Z-score 在業(yè)務(wù)數(shù)據(jù)上最致命的問題。還有一個(gè)技術(shù)細(xì)節(jié)容易被忽略std()默認(rèn)是樣本標(biāo)準(zhǔn)差ddof1如果跟別的系統(tǒng)比對(duì)結(jié)果時(shí)對(duì)方用的是總體標(biāo)準(zhǔn)差閾值會(huì)有一點(diǎn)差異。數(shù)據(jù)量大的時(shí)候影響可以忽略數(shù)據(jù)量小的時(shí)候比如幾百條值得注意。2.2 修正 Z-score 用中位數(shù)和 MAD抗噪但要注意 MAD 為 0修正 Z-score 把均值和標(biāo)準(zhǔn)差換成中位數(shù)和絕對(duì)中位差MAD這兩個(gè)統(tǒng)計(jì)量的崩潰點(diǎn)高得多少量極端值影響不了它們med df[amount].median() mad (df[amount] - med).abs().median() modified_z 0.6745 * (df[amount] - med) / mad outliers df[modified_z.abs() 3.5]0.6745這個(gè)常數(shù)是為了讓 MAD 在正態(tài)分布下和標(biāo)準(zhǔn)差可比等價(jià)于1 / 1.4826。閾值3.5是文獻(xiàn)里通用的經(jīng)驗(yàn)值對(duì)應(yīng)正態(tài)分布下大約 0.02% 的比例。這個(gè)方法有一個(gè)必須處理的邊界情況MAD 等于 0。當(dāng)超過一半的數(shù)據(jù)取值完全相同時(shí)就會(huì)發(fā)生典型場(chǎng)景是大量用戶的下單次數(shù)都是 1此時(shí)(x - med)對(duì)大多數(shù)記錄是 0MAD 就是 0除零之后全是inf或nan。處理方式是加一個(gè)極小值保護(hù)或者在這種場(chǎng)景下?lián)Q成基于計(jì)數(shù)的異常定義mad max(mad, 1e-9)我個(gè)人的經(jīng)驗(yàn)是對(duì)于次數(shù)型字段下單次數(shù)、登錄次數(shù)、點(diǎn)擊次數(shù)MAD 和 IQR 都不太好使因?yàn)榉植际请x散且高度集中的。這時(shí)候更靠譜的做法是直接用業(yè)務(wù)規(guī)則比如下單次數(shù)大于 50 次且 7 天內(nèi)完成這類組合條件。2.3 多變量異常馬氏距離和孤立森林的落地寫法單變量檢測(cè)看不到組合起來才異常的記錄。比如一個(gè)用戶年齡 25 歲、年消費(fèi) 80 萬這兩個(gè)值單獨(dú)看都不算極端但放在一起就非常可疑。這類問題需要多變量方法。馬氏距離考慮變量間的相關(guān)性要求數(shù)據(jù)近似多元正態(tài)而且樣本量要大于特征數(shù)否則協(xié)方差矩陣不可逆from scipy.spatial.distance import mahalanobis cols [age, amount, order_cnt] X df[cols].dropna().to_numpy() mu X.mean(axis0) cov_inv np.linalg.pinv(np.cov(X, rowvarFalse)) d np.array([mahalanobis(row, mu, cov_inv) for row in X]) threshold np.quantile(d, 0.99)注意這里用了pinv而不是inv因?yàn)樘卣髦g高度相關(guān)時(shí)協(xié)方差矩陣奇異inv會(huì)直接報(bào)錯(cuò)。另外mahalanobis是逐行調(diào)用的幾百萬行會(huì)非常慢實(shí)際項(xiàng)目里建議用矩陣運(yùn)算重寫d np.sqrt(np.einsum(ij,jk,ik-i, X - mu, cov_inv, X - mu))。孤立森林不依賴分布假設(shè)思路是隨機(jī)切分空間異常點(diǎn)因?yàn)橄∈杷愿菀妆还铝⒊鰜砺窂礁?。落地寫法from sklearn.ensemble import IsolationForest model IsolationForest( n_estimators200, contamination0.01, max_samplesauto, random_state42, n_jobs-1, ) model.fit(df[cols].fillna(0)) df[if_flag] model.predict(df[cols].fillna(0)) # -1 為異常 df[if_score] model.score_samples(df[cols].fillna(0))contamination是最關(guān)鍵的參數(shù)它直接決定判定比例設(shè)成 0.01 就意味著一定有 1% 的記錄被判為異常不管數(shù)據(jù)里到底有沒有這么多。這是一個(gè)很強(qiáng)的先驗(yàn)假設(shè)所以我一般不用predict的硬標(biāo)簽而是用score_samples拿連續(xù)分?jǐn)?shù)再結(jié)合業(yè)務(wù)規(guī)則人工圈定閾值。這樣既能利用算法的排序能力又不會(huì)因?yàn)閰?shù)設(shè)置錯(cuò)誤而誤刪大量正常數(shù)據(jù)。2.4 時(shí)間序列上的異常滾動(dòng)統(tǒng)計(jì)量比全局閾值靠譜時(shí)間序列的異常判定不能用全局閾值因?yàn)闃I(yè)務(wù)本身有周期性和趨勢(shì)。春節(jié)期間的訂單量比平時(shí)高五倍那是正常的但某個(gè)工作日的訂單量突然掉了一半那才是異常。常用做法是滾動(dòng)中位數(shù)加滾動(dòng) MAD用局部統(tǒng)計(jì)量代替全局統(tǒng)計(jì)量df df.sort_values(dt).reset_index(dropTrue) roll_med df[amount].rolling(window7, min_periods3).median() roll_mad (df[amount] - roll_med).abs().rolling(window7, min_periods3).median() score 0.6745 * (df[amount] - roll_med) / roll_mad.replace(0, np.nan) df[ts_flag] score.abs() 3.5min_periods必須顯式設(shè)置否則前 6 行的結(jié)果全是NaN容易在后面被誤當(dāng)成正常值。窗口大小按業(yè)務(wù)周期定日數(shù)據(jù)用 7周數(shù)據(jù)用 4 到 8太小容易把正常波動(dòng)判成異常太大會(huì)讓異常點(diǎn)污染窗口內(nèi)的統(tǒng)計(jì)量導(dǎo)致檢測(cè)滯后。還有一個(gè)更實(shí)用的做法是同比環(huán)比結(jié)合即(今日 - 上周同日) / 上周同日超過某個(gè)比例就標(biāo)記。這個(gè)方法業(yè)務(wù)解釋性極強(qiáng)報(bào)表上可以直接展示較上周同日下降 62%比一堆統(tǒng)計(jì)量更容易讓人相信。3. sample 不只是隨機(jī)抽幾行抽樣參數(shù)、分層方案與代表性校驗(yàn)抽樣這件事在很多人心里就是數(shù)據(jù)太大跑不動(dòng)抽一萬行先看看。但抽樣的目的是讓樣本能代表總體一旦這個(gè)前提不成立后面所有的分析結(jié)論都是廢的。我見過最典型的翻車是拿df.sample(1000)抽出來的樣本去評(píng)估轉(zhuǎn)化率抽出來的結(jié)果比全量高了兩個(gè)百分點(diǎn)查到最后是因?yàn)樵紨?shù)據(jù)按時(shí)間排序隨機(jī)抽樣恰好抽到了一個(gè)促銷時(shí)段。3.1 n、frac、weights、replace 的實(shí)際含義sample的參數(shù)不多但每個(gè)都有實(shí)際影響df.sample(n1000, random_state42) # 固定條數(shù) df.sample(frac0.1, random_state42) # 固定比例 df.sample(n1000, replaceTrue, random_state42) # 有放回 df.sample(n1000, weightsweight_col, random_state42) # 加權(quán)random_state在需要復(fù)現(xiàn)的場(chǎng)景必須固定尤其是做 A/B 對(duì)比分析時(shí)兩次抽樣用了不同的種子結(jié)果差異可能完全來自抽樣本身而不是業(yè)務(wù)變化。replaceTrue只在一種情況下需要樣本量要超過總體或者要做 Bootstrap 估計(jì)。日常抽樣基本不用因?yàn)橹貜?fù)樣本會(huì)讓統(tǒng)計(jì)量的方差被低估。weights是加權(quán)抽樣適合做重要性抽樣或者過采樣。有個(gè)坑值得說weights可以傳列名也可以傳數(shù)組但如果傳入的 Series 索引和 DataFrame 索引不一致pandas 會(huì)按位置對(duì)齊而不是按索引結(jié)果可能完全錯(cuò)亂。穩(wěn)妥做法是直接傳.to_numpy()。frac和n不能同時(shí)指定這個(gè)大家都知道。但有個(gè)隱蔽問題frac大于 1 且沒設(shè)replaceTrue時(shí)會(huì)報(bào)錯(cuò)而frac1返回的是打亂后的全量數(shù)據(jù)不是原始順序很多人在這一步誤以為數(shù)據(jù)被改了。3.2 分層抽樣手寫循環(huán)比 groupby.apply 更省心分層抽樣保證每個(gè)分組在樣本里的比例和總體一致這是報(bào)表抽樣幾乎必做的事。常見寫法有兩種我更推薦手寫循環(huán)def stratified_sample(df, col, n_per_groupNone, fracNone, seed42): parts [] for key, g in df.groupby(col, observedTrue, sortFalse): if n_per_group is not None: k min(n_per_group, len(g)) parts.append(g.sample(nk, random_stateseed)) else: parts.append(g.sample(fracfrac, random_stateseed)) return pd.concat(parts, ignore_indexTrue) sample_df stratified_sample(df, channel, frac0.05)為什么不用groupby.apply(lambda x: x.sample(...))兩個(gè)原因。一是新版 pandas 對(duì)返回結(jié)果形狀不一致的apply會(huì)有棄用警告行為在版本間有變化維護(hù)成本高。二是apply會(huì)把每個(gè)分組當(dāng)獨(dú)立函數(shù)調(diào)用幾萬個(gè)分組的時(shí)候速度慢一個(gè)數(shù)量級(jí)。手寫循環(huán)雖然多幾行但行為完全可控出問題好排查。min(n_per_group, len(g))這個(gè)保護(hù)必須加。小分組的數(shù)據(jù)量小于要求抽樣量時(shí)sample(nk)會(huì)直接拋ValueError整個(gè)流程中斷。用min兜底配合后面的一致性核對(duì)能馬上發(fā)現(xiàn)哪些分組樣本不足。observedTrue也不能省。如果你的分組字段是category類型默認(rèn)行為會(huì)把所有類別組合都列出來包括數(shù)據(jù)里根本不存在的組合白跑一堆空分組。新版 pandas 里這個(gè)默認(rèn)值已經(jīng)改了但如果代碼要兼容老版本顯式寫上更保險(xiǎn)。3.3 樣本量怎么估以及抽完必須做的一致性核對(duì)樣本量不是拍腦袋定的。判斷比例類指標(biāo)比如轉(zhuǎn)化率時(shí)用這個(gè)公式n z2 × p × (1-p) / e2z是置信水平對(duì)應(yīng)的分位數(shù)95% 對(duì)應(yīng) 1.96p是預(yù)期比例不知道就取 0.5此時(shí)方差最大e是允許誤差。取p0.5、e0.03算出來 n 約等于 1067。如果總體本身不大還要做有限總體修正n_adj n / (1 (n - 1) / N)總體 5000 條時(shí)修正后的樣本量是 878比 1067 小了不少。這個(gè)修正很容易被忽略導(dǎo)致對(duì)小數(shù)據(jù)集做了不必要的過度抽樣。抽完之后必須做一致性核對(duì)這一步比抽樣本身更重要。我通常跑三件事分組占比對(duì)比、關(guān)鍵字段的分位數(shù)對(duì)比、空值率對(duì)比。total_ratio df[channel].value_counts(normalizeTrue) sample_ratio sample_df[channel].value_counts(normalizeTrue) compare pd.DataFrame({總體: total_ratio, 樣本: sample_ratio}) compare[偏差] (compare[樣本] - compare[總體]).round(4) print(compare.sort_values(偏差, keyabs, ascendingFalse))偏差超過 1 個(gè)百分點(diǎn)就要警惕。如果發(fā)現(xiàn)某個(gè)分組偏差明顯先檢查這個(gè)分組的總量是不是太小小于 100 條時(shí)抽樣波動(dòng)本身就大排除之后再考慮加大樣本量或者改成按權(quán)重抽樣。對(duì)連續(xù)型字段用quantile([0.1, 0.25, 0.5, 0.75, 0.9])對(duì)比總體和樣本兩列并排看。這一步能發(fā)現(xiàn)隨機(jī)抽樣抽偏了分布的情況比如整體樣本量夠了但高分位被系統(tǒng)性低估。3.4 分層抽樣的一個(gè)變體按業(yè)務(wù)重要性分配配額嚴(yán)格按比例分層有時(shí)候不實(shí)用。比如做渠道分析時(shí)主力渠道占 90% 的量長(zhǎng)尾渠道加起來只占 10% 但包含幾十個(gè)渠道按比例抽的話每個(gè)長(zhǎng)尾渠道只能分到幾條根本沒法單獨(dú)看。這時(shí)候用配額抽樣更合理主力渠道按比例抽長(zhǎng)尾渠道強(qiáng)制保底若干條。big stratified_sample(df[df[channel].isin([A, B])], channel, frac0.02) small stratified_sample(df[~df[channel].isin([A, B])], channel, n_per_group50) sample_df pd.concat([big, small], ignore_indexTrue)這樣做出來的樣本不能直接用來算整體均值因?yàn)樗?jīng)過了人為加權(quán)。但如果用途是看每個(gè)渠道的畫像那完全合理。關(guān)鍵在于樣本用途決定了抽樣方案而不是反過來。這一點(diǎn)我會(huì)在交付分析結(jié)果時(shí)明確寫出來避免下游拿著加權(quán)樣本去算全站 GMV。4. groupby 的執(zhí)行邏輯與 agg 寫法把聚合結(jié)果做成能直接進(jìn)報(bào)表的形狀聚合是三個(gè)環(huán)節(jié)里最常用的也是最容易產(chǎn)生結(jié)果對(duì)不上的環(huán)節(jié)。原因往往不在groupby本身而在于 NaN 的處理、索引的形狀、以及聚合函數(shù)的語義選擇——sum()對(duì)全 NaN 分組返回 0mean()對(duì)全 NaN 分組返回 NaN這兩個(gè)行為的差異能讓報(bào)表數(shù)字出現(xiàn)明顯偏差。4.1 groupby 到底做了什么為什么要關(guān)注 as_index 和 observedgroupby的執(zhí)行過程是拆分-應(yīng)用-合并按 key 把數(shù)據(jù)切成若干塊對(duì)每塊執(zhí)行聚合函數(shù)再把結(jié)果拼成新表。理解這一點(diǎn)很多行為的來源就清楚了。as_indexFalse決定了分組字段是留在索引上還是變成普通列。大多數(shù)接報(bào)表的場(chǎng)景都應(yīng)該設(shè)成False因?yàn)楹罄m(xù)要merge、要導(dǎo)出 Excel、要寫進(jìn)數(shù)據(jù)庫(kù)索引里的列很麻煩result df.groupby(channel, as_indexFalse).agg(gmv(amount, sum))dropna決定分組字段為 NaN 的記錄要不要參與。默認(rèn)是丟棄這在統(tǒng)計(jì)上合理但在業(yè)務(wù)上經(jīng)常出問題——空的分組字段往往代表未歸類直接丟掉會(huì)讓總數(shù)對(duì)不上。我一般會(huì)先把空值填成未知再分組這樣總量是守恒的。observedTrue前面提過主要影響 categorical 類型。還有一個(gè)相關(guān)的坑如果分組字段的 dtype 是object但實(shí)際取值只有少數(shù)幾個(gè)可以先轉(zhuǎn)成category分組速度能快好幾倍內(nèi)存也能省一半以上。4.2 命名聚合比傳字典更清晰也更好接下游聚合的寫法有好幾種從差到好排下來# 寫法一多函數(shù)聚合結(jié)果是 MultiIndex 列 df.groupby(channel).agg({amount: [sum, mean, count]}) # 寫法二傳字典只能給一列配一個(gè)函數(shù)或函數(shù)列表 df.groupby(channel).agg({amount: sum, order_id: nunique}) # 寫法三命名聚合推薦 summary df.groupby(channel, as_indexFalse).agg( gmv(amount, sum), order_cnt(order_id, nunique), avg_price(amount, mean), p90(amount, lambda x: x.quantile(0.9)), )寫法一的問題是多函數(shù)聚合出來是二級(jí)列名result[amount][sum]這種取法在導(dǎo)出、重命名、拼接時(shí)都很別扭得用flatten處理。寫法三直接給每個(gè)聚合結(jié)果命名列名是扁平的可以直接進(jìn)報(bào)表。用lambda算分位數(shù)很方便但性能很差——它是逐組調(diào)用 Python 函數(shù)幾萬個(gè)分組時(shí)能慢十倍以上。數(shù)據(jù)量大時(shí)改用functools.partial或者先算分位數(shù)列再聚合from functools import partial q90 partial(pd.Series.quantile, q0.9) summary df.groupby(channel, as_indexFalse).agg(p90(amount, q90))另外還有一個(gè)語義陷阱count和size的區(qū)別。count統(tǒng)計(jì)非空值數(shù)量size統(tǒng)計(jì)行數(shù)含空值。做訂單數(shù)統(tǒng)計(jì)時(shí)如果用錯(cuò)空值多的分組會(huì)少算。nunique默認(rèn)不統(tǒng)計(jì)空值這個(gè)行為一般符合預(yù)期但如果需要把空值也算一種取值得顯式dropnaFalse。4.3 transform 和 apply 的分工以及性能差距transform的作用是按組計(jì)算但結(jié)果保持原表形狀用來做組內(nèi)標(biāo)準(zhǔn)化、組內(nèi)占比、缺失值組內(nèi)填充特別方便df[channel_avg] df.groupby(channel)[amount].transform(mean) df[amount_ratio] df[amount] / df[channel_avg] df[rank_in_channel] df.groupby(channel)[amount].rank(ascendingFalse, methoddense)如果不要求保留原形狀只是想拿到每組一個(gè)值那就用agg它比transform快因?yàn)椴恍枰呀Y(jié)果廣播回每一行。apply最靈活可以返回任意形狀但也是三者里最慢的。它的價(jià)值在于邏輯復(fù)雜、沒法用內(nèi)置函數(shù)表達(dá)的場(chǎng)景比如組內(nèi)要做時(shí)間序列插值、要做排序后取第 N 行top3 df.groupby(channel, group_keysFalse).apply( lambda g: g.nlargest(3, amount), include_groupsFalse )新版 pandas 里apply作用在 DataFrame 上時(shí)分組列默認(rèn)會(huì)包含在數(shù)據(jù)里需要在函數(shù)里排除否則會(huì)報(bào)錯(cuò)或者產(chǎn)生重復(fù)列。加include_groupsFalse是比較穩(wěn)妥的寫法老版本沒有這個(gè)參數(shù)需要用g.drop(columns...)手動(dòng)剔除。4.4 pivot_table 和 crosstab 的適用邊界pivot_table本質(zhì)上是groupby加透視適合做二維交叉表。跟groupby的區(qū)別在于它能一次把行維度、列維度都鋪開適合直接給人看pivot pd.pivot_table( df, indexchannel, columnsmonth, valuesamount, aggfuncsum, fill_value0, marginsTrue, margins_name合計(jì) )fill_value0很重要否則交叉表里沒有數(shù)據(jù)的位置是NaN做后續(xù)計(jì)算時(shí)會(huì)傳播。marginsTrue會(huì)自動(dòng)加行列合計(jì)省去手工算總數(shù)的一步但要注意合計(jì)行在索引里叫All可以自定義跟數(shù)據(jù)行混在一起如果后面還要做運(yùn)算記得先剔除。crosstab適合算頻次分布比pivot_table寫起來簡(jiǎn)潔pd.crosstab(df[channel], df[status], normalizeindex, marginsFalse)normalizeindex按行歸一化輸出的就是每個(gè)渠道里各狀態(tài)的占比做轉(zhuǎn)化率分析很方便。normalizecolumns按列normalizeTrue按總數(shù)。這三個(gè)值容易搞混我的記法是歸一化的方向就是分母所在的方向。5. 三個(gè)環(huán)節(jié)串成一條流水線可復(fù)用函數(shù)與幾個(gè)高頻報(bào)錯(cuò)分開看每個(gè)環(huán)節(jié)都不難真到項(xiàng)目里麻煩出在三者交織的地方。異常值處理改變了分布抽樣就要重新校驗(yàn)抽樣讓部分分組數(shù)據(jù)變少聚合時(shí)就要處理小樣本分組聚合結(jié)果又要回到異常值判斷里做交叉驗(yàn)證。把這些串起來我的做法是把每一步寫成獨(dú)立函數(shù)中間產(chǎn)物落盤方便回溯。5.1 函數(shù)拆分與參數(shù)設(shè)計(jì)整條流水線拆成四個(gè)函數(shù)每個(gè)函數(shù)只做一件事參數(shù)顯式傳入不依賴全局變量def profile(df, cols): 輸出字段體檢表空值率、唯一值數(shù)、分位數(shù)、疑似哨兵值 rows [] for c in cols: s df[c] rows.append({ col: c, dtype: str(s.dtype), null_rate: round(s.isna().mean(), 4), nunique: s.nunique(), min: s.min() if pd.api.types.is_numeric_dtype(s) else None, p01: s.quantile(0.01) if pd.api.types.is_numeric_dtype(s) else None, p50: s.quantile(0.5) if pd.api.types.is_numeric_dtype(s) else None, p99: s.quantile(0.99) if pd.api.types.is_numeric_dtype(s) else None, max: s.max() if pd.api.types.is_numeric_dtype(s) else None, }) return pd.DataFrame(rows) def flag_outliers(df, col, methodmad, k3.5): 只打標(biāo)記不刪數(shù)據(jù) s df[col] if method mad: med s.median() mad max((s - med).abs().median(), 1e-9) score 0.6745 * (s - med) / mad return (score.abs() k).fillna(False) if method iqr: q1, q3 s.quantile([0.25, 0.75]) iqr q3 - q1 return ~s.between(q1 - 1.5 * iqr, q3 1.5 * iqr) raise ValueError(funknown method: {method}) def build_sample(df, group_col, frac0.05, min_n30, seed42): 分層抽樣小分組保底 min_n 條 parts [] for key, g in df.groupby(group_col, observedTrue, sortFalse): k max(min_n, int(round(len(g) * frac))) parts.append(g.sample(nmin(k, len(g)), random_stateseed)) return pd.concat(parts, ignore_indexTrue) def build_summary(df, group_col, value_col, id_col): return df.groupby(group_col, as_indexFalse).agg( cnt(id_col, nunique), total(value_col, sum), avg(value_col, mean), p50(value_col, median), )這樣拆的好處是每一步都能單獨(dú)驗(yàn)證。profile的輸出可以直接貼進(jìn)分析報(bào)告當(dāng)數(shù)據(jù)質(zhì)量說明flag_outliers加了_flag列而不刪數(shù)據(jù)出問題隨時(shí)能切換策略重跑。5.2 SettingWithCopyWarning 的根因和三種消除方式這個(gè)警告幾乎人人都見過很多人直接warnings.filterwarnings(ignore)了事但它是真實(shí)問題的信號(hào)。根因在于 pandas 無法確定你拿到的 DataFrame 是原始數(shù)據(jù)的視圖還是副本賦值操作可能改了原表也可能沒改行為不確定。最常見的觸發(fā)寫法是鏈?zhǔn)剿饕? 觸發(fā)警告 df[df[status] paid][discount] 0.9 # 正確寫法一先 copy sub df[df[status] paid].copy() sub[discount] 0.9 # 正確寫法二用 loc 一次定位 df.loc[df[status] paid, discount] 0.9寫法二最推薦一次完成定位和賦值不會(huì)產(chǎn)生中間對(duì)象。寫法的關(guān)鍵是copy()不能省很多人覺得加了copy()會(huì)多占內(nèi)存實(shí)際上 pandas 3.0 之后寫時(shí)復(fù)制是默認(rèn)行為copy()的開銷比想象中小得多而且能避免一堆難以排查的問題。還有一類更隱蔽的情況merge之后修改某一列時(shí)觸發(fā)這個(gè)警告。原因是merge結(jié)果的某些塊可能跟原始 DataFrame 共享內(nèi)存。處理方法一樣merge之后如果要做原地修改先.copy()。5.3 dtype 被悄悄改掉整數(shù)變浮點(diǎn)、空值被當(dāng)成 0這個(gè)坑比上一個(gè)大得多因?yàn)樗粓?bào)警告只給你一個(gè)錯(cuò)誤的數(shù)字。第一個(gè)典型場(chǎng)景原本是int64的列里出現(xiàn)空值pandas 會(huì)自動(dòng)把它轉(zhuǎn)成float64?？雌饋碇皇穷愋妥兞藢?shí)際影響是id列變成浮點(diǎn)之后作為字典鍵或者跟字符串拼接會(huì)出現(xiàn)123.0這種結(jié)果去重、關(guān)聯(lián)、導(dǎo)出全都會(huì)出問題。解法是用可空整型df[qty] df[qty].astype(Int64) # 注意大寫 IInt64大寫是 pandas 擴(kuò)展類型支持pd.NAint64小寫是 numpy 類型不支持。這個(gè)大小寫區(qū)別坑過很多人。同理還有string和object、boolean和bool。第二個(gè)場(chǎng)景sum()把 NaN 當(dāng) 0 加。這是sum的設(shè)計(jì)行為skipnaTrue是默認(rèn)值。影響在于分母——如果算客單價(jià)時(shí)用amount_sum / order_count而amount有一批是 NaN那分子少算、分母照算客單價(jià)就被系統(tǒng)性低估。正確做法是先把空值處理掉再算或者在聚合里顯式指定df.groupby(channel).agg( gmv(amount, lambda x: x.sum(min_count1)), # 全空時(shí)返回 NaN 而不是 0 cnt(order_id, nunique), )min_count1的意思是至少要有 1 個(gè)非空值才計(jì)算結(jié)果全空分組返回 NaN這樣在報(bào)表里一眼就能看出哪些分組數(shù)據(jù)缺失而不是被 0 悄悄糊過去。第三個(gè)場(chǎng)景groupby之后 dtype 發(fā)生變化。分類字段轉(zhuǎn)成索引之后類型可能變尤其是用了category的地方。做完聚合之后加一句print(result.dtypes)檢查一下養(yǎng)成習(xí)慣能省掉大量為什么數(shù)字不對(duì)的排查時(shí)間。5.4 內(nèi)存與速度category 和避免 apply 的實(shí)測(cè)差距數(shù)據(jù)量上到千萬行之后性能就變成必須考慮的事。我做過一輪對(duì)比同一份 800 萬行的訂單數(shù)據(jù)幾個(gè)改動(dòng)帶來的差異很明顯改動(dòng)大致效果說明分組字段轉(zhuǎn)category分組耗時(shí)下降 40%–60%取值基數(shù)低時(shí)收益最大用agg命名聚合替代apply聚合耗時(shí)下降一個(gè)數(shù)量級(jí)apply是逐組 Python 調(diào)用數(shù)值列降精度float32內(nèi)存占用減少約一半精度要求不高的場(chǎng)景可用讀數(shù)據(jù)時(shí)指定dtype和usecols讀取階段內(nèi)存減少 60% 以上從源頭控制最有效用pd.NA替代np.nan語義更清晰內(nèi)存略增整數(shù)列可空時(shí)必需category的收益來自兩點(diǎn)一是值實(shí)際只存一份每個(gè)位置存的是整數(shù)編碼內(nèi)存從每行一個(gè)字符串變成每行一個(gè)小整數(shù)二是分組時(shí)可以直接按整數(shù)編碼做哈希比字符串比較快得多。轉(zhuǎn)的時(shí)候要注意如果某列取值基數(shù)接近行數(shù)比如用戶 ID轉(zhuǎn)成 category 反而更慢更占內(nèi)存轉(zhuǎn)之前先看nunique() / len(df)這個(gè)比值低于 0.1 再考慮。讀取階段優(yōu)化是最劃算的因?yàn)槭〉氖侨鞒痰膬?nèi)存峰值dtype_map { order_id: string, channel: category, qty: Int32, amount: float32, } df pd.read_csv(orders.csv, usecolslist(dtype_map), dtypedtype_map)usecols只讀需要的列這一步經(jīng)常能省掉一半以上的內(nèi)存和時(shí)間。很多人的習(xí)慣是先全量讀進(jìn)來再刪列實(shí)際上源頭就過濾掉更高效。float32要注意精度金額類字段如果對(duì)小數(shù)位有嚴(yán)格要求比如到分用float32可能產(chǎn)生累積誤差建議保留float64或者干脆用整數(shù)存分。最后提一個(gè)容易被忽略的性能陷阱在groupby之后鏈?zhǔn)秸{(diào)用多次聚合不如一次agg里全寫完。每次鏈?zhǔn)秸{(diào)用都會(huì)重新觸發(fā)一次分組計(jì)算雖然 pandas 內(nèi)部有一些優(yōu)化但顯式一次寫完更穩(wěn)定。我在幾個(gè)項(xiàng)目里對(duì)比過把三次獨(dú)立的groupby().sum()、groupby().mean()、groupby().count()合并成一個(gè)agg耗時(shí)大約能降到三分之一。還有一個(gè)我個(gè)人的小習(xí)慣所有聚合結(jié)果在導(dǎo)出之前先跑一次總量守衡校驗(yàn)——用原始數(shù)據(jù)的amount.sum()和聚合結(jié)果的total.sum()對(duì)比兩者必須完全相等浮點(diǎn)用np.isclose。這一步能抓出絕大多數(shù)過濾條件寫錯(cuò)、空值被丟棄、分組字段意外為 NaN 的問題。寫完一條流水線加上這個(gè)校驗(yàn)交付時(shí)心里就有底了。