到匯總與異常清單)
上午十一點(diǎn)領(lǐng)導(dǎo)丟過來一句話“下午兩點(diǎn)前把上個月的銷售匯總發(fā)我另外幫我看一下哪些訂單有問題?！蹦愦蜷_ Excel發(fā)現(xiàn)銷售明細(xì)有兩萬行里面夾雜著退款、折扣、負(fù)數(shù)金額、重復(fù)訂單甚至還有幾個訂單號是空的。手工做透視表半小時能出總數(shù)但“異常清單”靠肉眼篩看到下班也看不完。這個場景里AI 最有價值的用法并不是讓大模型直接告訴你“上個月銷售額是 XX 萬”而是讓它根據(jù)你的明細(xì)表結(jié)構(gòu)幫你生成一套“明細(xì)轉(zhuǎn)匯總 異常檢測”的落地腳本。這樣做的好處有三個結(jié)果可復(fù)核、口徑可調(diào)整、下次換一個月數(shù)據(jù)還能直接跑。這篇文章會從零帶你跑通整個流程先說清楚匯總表和異常清單怎么定義再搭一個 Python 數(shù)據(jù)處理環(huán)境然后給出完整的示例代碼和 AI 提示詞最后教你如何驗(yàn)證結(jié)果和排查問題。不管你是銷售運(yùn)營、數(shù)據(jù)分析師還是被臨時拉去處理 Excel 的后端開發(fā)照著做都能在午飯前把報表交出去。1. 這篇文章真正要解決的問題先同步一個判斷在“領(lǐng)導(dǎo)下午就要銷售匯總”這種場景里最難的不是計算而是口徑和異常?？趶绞鞘裁搭I(lǐng)導(dǎo)說“銷售匯總”可能是按日期看走勢可能是按區(qū)域看排名也可能是按產(chǎn)品看結(jié)構(gòu)。不同維度匯總出來的總金額應(yīng)該一致但看問題的角度完全不同。你如果只丟給領(lǐng)導(dǎo)一個總數(shù)字他大概率還會追問“華東為什么下滑了哪個產(chǎn)品拖了后腿有沒有大額異常訂單”這時候你手里沒有分層數(shù)據(jù)就會非常被動。異常更是重災(zāi)區(qū)。銷售明細(xì)里的“負(fù)金額”可能是退款“數(shù)量為 0”可能是贈品或測試單“訂單號重復(fù)”可能是系統(tǒng)重復(fù)寫入“單價為 0”可能是促銷活動。這些數(shù)據(jù)混在正常訂單里會直接拉低匯總結(jié)果的準(zhǔn)確性也會讓你在領(lǐng)導(dǎo)面前失去信任。手工篩選異常效率低且容易漏而寫一套固定的校驗(yàn)規(guī)則又顯得太死板——不同業(yè)務(wù)場景的異常定義完全不同。所以這篇文章真正要解決的問題是如何用 AI 輔助生成一個可復(fù)用的數(shù)據(jù)處理腳本把兩份產(chǎn)物一次搞定。第一份是匯總表按你需要的時間、區(qū)域、產(chǎn)品、銷售員等維度聚合第二份是異常清單把訂單號、問題字段和異常原因列清楚。這樣你交出去的就不是一個孤立數(shù)字而是一套能解釋、能追溯、下次還能直接復(fù)用的數(shù)據(jù)處理流程。2. 核心概念與實(shí)現(xiàn)原理2.1 銷售明細(xì)表的基本結(jié)構(gòu)無論數(shù)據(jù)來自 CRM、ERP 還是 Excel銷售明細(xì)表通常都遵循類似的一行一單結(jié)構(gòu)。以本文示例為例包含以下字段字段示例值說明訂單日期2024-05-12下單日期訂單號SO-000123訂單唯一編號區(qū)域華東訂單所屬區(qū)域產(chǎn)品手機(jī)商品名稱銷售員張偉負(fù)責(zé)銷售的員工數(shù)量3銷售數(shù)量單價1999.00商品單價折扣率0.10折扣比例0 表示無折扣金額5397.30實(shí)際應(yīng)收金額狀態(tài)已支付訂單狀態(tài)理解明細(xì)表的結(jié)構(gòu)很重要因?yàn)楹罄m(xù)所有匯總和異常檢測都是圍繞這些字段展開的。你需要先知道哪些是維度字段日期、區(qū)域、產(chǎn)品、銷售員哪些是度量字段數(shù)量、單價、金額然后才能決定按什么分組、對什么聚合。2.2 匯總表本質(zhì)是分組聚合匯總表的本質(zhì)是“分組聚合”在 pandas 中有兩種常用實(shí)現(xiàn)方式。第一種是groupby想象你用區(qū)域把所有訂單分成幾堆然后對每一堆分別求和、計數(shù)、求均值。代碼的寫法是# 按區(qū)域聚合統(tǒng)計每個區(qū)域的訂單數(shù)和銷售額 region_report df.groupby(區(qū)域, as_indexFalse).agg( 訂單數(shù)(訂單號, nunique), 銷售額(金額, sum) )第二種是pivot_table它更像 Excel 里的數(shù)據(jù)透視表可以把一個字段作為行、另一個字段作為列中間放聚合值# 區(qū)域 x 產(chǎn)品 的交叉銷售匯總 pivot_report pd.pivot_table( df, index區(qū)域, columns產(chǎn)品, values金額, aggfuncsum, marginsTrue )兩種方式?jīng)]有絕對的好壞groupby更靈活適合輸出長表pivot_table更直觀適合做交叉分析。實(shí)際項(xiàng)目中常兩者搭配使用基礎(chǔ)報表用groupby領(lǐng)導(dǎo)想看矩陣式對比時用pivot_table。2.3 異常清單不是“報錯”是“業(yè)務(wù)規(guī)則命中”異常清單和報錯不同。程序報錯是代碼出了問題而異常清單是數(shù)據(jù)不符合業(yè)務(wù)預(yù)期。它必須包含三個要素哪條數(shù)據(jù)、哪個字段異常、為什么異常。例如訂單號異常原因關(guān)鍵字段當(dāng)前值SO-000123金額為負(fù)數(shù)金額-100.50SO-000456訂單號重復(fù)訂單號SO-000456SO-000789數(shù)量小于等于0數(shù)量0在實(shí)現(xiàn)時異常檢測就是一組業(yè)務(wù)規(guī)則的疊加。每命中一條規(guī)則就把對應(yīng)行復(fù)制到異常清單里并標(biāo)記異常原因。規(guī)則最好集中管理這樣業(yè)務(wù)同事說“退款不算異常因?yàn)橥丝顔我灿袉为?dú)的編號規(guī)則”時你能很快調(diào)整而不是在一堆代碼里找篩選條件。2.4 AI 輔助編程的正確用法給大模型“三件套”很多人在使用大模型寫數(shù)據(jù)處理腳本時只甩一句話“幫我寫個銷售匯總腳本。”大模型沒有你的列名不知道你的異常定義只能生成一段看起來像回事但完全跑不通的代碼。正確的做法是給大模型提供“三件套”列名清單把 CSV 表頭原樣貼給它。幾行真實(shí)示例數(shù)據(jù)注意脫敏不要貼手機(jī)號、身份證號等敏感信息。期望輸出結(jié)構(gòu)告訴它要輸出幾個 sheet每個 sheet 有哪些列。舉個例子你可以這樣描述需求我有一份銷售明細(xì) CSV列名是訂單日期、訂單號、區(qū)域、產(chǎn)品、銷售員、數(shù)量、單價、折扣率、金額、狀態(tài)。 數(shù)據(jù)約 1 萬行訂單日期格式是 YYYY-MM-DD。 請用 pandas 幫我寫一個 Python 腳本 1. 按日期、區(qū)域、產(chǎn)品、銷售員四個維度分別匯總訂單數(shù)和銷售額 2. 檢測以下異常并輸出異常清單數(shù)量小于等于 0、金額小于 0、單價小于等于 0、金額等于 0、訂單號重復(fù) 3. 把匯總結(jié)果和異常清單輸出到一個 Excel 文件每個結(jié)果放在不同 sheet 4. 在腳本里加數(shù)據(jù)校驗(yàn)檢查匯總金額與明細(xì)總額是否一致。這樣獲得的可執(zhí)行腳本才真正具備落地的可能性。你仍然需要理解關(guān)鍵邏輯但 AI 可以把“從需求到代碼”的時間從一小時壓縮到十分鐘。3. 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備3.1 Python 數(shù)據(jù)分析環(huán)境搭建本文的示例代碼基于 Python 和 pandas操作系統(tǒng)不限Windows、macOS、Linux 都可以。建議使用 Python 3.9 及以上版本pandas 使用 2.x 即可。為了避免污染系統(tǒng) Python 環(huán)境推薦先創(chuàng)建虛擬環(huán)境mkdir sales-report-demo cd sales-report-demo python -m venv venv # Windows venv\Scripts\activate # macOS / Linux source venv/bin/activate激活虛擬環(huán)境后安裝依賴pip install pandas openpyxlpandas負(fù)責(zé)數(shù)據(jù)處理openpyxl負(fù)責(zé)把結(jié)果寫入 Excel 并設(shè)置列寬。如果后續(xù)要讀取 xlsx 格式的原始數(shù)據(jù)可能還需要安裝xlrd或直接讓 pandas 讀取 CSV為了演示清晰本文統(tǒng)一使用 CSV 作為輸入。版本說明不同 pandas 版本在agg字典寫法和column_letter細(xì)節(jié)上可能有差異建議保持 2.x 版本。安裝完成后可以用下面的命令確認(rèn)python -c import pandas; print(pandas.__version__)3.2 生成一份帶異常的模擬銷售明細(xì)真實(shí)銷售數(shù)據(jù)通常不能隨意拿來演示所以我們先用腳本生成一份模擬數(shù)據(jù)里面混入一些典型的異常行方便測試異常檢測邏輯。下面的代碼會生成 10000 行左右的銷售明細(xì)并故意寫入“數(shù)量為 0”“金額為負(fù)數(shù)”“單價為 0”“重復(fù)訂單”等異常# 文件路徑scripts/generate_sample_data.py 生成一份帶異常數(shù)據(jù)的模擬銷售明細(xì)用于演示明細(xì)轉(zhuǎn)匯總異常清單。 import numpy as np import pandas as pd rng np.random.default_rng(42) dates pd.date_range(2024-01-01, 2024-12-31, freqD) regions [華東, 華南, 華北, 西南] products [手機(jī), 筆記本, 平板, 耳機(jī)] sellers [張偉, 李娜, 王強(qiáng), 趙敏] rows [] for i in range(10000): order_date rng.choice(dates) region rng.choice(regions) product rng.choice(products) seller rng.choice(sellers) quantity int(rng.integers(1, 20)) price float(rng.uniform(50, 8000).round(2)) discount float(rng.choice([0, 0.05, 0.1, 0.2])) amount round(quantity * price * (1 - discount), 2) status rng.choice([已支付, 已退款, 部分退款, 待支付]) rows.append([ order_date.strftime(%Y-%m-%d), fSO-{i 1:06d}, region, product, seller, quantity, price, discount, amount, status ]) df pd.DataFrame( rows, columns[訂單日期, 訂單號, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 折扣率, 金額, 狀態(tài)] ) # 手工注入明顯異常便于觀察異常清單 df.loc[0, 數(shù)量] 0 df.loc[1, 金額] -100.50 df.loc[2, 單價] 0 # 將第3行復(fù)制一份形成重復(fù)訂單 df pd.concat([df, df.iloc[[2]]], ignore_indexTrue) df.to_csv(data/sales_details.csv, indexFalse, encodingutf-8-sig) print(f已生成 data/sales_details.csv共 {len(df)} 行)運(yùn)行這段腳本前先創(chuàng)建數(shù)據(jù)目錄mkdir data python scripts/generate_sample_data.py生成文件時使用utf-8-sig編碼是為了讓 Excel 打開 CSV 時中文不亂碼。如果你用記事本或 Excel 直接打開這個 CSV能看到表頭和中文內(nèi)容都正常顯示。3.3 準(zhǔn)備 AI 提示詞素材建議在向大模型提問之前把本項(xiàng)目的文件結(jié)構(gòu)和列名整理清楚。列名可以這樣準(zhǔn)備列名訂單日期、訂單號、區(qū)域、產(chǎn)品、銷售員、數(shù)量、單價、折扣率、金額、狀態(tài) 輸入文件data/sales_details.csv 輸出文件output/sales_report_時間戳.xlsx 期望輸出 - Sheet1 按日期匯總訂單數(shù)、銷售額、數(shù)量合計 - Sheet2 按區(qū)域匯總訂單數(shù)、銷售額 - Sheet3 按產(chǎn)品匯總訂單數(shù)、銷售額 - Sheet4 按銷售員匯總訂單數(shù)、銷售額 - Sheet5 多維度匯總區(qū)域 x 產(chǎn)品的交叉銷售額 - Sheet6 異常清單訂單號、異常原因、關(guān)鍵字段、當(dāng)前值把這段素材貼給大模型得到的腳本會比“幫我寫個銷售匯總腳本”靠譜得多。這也是 AI 時代一個非?；A(chǔ)但重要的能力不是所有事情都要自己從零寫但你必須能把需求表達(dá)得足夠清晰。4. 核心流程拆解從明細(xì)到匯總表的完整鏈路數(shù)據(jù)處理腳本的骨架可以拆成七個步驟明確口徑、讀取數(shù)據(jù)、數(shù)據(jù)探查、數(shù)據(jù)清洗、分組匯總、異常檢測、結(jié)果輸出。下面逐個說明。4.1 明確匯總口徑這一步不寫代碼但比代碼更重要。你需要先確認(rèn)幾個問題匯總的時間范圍是什么是自然月、周還是累計至今金額使用“訂單金額”還是“實(shí)收金額”退款訂單是否要從銷售額中扣除匯總維度有哪些一般先看領(lǐng)導(dǎo)習(xí)慣他平時喜歡按區(qū)域看還是按產(chǎn)品看對異常的定義是什么退款算不算異常贈品要不要剔除這些問題確認(rèn)得越早返工越少。腳本本身只負(fù)責(zé)執(zhí)行規(guī)則而規(guī)則解釋權(quán)在業(yè)務(wù)方手里。如果你拿不準(zhǔn)先做一版關(guān)鍵詞和列名清晰的匯總再和業(yè)務(wù)方快速確認(rèn)。4.2 讀取數(shù)據(jù)并做數(shù)據(jù)探查拿到明細(xì)表后不要急著匯總先回答三個問題數(shù)據(jù)長什么樣、有沒有空值、類型是否符合預(yù)期。import pandas as pd df pd.read_csv(data/sales_details.csv, dtype{訂單號: str}) print(df.info()) print(df.head()) print(df.isna().sum())info()會展示每列的非空數(shù)量和數(shù)據(jù)類型head()看前幾行isna().sum()檢查空值。如果你的日期列被讀成了字符串后續(xù)需要用pd.to_datetime轉(zhuǎn)換。4.3 數(shù)據(jù)清洗數(shù)據(jù)清洗不是把所有看起來“不對”的數(shù)據(jù)刪掉而是讓數(shù)據(jù)結(jié)構(gòu)滿足后續(xù)計算的假設(shè)。常見操作包括將日期列統(tǒng)一為datetime類型將金額、數(shù)量、單價轉(zhuǎn)成數(shù)值類型將訂單號統(tǒng)一成字符串避免 Excel 里的科學(xué)計數(shù)法干擾處理完全重復(fù)的行一般按訂單號去重但退款單可能允許同名訂單號需要結(jié)合業(yè)務(wù)”。這里要特別提醒不要一看到異常就刪除。正確做法是把異常行先放入異常清單保留在診斷結(jié)果里。刪除數(shù)據(jù)是不可逆操作在沒有備份和授權(quán)的情況下寧可多保留也不要隨意刪。4.4 分組匯總匯總的核心是groupby加聚合函數(shù)。如果領(lǐng)導(dǎo)要“按日期看整體走勢”就按日期分組要“看區(qū)域差異”就按區(qū)域分組要“看產(chǎn)品結(jié)構(gòu)”就按產(chǎn)品分組。多維度交叉可以用pivot_table。匯總的訂單數(shù)建議使用nunique而不是count因?yàn)閏ount統(tǒng)計的是非空行數(shù)如果同一訂單號出現(xiàn)多次會被重復(fù)計算。銷售額使用sum數(shù)量合計同樣使用sum。4.5 異常檢測異常檢測是純業(yè)務(wù)規(guī)則。本文示例的五條規(guī)則已經(jīng)在提示詞中列出數(shù)量小于等于 0、金額小于 0、單價小于等于 0、金額等于 0、訂單號重復(fù)。每命中一條規(guī)則就把行標(biāo)記出來。需要注意一行數(shù)據(jù)可能同時命中多個規(guī)則比如“數(shù)量為 0”的訂單金額也是 0這時候可以在異常原因里合并說明。4.6 結(jié)果輸出最后把多個 DataFrame 寫到同一個 Excel 文件的不同 sheet。這里要用pd.ExcelWriter并通過openpyxl調(diào)整列寬避免領(lǐng)導(dǎo)打開表格后數(shù)據(jù)擠成一團(tuán)。5. 完整示例AI 輔助生成的銷售匯總腳本下面這份腳本是比較完整的版本你可以直接保存運(yùn)行。也可以把前面準(zhǔn)備好的提示詞素材交給大模型讓它生成一版屬于你自己列名的腳本再和這一版對照閱讀。# 文件路徑scripts/sales_summary.py 銷售明細(xì) - 匯總表 異常清單 用法 python scripts/sales_summary.py 輸入 data/sales_details.csv 輸出 output/sales_report_YYYYMMDD_HHMMSS.xlsx from datetime import datetime from pathlib import Path import pandas as pd # ---------- 1. 參數(shù)與口徑配置 ---------- INPUT_FILE Path(data/sales_details.csv) OUTPUT_DIR Path(output) DATE_COL 訂單日期 ORDER_COL 訂單號 AMOUNT_COL 金額 STATUS_COL 狀態(tài) # ---------- 2. 讀取數(shù)據(jù) ---------- def load_data(file_path: Path) - pd.DataFrame: df pd.read_csv(file_path, dtype{ORDER_COL: str}) df[DATE_COL] pd.to_datetime(df[DATE_COL]) df[月份] df[DATE_COL].dt.to_period(M).astype(str) return df # ---------- 3. 異常檢測 ---------- def detect_abnormal(df: pd.DataFrame) - pd.DataFrame: parts [] abnormal_qty df[df[數(shù)量] 0].copy() abnormal_qty[異常原因] 數(shù)量小于等于0 parts.append(abnormal_qty) abnormal_neg df[df[AMOUNT_COL] 0].copy() abnormal_neg[異常原因] 金額為負(fù)數(shù) parts.append(abnormal_neg) abnormal_zero_price df[df[單價] 0].copy() abnormal_zero_price[異常原因] 單價小于等于0 parts.append(abnormal_zero_price) abnormal_zero_amount df[df[AMOUNT_COL] 0].copy() abnormal_zero_amount[異常原因] 金額為0 parts.append(abnormal_zero_amount) duplicated_orders df[df.duplicated(subsetORDER_COL, keepFalse)].copy() duplicated_orders[異常原因] 訂單號重復(fù) parts.append(duplicated_orders) abnormal pd.concat(parts, ignore_indexTrue) abnormal abnormal.drop_duplicates(subset[ORDER_COL, DATE_COL, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 金額, 異常原因]) return abnormal[[訂單日期, 訂單號, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 折扣率, 金額, 狀態(tài), 異常原因]] # ---------- 4. 匯總生成 ---------- def build_summary(df: pd.DataFrame) - dict: reports {} reports[按日期匯總] df.groupby([DATE_COL], as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(DATE_COL) reports[按區(qū)域匯總] df.groupby(區(qū)域, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[按產(chǎn)品匯總] df.groupby(產(chǎn)品, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[按銷售員匯總] df.groupby(銷售員, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[多維度匯總] pd.pivot_table( df, index區(qū)域, columns產(chǎn)品, valuesAMOUNT_COL, aggfuncsum, marginsTrue, margins_name合計 ).reset_index() return reports # ---------- 5. 數(shù)據(jù)一致性校驗(yàn) ---------- def validate(df: pd.DataFrame, reports: dict) - None: original_total df[AMOUNT_COL].sum() day_total reports[按日期匯總][銷售額].sum() region_total reports[按區(qū)域匯總][銷售額].sum() product_total reports[按產(chǎn)品匯總][銷售額].sum() seller_total reports[按銷售員匯總][銷售額].sum() assert abs(original_total - day_total) 0.01, 按日期匯總和原始明細(xì)不一致 assert abs(original_total - region_total) 0.01, 按區(qū)域匯總和原始明細(xì)不一致 assert abs(original_total - product_total) 0.01, 按產(chǎn)品匯總和原始明細(xì)不一致 assert abs(original_total - seller_total) 0.01, 按銷售員匯總和原始明細(xì)不一致 print(校驗(yàn)通過各維度匯總金額與原始明細(xì)合計一致) # ---------- 6. 輸出 Excel ---------- def write_excel(reports: dict, abnormal: pd.DataFrame, output_dir: Path) - Path: output_dir.mkdir(exist_okTrue) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) out_path output_dir / fsales_report_{timestamp}.xlsx with pd.ExcelWriter(out_path, engineopenpyxl) as writer: for sheet_name, table in reports.items(): table.to_excel(writer, sheet_namesheet_name[:31], indexFalse) abnormal.to_excel(writer, sheet_name異常清單, indexFalse) # 調(diào)整列寬 from openpyxl import load_workbook wb load_workbook(out_path) for ws in wb.worksheets: for col in ws.columns: try: max_len max(len(str(c.value)) if c.value is not None else 0 for c in col) except TypeError: max_len 10 ws.column_dimensions[col[0].column_letter].width min(max_len 4, 40) wb.save(out_path) return out_path # ---------- 7. 主流程 ---------- def main(): df load_data(INPUT_FILE) print(f已讀取 {INPUT_FILE}共 {len(df)} 行) print(f日期范圍{df[DATE_COL].min().date()} ~ {df[DATE_COL].max().date()}) abnormal detect_abnormal(df) reports build_summary(df) validate(df, reports) out_path write_excel(reports, abnormal, OUTPUT_DIR) print(f異常記錄{len(abnormal)} 條) print(f已生成{out_path}) if __name__ __main__: main()運(yùn)行方式python scripts/sales_summary.py這段腳本包含幾個重要的設(shè)計要點(diǎn)。首先所有路徑和規(guī)則都放在文件頂部集中配置后續(xù)換成真實(shí)數(shù)據(jù)時只需要改INPUT_FILE和異常規(guī)則。其次異常檢測函數(shù)每次篩選后都加上copy()避免 pandas 的鏈?zhǔn)劫x值警告。最后匯總結(jié)果用字典統(tǒng)一管理寫 Excel 時遍歷字典新增一個匯總維度只需要在build_summary里加一行不需要改輸出邏輯。6. 運(yùn)行結(jié)果與效果驗(yàn)證腳本運(yùn)行成功后會在output目錄下生成一個帶時間戳的 Excel 文件時間戳以實(shí)際運(yùn)行時間準(zhǔn)。文件包含 6 個工作表工作表內(nèi)容典型用途按日期匯總每日訂單數(shù)、銷售額、數(shù)量合計看整體走勢定位周期性變化按區(qū)域匯總各區(qū)域訂單數(shù)、銷售額、數(shù)量合計看區(qū)域差異找落后市場按產(chǎn)品匯總各產(chǎn)品訂單數(shù)、銷售額、數(shù)量合計看產(chǎn)品結(jié)構(gòu)判斷主銷品按銷售員匯總各銷售員訂單數(shù)、銷售額、數(shù)量合計看人效輔助績效溝通多維度匯總區(qū)域與產(chǎn)品的交叉銷售額找區(qū)域和產(chǎn)品的組合表現(xiàn)異常清單命中異常規(guī)則的訂單追查具體問題回訪業(yè)務(wù)方運(yùn)行腳本后終端預(yù)期會出現(xiàn)類似下面的信息具體行數(shù)和時間戳以實(shí)際為準(zhǔn)已讀取 data/sales_details.csv共 10001 行 日期范圍2024-01-01 ~ 2024-12-31 校驗(yàn)通過各維度匯總金額與原始明細(xì)合計一致 異常記錄6 條 已生成output/sales_report_20250220_153000.xlsx這里最關(guān)鍵的驗(yàn)證點(diǎn)是“校驗(yàn)通過”這一行。它用assert檢查了四個維度的匯總金額與原始明細(xì)總金額是否一致。如果任何一個維度不一致腳本會拋出異常不會生成有問題的報表。除了腳本自動校驗(yàn)建議再做一次人工抽查。用 pandas 讀回剛生成的 Excel對比某個區(qū)域的銷售額是否和原始明細(xì)一致# 人工抽查對比華南區(qū)域在 Excel 和原始 CSV 中的銷售額 import pandas as pd excel_df pd.read_excel(output/sales_report_20250220_153000.xlsx, sheet_name按區(qū)域匯總) csv_df pd.read_csv(data/sales_details.csv) excel_huanan excel_df.loc[excel_df[區(qū)域] 華南, 銷售額].sum() csv_huanan csv_df.loc[csv_df[區(qū)域] 華南, 金額].sum() print(excel_huanan, csv_huanan)如果兩者誤差在 0.01 以內(nèi)說明匯總邏輯可靠。如果出現(xiàn)較大差異優(yōu)先檢查日期邊界和金額列的類型是否被異常字符干擾。7. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案讀取 CSV 后中文變亂碼文件的編碼不是 UTF-8用記事本或 VS Code 查看文件編碼讀取時指定encodingutf-8-sig或encodinggbk以實(shí)際文件為準(zhǔn)AI 生成的腳本報KeyError: 訂單日期列名與代碼不一致常因 Excel 表頭有空格或大小寫不同運(yùn)行df.columns.tolist()查看實(shí)際列名將代碼中的列名改為實(shí)際列名或先做一次列名標(biāo)準(zhǔn)化日期字段變成字符串按日期匯總順序亂讀取時沒有轉(zhuǎn)換日期類型執(zhí)行df[訂單日期].dtype查看類型用pd.to_datetime顯式轉(zhuǎn)換后再分組金額計算出現(xiàn)幾百億的巨額數(shù)字訂單號或文本列被誤當(dāng)數(shù)值求和檢查df.info()的字段類型在read_csv里用dtype指定訂單號為字符串Excel 打開生成的 xlsx 提示損壞腳本中途異常、文件被占用或列寬調(diào)整時出錯先嘗試用 pandas 重新讀取該文件查看終端報錯堆棧刪掉損壞文件重跑確保沒有用 Excel 打開同名文件異常清單里重復(fù)訂單太多業(yè)務(wù)本身允許同一訂單號多次出現(xiàn)例如分期發(fā)貨和業(yè)務(wù)方確認(rèn)訂單號唯一性的真實(shí)含義調(diào)整重復(fù)判斷邏輯增加“時間金額”的組合判斷數(shù)據(jù)量太大腳本內(nèi)存不足一次性讀入幾千萬行查看任務(wù)管理器或free -g監(jiān)控內(nèi)存使用pandas.read_csv的chunksize參數(shù)分塊處理匯總合計與明細(xì)合計差幾分錢浮點(diǎn)運(yùn)算精度問題打印原始合計和匯總合計數(shù)對比差值在比較時使用abs(x - y) 0.01或?qū)﹃P(guān)鍵金額用整數(shù)“分”存儲8. 最佳實(shí)踐與工程建議這套方案雖然看起來是“臨時救火”但完全可以用工程化的方式把它做得更穩(wěn)。下面這些建議來自實(shí)際處理數(shù)據(jù)報表的常見教訓(xùn)。第一口徑先行需求確認(rèn)清單比代碼更值錢。每次接到匯總需求先花兩分鐘確認(rèn)“按什么維度、什么時間范圍、金額含不含退款、異常怎么定義”然后把這些口徑寫進(jìn)腳本頂部的常量配置。下次領(lǐng)導(dǎo)換個說法要同一份報表你只需要改配置不需要改代碼。第二異常規(guī)則一定要集中管理不要散落在各個處理函數(shù)里。本文示例把異常規(guī)則直接寫在detect_abnormal中如果規(guī)則變多可以進(jìn)一步抽象為規(guī)則列表或者直接維護(hù)一個業(yè)務(wù)配置文件。這樣業(yè)務(wù)方在評審時能直接看到“我們到底檢查了什么”而不是在一大段 pandas 代碼里找篩選條件。第三只讀輸入輸出到單獨(dú)目錄絕不直接修改原始明細(xì)。生產(chǎn)環(huán)境里的銷售明細(xì)表可能是 ERP 導(dǎo)出的正式數(shù)據(jù)腳本應(yīng)該只讀取、不寫入。所有產(chǎn)出放到output目錄文件名帶時間戳這樣即使當(dāng)天跑了好幾個版本也能快速找到哪個是最新文件。第四重視數(shù)據(jù)安全。如果使用云端大模型生成腳本不要直接把真實(shí)銷售明細(xì)貼給大模型尤其是包含客戶信息、金額、內(nèi)部折扣策略的敏感數(shù)據(jù)。建議先復(fù)制列名和幾行脫敏后的樣例數(shù)據(jù)讓大模型生成框架代碼再在本地跑真實(shí)數(shù)據(jù)。公司有明確數(shù)據(jù)安全制度時優(yōu)先使用內(nèi)部模型或僅使用本地腳本。第五用斷言保證數(shù)據(jù)一致性。數(shù)據(jù)報表最怕“看起來正常但其實(shí)是錯的”。腳本里的validate函數(shù)是最后一道防線用斷言檢查各維度匯總是否相等一旦不等就中斷輸出。這個習(xí)慣能避免你提交一份“個別區(qū)域數(shù)字對不上”的報表。第六把腳本和樣例數(shù)據(jù)放進(jìn) Git。銷售匯總腳本不是一次性腳本它會在每個月末反復(fù)用到。把代碼、樣例數(shù)據(jù)、輸出目錄說明寫進(jìn)倉庫并配上簡短 README記錄上次使用時領(lǐng)導(dǎo)確認(rèn)過的口徑。下次月末同事問你“這個月匯總腳本怎么跑”你可以直接把命令發(fā)給他而不是重新解釋一遍需求。第七不要盲目信任 AI 生成的代碼。AI 可以幫你把結(jié)構(gòu)化需求快速轉(zhuǎn)換成 pandas 代碼但它不知道你的業(yè)務(wù)環(huán)境和數(shù)據(jù)質(zhì)量。拿到 AI 生成的腳本后至少要檢查三處列名是否正確、異常規(guī)則是否符合業(yè)務(wù)、數(shù)據(jù)校驗(yàn)是否存在。最好再向大模型追問一句“請解釋這段腳本中異常檢測的邏輯”用解釋來驗(yàn)證你確實(shí)理解了它的判斷方式。9. 后續(xù)擴(kuò)展方向這套方案跑通后你其實(shí)已經(jīng)擁有了一份可以長期使用的數(shù)據(jù)處理骨架。順著這個骨架可以繼續(xù)擴(kuò)展幾個方向。第一個方向是參數(shù)化。把匯總維度、日期范圍、異常規(guī)則從代碼中完全抽離成配置文件甚至用命令行參數(shù)傳入例如python sales_summary.py --start2025-01-01 --end2025-01-31這樣不同月份只需要換參數(shù)。第二個方向是定時化。日報、周報、月報這類重復(fù)需求可以在本機(jī)設(shè)置計劃任務(wù)Windows 用任務(wù)計劃程序macOS 和 Linux 用 cron讓腳本在固定時間自動運(yùn)行再把生成的 Excel 用郵件推送出去。注意定時任務(wù)運(yùn)行的 Python 環(huán)境要和當(dāng)前虛擬環(huán)境一致否則可能報找不到 pandas。第三個方向是可視化。pandas 負(fù)責(zé)算數(shù)可視化可以用 pyecharts 或 Excel 自帶的圖表。腳本在生成匯總表后可以順便輸出一個按日期銷售額的折線圖領(lǐng)導(dǎo)看報表時一眼就能看出趨勢而不是對著數(shù)字自行腦補(bǔ)。第四個方向是把異常清單做成閉環(huán)。現(xiàn)在的異常清單只是“診斷”后續(xù)還可以加一個狀態(tài)列由業(yè)務(wù)同事回填“已確認(rèn)”“已處理”“誤報”形成異常跟進(jìn)記錄表。這會讓你從“幫領(lǐng)導(dǎo)做表的人”變成“能發(fā)現(xiàn)業(yè)務(wù)問題的人”。最后說一個我自己的習(xí)慣每次用這套腳本我都會把領(lǐng)導(dǎo)當(dāng)時的原話問題、我確認(rèn)的口徑、以及異常清單里最讓我意外的那幾條數(shù)據(jù)記在 README 里。時間久了這套東西就不再是一段腳本而是你對業(yè)務(wù)口徑理解的沉淀。下次遇到“下午就要”的緊急需求你打開倉庫、改個日期、跑一下剩下的時間可以留給真正有價值的異常分析和業(yè)務(wù)溝通。 AI輔助生成pandas腳本：從銷售明細(xì)到匯總與異常清單
上午十一點(diǎn)領(lǐng)導(dǎo)丟過來一句話“下午兩點(diǎn)前把上個月的銷售匯總發(fā)我另外幫我看一下哪些訂單有問題?！蹦愦蜷_ Excel發(fā)現(xiàn)銷售明細(xì)有兩萬行里面夾雜著退款、折扣、負(fù)數(shù)金額、重復(fù)訂單甚至還有幾個訂單號是空的。手工做透視表半小時能出總數(shù)但“異常清單”靠肉眼篩看到下班也看不完。這個場景里AI 最有價值的用法并不是讓大模型直接告訴你“上個月銷售額是 XX 萬”而是讓它根據(jù)你的明細(xì)表結(jié)構(gòu)幫你生成一套“明細(xì)轉(zhuǎn)匯總 異常檢測”的落地腳本。這樣做的好處有三個結(jié)果可復(fù)核、口徑可調(diào)整、下次換一個月數(shù)據(jù)還能直接跑。這篇文章會從零帶你跑通整個流程先說清楚匯總表和異常清單怎么定義再搭一個 Python 數(shù)據(jù)處理環(huán)境然后給出完整的示例代碼和 AI 提示詞最后教你如何驗(yàn)證結(jié)果和排查問題。不管你是銷售運(yùn)營、數(shù)據(jù)分析師還是被臨時拉去處理 Excel 的后端開發(fā)照著做都能在午飯前把報表交出去。1. 這篇文章真正要解決的問題先同步一個判斷在“領(lǐng)導(dǎo)下午就要銷售匯總”這種場景里最難的不是計算而是口徑和異常?？趶绞鞘裁搭I(lǐng)導(dǎo)說“銷售匯總”可能是按日期看走勢可能是按區(qū)域看排名也可能是按產(chǎn)品看結(jié)構(gòu)。不同維度匯總出來的總金額應(yīng)該一致但看問題的角度完全不同。你如果只丟給領(lǐng)導(dǎo)一個總數(shù)字他大概率還會追問“華東為什么下滑了哪個產(chǎn)品拖了后腿有沒有大額異常訂單”這時候你手里沒有分層數(shù)據(jù)就會非常被動。異常更是重災(zāi)區(qū)。銷售明細(xì)里的“負(fù)金額”可能是退款“數(shù)量為 0”可能是贈品或測試單“訂單號重復(fù)”可能是系統(tǒng)重復(fù)寫入“單價為 0”可能是促銷活動。這些數(shù)據(jù)混在正常訂單里會直接拉低匯總結(jié)果的準(zhǔn)確性也會讓你在領(lǐng)導(dǎo)面前失去信任。手工篩選異常效率低且容易漏而寫一套固定的校驗(yàn)規(guī)則又顯得太死板——不同業(yè)務(wù)場景的異常定義完全不同。所以這篇文章真正要解決的問題是如何用 AI 輔助生成一個可復(fù)用的數(shù)據(jù)處理腳本把兩份產(chǎn)物一次搞定。第一份是匯總表按你需要的時間、區(qū)域、產(chǎn)品、銷售員等維度聚合第二份是異常清單把訂單號、問題字段和異常原因列清楚。這樣你交出去的就不是一個孤立數(shù)字而是一套能解釋、能追溯、下次還能直接復(fù)用的數(shù)據(jù)處理流程。2. 核心概念與實(shí)現(xiàn)原理2.1 銷售明細(xì)表的基本結(jié)構(gòu)無論數(shù)據(jù)來自 CRM、ERP 還是 Excel銷售明細(xì)表通常都遵循類似的一行一單結(jié)構(gòu)。以本文示例為例包含以下字段字段示例值說明訂單日期2024-05-12下單日期訂單號SO-000123訂單唯一編號區(qū)域華東訂單所屬區(qū)域產(chǎn)品手機(jī)商品名稱銷售員張偉負(fù)責(zé)銷售的員工數(shù)量3銷售數(shù)量單價1999.00商品單價折扣率0.10折扣比例0 表示無折扣金額5397.30實(shí)際應(yīng)收金額狀態(tài)已支付訂單狀態(tài)理解明細(xì)表的結(jié)構(gòu)很重要因?yàn)楹罄m(xù)所有匯總和異常檢測都是圍繞這些字段展開的。你需要先知道哪些是維度字段日期、區(qū)域、產(chǎn)品、銷售員哪些是度量字段數(shù)量、單價、金額然后才能決定按什么分組、對什么聚合。2.2 匯總表本質(zhì)是分組聚合匯總表的本質(zhì)是“分組聚合”在 pandas 中有兩種常用實(shí)現(xiàn)方式。第一種是groupby想象你用區(qū)域把所有訂單分成幾堆然后對每一堆分別求和、計數(shù)、求均值。代碼的寫法是# 按區(qū)域聚合統(tǒng)計每個區(qū)域的訂單數(shù)和銷售額 region_report df.groupby(區(qū)域, as_indexFalse).agg( 訂單數(shù)(訂單號, nunique), 銷售額(金額, sum) )第二種是pivot_table它更像 Excel 里的數(shù)據(jù)透視表可以把一個字段作為行、另一個字段作為列中間放聚合值# 區(qū)域 x 產(chǎn)品 的交叉銷售匯總 pivot_report pd.pivot_table( df, index區(qū)域, columns產(chǎn)品, values金額, aggfuncsum, marginsTrue )兩種方式?jīng)]有絕對的好壞groupby更靈活適合輸出長表pivot_table更直觀適合做交叉分析。實(shí)際項(xiàng)目中常兩者搭配使用基礎(chǔ)報表用groupby領(lǐng)導(dǎo)想看矩陣式對比時用pivot_table。2.3 異常清單不是“報錯”是“業(yè)務(wù)規(guī)則命中”異常清單和報錯不同。程序報錯是代碼出了問題而異常清單是數(shù)據(jù)不符合業(yè)務(wù)預(yù)期。它必須包含三個要素哪條數(shù)據(jù)、哪個字段異常、為什么異常。例如訂單號異常原因關(guān)鍵字段當(dāng)前值SO-000123金額為負(fù)數(shù)金額-100.50SO-000456訂單號重復(fù)訂單號SO-000456SO-000789數(shù)量小于等于0數(shù)量0在實(shí)現(xiàn)時異常檢測就是一組業(yè)務(wù)規(guī)則的疊加。每命中一條規(guī)則就把對應(yīng)行復(fù)制到異常清單里并標(biāo)記異常原因。規(guī)則最好集中管理這樣業(yè)務(wù)同事說“退款不算異常因?yàn)橥丝顔我灿袉为?dú)的編號規(guī)則”時你能很快調(diào)整而不是在一堆代碼里找篩選條件。2.4 AI 輔助編程的正確用法給大模型“三件套”很多人在使用大模型寫數(shù)據(jù)處理腳本時只甩一句話“幫我寫個銷售匯總腳本。”大模型沒有你的列名不知道你的異常定義只能生成一段看起來像回事但完全跑不通的代碼。正確的做法是給大模型提供“三件套”列名清單把 CSV 表頭原樣貼給它。幾行真實(shí)示例數(shù)據(jù)注意脫敏不要貼手機(jī)號、身份證號等敏感信息。期望輸出結(jié)構(gòu)告訴它要輸出幾個 sheet每個 sheet 有哪些列。舉個例子你可以這樣描述需求我有一份銷售明細(xì) CSV列名是訂單日期、訂單號、區(qū)域、產(chǎn)品、銷售員、數(shù)量、單價、折扣率、金額、狀態(tài)。 數(shù)據(jù)約 1 萬行訂單日期格式是 YYYY-MM-DD。 請用 pandas 幫我寫一個 Python 腳本 1. 按日期、區(qū)域、產(chǎn)品、銷售員四個維度分別匯總訂單數(shù)和銷售額 2. 檢測以下異常并輸出異常清單數(shù)量小于等于 0、金額小于 0、單價小于等于 0、金額等于 0、訂單號重復(fù) 3. 把匯總結(jié)果和異常清單輸出到一個 Excel 文件每個結(jié)果放在不同 sheet 4. 在腳本里加數(shù)據(jù)校驗(yàn)檢查匯總金額與明細(xì)總額是否一致。這樣獲得的可執(zhí)行腳本才真正具備落地的可能性。你仍然需要理解關(guān)鍵邏輯但 AI 可以把“從需求到代碼”的時間從一小時壓縮到十分鐘。3. 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備3.1 Python 數(shù)據(jù)分析環(huán)境搭建本文的示例代碼基于 Python 和 pandas操作系統(tǒng)不限Windows、macOS、Linux 都可以。建議使用 Python 3.9 及以上版本pandas 使用 2.x 即可。為了避免污染系統(tǒng) Python 環(huán)境推薦先創(chuàng)建虛擬環(huán)境mkdir sales-report-demo cd sales-report-demo python -m venv venv # Windows venv\Scripts\activate # macOS / Linux source venv/bin/activate激活虛擬環(huán)境后安裝依賴pip install pandas openpyxlpandas負(fù)責(zé)數(shù)據(jù)處理openpyxl負(fù)責(zé)把結(jié)果寫入 Excel 并設(shè)置列寬。如果后續(xù)要讀取 xlsx 格式的原始數(shù)據(jù)可能還需要安裝xlrd或直接讓 pandas 讀取 CSV為了演示清晰本文統(tǒng)一使用 CSV 作為輸入。版本說明不同 pandas 版本在agg字典寫法和column_letter細(xì)節(jié)上可能有差異建議保持 2.x 版本。安裝完成后可以用下面的命令確認(rèn)python -c import pandas; print(pandas.__version__)3.2 生成一份帶異常的模擬銷售明細(xì)真實(shí)銷售數(shù)據(jù)通常不能隨意拿來演示所以我們先用腳本生成一份模擬數(shù)據(jù)里面混入一些典型的異常行方便測試異常檢測邏輯。下面的代碼會生成 10000 行左右的銷售明細(xì)并故意寫入“數(shù)量為 0”“金額為負(fù)數(shù)”“單價為 0”“重復(fù)訂單”等異常# 文件路徑scripts/generate_sample_data.py 生成一份帶異常數(shù)據(jù)的模擬銷售明細(xì)用于演示明細(xì)轉(zhuǎn)匯總異常清單。 import numpy as np import pandas as pd rng np.random.default_rng(42) dates pd.date_range(2024-01-01, 2024-12-31, freqD) regions [華東, 華南, 華北, 西南] products [手機(jī), 筆記本, 平板, 耳機(jī)] sellers [張偉, 李娜, 王強(qiáng), 趙敏] rows [] for i in range(10000): order_date rng.choice(dates) region rng.choice(regions) product rng.choice(products) seller rng.choice(sellers) quantity int(rng.integers(1, 20)) price float(rng.uniform(50, 8000).round(2)) discount float(rng.choice([0, 0.05, 0.1, 0.2])) amount round(quantity * price * (1 - discount), 2) status rng.choice([已支付, 已退款, 部分退款, 待支付]) rows.append([ order_date.strftime(%Y-%m-%d), fSO-{i 1:06d}, region, product, seller, quantity, price, discount, amount, status ]) df pd.DataFrame( rows, columns[訂單日期, 訂單號, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 折扣率, 金額, 狀態(tài)] ) # 手工注入明顯異常便于觀察異常清單 df.loc[0, 數(shù)量] 0 df.loc[1, 金額] -100.50 df.loc[2, 單價] 0 # 將第3行復(fù)制一份形成重復(fù)訂單 df pd.concat([df, df.iloc[[2]]], ignore_indexTrue) df.to_csv(data/sales_details.csv, indexFalse, encodingutf-8-sig) print(f已生成 data/sales_details.csv共 {len(df)} 行)運(yùn)行這段腳本前先創(chuàng)建數(shù)據(jù)目錄mkdir data python scripts/generate_sample_data.py生成文件時使用utf-8-sig編碼是為了讓 Excel 打開 CSV 時中文不亂碼。如果你用記事本或 Excel 直接打開這個 CSV能看到表頭和中文內(nèi)容都正常顯示。3.3 準(zhǔn)備 AI 提示詞素材建議在向大模型提問之前把本項(xiàng)目的文件結(jié)構(gòu)和列名整理清楚。列名可以這樣準(zhǔn)備列名訂單日期、訂單號、區(qū)域、產(chǎn)品、銷售員、數(shù)量、單價、折扣率、金額、狀態(tài) 輸入文件data/sales_details.csv 輸出文件output/sales_report_時間戳.xlsx 期望輸出 - Sheet1 按日期匯總訂單數(shù)、銷售額、數(shù)量合計 - Sheet2 按區(qū)域匯總訂單數(shù)、銷售額 - Sheet3 按產(chǎn)品匯總訂單數(shù)、銷售額 - Sheet4 按銷售員匯總訂單數(shù)、銷售額 - Sheet5 多維度匯總區(qū)域 x 產(chǎn)品的交叉銷售額 - Sheet6 異常清單訂單號、異常原因、關(guān)鍵字段、當(dāng)前值把這段素材貼給大模型得到的腳本會比“幫我寫個銷售匯總腳本”靠譜得多。這也是 AI 時代一個非?；A(chǔ)但重要的能力不是所有事情都要自己從零寫但你必須能把需求表達(dá)得足夠清晰。4. 核心流程拆解從明細(xì)到匯總表的完整鏈路數(shù)據(jù)處理腳本的骨架可以拆成七個步驟明確口徑、讀取數(shù)據(jù)、數(shù)據(jù)探查、數(shù)據(jù)清洗、分組匯總、異常檢測、結(jié)果輸出。下面逐個說明。4.1 明確匯總口徑這一步不寫代碼但比代碼更重要。你需要先確認(rèn)幾個問題匯總的時間范圍是什么是自然月、周還是累計至今金額使用“訂單金額”還是“實(shí)收金額”退款訂單是否要從銷售額中扣除匯總維度有哪些一般先看領(lǐng)導(dǎo)習(xí)慣他平時喜歡按區(qū)域看還是按產(chǎn)品看對異常的定義是什么退款算不算異常贈品要不要剔除這些問題確認(rèn)得越早返工越少。腳本本身只負(fù)責(zé)執(zhí)行規(guī)則而規(guī)則解釋權(quán)在業(yè)務(wù)方手里。如果你拿不準(zhǔn)先做一版關(guān)鍵詞和列名清晰的匯總再和業(yè)務(wù)方快速確認(rèn)。4.2 讀取數(shù)據(jù)并做數(shù)據(jù)探查拿到明細(xì)表后不要急著匯總先回答三個問題數(shù)據(jù)長什么樣、有沒有空值、類型是否符合預(yù)期。import pandas as pd df pd.read_csv(data/sales_details.csv, dtype{訂單號: str}) print(df.info()) print(df.head()) print(df.isna().sum())info()會展示每列的非空數(shù)量和數(shù)據(jù)類型head()看前幾行isna().sum()檢查空值。如果你的日期列被讀成了字符串后續(xù)需要用pd.to_datetime轉(zhuǎn)換。4.3 數(shù)據(jù)清洗數(shù)據(jù)清洗不是把所有看起來“不對”的數(shù)據(jù)刪掉而是讓數(shù)據(jù)結(jié)構(gòu)滿足后續(xù)計算的假設(shè)。常見操作包括將日期列統(tǒng)一為datetime類型將金額、數(shù)量、單價轉(zhuǎn)成數(shù)值類型將訂單號統(tǒng)一成字符串避免 Excel 里的科學(xué)計數(shù)法干擾處理完全重復(fù)的行一般按訂單號去重但退款單可能允許同名訂單號需要結(jié)合業(yè)務(wù)”。這里要特別提醒不要一看到異常就刪除。正確做法是把異常行先放入異常清單保留在診斷結(jié)果里。刪除數(shù)據(jù)是不可逆操作在沒有備份和授權(quán)的情況下寧可多保留也不要隨意刪。4.4 分組匯總匯總的核心是groupby加聚合函數(shù)。如果領(lǐng)導(dǎo)要“按日期看整體走勢”就按日期分組要“看區(qū)域差異”就按區(qū)域分組要“看產(chǎn)品結(jié)構(gòu)”就按產(chǎn)品分組。多維度交叉可以用pivot_table。匯總的訂單數(shù)建議使用nunique而不是count因?yàn)閏ount統(tǒng)計的是非空行數(shù)如果同一訂單號出現(xiàn)多次會被重復(fù)計算。銷售額使用sum數(shù)量合計同樣使用sum。4.5 異常檢測異常檢測是純業(yè)務(wù)規(guī)則。本文示例的五條規(guī)則已經(jīng)在提示詞中列出數(shù)量小于等于 0、金額小于 0、單價小于等于 0、金額等于 0、訂單號重復(fù)。每命中一條規(guī)則就把行標(biāo)記出來。需要注意一行數(shù)據(jù)可能同時命中多個規(guī)則比如“數(shù)量為 0”的訂單金額也是 0這時候可以在異常原因里合并說明。4.6 結(jié)果輸出最后把多個 DataFrame 寫到同一個 Excel 文件的不同 sheet。這里要用pd.ExcelWriter并通過openpyxl調(diào)整列寬避免領(lǐng)導(dǎo)打開表格后數(shù)據(jù)擠成一團(tuán)。5. 完整示例AI 輔助生成的銷售匯總腳本下面這份腳本是比較完整的版本你可以直接保存運(yùn)行。也可以把前面準(zhǔn)備好的提示詞素材交給大模型讓它生成一版屬于你自己列名的腳本再和這一版對照閱讀。# 文件路徑scripts/sales_summary.py 銷售明細(xì) - 匯總表 異常清單 用法 python scripts/sales_summary.py 輸入 data/sales_details.csv 輸出 output/sales_report_YYYYMMDD_HHMMSS.xlsx from datetime import datetime from pathlib import Path import pandas as pd # ---------- 1. 參數(shù)與口徑配置 ---------- INPUT_FILE Path(data/sales_details.csv) OUTPUT_DIR Path(output) DATE_COL 訂單日期 ORDER_COL 訂單號 AMOUNT_COL 金額 STATUS_COL 狀態(tài) # ---------- 2. 讀取數(shù)據(jù) ---------- def load_data(file_path: Path) - pd.DataFrame: df pd.read_csv(file_path, dtype{ORDER_COL: str}) df[DATE_COL] pd.to_datetime(df[DATE_COL]) df[月份] df[DATE_COL].dt.to_period(M).astype(str) return df # ---------- 3. 異常檢測 ---------- def detect_abnormal(df: pd.DataFrame) - pd.DataFrame: parts [] abnormal_qty df[df[數(shù)量] 0].copy() abnormal_qty[異常原因] 數(shù)量小于等于0 parts.append(abnormal_qty) abnormal_neg df[df[AMOUNT_COL] 0].copy() abnormal_neg[異常原因] 金額為負(fù)數(shù) parts.append(abnormal_neg) abnormal_zero_price df[df[單價] 0].copy() abnormal_zero_price[異常原因] 單價小于等于0 parts.append(abnormal_zero_price) abnormal_zero_amount df[df[AMOUNT_COL] 0].copy() abnormal_zero_amount[異常原因] 金額為0 parts.append(abnormal_zero_amount) duplicated_orders df[df.duplicated(subsetORDER_COL, keepFalse)].copy() duplicated_orders[異常原因] 訂單號重復(fù) parts.append(duplicated_orders) abnormal pd.concat(parts, ignore_indexTrue) abnormal abnormal.drop_duplicates(subset[ORDER_COL, DATE_COL, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 金額, 異常原因]) return abnormal[[訂單日期, 訂單號, 區(qū)域, 產(chǎn)品, 銷售員, 數(shù)量, 單價, 折扣率, 金額, 狀態(tài), 異常原因]] # ---------- 4. 匯總生成 ---------- def build_summary(df: pd.DataFrame) - dict: reports {} reports[按日期匯總] df.groupby([DATE_COL], as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(DATE_COL) reports[按區(qū)域匯總] df.groupby(區(qū)域, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[按產(chǎn)品匯總] df.groupby(產(chǎn)品, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[按銷售員匯總] df.groupby(銷售員, as_indexFalse).agg( 訂單數(shù)(ORDER_COL, nunique), 銷售額(AMOUNT_COL, sum), 數(shù)量合計(數(shù)量, sum) ).sort_values(銷售額, ascendingFalse) reports[多維度匯總] pd.pivot_table( df, index區(qū)域, columns產(chǎn)品, valuesAMOUNT_COL, aggfuncsum, marginsTrue, margins_name合計 ).reset_index() return reports # ---------- 5. 數(shù)據(jù)一致性校驗(yàn) ---------- def validate(df: pd.DataFrame, reports: dict) - None: original_total df[AMOUNT_COL].sum() day_total reports[按日期匯總][銷售額].sum() region_total reports[按區(qū)域匯總][銷售額].sum() product_total reports[按產(chǎn)品匯總][銷售額].sum() seller_total reports[按銷售員匯總][銷售額].sum() assert abs(original_total - day_total) 0.01, 按日期匯總和原始明細(xì)不一致 assert abs(original_total - region_total) 0.01, 按區(qū)域匯總和原始明細(xì)不一致 assert abs(original_total - product_total) 0.01, 按產(chǎn)品匯總和原始明細(xì)不一致 assert abs(original_total - seller_total) 0.01, 按銷售員匯總和原始明細(xì)不一致 print(校驗(yàn)通過各維度匯總金額與原始明細(xì)合計一致) # ---------- 6. 輸出 Excel ---------- def write_excel(reports: dict, abnormal: pd.DataFrame, output_dir: Path) - Path: output_dir.mkdir(exist_okTrue) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) out_path output_dir / fsales_report_{timestamp}.xlsx with pd.ExcelWriter(out_path, engineopenpyxl) as writer: for sheet_name, table in reports.items(): table.to_excel(writer, sheet_namesheet_name[:31], indexFalse) abnormal.to_excel(writer, sheet_name異常清單, indexFalse) # 調(diào)整列寬 from openpyxl import load_workbook wb load_workbook(out_path) for ws in wb.worksheets: for col in ws.columns: try: max_len max(len(str(c.value)) if c.value is not None else 0 for c in col) except TypeError: max_len 10 ws.column_dimensions[col[0].column_letter].width min(max_len 4, 40) wb.save(out_path) return out_path # ---------- 7. 主流程 ---------- def main(): df load_data(INPUT_FILE) print(f已讀取 {INPUT_FILE}共 {len(df)} 行) print(f日期范圍{df[DATE_COL].min().date()} ~ {df[DATE_COL].max().date()}) abnormal detect_abnormal(df) reports build_summary(df) validate(df, reports) out_path write_excel(reports, abnormal, OUTPUT_DIR) print(f異常記錄{len(abnormal)} 條) print(f已生成{out_path}) if __name__ __main__: main()運(yùn)行方式python scripts/sales_summary.py這段腳本包含幾個重要的設(shè)計要點(diǎn)。首先所有路徑和規(guī)則都放在文件頂部集中配置后續(xù)換成真實(shí)數(shù)據(jù)時只需要改INPUT_FILE和異常規(guī)則。其次異常檢測函數(shù)每次篩選后都加上copy()避免 pandas 的鏈?zhǔn)劫x值警告。最后匯總結(jié)果用字典統(tǒng)一管理寫 Excel 時遍歷字典新增一個匯總維度只需要在build_summary里加一行不需要改輸出邏輯。6. 運(yùn)行結(jié)果與效果驗(yàn)證腳本運(yùn)行成功后會在output目錄下生成一個帶時間戳的 Excel 文件時間戳以實(shí)際運(yùn)行時間準(zhǔn)。文件包含 6 個工作表工作表內(nèi)容典型用途按日期匯總每日訂單數(shù)、銷售額、數(shù)量合計看整體走勢定位周期性變化按區(qū)域匯總各區(qū)域訂單數(shù)、銷售額、數(shù)量合計看區(qū)域差異找落后市場按產(chǎn)品匯總各產(chǎn)品訂單數(shù)、銷售額、數(shù)量合計看產(chǎn)品結(jié)構(gòu)判斷主銷品按銷售員匯總各銷售員訂單數(shù)、銷售額、數(shù)量合計看人效輔助績效溝通多維度匯總區(qū)域與產(chǎn)品的交叉銷售額找區(qū)域和產(chǎn)品的組合表現(xiàn)異常清單命中異常規(guī)則的訂單追查具體問題回訪業(yè)務(wù)方運(yùn)行腳本后終端預(yù)期會出現(xiàn)類似下面的信息具體行數(shù)和時間戳以實(shí)際為準(zhǔn)已讀取 data/sales_details.csv共 10001 行 日期范圍2024-01-01 ~ 2024-12-31 校驗(yàn)通過各維度匯總金額與原始明細(xì)合計一致 異常記錄6 條 已生成output/sales_report_20250220_153000.xlsx這里最關(guān)鍵的驗(yàn)證點(diǎn)是“校驗(yàn)通過”這一行。它用assert檢查了四個維度的匯總金額與原始明細(xì)總金額是否一致。如果任何一個維度不一致腳本會拋出異常不會生成有問題的報表。除了腳本自動校驗(yàn)建議再做一次人工抽查。用 pandas 讀回剛生成的 Excel對比某個區(qū)域的銷售額是否和原始明細(xì)一致# 人工抽查對比華南區(qū)域在 Excel 和原始 CSV 中的銷售額 import pandas as pd excel_df pd.read_excel(output/sales_report_20250220_153000.xlsx, sheet_name按區(qū)域匯總) csv_df pd.read_csv(data/sales_details.csv) excel_huanan excel_df.loc[excel_df[區(qū)域] 華南, 銷售額].sum() csv_huanan csv_df.loc[csv_df[區(qū)域] 華南, 金額].sum() print(excel_huanan, csv_huanan)如果兩者誤差在 0.01 以內(nèi)說明匯總邏輯可靠。如果出現(xiàn)較大差異優(yōu)先檢查日期邊界和金額列的類型是否被異常字符干擾。7. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案讀取 CSV 后中文變亂碼文件的編碼不是 UTF-8用記事本或 VS Code 查看文件編碼讀取時指定encodingutf-8-sig或encodinggbk以實(shí)際文件為準(zhǔn)AI 生成的腳本報KeyError: 訂單日期列名與代碼不一致常因 Excel 表頭有空格或大小寫不同運(yùn)行df.columns.tolist()查看實(shí)際列名將代碼中的列名改為實(shí)際列名或先做一次列名標(biāo)準(zhǔn)化日期字段變成字符串按日期匯總順序亂讀取時沒有轉(zhuǎn)換日期類型執(zhí)行df[訂單日期].dtype查看類型用pd.to_datetime顯式轉(zhuǎn)換后再分組金額計算出現(xiàn)幾百億的巨額數(shù)字訂單號或文本列被誤當(dāng)數(shù)值求和檢查df.info()的字段類型在read_csv里用dtype指定訂單號為字符串Excel 打開生成的 xlsx 提示損壞腳本中途異常、文件被占用或列寬調(diào)整時出錯先嘗試用 pandas 重新讀取該文件查看終端報錯堆棧刪掉損壞文件重跑確保沒有用 Excel 打開同名文件異常清單里重復(fù)訂單太多業(yè)務(wù)本身允許同一訂單號多次出現(xiàn)例如分期發(fā)貨和業(yè)務(wù)方確認(rèn)訂單號唯一性的真實(shí)含義調(diào)整重復(fù)判斷邏輯增加“時間金額”的組合判斷數(shù)據(jù)量太大腳本內(nèi)存不足一次性讀入幾千萬行查看任務(wù)管理器或free -g監(jiān)控內(nèi)存使用pandas.read_csv的chunksize參數(shù)分塊處理匯總合計與明細(xì)合計差幾分錢浮點(diǎn)運(yùn)算精度問題打印原始合計和匯總合計數(shù)對比差值在比較時使用abs(x - y) 0.01或?qū)﹃P(guān)鍵金額用整數(shù)“分”存儲8. 最佳實(shí)踐與工程建議這套方案雖然看起來是“臨時救火”但完全可以用工程化的方式把它做得更穩(wěn)。下面這些建議來自實(shí)際處理數(shù)據(jù)報表的常見教訓(xùn)。第一口徑先行需求確認(rèn)清單比代碼更值錢。每次接到匯總需求先花兩分鐘確認(rèn)“按什么維度、什么時間范圍、金額含不含退款、異常怎么定義”然后把這些口徑寫進(jìn)腳本頂部的常量配置。下次領(lǐng)導(dǎo)換個說法要同一份報表你只需要改配置不需要改代碼。第二異常規(guī)則一定要集中管理不要散落在各個處理函數(shù)里。本文示例把異常規(guī)則直接寫在detect_abnormal中如果規(guī)則變多可以進(jìn)一步抽象為規(guī)則列表或者直接維護(hù)一個業(yè)務(wù)配置文件。這樣業(yè)務(wù)方在評審時能直接看到“我們到底檢查了什么”而不是在一大段 pandas 代碼里找篩選條件。第三只讀輸入輸出到單獨(dú)目錄絕不直接修改原始明細(xì)。生產(chǎn)環(huán)境里的銷售明細(xì)表可能是 ERP 導(dǎo)出的正式數(shù)據(jù)腳本應(yīng)該只讀取、不寫入。所有產(chǎn)出放到output目錄文件名帶時間戳這樣即使當(dāng)天跑了好幾個版本也能快速找到哪個是最新文件。第四重視數(shù)據(jù)安全。如果使用云端大模型生成腳本不要直接把真實(shí)銷售明細(xì)貼給大模型尤其是包含客戶信息、金額、內(nèi)部折扣策略的敏感數(shù)據(jù)。建議先復(fù)制列名和幾行脫敏后的樣例數(shù)據(jù)讓大模型生成框架代碼再在本地跑真實(shí)數(shù)據(jù)。公司有明確數(shù)據(jù)安全制度時優(yōu)先使用內(nèi)部模型或僅使用本地腳本。第五用斷言保證數(shù)據(jù)一致性。數(shù)據(jù)報表最怕“看起來正常但其實(shí)是錯的”。腳本里的validate函數(shù)是最后一道防線用斷言檢查各維度匯總是否相等一旦不等就中斷輸出。這個習(xí)慣能避免你提交一份“個別區(qū)域數(shù)字對不上”的報表。第六把腳本和樣例數(shù)據(jù)放進(jìn) Git。銷售匯總腳本不是一次性腳本它會在每個月末反復(fù)用到。把代碼、樣例數(shù)據(jù)、輸出目錄說明寫進(jìn)倉庫并配上簡短 README記錄上次使用時領(lǐng)導(dǎo)確認(rèn)過的口徑。下次月末同事問你“這個月匯總腳本怎么跑”你可以直接把命令發(fā)給他而不是重新解釋一遍需求。第七不要盲目信任 AI 生成的代碼。AI 可以幫你把結(jié)構(gòu)化需求快速轉(zhuǎn)換成 pandas 代碼但它不知道你的業(yè)務(wù)環(huán)境和數(shù)據(jù)質(zhì)量。拿到 AI 生成的腳本后至少要檢查三處列名是否正確、異常規(guī)則是否符合業(yè)務(wù)、數(shù)據(jù)校驗(yàn)是否存在。最好再向大模型追問一句“請解釋這段腳本中異常檢測的邏輯”用解釋來驗(yàn)證你確實(shí)理解了它的判斷方式。9. 后續(xù)擴(kuò)展方向這套方案跑通后你其實(shí)已經(jīng)擁有了一份可以長期使用的數(shù)據(jù)處理骨架。順著這個骨架可以繼續(xù)擴(kuò)展幾個方向。第一個方向是參數(shù)化。把匯總維度、日期范圍、異常規(guī)則從代碼中完全抽離成配置文件甚至用命令行參數(shù)傳入例如python sales_summary.py --start2025-01-01 --end2025-01-31這樣不同月份只需要換參數(shù)。第二個方向是定時化。日報、周報、月報這類重復(fù)需求可以在本機(jī)設(shè)置計劃任務(wù)Windows 用任務(wù)計劃程序macOS 和 Linux 用 cron讓腳本在固定時間自動運(yùn)行再把生成的 Excel 用郵件推送出去。注意定時任務(wù)運(yùn)行的 Python 環(huán)境要和當(dāng)前虛擬環(huán)境一致否則可能報找不到 pandas。第三個方向是可視化。pandas 負(fù)責(zé)算數(shù)可視化可以用 pyecharts 或 Excel 自帶的圖表。腳本在生成匯總表后可以順便輸出一個按日期銷售額的折線圖領(lǐng)導(dǎo)看報表時一眼就能看出趨勢而不是對著數(shù)字自行腦補(bǔ)。第四個方向是把異常清單做成閉環(huán)。現(xiàn)在的異常清單只是“診斷”后續(xù)還可以加一個狀態(tài)列由業(yè)務(wù)同事回填“已確認(rèn)”“已處理”“誤報”形成異常跟進(jìn)記錄表。這會讓你從“幫領(lǐng)導(dǎo)做表的人”變成“能發(fā)現(xiàn)業(yè)務(wù)問題的人”。最后說一個我自己的習(xí)慣每次用這套腳本我都會把領(lǐng)導(dǎo)當(dāng)時的原話問題、我確認(rèn)的口徑、以及異常清單里最讓我意外的那幾條數(shù)據(jù)記在 README 里。時間久了這套東西就不再是一段腳本而是你對業(yè)務(wù)口徑理解的沉淀。下次遇到“下午就要”的緊急需求你打開倉庫、改個日期、跑一下剩下的時間可以留給真正有價值的異常分析和業(yè)務(wù)溝通。