1. 項(xiàng)目概述一次從零到國(guó)二的完整復(fù)盤(pán)去年九月我和兩位隊(duì)友一起完整經(jīng)歷了從校賽選拔到國(guó)賽結(jié)束的全過(guò)程最終在2022年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽C題中拿到了國(guó)家二等獎(jiǎng)。這個(gè)結(jié)果對(duì)我們?nèi)齻€(gè)第一次組隊(duì)參賽的“小白”來(lái)說(shuō)既是驚喜也是對(duì)我們那四天四夜近乎瘋狂投入的最好回報(bào)。現(xiàn)在塵埃落定我想把這段經(jīng)歷里最核心的經(jīng)驗(yàn)、踩過(guò)的坑、以及那些真正決定成敗的細(xì)節(jié)毫無(wú)保留地分享出來(lái)。這不是一份標(biāo)準(zhǔn)答案而是一份真實(shí)的“作戰(zhàn)手冊(cè)”希望能給未來(lái)準(zhǔn)備挑戰(zhàn)國(guó)賽尤其是C題通常是大數(shù)據(jù)分析或運(yùn)籌優(yōu)化類的同學(xué)們提供一些實(shí)實(shí)在在的參考。C題那年的核心是“古代玻璃制品的成分分析與鑒別”本質(zhì)上是一個(gè)典型的數(shù)據(jù)分析模式識(shí)別機(jī)理建模的綜合問(wèn)題。題目給了我們幾百個(gè)古代玻璃文物樣本的化學(xué)成分?jǐn)?shù)據(jù)要求我們做成分分析、分類判別、風(fēng)化規(guī)律探索甚至還要模擬預(yù)測(cè)。聽(tīng)起來(lái)很學(xué)術(shù)但內(nèi)核就是如何從一堆看似雜亂的數(shù)據(jù)中用數(shù)學(xué)工具講出一個(gè)邏輯自洽、證據(jù)充分的“故事”。整個(gè)過(guò)程遠(yuǎn)不止是套幾個(gè)模型那么簡(jiǎn)單它更像是一次對(duì)團(tuán)隊(duì)協(xié)作能力、快速學(xué)習(xí)能力、抗壓能力和學(xué)術(shù)表達(dá)能力的極限測(cè)試。2. 賽前準(zhǔn)備贏在起跑線之前很多人覺(jué)得數(shù)模國(guó)賽就是那四天的事但實(shí)際上至少70%的準(zhǔn)備工作是在暑假甚至更早完成的。臨陣磨槍在國(guó)賽的高強(qiáng)度下幾乎必死無(wú)疑。2.1 團(tuán)隊(duì)組建與角色定位我們的隊(duì)伍構(gòu)成是經(jīng)典的“鐵三角”一個(gè)編程主力我負(fù)責(zé)算法實(shí)現(xiàn)、數(shù)據(jù)清洗和可視化一個(gè)建模主力負(fù)責(zé)問(wèn)題分析、模型構(gòu)建和理論推導(dǎo)一個(gè)論文主力負(fù)責(zé)文獻(xiàn)檢索、論文撰寫(xiě)、圖表美化與排版。關(guān)鍵在于角色雖有側(cè)重但絕不能割裂。核心心得最理想的團(tuán)隊(duì)是“一專多能”。編程手要能看懂模型原理建模手要能理解代碼的大致邏輯論文手要對(duì)數(shù)據(jù)和結(jié)果有敏感度。我們隊(duì)在暑假集訓(xùn)時(shí)就強(qiáng)制要求每個(gè)人至少完整跟練一個(gè)其他角色的任務(wù)。這樣在比賽時(shí)當(dāng)論文手卡在某個(gè)結(jié)果描述時(shí)編程手能立刻調(diào)出代碼解釋當(dāng)建模手對(duì)某個(gè)算法效果存疑時(shí)編程手能快速跑一個(gè)對(duì)比實(shí)驗(yàn)。這種深度的交叉理解是應(yīng)對(duì)突發(fā)狀況和進(jìn)行高效溝通的基石。2.2 工具棧的熟練與統(tǒng)一工欲善其事必先利其器。四天時(shí)間容不得你在工具使用上磕磕絆絆。編程與數(shù)據(jù)分析PythonJupyter Notebook / PyCharm是我們的絕對(duì)主力。pandas、numpy用于數(shù)據(jù)操作scikit-learn、statsmodels提供了豐富的機(jī)器學(xué)習(xí)與統(tǒng)計(jì)模型matplotlib、seaborn、plotly用于可視化。為什么是Python而不是MATLAB因?yàn)閷?duì)于C題這類數(shù)據(jù)復(fù)雜、需要大量自定義處理和分析的問(wèn)題Python的生態(tài)庫(kù)更豐富處理非結(jié)構(gòu)化數(shù)據(jù)和進(jìn)行現(xiàn)代機(jī)器學(xué)習(xí)建模更方便。我們?cè)谑罴儆肒aggle和天池的公開(kāi)數(shù)據(jù)集做了大量練習(xí)確保對(duì)這套工具鏈如臂使指。論文撰寫(xiě)與排版LaTeXOverleaf在線協(xié)作是唯一選擇。Word在處理復(fù)雜公式、交叉引用、參考文獻(xiàn)和保持格式統(tǒng)一上在高壓環(huán)境下是災(zāi)難。Overleaf的實(shí)時(shí)協(xié)作功能讓三個(gè)人可以同時(shí)編輯論文的不同部分極大提升了效率。我們提前準(zhǔn)備好了符合國(guó)賽要求的LaTeX模板并練習(xí)了插入各種表格、圖片、算法偽代碼。文獻(xiàn)管理Zotero。比賽時(shí)需要快速查閱和引用相關(guān)文獻(xiàn)比如玻璃化學(xué)成分的相關(guān)研究、K-means、SVM等算法的原始論文或權(quán)威解釋。Zotero可以一鍵抓取網(wǎng)頁(yè)信息生成BibTeX條目在Overleaf中無(wú)縫引用節(jié)省了大量手動(dòng)輸入的時(shí)間。協(xié)作與溝通騰訊會(huì)議持續(xù)語(yǔ)音溝通屏幕共享、GitHub代碼版本管理避免覆蓋沖突、堅(jiān)果云共享文獻(xiàn)、數(shù)據(jù)、圖表等文件。我們甚至提前建立了標(biāo)準(zhǔn)的項(xiàng)目文件夾結(jié)構(gòu)如/data、/code、/figures、/refs比賽一開(kāi)始就按此初始化避免了文件混亂。2.3 知識(shí)體系的構(gòu)建與專題突破針對(duì)C題的特點(diǎn)我們重點(diǎn)突破了以下幾個(gè)知識(shí)板塊數(shù)據(jù)預(yù)處理專題缺失值處理刪除、均值/中位數(shù)/眾數(shù)填充、模型預(yù)測(cè)填充、異常值檢測(cè)與處理箱線圖、3σ原則、數(shù)據(jù)標(biāo)準(zhǔn)化/歸一化為什么做何時(shí)用MinMaxScaler何時(shí)用StandardScaler、分類變量編碼獨(dú)熱編碼、標(biāo)簽編碼。統(tǒng)計(jì)分析基礎(chǔ)描述性統(tǒng)計(jì)、相關(guān)性分析Pearson, Spearman、方差分析ANOVA、主成分分析PCA與因子分析FA的深入理解與應(yīng)用場(chǎng)景區(qū)別。機(jī)器學(xué)習(xí)模型庫(kù)不僅要知道怎么調(diào)包更要理解其假設(shè)與局限。分類模型邏輯回歸、決策樹(shù)、隨機(jī)森林、XGBoost、支持向量機(jī)SVM、K近鄰KNN。重點(diǎn)練習(xí)它們的調(diào)參GridSearchCV和評(píng)估準(zhǔn)確率、精確率、召回率、F1、AUC-ROC曲線。聚類模型K-means、DBSCAN、層次聚類。掌握如何選擇聚類數(shù)肘部法則、輪廓系數(shù)、如何解讀聚類結(jié)果。預(yù)測(cè)模型線性回歸、時(shí)間序列分析ARIMA、簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。優(yōu)化算法線性規(guī)劃、整數(shù)規(guī)劃的基本概念和求解器如pulp,ortools的使用雖然那年C題優(yōu)化成分不重但這是?？伎键c(diǎn)。我們把這些知識(shí)點(diǎn)整理成了“Cheat Sheet”比賽時(shí)貼在墻上隨時(shí)查閱。3. 四天鏖戰(zhàn)節(jié)奏把控與決策藝術(shù)國(guó)賽的四天是體力、腦力和意志力的三重考驗(yàn)。如何分配時(shí)間是戰(zhàn)略問(wèn)題。3.1 第一天破題、規(guī)劃與數(shù)據(jù)“摸底”Day 1 上午8:00 - 中午12:00拿到題目后我們花了整整一上午三個(gè)人一起逐字逐句地閱讀C題題目和附件至少讀了3遍。用白板或共享文檔畫(huà)出問(wèn)題的邏輯結(jié)構(gòu)圖總問(wèn)題是什么拆分成幾個(gè)子問(wèn)題子問(wèn)題之間的輸入輸出關(guān)系如何數(shù)據(jù)有哪些字段是什么類型規(guī)模多大踩坑實(shí)錄第一遍讀題時(shí)很容易陷入細(xì)節(jié)或某個(gè)自己熟悉的模型里。一定要克制首要任務(wù)是建立全局觀。我們當(dāng)時(shí)就有人過(guò)早開(kāi)始糾結(jié)“用PCA還是因子分析”被隊(duì)長(zhǎng)及時(shí)叫停必須先明確整個(gè)問(wèn)題的全貌。Day 1 下午 - 晚上根據(jù)問(wèn)題結(jié)構(gòu)開(kāi)始分工檢索文獻(xiàn)。論文手負(fù)責(zé)查找古代玻璃、化學(xué)成分分析相關(guān)的學(xué)術(shù)背景為引言和問(wèn)題重述積累素材。建模手和編程手開(kāi)始對(duì)數(shù)據(jù)進(jìn)行探索性分析EDA。這不是簡(jiǎn)單的df.describe()而是有目的的分析成分?jǐn)?shù)據(jù)的分布情況直方圖、箱線圖是否偏態(tài)有無(wú)極端值成分之間的相關(guān)性熱力圖哪些元素高度相關(guān)可能暗示什么初步的聚類效果用K-means快速試一下看散點(diǎn)圖數(shù)據(jù)是否有明顯的分組趨勢(shì)缺失情況統(tǒng)計(jì)哪些變量缺失嚴(yán)重可能的原因是什么EDA的結(jié)果直接決定了后續(xù)預(yù)處理方法和模型選擇。例如我們發(fā)現(xiàn)某些微量元素缺失率高達(dá)80%果斷決定在大部分分析中剔除這些變量而不是盲目填充。晚上團(tuán)隊(duì)再次集中基于白天的發(fā)現(xiàn)敲定了最終的解題技術(shù)路線圖和詳細(xì)到小時(shí)的時(shí)間規(guī)劃表。3.2 第二天與第三天核心建模與求解這是最緊張的兩天代碼和模型飛速迭代。1. 數(shù)據(jù)預(yù)處理的精細(xì)化基于EDA我們制定了詳細(xì)的預(yù)處理流水線刪除高缺失率變量缺失率50%的化學(xué)成分列直接刪除。處理剩余缺失值對(duì)于數(shù)值型變量采用KNN插補(bǔ)。為什么不用均值因?yàn)榛瘜W(xué)成分之間可能存在關(guān)聯(lián)KNN能利用樣本相似性進(jìn)行更合理的估計(jì)。我們使用scikit-learn的KNNImputer并通過(guò)交叉驗(yàn)證嘗試了不同的K值。異常值處理對(duì)于明顯偏離主體分布且經(jīng)查非錄入錯(cuò)誤的單個(gè)數(shù)據(jù)點(diǎn)箱線圖判斷我們采用了蓋帽法Winsorization將其限制在99%分位數(shù)而不是簡(jiǎn)單刪除以保留樣本量。數(shù)據(jù)標(biāo)準(zhǔn)化由于后續(xù)要用到PCA和基于距離的模型如K-means、SVM我們采用了Z-score標(biāo)準(zhǔn)化使不同量綱的成分?jǐn)?shù)據(jù)具有可比性。2. 模型的選擇、實(shí)現(xiàn)與對(duì)比以“玻璃類型分類”這個(gè)子問(wèn)題為例我們并沒(méi)有只用一個(gè)模型。第一步特征工程。除了原始成分我們還嘗試構(gòu)造了特征如“堿性氧化物總和”、“硅鋁比”等根據(jù)化學(xué)知識(shí)衍生的指標(biāo)。第二步多模型試跑。我們快速實(shí)現(xiàn)了邏輯回歸、隨機(jī)森林、SVM、XGBoost四個(gè)模型用5折交叉驗(yàn)證查看其基線性能。第三步模型調(diào)優(yōu)與集成。隨機(jī)森林和XGBoost表現(xiàn)最好且接近。我們沒(méi)有只選一個(gè)而是采用了軟投票集成將兩個(gè)模型的預(yù)測(cè)概率進(jìn)行平均作為最終分類依據(jù)。這通常比單一模型更穩(wěn)健。第四步可解釋性分析。對(duì)于隨機(jī)森林我們輸出了特征重要性排序?qū)τ赬GBoost使用了SHAP值分析。這不僅是為了提升模型性能更是為了在論文中解釋“模型是依據(jù)哪些化學(xué)成分做出判斷的”這極大地增強(qiáng)了論文的說(shuō)服力。3. 可視化即溝通在這兩天編程手在產(chǎn)出結(jié)果的同時(shí)建模手和論文手就在同步設(shè)計(jì)圖表。一張好的圖勝過(guò)千言萬(wàn)語(yǔ)。我們使用seaborn的pairplot繪制了主要成分的散點(diǎn)圖矩陣直觀展示分類效果。用plotly制作了交互式三維PCA散點(diǎn)圖可以旋轉(zhuǎn)查看不同角度的聚類分離情況。對(duì)于風(fēng)化規(guī)律我們繪制了帶置信區(qū)間的折線圖和箱線圖清晰展示了成分隨風(fēng)化程度的變化趨勢(shì)。 所有圖表都遵循統(tǒng)一的配色方案如Set2色系并確保在論文中清晰可讀。3.3 第四天論文沖刺與整合最后一天是論文的天下代碼和模型原則上應(yīng)已全部?jī)鼋Y(jié)。Day 4 上午論文手主導(dǎo)將之前寫(xiě)好的問(wèn)題重述、模型假設(shè)、符號(hào)說(shuō)明等部分進(jìn)行最終打磨。建模手和編程手提供核心模型的數(shù)學(xué)表述、算法流程圖和關(guān)鍵結(jié)果圖表。算法流程圖我們用LaTeX的tikz包繪制雖然費(fèi)時(shí)但效果專業(yè)。Day 4 下午 - 截止前3小時(shí)這是最關(guān)鍵的“結(jié)果分析與討論”部分。我們不是簡(jiǎn)單羅列“準(zhǔn)確率95%”而是深入分析“為什么模型在這個(gè)類別上表現(xiàn)稍差可能是數(shù)據(jù)量不足還是該類別的化學(xué)成分特征本身就不明顯”“從特征重要性看鉛鋇玻璃和鉀鈣玻璃的關(guān)鍵區(qū)分元素是X和Y這與文獻(xiàn)[XX]中提到的考古學(xué)發(fā)現(xiàn)是否吻合”“我們模型的局限性是什么例如未考慮出土環(huán)境信息”“針對(duì)這些局限性可以提出哪些進(jìn)一步的改進(jìn)方向或研究建議”截止前3小時(shí) - 提交最后三小時(shí)不做大的改動(dòng)。全體成員一起進(jìn)行終極檢查格式檢查標(biāo)題編號(hào)、圖表編號(hào)、引用編號(hào)是否連續(xù)、正確圖表是否都有標(biāo)題和必要注釋公式是否居中、編號(hào)正確一致性檢查文中提到的模型、參數(shù)、結(jié)果是否與代碼輸出、圖表數(shù)據(jù)完全一致這是致命的錯(cuò)誤點(diǎn)。完整性檢查摘要是否濃縮了全文精華模型、方法、結(jié)果、結(jié)論參考文獻(xiàn)格式是否統(tǒng)一附錄是否包含了核心代碼我們提交了關(guān)鍵部分的.py文件錯(cuò)別字與語(yǔ)法檢查大聲朗讀摘要和結(jié)論部分最容易發(fā)現(xiàn)不通順的地方。最后提前1小時(shí)在競(jìng)賽系統(tǒng)提交最終PDF和附件并確認(rèn)提交成功。我們當(dāng)時(shí)還額外發(fā)了一份到團(tuán)隊(duì)郵箱備份。4. 核心問(wèn)題與實(shí)戰(zhàn)技巧實(shí)錄回顧整個(gè)歷程有幾個(gè)關(guān)鍵節(jié)點(diǎn)和常見(jiàn)陷阱值得單獨(dú)拿出來(lái)細(xì)說(shuō)。4.1 如何應(yīng)對(duì)“模型結(jié)果不理想”比賽中段我們第一個(gè)分類模型的交叉驗(yàn)證準(zhǔn)確率一直徘徊在85%左右感覺(jué)遇到了瓶頸。我們的應(yīng)對(duì)沒(méi)有盲目調(diào)參或換更復(fù)雜的模型。而是回頭再次審視數(shù)據(jù)。我們發(fā)現(xiàn)數(shù)據(jù)中存在明顯的類別不平衡某個(gè)子類的樣本數(shù)很少。于是我們采用了SMOTE過(guò)采樣技術(shù)人工增加了少數(shù)類樣本。同時(shí)為基于距離的模型如SVM選擇了更適合的核函數(shù)從RBF嘗試了多項(xiàng)式核。準(zhǔn)確率最終提升到了92%以上。技巧當(dāng)模型遇瓶頸時(shí)順序應(yīng)該是1) 檢查數(shù)據(jù)質(zhì)量噪聲、不平衡、異常值2) 檢查特征工程是否充分是否引入了更有區(qū)分度的特征3) 嘗試簡(jiǎn)單的模型集成4) 最后才考慮換更復(fù)雜的模型。復(fù)雜模型容易過(guò)擬合且解釋性差。4.2 論文寫(xiě)作中的“致命傷”與“加分項(xiàng)”致命傷摘要空洞無(wú)物寫(xiě)成了“本文研究了…使用了…得到了…”但沒(méi)有具體數(shù)字和結(jié)論。必須寫(xiě)成“本文針對(duì)XX問(wèn)題建立了基于XX和XX的集成模型實(shí)現(xiàn)了XX%的分類準(zhǔn)確率并發(fā)現(xiàn)XX成分是主要區(qū)分依據(jù)最后提出XX建議?！蹦Ｐ兔枋霾磺逯徽f(shuō)“我們使用了隨機(jī)森林”必須說(shuō)明參數(shù)設(shè)置如樹(shù)的數(shù)量、深度、為什么這么設(shè)置如通過(guò)網(wǎng)格搜索確定并給出核心公式或偽代碼。結(jié)果只有圖表沒(méi)有分析圖表下面必須有一段文字指出從圖中可以看出什么規(guī)律、印證了什么假設(shè)、與模型輸出如何對(duì)應(yīng)。加分項(xiàng)清晰的假設(shè)在建模前明確列出所有假設(shè)如“假設(shè)各化學(xué)成分測(cè)量誤差獨(dú)立同分布”、“假設(shè)風(fēng)化過(guò)程對(duì)成分的影響是線性的”這體現(xiàn)了嚴(yán)謹(jǐn)性。靈敏度分析改變某個(gè)關(guān)鍵參數(shù)如PCA的保留維度、聚類數(shù)目K觀察模型結(jié)果的變化是否穩(wěn)定。這能極大地增強(qiáng)模型的可靠度。模型對(duì)比至少將你的最終模型與一個(gè)基線模型如邏輯回歸進(jìn)行對(duì)比用數(shù)據(jù)證明你的模型確實(shí)更好。4.3 團(tuán)隊(duì)協(xié)作的“潤(rùn)滑劑”與“絆腳石”潤(rùn)滑劑每日站會(huì)每天早中晚三次簡(jiǎn)短會(huì)議每人同步“我做了什么”、“接下來(lái)要做什么”、“遇到了什么困難”。信息透明避免重復(fù)勞動(dòng)或方向偏離。決策機(jī)制當(dāng)出現(xiàn)分歧時(shí)如該用A方法還是B方法快速設(shè)計(jì)一個(gè)“小實(shí)驗(yàn)”用部分?jǐn)?shù)據(jù)跑一下看初步結(jié)果讓數(shù)據(jù)說(shuō)話而不是無(wú)休止?fàn)幷??；ハ鄠浞菝總€(gè)人的工作至少有一名隊(duì)友了解大致進(jìn)展和位置。防止因個(gè)人突發(fā)情況導(dǎo)致工作斷檔。絆腳石個(gè)人英雄主義有人埋頭苦干不溝通最后發(fā)現(xiàn)做的東西偏離了整體方向。過(guò)度追求完美在某個(gè)細(xì)節(jié)比如圖表的配色上花費(fèi)數(shù)小時(shí)擠壓了核心建模時(shí)間。必須遵循“先完成再完善”的原則。最后一天大改最后半天還在調(diào)整模型結(jié)構(gòu)或代碼邏輯極易引發(fā)連鎖錯(cuò)誤導(dǎo)致論文無(wú)法整合。模型必須在第三天晚上鎖定。5. 工具、資源與心態(tài)建議5.1 推薦資源清單系統(tǒng)學(xué)習(xí)中國(guó)大學(xué)MOOC上國(guó)防科技大學(xué)或同濟(jì)大學(xué)的《數(shù)學(xué)建?！氛n程。算法與代碼scikit-learn官方文檔最好的教程、pandas官方文檔、《Python數(shù)據(jù)科學(xué)手冊(cè)》。論文寫(xiě)作與LaTeX《LaTeX入門》、Overleaf提供的模板和教程。歷年賽題精講各大數(shù)模論壇或公眾號(hào)對(duì)往年優(yōu)秀論文的點(diǎn)評(píng)學(xué)習(xí)其思路和表達(dá)。5.2 最后的心態(tài)調(diào)整國(guó)賽四天是對(duì)身心的巨大消耗。我們第三天晚上幾乎通宵靠咖啡和意志力撐著。有幾個(gè)心態(tài)要點(diǎn)接受不完美沒(méi)有論文是完美的。在時(shí)間約束下交出邏輯完整、結(jié)果合理的作品比追求一個(gè)“完美”模型更重要。相信隊(duì)友分工之后給予隊(duì)友充分的信任做好自己的部分避免相互指責(zé)。保持節(jié)奏保證休息再忙每天也要保證有累計(jì)4-5小時(shí)的睡眠以及按時(shí)吃飯。最后一天頭腦不清醒會(huì)犯低級(jí)錯(cuò)誤。拿到國(guó)二運(yùn)氣的成分有但更多是前期扎實(shí)的準(zhǔn)備、比賽中清晰的策略和團(tuán)隊(duì)無(wú)縫的協(xié)作。數(shù)學(xué)建模競(jìng)賽的魅力就在于它無(wú)限逼近一次真實(shí)的科研過(guò)程。這段經(jīng)歷帶給我的遠(yuǎn)不止一張證書(shū)更是一種用數(shù)學(xué)和代碼解決復(fù)雜問(wèn)題的思維模式以及和戰(zhàn)友們并肩作戰(zhàn)的寶貴回憶。如果你正準(zhǔn)備參賽那么現(xiàn)在就開(kāi)始行動(dòng)吧從組一個(gè)靠譜的隊(duì)一起啃透一個(gè)往年賽題開(kāi)始。