【老計(jì)帶你懂AI算法】08PCA降維特征太多眼花繚亂用它抓住主要矛盾開(kāi)頭特征太多是個(gè)甜蜜的負(fù)擔(dān)做機(jī)器學(xué)習(xí)特征多通常是好事信息豐富嘛?？商卣鞫嗟揭欢ǔ潭染统闪颂鹈鄣呢?fù)擔(dān)。想象你手里有個(gè)數(shù)據(jù)集每個(gè)樣本有一百個(gè)特征。這一百個(gè)特征里很多其實(shí)是互相冗余的比如身高厘米和身高英寸其實(shí)是一回事月收入和年收入高度相關(guān)。還有些特征幾乎沒(méi)什么用純粹是噪聲。這么多又雜又冗余的特征堆在一起會(huì)帶來(lái)幾個(gè)麻煩模型算得慢、還容易過(guò)擬合回想上一篇KNN的維度災(zāi)難維度一高靠距離的方法就失靈。人根本看不懂幾十上百維的數(shù)據(jù)你沒(méi)法畫(huà)出來(lái)、沒(méi)法直觀感受它長(zhǎng)什么樣。存儲(chǔ)和傳輸都費(fèi)勁。這時(shí)候就需要降維把又多又冗余的特征壓縮成少數(shù)幾個(gè)最精華的新特征既留住大部分有用信息又甩掉冗余和噪聲。這一篇講降維里最經(jīng)典的方法PCA主成分分析。PCA在干嘛找到數(shù)據(jù)變化最大的那幾個(gè)方向PCA的核心思想一句話(huà)概括找到數(shù)據(jù)變化最大的那幾個(gè)方向用這幾個(gè)方向來(lái)重新描述數(shù)據(jù)。這話(huà)有點(diǎn)抽象打個(gè)比方。想象一群人站在廣場(chǎng)上形成一個(gè)又長(zhǎng)又扁的橢圓形隊(duì)伍?，F(xiàn)在要你用盡量少的信息描述每個(gè)人的位置。你會(huì)發(fā)現(xiàn)沿著橢圓長(zhǎng)軸的方向大家的位置拉得很開(kāi)、差異很大而沿著短軸方向大家擠在一起、差異很小。那么如果只允許你用一個(gè)數(shù)字來(lái)描述每個(gè)人的位置你肯定選他在長(zhǎng)軸上的位置因?yàn)檫@個(gè)方向最能區(qū)分開(kāi)不同的人而短軸方向大家都差不多丟掉損失的信息最少。PCA干的就是這件事它自動(dòng)找出數(shù)據(jù)里變化最大的那個(gè)方向叫第一主成分再找出次大的、且和第一個(gè)垂直的方向第二主成分以此類(lèi)推。這些方向按包含信息量的多少排好隊(duì)。然后你只保留前面幾個(gè)最重要的方向把數(shù)據(jù)投影上去就完成了降維。變化大的方向信息量大、留下變化小的方向信息量小、可以舍棄。這就是抓主要矛盾。為什么變化大就等于信息多新手?？ㄔ谶@憑什么數(shù)據(jù)變化大的方向就是信息量大的方向想一想就通了。一個(gè)特征如果對(duì)所有樣本都差不多變化很小那它幾乎沒(méi)法幫你區(qū)分不同樣本信息量就低。比如你統(tǒng)計(jì)一群成年人“是否有心跳這個(gè)特征所有人都是是”毫無(wú)區(qū)分度等于廢特征。反過(guò)來(lái)一個(gè)特征在樣本間差異很大變化大它就能有效地把不同樣本區(qū)分開(kāi)信息量就高。比如年收入在人群里差異巨大就很能區(qū)分人。所以PCA用方差變化程度來(lái)衡量信息量保留方差大的方向、舍棄方差小的方向本質(zhì)就是保留最能區(qū)分樣本的信息、丟掉那些區(qū)分度低的冗余。理解了這層你就抓住了PCA的靈魂。需要強(qiáng)調(diào)PCA找出的這些新方向主成分是原來(lái)那些特征的某種組合它們是全新的、人造的特征往往沒(méi)有直觀的現(xiàn)實(shí)含義了第一主成分可能是0.3倍身高 0.5倍體重 …這種組合。這是降維換來(lái)的代價(jià)可解釋性下降了換來(lái)了維度和冗余的大幅減少。這里正好澄清一個(gè)新手常混淆的概念降維和特征選擇不是一回事。特征選擇是從原來(lái)的一百個(gè)特征里挑出最有用的二十個(gè)、扔掉其余八十個(gè)留下的還是原汁原味的老特征比如就留年齡收入這些含義清清楚楚。而PCA這種降維是把一百個(gè)特征揉合、重組成十個(gè)全新的特征每個(gè)新特征都是老特征的混合體不再對(duì)應(yīng)任何一個(gè)原始含義。打個(gè)比方特征選擇像從一桌菜里挑幾盤(pán)你愛(ài)吃的端走菜還是那幾盤(pán)菜降維則像把好幾樣食材打成一杯綜合果汁營(yíng)養(yǎng)都在、但你已經(jīng)嘗不出單獨(dú)的蘋(píng)果或胡蘿卜了。兩條路都能減少特征數(shù)量但取舍不同要保留可解釋性用特征選擇要最大限度壓縮且不太在乎含義用PCA降維。實(shí)際項(xiàng)目里兩者常常搭配著用。輸入和輸出長(zhǎng)什么樣輸入一批樣本每個(gè)有很多個(gè)數(shù)值特征比如100維。PCA靠方差工作對(duì)特征量綱極其敏感用之前幾乎一定要先標(biāo)準(zhǔn)化否則數(shù)值大的特征會(huì)天然顯得方差大而霸占主成分這是用PCA的頭號(hào)必做步驟。輸出降維后的數(shù)據(jù)每個(gè)樣本變成少數(shù)幾個(gè)新特征比如從100維壓到10維甚至壓到2維好畫(huà)圖。同時(shí)PCA會(huì)告訴你保留的這幾個(gè)主成分總共留住了原始數(shù)據(jù)百分之多少的信息叫累計(jì)解釋方差比。上代碼把高維數(shù)據(jù)壓到二維看看用sklearn把一個(gè)高維數(shù)據(jù)集降到2維并看留住了多少信息。輸入高維特征。輸出2維坐標(biāo) 保留的信息比例。# 依賴(lài)pip install scikit-learnfromsklearn.datasetsimportload_digitsfromsklearn.preprocessingimportStandardScalerfromsklearn.decompositionimportPCAimportnumpyasnp# 手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集:每張圖8x864個(gè)像素,即64維特征X,yload_digits(return_X_yTrue)print(原始維度:,X.shape)# (1797, 64)XStandardScaler().fit_transform(X)# PCA前必須標(biāo)準(zhǔn)化# 降到2維,主要為了能畫(huà)出來(lái)看pca2PCA(n_components2)X2pca2.fit_transform(X)print(降維后:,X2.shape)# (1797, 2)print(2個(gè)主成分留住的信息比例:,round(pca2.explained_variance_ratio_.sum(),3))# 換個(gè)問(wèn)法:想留住95%的信息,需要多少維?pca95PCA(n_components0.95)# 直接指定要保留的信息比例X95pca95.fit_transform(X)print(f留住95%信息只需:{X95.shape[1]}維 (從64維壓下來(lái)))運(yùn)行輸出示例原始維度: (1797, 64) 降維后: (1797, 2) 2個(gè)主成分留住的信息比例: 0.217 留住95%信息只需: 40 維 (從64維壓下來(lái))運(yùn)行你會(huì)看到兩個(gè)有意思的結(jié)果降到2維雖然只留住一部分信息但足夠把不同數(shù)字在平面上大致分開(kāi)、方便畫(huà)圖觀察而想留住95%的信息往往只需要幾十維就夠了從64維壓到幾十維信息幾乎沒(méi)怎么丟冗余卻去掉一大半這就是PCA的價(jià)值。關(guān)鍵參數(shù)n_components降到幾維。可以直接給個(gè)整數(shù)如降到10維也可以給個(gè)0到1之間的小數(shù)如0.95表示我不管降到幾維只要留住95%的信息后一種用法特別實(shí)用。用之前務(wù)必先標(biāo)準(zhǔn)化這不是參數(shù)但比任何參數(shù)都重要。降維到底有什么實(shí)際用處講完原理說(shuō)說(shuō)PCA在實(shí)際中最常見(jiàn)的三個(gè)用途幫你建立什么時(shí)候會(huì)想到它的直覺(jué)數(shù)據(jù)可視化這是最直觀的用途。人只能看懂二維三維PCA能把幾十上百維的數(shù)據(jù)壓到二三維畫(huà)出來(lái)讓你一眼看到數(shù)據(jù)的整體分布、有沒(méi)有天然的分群、有沒(méi)有離群點(diǎn)。上一篇聚類(lèi)的結(jié)果也常用PCA降到二維來(lái)可視化。給模型提速、防過(guò)擬合把高維數(shù)據(jù)降維后再喂給模型特征少了訓(xùn)練更快還因?yàn)槿サ袅巳哂嗪驮肼曈袝r(shí)反而提升效果、緩解過(guò)擬合。它常作為其他模型前面的一道預(yù)處理工序。去噪與壓縮舍棄那些方差小的方向往往就順帶濾掉了噪聲噪聲通常表現(xiàn)為小的隨機(jī)波動(dòng)同時(shí)數(shù)據(jù)變小了存儲(chǔ)傳輸都省。一句話(huà)PCA很少單獨(dú)當(dāng)主角它更多是個(gè)得力的配角、一道預(yù)處理工序?yàn)榭梢暬?、為后續(xù)模型、為節(jié)省資源服務(wù)。這里再補(bǔ)一個(gè)和后面深度學(xué)習(xí)呼應(yīng)的視角幫你把PCA放進(jìn)更大的圖景里。PCA做的事本質(zhì)是把高維數(shù)據(jù)壓縮成一個(gè)低維的、更精華的表示這個(gè)學(xué)習(xí)數(shù)據(jù)的緊湊表示的思想其實(shí)貫穿了整個(gè)機(jī)器學(xué)習(xí)一直延續(xù)到最前沿的大模型。后面會(huì)講到的自編碼器一種神經(jīng)網(wǎng)絡(luò)干的就是和PCA異曲同工的事把數(shù)據(jù)壓縮再還原逼著中間層學(xué)出精華表示只不過(guò)它是非線(xiàn)性的、能力更強(qiáng)。再往后大模型把一個(gè)詞、一張圖變成一串?dāng)?shù)字向量所謂的嵌入表示本質(zhì)也是在做把復(fù)雜的東西壓縮成一組能抓住本質(zhì)的數(shù)字。所以別小看PCA這個(gè)幾十年前的經(jīng)典方法它體現(xiàn)的降維、抓本質(zhì)、學(xué)表示的思想是理解現(xiàn)代AI的一把鑰匙。你現(xiàn)在打的這個(gè)基礎(chǔ)后面會(huì)反復(fù)用到。優(yōu)缺點(diǎn)與適用場(chǎng)景優(yōu)點(diǎn)能有效壓縮維度、去冗余去噪、加速后續(xù)計(jì)算、支持可視化無(wú)監(jiān)督不需要標(biāo)簽數(shù)學(xué)成熟、計(jì)算高效。缺點(diǎn)降維后的主成分失去了直觀的現(xiàn)實(shí)含義可解釋性差只能捕捉線(xiàn)性關(guān)系數(shù)據(jù)里如果是復(fù)雜的非線(xiàn)性結(jié)構(gòu)PCA的線(xiàn)性投影會(huì)力不從心這時(shí)要用更高級(jí)的非線(xiàn)性降維方法如t-SNE、UMAP它們尤其擅長(zhǎng)做可視化對(duì)量綱敏感必須先標(biāo)準(zhǔn)化。適合場(chǎng)景特征多且冗余、需要可視化高維數(shù)據(jù)、想給后續(xù)模型降維提速。不適合特征本身就不多、或者你特別需要保留每個(gè)特征的現(xiàn)實(shí)含義那降維反而添亂、或者數(shù)據(jù)是強(qiáng)非線(xiàn)性結(jié)構(gòu)該換非線(xiàn)性降維。補(bǔ)一個(gè)實(shí)戰(zhàn)小提醒幫你避坑做降維時(shí)PCA一定要只在訓(xùn)練數(shù)據(jù)上學(xué)降維規(guī)則再把同一套規(guī)則套用到測(cè)試數(shù)據(jù)和新數(shù)據(jù)上絕不能把訓(xùn)練和測(cè)試數(shù)據(jù)混在一起做PCA。道理和其他預(yù)處理一樣如果讓PCA偷看了測(cè)試數(shù)據(jù)來(lái)決定怎么降維就等于泄露了未來(lái)信息評(píng)估出來(lái)的效果會(huì)虛高、上線(xiàn)就翻車(chē)。sklearn里的規(guī)范做法是在訓(xùn)練集上fit、在測(cè)試集上只transform或者干脆把PCA放進(jìn)Pipeline里讓它自動(dòng)處理好這個(gè)先后順序。這個(gè)預(yù)處理規(guī)則只能從訓(xùn)練數(shù)據(jù)學(xué)、統(tǒng)一套用的原則適用于標(biāo)準(zhǔn)化、降維等所有預(yù)處理步驟是工程上一個(gè)必須繃緊的弦。小結(jié)與承上啟下PCA找出數(shù)據(jù)變化最大的幾個(gè)方向主成分用它們重新描述數(shù)據(jù)實(shí)現(xiàn)降維。為什么行變化大方差大等于區(qū)分度高、信息多保留大方差方向就是保留精華、舍棄冗余。代價(jià)主成分是人造組合特征沒(méi)了直觀含義且只抓線(xiàn)性關(guān)系。實(shí)際用處可視化、給模型提速防過(guò)擬合、去噪壓縮多是配角。到這里無(wú)監(jiān)督學(xué)習(xí)的兩大主力聚類(lèi)分堆、PCA降維都講完了。前面聚類(lèi)的DBSCAN和這篇都提到了離群點(diǎn)“異?！薄Ｏ乱黄覀兙蛯?zhuān)門(mén)講異常檢測(cè)看一個(gè)思路特別巧妙的模型孤立森林它怎么反其道而行、用最少的力氣把異常點(diǎn)單獨(dú)拎出來(lái)。我們下一篇見(jiàn)。延伸閱讀scikit-learn 官方文檔分解含PCAhttps://scikit-learn.org/stable/modules/decomposition.htmlscikit-learn 官方文檔流形學(xué)習(xí)t-SNE等非線(xiàn)性降維https://scikit-learn.org/stable/modules/manifold.html說(shuō)明以上為官方公開(kāi)文檔地址可能隨版本調(diào)整如打不開(kāi)可用標(biāo)題搜索。