簡介由傳智播客黑馬出品的Python機(jī)器學(xué)習(xí)基礎(chǔ)教程面向零基礎(chǔ)或初級開發(fā)者旨在通過完整課程包幫助學(xué)習(xí)者掌握Python編程與機(jī)器學(xué)習(xí)入門知識(shí)覆蓋語法基礎(chǔ)、數(shù)據(jù)分析、模型構(gòu)建與算法實(shí)踐等核心環(huán)節(jié)。資源共收納1495個(gè)文件體積43.39MB以670個(gè)Python源碼文件為主體同時(shí)包含158個(gè)JS文件、135張圖片、102個(gè)HTML頁面及多個(gè)配置、說明和工具腳本兼顧教學(xué)代碼、可視化展示與項(xiàng)目運(yùn)行環(huán)境配置。已有221人學(xué)習(xí)下載。課程內(nèi)容不僅提供理論講解還包含大量可運(yùn)行的代碼示例、練習(xí)項(xiàng)目及輔助腳本并提供目錄結(jié)構(gòu)清晰的筆記文檔便于按章節(jié)循序漸進(jìn)地學(xué)習(xí)適合希望在真實(shí)代碼中快速上手機(jī)器學(xué)習(xí)并積累實(shí)戰(zhàn)經(jīng)驗(yàn)的初學(xué)者。 前幾天一個(gè)讀者發(fā)消息問我我照著教程把代碼敲完了為什么還是感覺啥都不會(huì)這個(gè)問題我在各種Python機(jī)器學(xué)習(xí)交流群里見過太多次了。很多入門者手里都有一份類似傳智播客黑馬出品的《Python機(jī)器學(xué)習(xí)基礎(chǔ)教程》這樣的資源包解壓之后對著視頻看了一周代碼也一行行敲了可到了自己寫的時(shí)候還是不知道從哪下手。作為帶過不少新人的過來人我想說一句可能不太中聽的話問題多半不在教程本身而在于你打開教程之前的準(zhǔn)備以及打開之后的使用方式。這篇文章不討論壓縮包里到底有哪些文件而是結(jié)合我實(shí)際帶人入門踩過的坑把從零學(xué)Python機(jī)器學(xué)習(xí)這條路上幾個(gè)關(guān)鍵節(jié)點(diǎn)拆開講清楚。不管你手里是哪套教程這個(gè)思路是通用的。內(nèi)容主要面向零基礎(chǔ)或剛接觸Python的讀者也適合已經(jīng)學(xué)了一半、但卡在環(huán)境、概念、實(shí)戰(zhàn)銜接不上的人。1. 拿到教程先別急Python基礎(chǔ)到底要補(bǔ)到哪一步1.1 語法基礎(chǔ)的目標(biāo)是能看懂、能改、能跑不是全背下來很多人有個(gè)誤區(qū)覺得必須把Python語法全部學(xué)完才能開始機(jī)器學(xué)習(xí)。我見過一個(gè)讀者花了兩三個(gè)月把一本Python入門書從頭刷到尾循環(huán)、推導(dǎo)式、裝飾器背得滾瓜爛熟結(jié)果打開機(jī)器學(xué)習(xí)教程第一課還是懵的。為什么因?yàn)闄C(jī)器學(xué)習(xí)教程默認(rèn)你具備的Python能力跟完整掌握Python完全是兩回事前者只是后者的一個(gè)小子集。機(jī)器學(xué)習(xí)代碼里用的Python語法其實(shí)非常集中變量賦值、列表和字典操作、for循環(huán)、if判斷、函數(shù)定義與調(diào)用、類的基本使用以及大量的對象.方法()調(diào)用模式。你會(huì)發(fā)現(xiàn)自己在教程里寫得最多的就是類似model.fit(X_train, y_train)、model.predict(X_test)、score accuracy_score(y_true, y_pred)這樣的代碼。所以基礎(chǔ)階段的目標(biāo)不是把Python學(xué)完而是訓(xùn)練出看到一段陌生代碼能大致判斷它在干什么的語感。我建議的基礎(chǔ)自測標(biāo)準(zhǔn)很簡單給你一段50行左右的Python腳本里面包含列表操作、字典取值、for循環(huán)和函數(shù)定義你能不用查資料說出每一行在做什么就算過關(guān)。做不到先別急著打開機(jī)器學(xué)習(xí)教程把基礎(chǔ)語法快速過一遍一周以內(nèi)就能補(bǔ)上。1.2 類型轉(zhuǎn)換與數(shù)據(jù)結(jié)構(gòu)最容易卡住新人的兩個(gè)點(diǎn)在基礎(chǔ)語法里有兩個(gè)點(diǎn)被絕大多數(shù)人低估了類型轉(zhuǎn)換和數(shù)據(jù)結(jié)構(gòu)。我為什么單獨(dú)把這兩個(gè)拎出來說因?yàn)闄C(jī)器學(xué)習(xí)代碼里到處是它們的影子。先說類型轉(zhuǎn)換。用pandas讀入一份數(shù)據(jù)后某一列明明是數(shù)字打印出來卻是字符串想算均值df[age].mean()直接報(bào)錯(cuò)。像astype(float)、float(x)、int(x)、to_numeric()這些操作看起來是小知識(shí)點(diǎn)但實(shí)際項(xiàng)目中第一道坎往往就是它們。再比如sklearn的train_test_split返回的是一個(gè)包含四個(gè)對象的元組新手經(jīng)常忘記解包或者解包個(gè)數(shù)不對X_train, X_test, y_train, y_test四個(gè)變量少寫一個(gè)就報(bào)錯(cuò)——這種錯(cuò)誤代碼本身沒錯(cuò)是Python基本功不夠扎實(shí)。再說數(shù)據(jù)結(jié)構(gòu)。機(jī)器學(xué)習(xí)里打交道最多的是列表、字典、NumPy的ndarray和pandas的DataFrame/Series。很多新人分不清列表和ndarray有什么區(qū)別字典和DataFrame什么時(shí)候該用哪個(gè)。我的建議是在學(xué)機(jī)器學(xué)習(xí)之前至少親手把列表推導(dǎo)式、字典的get方法、zip函數(shù)組合列表、以及enumerate遍歷寫熟。尤其是zip它不只是壓縮包的后綴名在Python里還是個(gè)特別常用的函數(shù)——把兩個(gè)列表按位置配對成元組列表這在構(gòu)造訓(xùn)練數(shù)據(jù)時(shí)很常用。1.3 別陷入學(xué)完再學(xué)的循環(huán)還有一種常見情況是人已經(jīng)在看機(jī)器學(xué)習(xí)教程了碰到一個(gè)不懂的Python語法就停下來轉(zhuǎn)頭去補(bǔ)基礎(chǔ)補(bǔ)著補(bǔ)著一周過去了還沒回到原來的進(jìn)度。這種學(xué)完再學(xué)的循環(huán)特別容易消磨熱情。我的做法是遇到不懂的語法先查清楚這個(gè)語法在當(dāng)前這段代碼里的作用記一筆然后繼續(xù)往下走。大部分語法點(diǎn)在你做完兩三個(gè)小項(xiàng)目之后自然就熟了不需要提前系統(tǒng)學(xué)一遍。機(jī)器學(xué)習(xí)入門階段的核心矛盾不是Python不夠熟而是機(jī)器學(xué)習(xí)概念還沒建立這兩個(gè)任務(wù)同時(shí)推進(jìn)效果遠(yuǎn)好于先花幾個(gè)月死磕語法。2. 環(huán)境搭建為什么幾乎所有教程都把第一課放在這里2.1 從Python安裝到編輯器配置的完整鏈路幾乎每套Python機(jī)器學(xué)習(xí)教程第一課都是環(huán)境搭建?？雌饋砗軣o趣但這一課直接決定了你后面能不能順利跑通代碼。我在幫人排查問題的時(shí)候發(fā)現(xiàn)至少一半的教程看不懂其實(shí)是環(huán)境沒配好比如Python版本不對、依賴庫缺失、或者裝錯(cuò)了包。現(xiàn)在比較推薦的起步鏈路是先裝Python解釋器再裝一個(gè)編輯器然后創(chuàng)建獨(dú)立的虛擬環(huán)境最后在虛擬環(huán)境里安裝機(jī)器學(xué)習(xí)依賴庫。編輯器方面VSCode是目前最主流的選擇配好Python插件之后代碼補(bǔ)全、調(diào)試、Jupyter Notebook支持都挺完善。一個(gè)我自己常用的判斷標(biāo)準(zhǔn)是如果你能在這個(gè)環(huán)境里成功運(yùn)行import numpy、import pandas、import sklearn這三行代碼而不報(bào)錯(cuò)環(huán)境就算基本通了。這三行就是機(jī)器學(xué)習(xí)最底層的三個(gè)依賴NumPy負(fù)責(zé)數(shù)值計(jì)算pandas負(fù)責(zé)數(shù)據(jù)處理sklearn提供大量現(xiàn)成的機(jī)器學(xué)習(xí)算法接口。教程里的代碼百分之八九十都建立在它們之上。2.2 依賴庫裝不上的幾個(gè)典型原因環(huán)境搭建這一步新手最容易在安裝依賴時(shí)被勸退。常見的報(bào)錯(cuò)無非這么幾類pip install提示找不到對應(yīng)版本、下載速度極慢然后超時(shí)、裝到一半報(bào)編譯錯(cuò)誤、以及裝完之后import提示ModuleNotFoundError。第一類問題多半是Python版本太老或太新而某些庫還不支持。機(jī)器學(xué)習(xí)庫對Python版本有要求比如一些新版本的TensorFlow或PyTorch對Python版本有明確的上下限。遇到版本不兼容不要硬扛直接創(chuàng)建一個(gè)指定Python版本的虛擬環(huán)境更省事conda create -n ml python3.9 conda activate ml pip install numpy pandas scikit-learn第二類下載慢的問題國內(nèi)環(huán)境下?lián)Q國內(nèi)鏡像源是最直接的解法。pip install的時(shí)候加一個(gè)-i參數(shù)或者直接修改pip全局配置指向清華、阿里云的鏡像速度能提升一個(gè)量級。第三類編譯錯(cuò)誤多半是因?yàn)槟承煨枰獜脑创a編譯而本機(jī)缺少編譯工具鏈。解決思路是優(yōu)先安裝官方預(yù)編譯的wheel包或者用conda來安裝conda對這類科學(xué)計(jì)算庫的預(yù)編譯支持做得比pip好很多。2.3 一個(gè)穩(wěn)定可復(fù)用的起步環(huán)境清單我給自己帶的新人整理過一份極簡環(huán)境清單照著做基本不會(huì)出錯(cuò)組件推薦選項(xiàng)說明Python版本3.9或3.10主流機(jī)器學(xué)習(xí)庫兼容性最好環(huán)境管理Anaconda或Miniconda自帶conda創(chuàng)建環(huán)境方便編輯器VSCode插件豐富調(diào)試機(jī)器學(xué)習(xí)代碼夠用核心庫numpy、pandas、scikit-learn三件套入門階段不必上深度學(xué)習(xí)框架輔助庫matplotlib、jupyter畫圖和數(shù)據(jù)探索用這里多說一句入門階段我不建議一上來就裝TensorFlow、PyTorch這類深度學(xué)習(xí)框架。原因很簡單——如果連線性回歸、決策樹這些基礎(chǔ)模型的原理和調(diào)用都還沒掌握直接上深度學(xué)習(xí)框架會(huì)讓你把大量時(shí)間耗在框架API的記憶上而不是理解機(jī)器學(xué)習(xí)本身?；A(chǔ)機(jī)器學(xué)習(xí)和高階深度學(xué)習(xí)的知識(shí)跨度很大一步一步來反而快。3. 入門機(jī)器學(xué)習(xí)前必須先搞懂的核心概念3.1 模型、算法、數(shù)據(jù)集三個(gè)詞理順知識(shí)框架很多新人學(xué)了一個(gè)月機(jī)器學(xué)習(xí)問他模型和算法有什么區(qū)別答不上來。其實(shí)這三個(gè)詞就是機(jī)器學(xué)習(xí)知識(shí)框架的骨架。用大白話講數(shù)據(jù)集是原料算法是加工方法模型是加工出來的成品。比如你用線性回歸算法在房價(jià)數(shù)據(jù)集上訓(xùn)練得到的是一個(gè)房價(jià)預(yù)測模型之后拿新數(shù)據(jù)進(jìn)去它給你輸出預(yù)測結(jié)果。這個(gè)概念理不順后面全是亂的。我看到過有人把訓(xùn)練一個(gè)模型說成訓(xùn)練一個(gè)算法有人說模型調(diào)參其實(shí)調(diào)的是模型的超參數(shù)不是算法本身。這些術(shù)語混著用短期看不出問題但一旦開始讀文檔、看源碼、跟別人交流就露餡了。建議入門者把三者的關(guān)系用一個(gè)具體例子寫下來比如用鳶尾花數(shù)據(jù)集跑一個(gè)決策樹邊跑邊在注釋里標(biāo)注哪一行是加載數(shù)據(jù)、哪一行是初始化算法、哪一行是訓(xùn)練出模型一遍就能理清。3.2 數(shù)據(jù)集從哪里來公開數(shù)據(jù)集與數(shù)據(jù)預(yù)處理光有模型概念還不夠你得有數(shù)據(jù)可跑。入門階段最常用的公開數(shù)據(jù)集一個(gè)是鳶尾花數(shù)據(jù)集Iris一個(gè)是波士頓房價(jià)數(shù)據(jù)集還有一個(gè)是手寫數(shù)字?jǐn)?shù)據(jù)集Digits。這三個(gè)都在sklearn自帶的數(shù)據(jù)集模塊里一行代碼就能加載進(jìn)來非常適合練手。再往后可以上Kaggle、UCI機(jī)器學(xué)習(xí)庫這類公開平臺(tái)下載一些真實(shí)業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)的預(yù)處理是教程里篇幅不大、但實(shí)戰(zhàn)中極其重要的環(huán)節(jié)。原始數(shù)據(jù)很少能直接喂給算法常見的坑包括缺失值某列有NaN、異常值某一個(gè)數(shù)大得離譜、量綱不一致一列是0到1另一列是幾千到幾萬、以及類別型特征比如顏色有紅黃藍(lán)三個(gè)值算法不認(rèn)識(shí)。機(jī)器學(xué)習(xí)基礎(chǔ)教程里通常會(huì)用一兩節(jié)講StandardScaler標(biāo)準(zhǔn)化、處理缺失值、以及用pd.get_dummies做獨(dú)熱編碼這幾塊內(nèi)容建議反復(fù)看比背算法流程有用得多。3.3 課程和經(jīng)典教材怎么搭配周志華、李航怎么讀網(wǎng)上關(guān)于機(jī)器學(xué)習(xí)的書單很多周志華的《機(jī)器學(xué)習(xí)》俗稱西瓜書和李航的《統(tǒng)計(jì)學(xué)習(xí)方法》俗稱藍(lán)書被提到的頻率最高。但這兩本書都不適合零基礎(chǔ)的人從頭讀到尾。西瓜書數(shù)學(xué)推導(dǎo)多藍(lán)書更是偏理論和公式直接硬啃很容易在前期被勸退。我的建議是以視頻教程為主線把經(jīng)典教材當(dāng)字典查。比如你在教程里學(xué)到了決策樹花十分鐘去看看西瓜書里決策樹那一章重點(diǎn)看它怎么解釋信息增益、基尼系數(shù)這些概念學(xué)到支持向量機(jī)再去翻藍(lán)書里SVM的推導(dǎo)。這樣教程建立直覺、教材補(bǔ)充原理的配合方式效率遠(yuǎn)高于單獨(dú)學(xué)任何一個(gè)。4. 把教程代碼真正跑起來從照抄到改造4.1 拿到示例代碼后的正確打開方式跟著教程敲代碼看起來是最簡單的環(huán)節(jié)但很多人恰恰在這里翻車。最常見的方式是邊看視頻邊暫停一行行照著敲敲完運(yùn)行出結(jié)果OK繼續(xù)下一節(jié)。這種方式的壞處是你練的是打字速度不是編程能力。我的做法是換個(gè)順序先不著急敲把一節(jié)視頻完整看完理解這段代碼要解決什么問題、大致分幾個(gè)步驟然后把視頻關(guān)掉憑著記憶和筆記自己寫卡住了再回去看視頻對照。第一次寫不出來很正常但這個(gè)過程逼著你的大腦把剛學(xué)的知識(shí)轉(zhuǎn)成自己的思路。寫完之后強(qiáng)烈建議做一件事改一改參數(shù)比如把test_size0.2改成0.3看結(jié)果有什么變化把隨機(jī)種子random_state42刪掉再跑一次看結(jié)果還一樣嗎。這些小實(shí)驗(yàn)?zāi)軒湍憧焖倮斫饷總€(gè)參數(shù)到底控制什么。4.2 常見報(bào)錯(cuò)排查思路教程代碼跑不通不要急著懷疑教程有問題十有八九是環(huán)境或數(shù)據(jù)路徑的問題。我總結(jié)過新手最常見的三類報(bào)錯(cuò)。第一類是ModuleNotFoundError通常是依賴庫沒裝全或者裝到了別的環(huán)境里。排查方式很簡單在終端里輸入pip list看看有沒有這個(gè)包再確認(rèn)你現(xiàn)在激活的環(huán)境到底是哪個(gè)。第二類是FileNotFoundError常見于教程給了一份數(shù)據(jù)文件你用相對路徑去讀但當(dāng)前工作目錄不對。這時(shí)用絕對路徑先跑通再回來理解相對路徑的規(guī)則。第三類是shape不匹配。ValueError: shapes (100,3) and (100,4) not aligned這類報(bào)錯(cuò)本質(zhì)是數(shù)據(jù)維度對不上。很多人看到這種英文報(bào)錯(cuò)就慌其實(shí)信息量很大——它明確告訴你是哪個(gè)維度的對不上。你需要做的就是打印出X_train.shape和y_train.shape親眼看看數(shù)據(jù)的形狀再倒回去找是哪一步改變了維度。還有一個(gè)我非常推薦的技巧遇到不懂的報(bào)錯(cuò)把完整的報(bào)錯(cuò)信息復(fù)制到搜索引擎里搜索注意只看Stack Overflow或GitHub issue里高贊的回答一般前三條就能解決問題。這不丟人是每個(gè)從業(yè)者每天都在做的事。4.3 用一個(gè)小項(xiàng)目把整門課串起來學(xué)完教程之后很多人最大的困惑是我學(xué)了很多算法但不知道它們分別該用在什么地方。這個(gè)時(shí)候必須用一個(gè)小項(xiàng)目把所有知識(shí)點(diǎn)串起來。我推薦新手做的第一個(gè)完整項(xiàng)目是泰坦尼克號生存預(yù)測——數(shù)據(jù)集公開、特征是混合類型有數(shù)值有類別、需要做缺失值處理、還要做特征工程一個(gè)項(xiàng)目能覆蓋數(shù)據(jù)加載、清洗、訓(xùn)練、評估全流程。項(xiàng)目不需要大關(guān)鍵在于完整。我給自己新人的標(biāo)準(zhǔn)是跑通一個(gè)從讀入CSV到輸出準(zhǔn)確率的完整流程中間能解釋清楚每一步在干什么。做完這個(gè)項(xiàng)目你對機(jī)器學(xué)習(xí)應(yīng)用流程的理解會(huì)比看十遍教程都要深。進(jìn)階一點(diǎn)可以做房價(jià)預(yù)測、手寫數(shù)字識(shí)別或者把熱搜詞里那句Python量化交易策略代碼作為方向——先不管策略多復(fù)雜把行情數(shù)據(jù)下載、構(gòu)造特征、訓(xùn)練一個(gè)簡單的漲跌預(yù)測模型、回測一下整套流程本身就是機(jī)器學(xué)習(xí)能力的綜合檢驗(yàn)。5. 教程之外入門者最容易走的三個(gè)彎路5.1 算法收藏得越多實(shí)際動(dòng)手越少有些人的學(xué)習(xí)方式是收集式的看到一個(gè)新的機(jī)器學(xué)習(xí)算法興奮地收藏、下載資料、存進(jìn)網(wǎng)盤然后就沒有然后了。我遇到過一個(gè)人跟我炫耀自己收藏了三百多本機(jī)器學(xué)習(xí)電子書、幾十套課程資源但問他邏輯回歸和線性回歸的區(qū)別他說不上來。收藏本身沒有錯(cuò)但收藏替代不了練習(xí)。機(jī)器學(xué)習(xí)是一個(gè)實(shí)踐性極強(qiáng)的領(lǐng)域哪怕是最簡單的K近鄰算法你親手用鳶尾花數(shù)據(jù)集跑一遍理解它怎么投票、怎么算距離也比收藏一百篇原理文章有用。我的建議是每學(xué)一個(gè)新算法至少跑通一個(gè)示例代碼并且能回答三個(gè)問題——它解決什么問題、它的核心思想是什么、它和上一個(gè)學(xué)的算法有什么不同。答不上來就當(dāng)沒學(xué)。5.2 忽視數(shù)據(jù)清洗拿臟數(shù)據(jù)直接訓(xùn)練還有一個(gè)容易被忽視的坑是數(shù)據(jù)清洗。教程里的數(shù)據(jù)集都是干凈的但你自己拿到的真實(shí)數(shù)據(jù)幾乎都是臟的有空值、有異常值、有重復(fù)行、有類型錯(cuò)亂。如果你跳過清洗直接丟給算法訓(xùn)練輕則模型效果差重則報(bào)錯(cuò)中斷。數(shù)據(jù)清洗在入門階段不需要學(xué)得很深但基本的三板斧要會(huì)用df.info()看有沒有缺失值、用df.describe()看數(shù)值列的分布是否異常、用df.duplicated().sum()看有沒有重復(fù)行。這三個(gè)方法我在實(shí)際項(xiàng)目里幾乎是每份數(shù)據(jù)都會(huì)先用一遍。養(yǎng)成拿到數(shù)據(jù)先體檢的習(xí)慣會(huì)幫你避免非常多的后期問題。5.3 盲目追深度學(xué)習(xí)框架最后一個(gè)彎路也是我特別想強(qiáng)調(diào)的入門階段真沒必要急著碰深度學(xué)習(xí)。現(xiàn)在外部環(huán)境把深度學(xué)習(xí)炒得很熱好像不學(xué)TensorFlow、PyTorch就落伍了。但基礎(chǔ)機(jī)器學(xué)習(xí)里的線性回歸、決策樹、隨機(jī)森林、SVM這些方法是理解一切更復(fù)雜模型的基石。你在學(xué)深度學(xué)習(xí)時(shí)會(huì)遇到的過擬合、正則化、訓(xùn)練集驗(yàn)證集劃分、特征標(biāo)準(zhǔn)化這些東西的直覺全是在基礎(chǔ)機(jī)器學(xué)習(xí)階段建立的。我自己帶新人的經(jīng)驗(yàn)是把scikit-learn里常用的十幾個(gè)模型接口用熟比囫圇吞棗地跑兩個(gè)深度學(xué)習(xí)Demo價(jià)值大得多。當(dāng)你能用隨機(jī)森林解決一個(gè)真實(shí)的小問題并且能解釋為什么它比邏輯回歸在這個(gè)問題上效果好那個(gè)時(shí)候再考慮往深度方向走會(huì)順暢很多?；氐介_頭那位讀者的問題。他問我為什么學(xué)完還是不會(huì)我回了一句話你缺的不是教程是拿著教程里的方法去解決一個(gè)教程里沒有的問題。這句話也送給每一個(gè)準(zhǔn)備打開那套《Python機(jī)器學(xué)習(xí)基礎(chǔ)教程》壓縮包的人。解壓教程只是第一步真正讓你入門的是你關(guān)掉視頻之后自己寫出來的那幾十行代碼。本文還有配套的精品資源點(diǎn)擊獲取