頁正文提取、清洗與格式轉換實戰(zhàn))
從小說App跳來跳去的那幾年我最大的痛點就是書架散在各處這個平臺有書城權限那個平臺有獨家番外等到想離線看的時候又被導出限制和格式兼容折磨到?jīng)]脾氣。后來我一怒之下自己寫了一套下載腳本——輸入單本書或批量書單抓公開頁面的正文內(nèi)容自動清洗廣告和雜質(zhì)再按需輸出TXT、EPUB、HTML表格甚至CSV書單方便在WPS表格里管理和標記進度。這套東西我管它叫“番茄小說下載器”其實是個非常樸素的自建工具。它的核心不是“破解”什么而是把網(wǎng)頁正文提取、清洗和格式轉換這幾個環(huán)節(jié)串起來省去復制粘貼的重復勞動。適用人群也很明確經(jīng)常讀網(wǎng)頁版小說的朋友、需要把書轉進閱讀器或手機里離線看的人、以及剛接觸Python想練手爬蟲和文本處理的新手。這篇文章我會把從設計思路到完整腳本、再到典型問題排查全部攤開講保證你看完能直接上手抄作業(yè)。1. 內(nèi)容整體設計與思路拆解1.1 下載器的核心定位與功能邊界先明確一件事它叫“下載器”但它不是那種號稱“全網(wǎng)破解無限下載”的灰色工具。我設計的這個腳本目標很單一——把已經(jīng)在瀏覽器里能正常閱讀的公開網(wǎng)頁正文提取下來轉成本地文件。也就是說網(wǎng)頁上能看到什么腳本抓的就是什么不繞過登錄、不破解付費、不碰加密資源。為什么要做這個定位因為一旦涉及繞過平臺規(guī)則就同時帶來版權風險和技術風險。版權風險不用多說市面上很多小說下載器隔三差五被刪庫、被維權甚至開發(fā)者本人背上官司技術風險更實際平臺的反爬措施會不斷升級你依賴的那些“破解接口”一旦失效整個工具就廢了。而我這個思路只處理公開頁面穩(wěn)定性反而更高因為普通正文頁面的結構變動遠沒有接口那么頻繁。從功能上看我把工具拆成了三層獲取層負責訪問網(wǎng)頁并拿到章節(jié)列表和正文內(nèi)容清洗層負責把頁面里的廣告、推薦語、腳本標簽等噪音過濾掉輸出層負責按照TXT、EPUB、HTML、CSV等格式完成轉換。三層的設計邏輯是獨立的哪一層出問題就單獨修哪一層不會牽一發(fā)動全身。1.2 為什么不用現(xiàn)成下載器而要自建很多人會問網(wǎng)上不是有一堆現(xiàn)成的“小說下載器”嗎直接下載一個不就行了我的回答是看情況但更建議自己掌握原理。第一是安全問題。現(xiàn)成下載器質(zhì)量參差不齊不少來路不明的綠色版、破解版里面塞了廣告插件或者挖礦腳本。你把一個不知名程序雙擊運行等于把自己的電腦和賬號權限交出去。我見過有朋友為了下載一本小說安裝之后瀏覽器首頁被篡改靜默裝了三個全家桶最后只能重裝系統(tǒng)。第二是兼容性。平臺網(wǎng)頁結構每隔幾個月就改版一次現(xiàn)成工具更新跟不上你下載到的往往就是一片“404”或者空白章節(jié)。而自建腳本里當你發(fā)現(xiàn)抓不到內(nèi)容改一個CSS選擇器就能修好完全不需要等作者更新。第三是格式控制的靈活度。我希望最終的TXT是“書名/作者/正文”的干凈結構希望生成的HTML能直接導入WPS表格做閱讀記錄希望EPUB在手機閱讀器里目錄不亂——這些定制需求市面上的工具很少能滿足。自建工具可以把轉換規(guī)則完全攥在自己手里。1.3 技術方案選型Python三件套足夠整套腳本我只用了Python標準庫加三個第三方庫Requests做HTTP請求BeautifulSoup4做HTML解析EbookLib負責生成EPUB。如果只先跑通文本和HTML標準庫里的urllib和html.parser也夠用但沒必要折磨自己這三個庫都是久經(jīng)考驗的成熟方案。有人覺得爬蟲一定要上Scrapy、Playwright這些重型框架其實對于“抓網(wǎng)頁正文”這種需求殺雞不用牛刀。Scrapy適合大規(guī)模分布式抓取但我們要的是小工具不是爬蟲平臺Playwright適合處理動態(tài)渲染頁面但大部分小說正文頁是服務端渲染的直接Requests就能拿到完整HTML。除非遇到極少數(shù)用JavaScript異步加載正文的站點再針對性地處理也不遲。選擇這套技術棧還有一個原因它好解釋、好調(diào)試。Requests掛代理、BeautifulSoup選節(jié)點每一步都能打印出來看中間結果對新手來說學習曲線非常平滑。我下面給的腳本就是按這個思路來你先在命令行跑通再根據(jù)自己的需求改規(guī)則。2. 核心細節(jié)解析與實操要點2.1 書籍頁到章節(jié)列表的抓取邏輯下載一本小說通常分兩步先拿到整本書的章節(jié)列表再逐個章節(jié)抓正文。第一步的難點在于不同網(wǎng)站的章節(jié)列表頁結構差異很大。有的是在書籍頁直接輸出所有章節(jié)鏈接的靜態(tài)列表這種最好處理有的則是點擊“展開全部章節(jié)”之后才加載這中間可能涉及一個異步接口還有的會做分頁每頁顯示20個章節(jié)需要翻頁后再拼接。實操里的通用策略是先打印頁面HTML看看結構。用Requests拿到HTML之后一次性打印前5000個字符用肉眼判斷章節(jié)鏈接是直接寫在HTML里還是需要額外請求接口。如果是靜態(tài)列表那么用BeautifulSoup查找所有a標簽再按href屬性中包含章節(jié)關鍵詞比如“chapter”、“c1”、“detail”等來過濾即可。拿到章節(jié)鏈接之后一定要做URL拼接?，F(xiàn)在很多頁面的href是相對路徑比如/book/123/456.html直接拿它去請求會報錯。正確的做法是用urllib.parse.urljoin讓基礎URL和相對路徑自動拼接成完整鏈接。這個細節(jié)看著小但實際運行中一半的“抓不到章節(jié)”問題都出在這里。2.2 獲取正文與內(nèi)容清洗的細節(jié)正文頁面比列表頁簡單但也有很多坑。我建議直接用CSS選擇器定位正文容器比如查找div標簽里面id或class包含content、article、chapter-content的那些節(jié)點。找到之后只用.get_text()提取文本就行HTML標簽會被自動剝離。清洗是決定下載體驗的關鍵環(huán)節(jié)也是最值得花心思的部分。頁面正文里往往混著這些噪音章節(jié)標題、本站推薦語、作者有話說、廣告錨文本、上一章下一章的導航文字。清洗規(guī)則我按優(yōu)先級排序先把script、style、ins這類標簽直接移除再用正則去掉形如“手機閱讀請訪問xxx”和“最新網(wǎng)址xxx”的一整行之后把連續(xù)兩個及以上的換行符壓縮成一個把全角空格、nbsp;統(tǒng)一替換成空字符串最后對每一行做一次長度判斷少于10個字且不含句號的孤立行直接丟棄。清洗規(guī)則不要一次寫得太狠否則容易誤刪正文段落。我的經(jīng)驗是寧少刪勿多刪先跑一章看看效果再一條一條加過濾規(guī)則。每次規(guī)則改動之后最好對著同一章正文跑一次diff確認沒有把有效內(nèi)容刪掉。2.3 輸出格式轉換的基本思路格式轉換這塊看起來花樣多本質(zhì)都是“把清洗后的結構化文本重新包裝”。TXT最簡單把章節(jié)標題和正文段落按順序寫入一個文本文件中間用空行隔開再加個UTF-8編碼聲明就好。需要注意Windows記事本對UTF-8的BOM識別問題如果直接在記事本打開看到中文亂碼就改成UTF-8 with BOM編碼。HTML轉換這里要多說一句因為很多人不知道“HTML格式轉換WPS表格”是什么需求。其實就是把下載記錄或書單生成成一個結構化的HTML表格里面包含書名、作者、最新章節(jié)、下載時間、閱讀進度這些字段然后用WPS表格直接打開這個HTML文件表格數(shù)據(jù)就會被自動識別成行列結構方便篩選和排序。我實際使用中這個場景非常高頻。EPUB轉換稍微復雜一點它本質(zhì)上是一個ZIP壓縮包里面有mimetype、META-INF/container.xml、OEBPS/content.opf、OEBPS/toc.ncx這幾個核心文件外加若干HTML章節(jié)文件。用EbookLib庫可以省掉手寫XML的麻煩你只需要添加章節(jié)、添加元數(shù)據(jù)最后調(diào)用epub.write()就能生成。如果你還需要MOBI或AZW3建議轉換完EPUB之后用Calibre的命令行工具做二次轉換因為MOBI的編碼和元數(shù)據(jù)處理比較特殊純Python做容易生成畸形文件。這個組合方案在電子書愛好者的圈子里非常成熟。3. 實操過程與核心環(huán)節(jié)實現(xiàn)3.1 環(huán)境準備在命令行里依次執(zhí)行以下操作python -m venv novel_env source novel_env/bin/activate # Windows 下執(zhí)行 novel_env\Scripts\activate pip install requests beautifulsoup4 ebooklib lxml這里創(chuàng)建虛擬環(huán)境是為了防止依賴沖突強烈不建議直接往全局Python環(huán)境里裝。如果你平時用Anaconda也可以直接用conda create -n novel python3.9創(chuàng)建獨立環(huán)境。安裝完成之后建議先寫一個最小請求測試確認網(wǎng)絡沒問題import requests url https://example.com/book/12345/ headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://example.com/ } resp requests.get(url, headersheaders, timeout10) print(resp.status_code) print(resp.encoding) print(resp.text[:200])這里設置timeout的作用是防止某個章節(jié)請求卡死導致整個腳本掛起。請求頭里的Referer要填網(wǎng)站的首頁或者書籍頁很多輕量級反爬會校驗這個字段缺了它可能返回403。3.2 下載核心腳本目錄、正文、保存下面這個腳本是我實際在用的精簡版覆蓋了“獲取章節(jié)列表-抓取正文-保存TXT”的完整流程import re import time import requests from bs4 import BeautifulSoup from urllib.parse import urljoin BASE_URL https://example.com/book/12345/ HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://example.com/, } def get_chapter_list(url): resp requests.get(url, headersHEADERS, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, lxml) chapters [] for a in soup.select(a[href*chapter]): title a.get_text(stripTrue) if not title: continue link urljoin(url, a[href]) chapters.append((title, link)) seen set() unique_chapters [] for item in chapters: if item[1] not in seen: seen.add(item[1]) unique_chapters.append(item) return unique_chapters def clean_content(html): soup BeautifulSoup(html, lxml) for tag in soup.find_all([script, style, ins]): tag.decompose() content_div soup.find(div, class_re.compile(rcontent|article, re.I)) if not content_div: text soup.get_text() else: text content_div.get_text(\n) lines [re.sub(r\s, , line).strip() for line in text.split(\n)] lines [line for line in lines if len(line) 2] return \n.join(lines) def download_book(chapter_list, save_path): with open(save_path, w, encodingutf-8) as f: for idx, (title, link) in enumerate(chapter_list, 1): resp requests.get(link, headersHEADERS, timeout10) resp.encoding utf-8 body clean_content(resp.text) f.write(f\n\n{title}\n\n) f.write(body) print(f[{idx}/{len(chapter_list)}] 下載完成: {title}) time.sleep(1) if __name__ __main__: chapters get_chapter_list(BASE_URL) print(f共找到 {len(chapters)} 章) download_book(chapters, output.txt)為什么clean_content里用正則re.compile(rcontent|article, re.I)來匹配class名因為不同網(wǎng)站的正文容器class命名五花八門有chapter-content、article-content、rich_media_content等等用正則包含匹配比寫死某一個類名更實用。這里用了re.I忽略大小寫算是個很老練的經(jīng)驗點。time.sleep(1)的作用是控制請求頻率。你不想因為兩秒鐘請求十幾張頁面把網(wǎng)站服務器搞得有壓力更不想被限流。如果書很長建議把這個間隔提到2到3秒雖然慢一點但穩(wěn)定。3.3 轉換腳本一鍵輸出HTML表格適配WPS下載完之后要做一個書單管理功能把下載記錄輸出成HTML表格方便WPS表格直接打開。我這里寫了一個獨立的轉換函數(shù)import html import csv from datetime import datetime def generate_html_report(records, output_path): rows [] for rec in records: rows.append( tr ftd{html.escape(rec[title])}/td ftd{html.escape(rec[author])}/td ftd{rec[chapters]}/td ftd{html.escape(rec[status])}/td ftd{rec[time]}/td /tr ) html_content f!DOCTYPE html html headmeta charsetutf-8title我的小說書單/title/head body h2書單記錄/h2 table border1 cellspacing0 cellpadding6 trth書名/thth作者/thth章節(jié)數(shù)/thth狀態(tài)/thth下載時間/th/tr {.join(rows)} /table /body /html with open(output_path, w, encodingutf-8) as f: f.write(html_content)用WPS打開這個HTML文件時它會自動識別table結構并轉換成可編輯的單元格。這里有個細節(jié)meta charsetutf-8必須寫在head最前面否則WPS可能按GBK去解析中文全部變成亂碼。cellspacing和cellpadding參數(shù)是給表格加邊框和留白讓視覺效果更清爽。如果你更希望直接生成CSV文件可以用Python標準庫的csv模塊。需要注意newline這個參數(shù)Windows下如果漏了它每一行后面會多一個空行導入WPS后會看到行間距很夸張def generate_csv(records, output_path): with open(output_path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[書名, 作者, 章節(jié)數(shù), 狀態(tài), 下載時間]) writer.writeheader() for rec in records: writer.writerow(rec)這里用utf-8-sig編碼就是為了Excel和WPS能直接識別UTF-8中文原理是文件開頭加了BOM標識。3.4 批量化用書單CSV批量下載一次只下三五本書還可以手動運行腳本但如果你想整理一個五十本的書架就要用書單來驅動。思路是先維護一個CSV文件里面有四列書名、書籍URL、目標格式、保存路徑。腳本循環(huán)讀取每一行逐本調(diào)用下載和轉換邏輯。import csv import os BOOK_LIST_CSV books.csv def download_from_csv(csv_path): with open(csv_path, r, encodingutf-8-sig) as f: rows csv.DictReader(f) for row in rows: title row[書名] url row[書籍URL] fmt row[目標格式] save_path fdownloads/{title}.{fmt} print(f開始下載: {title}) chapters get_chapter_list(url) if fmt in (txt, html): merge_to_txt_or_html(chapters, save_path, fmt) elif fmt epub: merge_to_epub(chapters, save_path) time.sleep(2)批量場景下最怕一個章節(jié)請求失敗直接中斷整個任務。我的做法是給每個章節(jié)的請求包一層try/except失敗時把書名和URL寫到error.log里最后統(tǒng)一處理。腳本跑完幾十本書真正需要人工介入的可能就一兩章重試一下就好。這里也順帶提一個時間成本計算。一本300章的小說每章請求加寫文件大約1.5秒加上sleep 1秒總耗時約750秒也就是12分鐘左右。如果你想讓一個“一鍵獲取”流程更快可以把sleep降到0.3秒并開啟并發(fā)但并發(fā)會顯著增加被封風險個人工具不建議。4. 常見問題與排查技巧實錄4.1 提示“獲取章節(jié)失敗”或列表為空這是最常見的問題九成原因是選擇器沒匹配到。網(wǎng)站改版之后class名可能從chapter變成了catalog-item你原來的過濾條件就失效了。排查方法打印一次頁面HTML搜索“目錄”或“章”這些中文關鍵詞定位到真實的章節(jié)列表容器再重新調(diào)整a[href*...]里的關鍵詞。還有一個隱蔽原因頁面啟用了Cloudflare一類的人機驗證Requests拿到的HTML里會包含cf-challenge字樣這種情況說明站點有比較強的反爬攔截個人設備訪問同樣會觸發(fā)不建議強行繞過換個源或者手動復制正文更穩(wěn)妥。4.2 正文內(nèi)容為空只抓到“加載中”正規(guī)站點很少出現(xiàn)這種情況但如果你適配的是SPA單頁應用正文是JavaScript動態(tài)渲染的直接Requests就拿到一個空殼容器。判斷方法是看響應文本里有沒有類似window.__INITIAL_STATE__的變量如果有說明正文數(shù)據(jù)以JSON形式嵌在HTML里可以解析這個變量而不必啟動瀏覽器。如果想快速解決而不是復雜化代碼我這里有個曲線方案找到該站點提供的移動端頁面地址很多SPA站點會為移動端保留服務端渲染版本URL規(guī)則通常是加/wap/或m.前綴。實際測試下來這招解決了很多動態(tài)加載導致的空白問題。4.3 生成的HTML用WPS表格打開后表格錯亂發(fā)生錯亂幾乎都是標簽閉合問題。比如某個字段值里包含未轉義的或WPS在解析時把它當成了新標簽的開始后面的列全部錯位。解決方法是寫HTML時強制對字段內(nèi)容做html.escape()把換成lt;把換成amp;。另外表格的th數(shù)量必須和每行td數(shù)量嚴格一致WPS對不齊的行會自動補空單元格看起來就像“錯位”。如果你用我上面的generate_html_report函數(shù)它已經(jīng)處理了轉義直接踩坑概率會小很多。4.4 生成的EPUB在手機上目錄亂掉EPUB亂目錄主要是章節(jié)標題層級沒有規(guī)范寫入閱讀器無法自動提取目錄。如果你用EbookLib記得給每一章設置chapter.title并且不要忘了在toc參數(shù)里傳入這些標題。別嫌麻煩少了這一步手機上的閱讀器只能把整本書當成一個超長文檔翻頁體驗非常差。另外封面圖如果不要就干脆不加加一個損壞的封面反而會讓Apple Books這類嚴格校驗的閱讀器拒絕打開整本書。圖片推薦用JPG或PNG尺寸控制在600x800以上但不至于超過2MB。4.5 網(wǎng)上熱詞的“鼠鼠格式轉換”與安全提醒最近在有些社群里會看到“鼠鼠格式轉換”這種說法聽著像某款工具其實更多是網(wǎng)友對“抓取轉換”這類腳本的調(diào)侃稱呼。我不去深究這個詞的具體出處但想借它提醒一下越是流傳在小圈子里、來路不明的“格式轉換器”越要警惕。你很難知道它除了轉換格式還做了什么也許是上傳你的文件也許是捆綁下載廣告。我的原則是能用自己寫的腳本完成的工作絕不隨便運行網(wǎng)上下載的exe。如果你有不得不使用的第三方轉換器建議放到虛擬機或者沙箱環(huán)境里先跑一次觀察它是否有可疑的網(wǎng)絡請求和文件寫入行為。4.6 常見問題速查表問題現(xiàn)象排查優(yōu)先級常用解法章節(jié)列表為空1. 頁面結構是否改版 2. 選擇器是否匹配 3. 是否觸發(fā)人機驗證打印HTML分析調(diào)整CSS選擇器改用移動端URL請求返回4031. User-Agent是否缺失 2. Referer是否正確 3. 請求頻率是否過快補全請求頭降低頻率增加隨機延時中文亂碼1. 頁面編碼判斷 2. 寫入編碼是否統(tǒng)一resp.encoding按頁面meta設置寫入統(tǒng)一UTF-8TXT在手機閱讀器里沒封面閱讀器不支持TXT封面轉換EPUB時添加元數(shù)據(jù)和封面HTML導入WPS列錯位1. 字段是否有未轉義字符 2. td數(shù)量是否一致對輸出字段做html.escape對齊表頭和單元格我在實際寫腳本的過程中最大的體會是不要一開始就想著做“全網(wǎng)通用”的下載器那幾乎是維護無底洞。先把一個你?？吹恼军c適配好跑通全流程再考慮抽象出可復用的函數(shù)。等到哪天網(wǎng)站改版了你改改選擇器幾秒鐘就能恢復這種掌控感才是自己動手的最大回報。最后再分享一個小技巧如果你只是想快速把網(wǎng)頁正文保存成PDF或Word不必單獨寫腳本直接用瀏覽器自帶的“打印為PDF”再把PDF轉成Word也行。但如果要處理幾十本、上百本或者要在不同閱讀器里保持統(tǒng)一的排版那套Python腳本方案絕對值得你花一晚上時間搭建起來。工具是死的思路是活的你完全可以在我的代碼基礎上改成適合自己習慣的工作流。 用Python自建小說下載器：網(wǎng)頁正文提取、清洗與格式轉換實戰(zhàn)
從小說App跳來跳去的那幾年我最大的痛點就是書架散在各處這個平臺有書城權限那個平臺有獨家番外等到想離線看的時候又被導出限制和格式兼容折磨到?jīng)]脾氣。后來我一怒之下自己寫了一套下載腳本——輸入單本書或批量書單抓公開頁面的正文內(nèi)容自動清洗廣告和雜質(zhì)再按需輸出TXT、EPUB、HTML表格甚至CSV書單方便在WPS表格里管理和標記進度。這套東西我管它叫“番茄小說下載器”其實是個非常樸素的自建工具。它的核心不是“破解”什么而是把網(wǎng)頁正文提取、清洗和格式轉換這幾個環(huán)節(jié)串起來省去復制粘貼的重復勞動。適用人群也很明確經(jīng)常讀網(wǎng)頁版小說的朋友、需要把書轉進閱讀器或手機里離線看的人、以及剛接觸Python想練手爬蟲和文本處理的新手。這篇文章我會把從設計思路到完整腳本、再到典型問題排查全部攤開講保證你看完能直接上手抄作業(yè)。1. 內(nèi)容整體設計與思路拆解1.1 下載器的核心定位與功能邊界先明確一件事它叫“下載器”但它不是那種號稱“全網(wǎng)破解無限下載”的灰色工具。我設計的這個腳本目標很單一——把已經(jīng)在瀏覽器里能正常閱讀的公開網(wǎng)頁正文提取下來轉成本地文件。也就是說網(wǎng)頁上能看到什么腳本抓的就是什么不繞過登錄、不破解付費、不碰加密資源。為什么要做這個定位因為一旦涉及繞過平臺規(guī)則就同時帶來版權風險和技術風險。版權風險不用多說市面上很多小說下載器隔三差五被刪庫、被維權甚至開發(fā)者本人背上官司技術風險更實際平臺的反爬措施會不斷升級你依賴的那些“破解接口”一旦失效整個工具就廢了。而我這個思路只處理公開頁面穩(wěn)定性反而更高因為普通正文頁面的結構變動遠沒有接口那么頻繁。從功能上看我把工具拆成了三層獲取層負責訪問網(wǎng)頁并拿到章節(jié)列表和正文內(nèi)容清洗層負責把頁面里的廣告、推薦語、腳本標簽等噪音過濾掉輸出層負責按照TXT、EPUB、HTML、CSV等格式完成轉換。三層的設計邏輯是獨立的哪一層出問題就單獨修哪一層不會牽一發(fā)動全身。1.2 為什么不用現(xiàn)成下載器而要自建很多人會問網(wǎng)上不是有一堆現(xiàn)成的“小說下載器”嗎直接下載一個不就行了我的回答是看情況但更建議自己掌握原理。第一是安全問題。現(xiàn)成下載器質(zhì)量參差不齊不少來路不明的綠色版、破解版里面塞了廣告插件或者挖礦腳本。你把一個不知名程序雙擊運行等于把自己的電腦和賬號權限交出去。我見過有朋友為了下載一本小說安裝之后瀏覽器首頁被篡改靜默裝了三個全家桶最后只能重裝系統(tǒng)。第二是兼容性。平臺網(wǎng)頁結構每隔幾個月就改版一次現(xiàn)成工具更新跟不上你下載到的往往就是一片“404”或者空白章節(jié)。而自建腳本里當你發(fā)現(xiàn)抓不到內(nèi)容改一個CSS選擇器就能修好完全不需要等作者更新。第三是格式控制的靈活度。我希望最終的TXT是“書名/作者/正文”的干凈結構希望生成的HTML能直接導入WPS表格做閱讀記錄希望EPUB在手機閱讀器里目錄不亂——這些定制需求市面上的工具很少能滿足。自建工具可以把轉換規(guī)則完全攥在自己手里。1.3 技術方案選型Python三件套足夠整套腳本我只用了Python標準庫加三個第三方庫Requests做HTTP請求BeautifulSoup4做HTML解析EbookLib負責生成EPUB。如果只先跑通文本和HTML標準庫里的urllib和html.parser也夠用但沒必要折磨自己這三個庫都是久經(jīng)考驗的成熟方案。有人覺得爬蟲一定要上Scrapy、Playwright這些重型框架其實對于“抓網(wǎng)頁正文”這種需求殺雞不用牛刀。Scrapy適合大規(guī)模分布式抓取但我們要的是小工具不是爬蟲平臺Playwright適合處理動態(tài)渲染頁面但大部分小說正文頁是服務端渲染的直接Requests就能拿到完整HTML。除非遇到極少數(shù)用JavaScript異步加載正文的站點再針對性地處理也不遲。選擇這套技術棧還有一個原因它好解釋、好調(diào)試。Requests掛代理、BeautifulSoup選節(jié)點每一步都能打印出來看中間結果對新手來說學習曲線非常平滑。我下面給的腳本就是按這個思路來你先在命令行跑通再根據(jù)自己的需求改規(guī)則。2. 核心細節(jié)解析與實操要點2.1 書籍頁到章節(jié)列表的抓取邏輯下載一本小說通常分兩步先拿到整本書的章節(jié)列表再逐個章節(jié)抓正文。第一步的難點在于不同網(wǎng)站的章節(jié)列表頁結構差異很大。有的是在書籍頁直接輸出所有章節(jié)鏈接的靜態(tài)列表這種最好處理有的則是點擊“展開全部章節(jié)”之后才加載這中間可能涉及一個異步接口還有的會做分頁每頁顯示20個章節(jié)需要翻頁后再拼接。實操里的通用策略是先打印頁面HTML看看結構。用Requests拿到HTML之后一次性打印前5000個字符用肉眼判斷章節(jié)鏈接是直接寫在HTML里還是需要額外請求接口。如果是靜態(tài)列表那么用BeautifulSoup查找所有a標簽再按href屬性中包含章節(jié)關鍵詞比如“chapter”、“c1”、“detail”等來過濾即可。拿到章節(jié)鏈接之后一定要做URL拼接?，F(xiàn)在很多頁面的href是相對路徑比如/book/123/456.html直接拿它去請求會報錯。正確的做法是用urllib.parse.urljoin讓基礎URL和相對路徑自動拼接成完整鏈接。這個細節(jié)看著小但實際運行中一半的“抓不到章節(jié)”問題都出在這里。2.2 獲取正文與內(nèi)容清洗的細節(jié)正文頁面比列表頁簡單但也有很多坑。我建議直接用CSS選擇器定位正文容器比如查找div標簽里面id或class包含content、article、chapter-content的那些節(jié)點。找到之后只用.get_text()提取文本就行HTML標簽會被自動剝離。清洗是決定下載體驗的關鍵環(huán)節(jié)也是最值得花心思的部分。頁面正文里往往混著這些噪音章節(jié)標題、本站推薦語、作者有話說、廣告錨文本、上一章下一章的導航文字。清洗規(guī)則我按優(yōu)先級排序先把script、style、ins這類標簽直接移除再用正則去掉形如“手機閱讀請訪問xxx”和“最新網(wǎng)址xxx”的一整行之后把連續(xù)兩個及以上的換行符壓縮成一個把全角空格、nbsp;統(tǒng)一替換成空字符串最后對每一行做一次長度判斷少于10個字且不含句號的孤立行直接丟棄。清洗規(guī)則不要一次寫得太狠否則容易誤刪正文段落。我的經(jīng)驗是寧少刪勿多刪先跑一章看看效果再一條一條加過濾規(guī)則。每次規(guī)則改動之后最好對著同一章正文跑一次diff確認沒有把有效內(nèi)容刪掉。2.3 輸出格式轉換的基本思路格式轉換這塊看起來花樣多本質(zhì)都是“把清洗后的結構化文本重新包裝”。TXT最簡單把章節(jié)標題和正文段落按順序寫入一個文本文件中間用空行隔開再加個UTF-8編碼聲明就好。需要注意Windows記事本對UTF-8的BOM識別問題如果直接在記事本打開看到中文亂碼就改成UTF-8 with BOM編碼。HTML轉換這里要多說一句因為很多人不知道“HTML格式轉換WPS表格”是什么需求。其實就是把下載記錄或書單生成成一個結構化的HTML表格里面包含書名、作者、最新章節(jié)、下載時間、閱讀進度這些字段然后用WPS表格直接打開這個HTML文件表格數(shù)據(jù)就會被自動識別成行列結構方便篩選和排序。我實際使用中這個場景非常高頻。EPUB轉換稍微復雜一點它本質(zhì)上是一個ZIP壓縮包里面有mimetype、META-INF/container.xml、OEBPS/content.opf、OEBPS/toc.ncx這幾個核心文件外加若干HTML章節(jié)文件。用EbookLib庫可以省掉手寫XML的麻煩你只需要添加章節(jié)、添加元數(shù)據(jù)最后調(diào)用epub.write()就能生成。如果你還需要MOBI或AZW3建議轉換完EPUB之后用Calibre的命令行工具做二次轉換因為MOBI的編碼和元數(shù)據(jù)處理比較特殊純Python做容易生成畸形文件。這個組合方案在電子書愛好者的圈子里非常成熟。3. 實操過程與核心環(huán)節(jié)實現(xiàn)3.1 環(huán)境準備在命令行里依次執(zhí)行以下操作python -m venv novel_env source novel_env/bin/activate # Windows 下執(zhí)行 novel_env\Scripts\activate pip install requests beautifulsoup4 ebooklib lxml這里創(chuàng)建虛擬環(huán)境是為了防止依賴沖突強烈不建議直接往全局Python環(huán)境里裝。如果你平時用Anaconda也可以直接用conda create -n novel python3.9創(chuàng)建獨立環(huán)境。安裝完成之后建議先寫一個最小請求測試確認網(wǎng)絡沒問題import requests url https://example.com/book/12345/ headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://example.com/ } resp requests.get(url, headersheaders, timeout10) print(resp.status_code) print(resp.encoding) print(resp.text[:200])這里設置timeout的作用是防止某個章節(jié)請求卡死導致整個腳本掛起。請求頭里的Referer要填網(wǎng)站的首頁或者書籍頁很多輕量級反爬會校驗這個字段缺了它可能返回403。3.2 下載核心腳本目錄、正文、保存下面這個腳本是我實際在用的精簡版覆蓋了“獲取章節(jié)列表-抓取正文-保存TXT”的完整流程import re import time import requests from bs4 import BeautifulSoup from urllib.parse import urljoin BASE_URL https://example.com/book/12345/ HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://example.com/, } def get_chapter_list(url): resp requests.get(url, headersHEADERS, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, lxml) chapters [] for a in soup.select(a[href*chapter]): title a.get_text(stripTrue) if not title: continue link urljoin(url, a[href]) chapters.append((title, link)) seen set() unique_chapters [] for item in chapters: if item[1] not in seen: seen.add(item[1]) unique_chapters.append(item) return unique_chapters def clean_content(html): soup BeautifulSoup(html, lxml) for tag in soup.find_all([script, style, ins]): tag.decompose() content_div soup.find(div, class_re.compile(rcontent|article, re.I)) if not content_div: text soup.get_text() else: text content_div.get_text(\n) lines [re.sub(r\s, , line).strip() for line in text.split(\n)] lines [line for line in lines if len(line) 2] return \n.join(lines) def download_book(chapter_list, save_path): with open(save_path, w, encodingutf-8) as f: for idx, (title, link) in enumerate(chapter_list, 1): resp requests.get(link, headersHEADERS, timeout10) resp.encoding utf-8 body clean_content(resp.text) f.write(f\n\n{title}\n\n) f.write(body) print(f[{idx}/{len(chapter_list)}] 下載完成: {title}) time.sleep(1) if __name__ __main__: chapters get_chapter_list(BASE_URL) print(f共找到 {len(chapters)} 章) download_book(chapters, output.txt)為什么clean_content里用正則re.compile(rcontent|article, re.I)來匹配class名因為不同網(wǎng)站的正文容器class命名五花八門有chapter-content、article-content、rich_media_content等等用正則包含匹配比寫死某一個類名更實用。這里用了re.I忽略大小寫算是個很老練的經(jīng)驗點。time.sleep(1)的作用是控制請求頻率。你不想因為兩秒鐘請求十幾張頁面把網(wǎng)站服務器搞得有壓力更不想被限流。如果書很長建議把這個間隔提到2到3秒雖然慢一點但穩(wěn)定。3.3 轉換腳本一鍵輸出HTML表格適配WPS下載完之后要做一個書單管理功能把下載記錄輸出成HTML表格方便WPS表格直接打開。我這里寫了一個獨立的轉換函數(shù)import html import csv from datetime import datetime def generate_html_report(records, output_path): rows [] for rec in records: rows.append( tr ftd{html.escape(rec[title])}/td ftd{html.escape(rec[author])}/td ftd{rec[chapters]}/td ftd{html.escape(rec[status])}/td ftd{rec[time]}/td /tr ) html_content f!DOCTYPE html html headmeta charsetutf-8title我的小說書單/title/head body h2書單記錄/h2 table border1 cellspacing0 cellpadding6 trth書名/thth作者/thth章節(jié)數(shù)/thth狀態(tài)/thth下載時間/th/tr {.join(rows)} /table /body /html with open(output_path, w, encodingutf-8) as f: f.write(html_content)用WPS打開這個HTML文件時它會自動識別table結構并轉換成可編輯的單元格。這里有個細節(jié)meta charsetutf-8必須寫在head最前面否則WPS可能按GBK去解析中文全部變成亂碼。cellspacing和cellpadding參數(shù)是給表格加邊框和留白讓視覺效果更清爽。如果你更希望直接生成CSV文件可以用Python標準庫的csv模塊。需要注意newline這個參數(shù)Windows下如果漏了它每一行后面會多一個空行導入WPS后會看到行間距很夸張def generate_csv(records, output_path): with open(output_path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[書名, 作者, 章節(jié)數(shù), 狀態(tài), 下載時間]) writer.writeheader() for rec in records: writer.writerow(rec)這里用utf-8-sig編碼就是為了Excel和WPS能直接識別UTF-8中文原理是文件開頭加了BOM標識。3.4 批量化用書單CSV批量下載一次只下三五本書還可以手動運行腳本但如果你想整理一個五十本的書架就要用書單來驅動。思路是先維護一個CSV文件里面有四列書名、書籍URL、目標格式、保存路徑。腳本循環(huán)讀取每一行逐本調(diào)用下載和轉換邏輯。import csv import os BOOK_LIST_CSV books.csv def download_from_csv(csv_path): with open(csv_path, r, encodingutf-8-sig) as f: rows csv.DictReader(f) for row in rows: title row[書名] url row[書籍URL] fmt row[目標格式] save_path fdownloads/{title}.{fmt} print(f開始下載: {title}) chapters get_chapter_list(url) if fmt in (txt, html): merge_to_txt_or_html(chapters, save_path, fmt) elif fmt epub: merge_to_epub(chapters, save_path) time.sleep(2)批量場景下最怕一個章節(jié)請求失敗直接中斷整個任務。我的做法是給每個章節(jié)的請求包一層try/except失敗時把書名和URL寫到error.log里最后統(tǒng)一處理。腳本跑完幾十本書真正需要人工介入的可能就一兩章重試一下就好。這里也順帶提一個時間成本計算。一本300章的小說每章請求加寫文件大約1.5秒加上sleep 1秒總耗時約750秒也就是12分鐘左右。如果你想讓一個“一鍵獲取”流程更快可以把sleep降到0.3秒并開啟并發(fā)但并發(fā)會顯著增加被封風險個人工具不建議。4. 常見問題與排查技巧實錄4.1 提示“獲取章節(jié)失敗”或列表為空這是最常見的問題九成原因是選擇器沒匹配到。網(wǎng)站改版之后class名可能從chapter變成了catalog-item你原來的過濾條件就失效了。排查方法打印一次頁面HTML搜索“目錄”或“章”這些中文關鍵詞定位到真實的章節(jié)列表容器再重新調(diào)整a[href*...]里的關鍵詞。還有一個隱蔽原因頁面啟用了Cloudflare一類的人機驗證Requests拿到的HTML里會包含cf-challenge字樣這種情況說明站點有比較強的反爬攔截個人設備訪問同樣會觸發(fā)不建議強行繞過換個源或者手動復制正文更穩(wěn)妥。4.2 正文內(nèi)容為空只抓到“加載中”正規(guī)站點很少出現(xiàn)這種情況但如果你適配的是SPA單頁應用正文是JavaScript動態(tài)渲染的直接Requests就拿到一個空殼容器。判斷方法是看響應文本里有沒有類似window.__INITIAL_STATE__的變量如果有說明正文數(shù)據(jù)以JSON形式嵌在HTML里可以解析這個變量而不必啟動瀏覽器。如果想快速解決而不是復雜化代碼我這里有個曲線方案找到該站點提供的移動端頁面地址很多SPA站點會為移動端保留服務端渲染版本URL規(guī)則通常是加/wap/或m.前綴。實際測試下來這招解決了很多動態(tài)加載導致的空白問題。4.3 生成的HTML用WPS表格打開后表格錯亂發(fā)生錯亂幾乎都是標簽閉合問題。比如某個字段值里包含未轉義的或WPS在解析時把它當成了新標簽的開始后面的列全部錯位。解決方法是寫HTML時強制對字段內(nèi)容做html.escape()把換成lt;把換成amp;。另外表格的th數(shù)量必須和每行td數(shù)量嚴格一致WPS對不齊的行會自動補空單元格看起來就像“錯位”。如果你用我上面的generate_html_report函數(shù)它已經(jīng)處理了轉義直接踩坑概率會小很多。4.4 生成的EPUB在手機上目錄亂掉EPUB亂目錄主要是章節(jié)標題層級沒有規(guī)范寫入閱讀器無法自動提取目錄。如果你用EbookLib記得給每一章設置chapter.title并且不要忘了在toc參數(shù)里傳入這些標題。別嫌麻煩少了這一步手機上的閱讀器只能把整本書當成一個超長文檔翻頁體驗非常差。另外封面圖如果不要就干脆不加加一個損壞的封面反而會讓Apple Books這類嚴格校驗的閱讀器拒絕打開整本書。圖片推薦用JPG或PNG尺寸控制在600x800以上但不至于超過2MB。4.5 網(wǎng)上熱詞的“鼠鼠格式轉換”與安全提醒最近在有些社群里會看到“鼠鼠格式轉換”這種說法聽著像某款工具其實更多是網(wǎng)友對“抓取轉換”這類腳本的調(diào)侃稱呼。我不去深究這個詞的具體出處但想借它提醒一下越是流傳在小圈子里、來路不明的“格式轉換器”越要警惕。你很難知道它除了轉換格式還做了什么也許是上傳你的文件也許是捆綁下載廣告。我的原則是能用自己寫的腳本完成的工作絕不隨便運行網(wǎng)上下載的exe。如果你有不得不使用的第三方轉換器建議放到虛擬機或者沙箱環(huán)境里先跑一次觀察它是否有可疑的網(wǎng)絡請求和文件寫入行為。4.6 常見問題速查表問題現(xiàn)象排查優(yōu)先級常用解法章節(jié)列表為空1. 頁面結構是否改版 2. 選擇器是否匹配 3. 是否觸發(fā)人機驗證打印HTML分析調(diào)整CSS選擇器改用移動端URL請求返回4031. User-Agent是否缺失 2. Referer是否正確 3. 請求頻率是否過快補全請求頭降低頻率增加隨機延時中文亂碼1. 頁面編碼判斷 2. 寫入編碼是否統(tǒng)一resp.encoding按頁面meta設置寫入統(tǒng)一UTF-8TXT在手機閱讀器里沒封面閱讀器不支持TXT封面轉換EPUB時添加元數(shù)據(jù)和封面HTML導入WPS列錯位1. 字段是否有未轉義字符 2. td數(shù)量是否一致對輸出字段做html.escape對齊表頭和單元格我在實際寫腳本的過程中最大的體會是不要一開始就想著做“全網(wǎng)通用”的下載器那幾乎是維護無底洞。先把一個你?？吹恼军c適配好跑通全流程再考慮抽象出可復用的函數(shù)。等到哪天網(wǎng)站改版了你改改選擇器幾秒鐘就能恢復這種掌控感才是自己動手的最大回報。最后再分享一個小技巧如果你只是想快速把網(wǎng)頁正文保存成PDF或Word不必單獨寫腳本直接用瀏覽器自帶的“打印為PDF”再把PDF轉成Word也行。但如果要處理幾十本、上百本或者要在不同閱讀器里保持統(tǒng)一的排版那套Python腳本方案絕對值得你花一晚上時間搭建起來。工具是死的思路是活的你完全可以在我的代碼基礎上改成適合自己習慣的工作流。