Scrapling 爬蟲(chóng)系統(tǒng)入門(mén)實(shí)戰(zhàn)從 Spider 類定義到并發(fā)抓取、鏈接跟蹤與數(shù)據(jù)導(dǎo)出【免費(fèi)下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling本文圍繞 Scrapling 的 spiders 子系統(tǒng)入門(mén)指南展開(kāi)講解如何用最少的代碼定義一個(gè)可并發(fā)運(yùn)行的 Spider包括name/start_urls/parse()三要素、start()的運(yùn)行機(jī)制與CrawlResult統(tǒng)計(jì)結(jié)果、response.follow()的多頁(yè)鏈接跟蹤、ItemList的 JSON/JSONL/CSV/XML 導(dǎo)出、allowed_domains域過(guò)濾與robots_txt_obey合規(guī)抓取并結(jié)合開(kāi)源倉(cāng)庫(kù)源碼說(shuō)明其調(diào)度、去重與限速的底層實(shí)現(xiàn)。讀完后你可以獨(dú)立編寫(xiě)、運(yùn)行并導(dǎo)出一個(gè)完整的多頁(yè)面爬蟲(chóng)并理解每個(gè)配置項(xiàng)在引擎內(nèi)部是如何生效的。前置知識(shí)在動(dòng)手之前建議先熟悉三個(gè)基礎(chǔ)頁(yè)面Fetchers 基礎(chǔ)了解不同 fetcher 類型靜態(tài) HTTP、動(dòng)態(tài)瀏覽器、隱身瀏覽器及各自適用場(chǎng)景Main classes理解Selector選擇器與Response對(duì)象的用法Architecture對(duì) Spider 系統(tǒng)的整體工作方式有一個(gè)高層認(rèn)識(shí)。Spider 系統(tǒng)的目標(biāo)是讓你用幾行代碼構(gòu)建并發(fā)、多頁(yè)面的爬蟲(chóng)。用過(guò) Scrapy 的開(kāi)發(fā)者會(huì)覺(jué)得很眼熟——start_urls、parse、response.follow這些模式幾乎一致沒(méi)用過(guò)也沒(méi)有關(guān)系本文會(huì)覆蓋從定義到運(yùn)行的全部細(xì)節(jié)。第一個(gè) Spider三要素一個(gè) Spider 是一個(gè)類定義了如何從網(wǎng)站抓取并提取數(shù)據(jù)。最簡(jiǎn)單的 Spider 如下from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com] async def parse(self, response: Response): for quote in response.css(div.quote): yield { text: quote.css(span.text::text).get(), author: quote.css(small.author::text).get(), }每個(gè) Spider 必須具備三樣?xùn)|西name—— Spider 的唯一標(biāo)識(shí)符。從 Spider 基類 的__init__看若name為None會(huì)直接拋出ValueError并且日志器會(huì)以scrapling.spiders.{name}命名便于多 Spider 并行時(shí)區(qū)分日志。start_urls—— 起始爬取 URL 列表。默認(rèn)實(shí)現(xiàn) start_requests() 會(huì)為每個(gè) URL 生成一個(gè)Request并綁定默認(rèn)會(huì)話若start_urls為空且沒(méi)有覆寫(xiě)start_requests()引擎會(huì)拋出RuntimeError提示沒(méi)有起點(diǎn)。parse()—— 一個(gè)異步生成器方法處理每個(gè)響應(yīng)并通過(guò)yield輸出結(jié)果。它繼承自 基類中的抽象方法子類不實(shí)現(xiàn)會(huì)直接NotImplementedError。parse()是核心所在它使用與 Scrapling 的Selector/Response完全相同的選取方法yield出的字典就是被抓取的數(shù)據(jù)項(xiàng)。從引擎的 _run_callbacks() 看回調(diào)yield的內(nèi)容只接受三種類型dict數(shù)據(jù)項(xiàng)會(huì)先經(jīng)過(guò)on_scraped_item鉤子處理、Request后續(xù)請(qǐng)求或None返回其他類型會(huì)記錄一條 error 日志。運(yùn)行 Spiderstart() 與 CrawlResult運(yùn)行 Spider 只需實(shí)例化后調(diào)用start()result QuotesSpider().start()start()方法內(nèi)部處理了所有異步機(jī)制無(wú)需關(guān)心事件循環(huán)。從 start() 的源碼 可以看到它通過(guò)anyio.run在 asyncio 后端上運(yùn)行內(nèi)部__run()協(xié)程并支持以下行為日志爬蟲(chóng)運(yùn)行期間所有事件都會(huì)輸出到終端格式由logging_format控制默認(rèn)帶時(shí)間戳和 Spider 名爬取結(jié)束時(shí)會(huì)在終端打印一份非常詳細(xì)的統(tǒng)計(jì) JSON。優(yōu)雅暫停start()會(huì)注冊(cè) SIGINT 處理器——按一次 CtrlC 請(qǐng)求優(yōu)雅暫停等待在途請(qǐng)求完成若配置了crawldir還會(huì)保存檢查點(diǎn)以便之后恢復(fù)再按一次則強(qiáng)制立即停止?？蛇x參數(shù)start(use_uvloopTrue)可在可用時(shí)切換為更快的 uvloop/winloop 事件循環(huán)backend_options會(huì)透?jìng)鹘oanyio.run。爬取結(jié)束后所有信息都封裝在返回的CrawlResult對(duì)象中result QuotesSpider().start() # 訪問(wèn)抓取到的數(shù)據(jù)項(xiàng) for item in result.items: print(item[text], -, item[author]) # 查看統(tǒng)計(jì) print(fScraped {result.stats.items_scraped} items) print(fMade {result.stats.requests_count} requests) print(fTook {result.stats.elapsed_seconds:.1f} seconds) # 爬蟲(chóng)是正常跑完還是中途暫停了 print(fCompleted: {result.completed})CrawlResult的結(jié)構(gòu)很簡(jiǎn)單statsCrawlStats數(shù)據(jù)類、itemsItemList、paused是否被暫停completed 屬性 即not paused另外還支持len(result)和for item in result直接迭代數(shù)據(jù)項(xiàng)。CrawlStats的信息遠(yuǎn)比上面展示的豐富從 CrawlStats 定義 看它還包括字段含義requests_count/requests_per_second請(qǐng)求總數(shù)與平均速率failed_requests_count失敗的請(qǐng)求數(shù)offsite_requests_count被域過(guò)濾丟棄的站外請(qǐng)求數(shù)robots_disallowed_count被 robots.txt 禁止的請(qǐng)求數(shù)cache_hits/cache_misses開(kāi)發(fā)模式下響應(yīng)緩存命中/未命中數(shù)blocked_requests_count被判定為攔截的請(qǐng)求數(shù)response_status_count按狀態(tài)碼分類的響應(yīng)計(jì)數(shù)如status_200response_bytes/domains_response_bytes總字節(jié)數(shù)與按域分解的字節(jié)數(shù)sessions_requests_count按會(huì)話 ID 分解的請(qǐng)求數(shù)log_levels_counter各日志級(jí)別的消息條數(shù)autothrottle_delaysAutoThrottle 運(yùn)行時(shí)為各域計(jì)算出的延遲這些數(shù)字正是診斷爬蟲(chóng)行為的窗口offsite_requests_count偏高說(shuō)明鏈接跟丟太多blocked_requests_count偏高說(shuō)明需要代理或降速。跟蹤鏈接response.follow()大多數(shù)爬取需要跨頁(yè)面跟蹤鏈接。使用response.follow()創(chuàng)建后續(xù)請(qǐng)求from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com] async def parse(self, response: Response): # 從當(dāng)前頁(yè)提取數(shù)據(jù)項(xiàng) for quote in response.css(div.quote): yield { text: quote.css(span.text::text).get(), author: quote.css(small.author::text).get(), } # 跟蹤下一頁(yè)鏈接 next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, callbackself.parse)response.follow()會(huì)自動(dòng)處理相對(duì) URL通過(guò)與當(dāng)前頁(yè) URL 拼接完成解析默認(rèn)還會(huì)把當(dāng)前頁(yè)設(shè)置為新請(qǐng)求的Referer頭。從 follow() 的實(shí)現(xiàn) 可以看到更多細(xì)節(jié)urlself.urljoin(url)完成相對(duì)地址解析referer_flowTrue默認(rèn)時(shí)會(huì)寫(xiě)入headers[referer]HTTP 會(huì)話或extra_headers[referer]瀏覽器會(huì)話并把google_search置為False未顯式傳入的sid、callback、priority、meta都會(huì)繼承上一個(gè)請(qǐng)求的對(duì)應(yīng)值——也就是說(shuō)翻頁(yè)請(qǐng)求默認(rèn)繼續(xù)用同一會(huì)話、同一回調(diào)、同一優(yōu)先級(jí)meta是合并新值優(yōu)先而非覆蓋除dont_filter外新的**kwargs會(huì)與上一請(qǐng)求的會(huì)話參數(shù)合并新值優(yōu)先因此可以只在某一次 follow 時(shí)覆蓋proxy、headers等參數(shù)。follow()的完整簽名是follow(url, sid, callbackNone, priorityNone, dont_filterFalse, metaNone, referer_flowTrue, **kwargs)。dont_filterTrue可以繞過(guò)調(diào)度器對(duì)該 URL 的去重見(jiàn)下文。你還可以把后續(xù)請(qǐng)求指向不同的回調(diào)方法以區(qū)分不同類型的頁(yè)面async def parse(self, response: Response): for link in response.css(a.product-link::attr(href)).getall(): yield response.follow(link, callbackself.parse_product) async def parse_product(self, response: Response): yield { name: response.css(h1::text).get(), price: response.css(.price::text).get(), }注意所有回調(diào)方法都必須是異步生成器使用async def配合yield因?yàn)橐媸且詀sync for方式逐個(gè)消費(fèi)回調(diào)產(chǎn)出的。從源碼結(jié)構(gòu)看follow 產(chǎn)出的Request進(jìn)入 Scheduler——一個(gè)基于asyncio.PriorityQueue的優(yōu)先級(jí)隊(duì)列入隊(duì)時(shí)先計(jì)算請(qǐng)求指紋做去重dont_filterTrue可豁免priority數(shù)值越大越先出隊(duì)同一指紋的重復(fù)請(qǐng)求會(huì)被靜默丟棄并記一條 debug 日志。請(qǐng)求指紋的計(jì)算規(guī)則在 Request.update_fingerprint() 中基于歸一化 URL、HTTP 方法、請(qǐng)求體和會(huì)話 ID可通過(guò) Spider 的fp_include_kwargs/fp_include_headers/fp_keep_fragments三個(gè)開(kāi)關(guān)讓指紋進(jìn)一步納入其他參數(shù)、請(qǐng)求頭或 URL 片段。導(dǎo)出數(shù)據(jù)ItemList 的四種格式result.items是一個(gè)帶導(dǎo)出能力的ItemList本質(zhì)是list的子類內(nèi)置四種導(dǎo)出方法result QuotesSpider().start() # 導(dǎo)出為 JSON result.items.to_json(quotes.json) # 導(dǎo)出為帶縮進(jìn)的 JSON result.items.to_json(quotes.json, indentTrue) # 導(dǎo)出為 JSON Lines每行一個(gè) JSON 對(duì)象 result.items.to_jsonl(quotes.jsonl) # 導(dǎo)出為 CSV 或 XML result.items.to_csv(quotes.csv) result.items.to_xml(quotes.xml)它們都會(huì)自動(dòng)創(chuàng)建不存在的父目錄。各方法的參數(shù)與行為細(xì)節(jié)可從 ItemList 源碼 確認(rèn)to_json(path, *, indentFalse)基于 orjson 序列化indentTrue使用 2 空格美化源碼注釋說(shuō)明會(huì)稍慢to_jsonl(path)每行一個(gè) JSON 對(duì)象適合流式處理和大數(shù)據(jù)量場(chǎng)景to_csv(path, *, fieldsNone, delimiter,)會(huì)為所有數(shù)據(jù)項(xiàng)中出現(xiàn)過(guò)的每個(gè) key 生成一列key 不一致的項(xiàng)缺失單元格留空傳fields[...]可自選列與列順序delimiter\t即可得到 TSV 文件to_xml(path, *, root_tagitems, item_tagitem, indentTrue)每個(gè) item 包裹在item元素中整體再包在items根元素里兩個(gè)標(biāo)簽名均可通過(guò)root_tag、item_tag重命名不是合法 XML 名稱的 key 會(huì)被重寫(xiě)為合法標(biāo)簽并把原名保留在name屬性中。CSV 和 XML 兩種格式中非簡(jiǎn)單標(biāo)量值嵌套字典或列表會(huì)寫(xiě)成 JSON 字符串確保數(shù)據(jù)不會(huì)被靜默丟棄——這是 _stringify() 輔助函數(shù) 的行為。此外每次導(dǎo)出都會(huì)通過(guò)日志記錄Saved N items to path方便核對(duì)導(dǎo)出條數(shù)與stats.items_scraped是否一致。過(guò)濾域名allowed_domains使用allowed_domains可以把 Spider 限制在特定域內(nèi)防止意外跟隨到外部網(wǎng)站class MySpider(Spider): name my_spider start_urls [https://example.com] allowed_domains {example.com} async def parse(self, response: Response): for link in response.css(a::attr(href)).getall(): # 指向其他域名的鏈接會(huì)被靜默丟棄 yield response.follow(link, callbackself.parse)子域名會(huì)被自動(dòng)匹配設(shè)置allowed_domains {example.com}后sub.example.com、blog.example.com等同樣允許通過(guò)。從 引擎的 _is_domain_allowed() 看判定邏輯就是domain allowed or domain.endswith(. allowed)若allowed_domains為空集則所有域名都放行。被過(guò)濾掉的請(qǐng)求會(huì)計(jì)入stats.offsite_requests_count并記錄一條 debug 日志讓你知道有多少鏈接被丟棄——這個(gè)計(jì)數(shù)對(duì)評(píng)估站點(diǎn)鏈接結(jié)構(gòu)很有參考價(jià)值。過(guò)濾發(fā)生在回調(diào)產(chǎn)出Request之后、入隊(duì)之前見(jiàn) _run_callbacks()所以被丟棄的請(qǐng)求不會(huì)占用調(diào)度器資源。遵守 robots.txtrobots_txt_obey設(shè)置robots_txt_obey True可以讓 Spider 在爬取任何域之前先遵守 robots.txt 規(guī)則class PoliteSpider(Spider): name polite start_urls [https://example.com] robots_txt_obey True async def parse(self, response: Response): for link in response.css(a::attr(href)).getall(): yield response.follow(link, callbackself.parse)開(kāi)啟后Spider 會(huì)預(yù)取 robots.txt爬取開(kāi)始前并發(fā)抓取start_urls中所有域的 robots.txt。從 _prefetch_robots_txt() 看它會(huì)按 netloc 去重并保留首個(gè) URL 的 scheme再交給RobotsTxtManager.prefetch()并發(fā)預(yù)取。逐個(gè)檢查請(qǐng)求每個(gè)請(qǐng)求先與所屬域的 robots.txtDisallow規(guī)則比對(duì)被禁止的請(qǐng)求靜默丟棄并計(jì)入stats.robots_disallowed_count見(jiàn) _process_request()。遵守Crawl-delay與Request-rate指令取指令值與配置的download_delay中的最大值。也就是說(shuō) robots.txt 的延遲只會(huì)增大你配置的延遲、絕不會(huì)減小它。Request-rate如5/30s會(huì)被換算為period / req_count后參與比較見(jiàn) _get_domain_delay()且每個(gè)域的最終延遲只計(jì)算一次并緩存。robots.txt 使用 Spider 的默認(rèn)會(huì)話抓取并在整個(gè)爬取期間按域緩存爬取中途才發(fā)現(xiàn)的域不在start_urls中會(huì)在首次請(qǐng)求該域時(shí)現(xiàn)場(chǎng)抓取其 robots.txt。注意robots_txt_obey默認(rèn)關(guān)閉以避免意外的行為變化。啟用它不會(huì)影響并發(fā)設(shè)置concurrent_requests、concurrent_requests_per_domain——被調(diào)整的只有請(qǐng)求之間的延遲。如果不想手動(dòng)挑download_delay可以設(shè)置autothrottle_enabled TrueSpider 會(huì)根據(jù)每個(gè)域的響應(yīng)快慢自行調(diào)節(jié)延遲在被攔截時(shí)自動(dòng)退避相關(guān)參數(shù)autothrottle_start_delay、autothrottle_max_delay等在 Spider 類 中定義默認(rèn)起步延遲 5 秒、上限 60 秒。詳見(jiàn) AutoThrottle 章節(jié)。與調(diào)度引擎的銜接上面各配置項(xiàng)最終都匯聚到 CrawlerEngine。初始化時(shí)引擎根據(jù) Spider 配置創(chuàng)建對(duì)應(yīng)組件robots_txt_obey開(kāi)啟則實(shí)例化RobotsTxtManagerautothrottle_enabled開(kāi)啟則創(chuàng)建AutoThrottledevelopment_mode開(kāi)啟則啟用磁盤(pán)響應(yīng)緩存默認(rèn)目錄.scrapling_cache/{name}。主循環(huán)crawl()每輪從調(diào)度器取請(qǐng)求并發(fā)任務(wù)同時(shí)受concurrent_requests上限約束空閑時(shí)輪詢暫停標(biāo)記與檢查點(diǎn)時(shí)機(jī)結(jié)束前會(huì)打印完整的stats.to_dict()JSON。此外還有兩個(gè)與合規(guī)和穩(wěn)定性直接相關(guān)的內(nèi)置機(jī)制源碼中可直接驗(yàn)證攔截重試當(dāng)is_blocked(response)判定為攔截默認(rèn)基于狀態(tài)碼集合BLOCKED_CODES {401, 403, 407, 429, 444, 500, 502, 503, 504}可覆寫(xiě)時(shí)引擎會(huì)復(fù)制請(qǐng)求、遞增_retry_count、降低優(yōu)先級(jí)并移除代理配置后重新入隊(duì)最多重試max_blocked_retries默認(rèn) 3次生命周期鉤子on_start(resuming)、on_close()、on_error(request, error)、on_scraped_item(item)返回None可靜默丟棄該條數(shù)據(jù)計(jì)入items_dropped都可按需覆寫(xiě)。這些進(jìn)階能力優(yōu)先級(jí)、去重、會(huì)話、代理、檢查點(diǎn)、流式輸出等在文檔中有專門(mén)章節(jié)Requests Responses —— 請(qǐng)求優(yōu)先級(jí)、去重、元數(shù)據(jù)等Sessions —— 在單個(gè) Spider 中混用多種 fetcherHTTP、瀏覽器、隱身Proxy management blocking —— 跨請(qǐng)求輪換代理與攔截處理Advanced features —— 并發(fā)控制、AutoThrottle、暫停/恢復(fù)、流式輸出、生命周期鉤子與日志?！久赓M(fèi)下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考