1. 項(xiàng)目概述從零解析抖音用戶視頻列表獲取最近在做一個內(nèi)容分析的小工具需要批量獲取某個特定抖音創(chuàng)作者的所有視頻信息比如標(biāo)題、發(fā)布時間、點(diǎn)贊數(shù)、評論數(shù)這些基礎(chǔ)數(shù)據(jù)。一開始覺得這應(yīng)該是個挺簡單的活兒不就是調(diào)個接口嘛。但真上手才發(fā)現(xiàn)抖音這套防護(hù)機(jī)制做得相當(dāng)嚴(yán)密從網(wǎng)頁端到App端各種反爬策略層層疊疊直接請求官方接口幾乎寸步難行。網(wǎng)上能找到的很多所謂“教程”要么已經(jīng)失效要么語焉不詳踩了不少坑。今天就把我折騰了挺久才跑通的一套相對穩(wěn)定、可復(fù)現(xiàn)的方案整理出來核心思路是通過模擬App請求獲取用戶唯一的sec_uid然后調(diào)用其作品列表接口。整個過程會涉及到請求庫的使用、參數(shù)逆向、簽名機(jī)制以及如何優(yōu)雅地處理風(fēng)控。無論你是想做數(shù)據(jù)分析、內(nèi)容監(jiān)控還是其他自動化工具這套方法都能給你提供一個扎實(shí)的起點(diǎn)。2. 核心思路與技術(shù)選型2.1 為什么不能直接爬取網(wǎng)頁首先得明確一點(diǎn)直接爬取抖音網(wǎng)頁版www.douyin.com來獲取用戶視頻列表在2023年之后已經(jīng)變得非常困難。抖音在前端做了大量的混淆和加密關(guān)鍵數(shù)據(jù)如用戶作品列表通常通過異步接口加載這些接口的URL參數(shù)尤其是簽名X-Bogus和_signature生成邏輯極其復(fù)雜且頻繁變動。試圖在瀏覽器中逆向JavaScript來復(fù)現(xiàn)這套邏輯對于大多數(shù)開發(fā)者來說成本太高且維護(hù)性極差。2.2 移動端API的優(yōu)勢與挑戰(zhàn)相比之下抖音App的API接口雖然也有簽名和風(fēng)控但其協(xié)議相對穩(wěn)定參數(shù)邏輯也更有跡可循。我們的核心目標(biāo)接口是獲取用戶作品列表的API其形態(tài)通常類似于https://www.iesdouyin.com/web/api/v2/aweme/post/這個接口需要幾個關(guān)鍵參數(shù)sec_uid: 用戶的唯一標(biāo)識這是整個流程的起點(diǎn)和關(guān)鍵。count: 每次請求期望返回的視頻數(shù)量通常最大為20。max_cursor: 分頁游標(biāo)用于獲取下一頁數(shù)據(jù)首次請求為0。最大的挑戰(zhàn)在于這個接口以及獲取sec_uid的接口都會校驗(yàn)請求頭Headers和簽名。簽名錯誤或請求頭不完整會直接返回403或400錯誤。因此我們的技術(shù)方案核心就變成了如何偽裝成一個合法的抖音App客戶端去發(fā)送請求。2.3 技術(shù)棧與工具選擇基于以上分析我選擇了以下技術(shù)棧這也是目前爬蟲領(lǐng)域處理這類問題的常見組合Python Requests: 作為主要的HTTP請求庫requests足夠簡單和強(qiáng)大。需要配合session來維持Cookie和部分Header。抓包工具: 這是逆向分析的“眼睛”。我主要使用Charles / Fiddler: 用于在電腦上抓取模擬器或真機(jī)代理過來的流量適合靜態(tài)分析API調(diào)用鏈。Packet Capture / HttpCanary (安卓): 手機(jī)端直接抓包無需Root即可抓取抖音App的HTTPS流量需安裝證書對于動態(tài)觀察請求生成過程非常方便。逆向分析工具: 主要靠瀏覽器開發(fā)者工具F12和抓包工具分析請求/響應(yīng)內(nèi)容、參數(shù)構(gòu)成。并不需要深入到Native層的SO庫逆向。關(guān)鍵思路我們并不需要完全逆向抖音的整個加密算法如X-Bogus因?yàn)閷τ讷@取公開視頻列表這個需求我們可以通過復(fù)用從真實(shí)App中捕獲的、有效的請求參數(shù)和Headers來達(dá)到目的。重點(diǎn)是理解哪些參數(shù)是固定的哪些是每次需要變化的以及如何構(gòu)造一個“像模像樣”的請求。注意任何自動化訪問行為都應(yīng)遵守網(wǎng)站的robots.txt協(xié)議并嚴(yán)格控制請求頻率避免對目標(biāo)服務(wù)器造成壓力。本方案僅用于技術(shù)學(xué)習(xí)和個人合法的數(shù)據(jù)收集嚴(yán)禁用于商業(yè)爬取、騷擾或其他違反抖音用戶協(xié)議的行為。3. 實(shí)操第一步定位并獲取關(guān)鍵參數(shù) sec_uidsec_uid是抖音用戶體系中的一個核心加密ID不同于我們在分享鏈接中看到的短ID或數(shù)字ID它更長、更唯一是調(diào)用大多數(shù)用戶相關(guān)API的必需參數(shù)。獲取不到它后續(xù)所有工作都無法開展。3.1 尋找 sec_uid 的來源有多個入口可以獲取sec_uid這里介紹最穩(wěn)定和直接的兩種方法。方法一從用戶分享鏈接或主頁地址提取推薦這是最便捷的方式。讓目標(biāo)用戶在抖音App內(nèi)點(diǎn)擊“分享主頁”復(fù)制鏈接。鏈接格式通常如下https://v.douyin.com/ABC123Def/或https://www.douyin.com/user/MS4wLjABAAAAxxxxx你需要訪問這個短鏈接它會經(jīng)過一次或多次跳轉(zhuǎn)最終到達(dá)用戶的長鏈接主頁。我們的目標(biāo)是在跳轉(zhuǎn)后的最終主頁URL中或者頁面源代碼里找到sec_uid。操作步驟在瀏覽器建議無痕模式避免緩存干擾中打開分享的短鏈接。等待頁面完全加載即跳轉(zhuǎn)停止觀察地址欄。最終的URL可能形如https://www.douyin.com/user/MS4wLjABAAAAvWZf-xxxx-xxxx?modal_id...注意這里的MS4wLjABAAAAvWZf-xxxx-xxxx并不是sec_uid它是另一種用戶標(biāo)識。按下F12打開開發(fā)者工具切換到Network網(wǎng)絡(luò)選項(xiàng)卡刷新頁面。在網(wǎng)絡(luò)請求中尋找一個名稱包含/user/profile/或/aweme/v1/web/user/profile/的請求。點(diǎn)擊這個請求在Response響應(yīng)標(biāo)簽頁中你會看到一段JSON數(shù)據(jù)。在這段JSON中搜索sec_uid字段。它的值是一長串由字母、數(shù)字、下劃線和減號組成的字符串例如MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx。復(fù)制這個值這就是我們需要的sec_uid。方法二通過抓包App直接獲取API響應(yīng)如果你在手機(jī)上進(jìn)行抓包例如使用HttpCanary過程更直觀打開抓包App開始錄制。打開抖音App進(jìn)入目標(biāo)用戶的主頁。停止抓包在抓包記錄中搜索關(guān)鍵詞sec_uid。你通常會找到一個請求URL為https://*.douyin.com/aweme/v1/web/user/profile/other/的請求其響應(yīng)體JSON中就包含了sec_uid。3.2 編寫代碼提取 sec_uid手動找一次可以但自動化工具需要能自動完成這個過程。思路是訪問短鏈接允許重定向從最終響應(yīng)的HTML內(nèi)容或重定向地址中解析出sec_uid。但經(jīng)過測試直接從HTML中解析sec_uid的難度在增大抖音將其隱藏得更深。一個更可靠的方法是模擬一次訪問主頁的請求并從其后續(xù)發(fā)出的API請求中攔截。但這對自動化腳本要求較高。因此在實(shí)際項(xiàng)目中我往往采用一個折中方案將sec_uid作為工具的輸入?yún)?shù)。即用戶需要手動通過上述方法一獲取一次sec_uid然后提供給程序。雖然多了一步手動操作但極大地提高了程序的穩(wěn)定性和復(fù)雜度。如果非要實(shí)現(xiàn)全自動可以嘗試在請求主頁后用正則表達(dá)式在頁面HTML或內(nèi)聯(lián)的JavaScript變量中搜索sec_uid但匹配規(guī)則需要經(jīng)常更新不穩(wěn)定。import re import requests def extract_sec_uid_from_share_url(share_url): 嘗試從分享鏈接中提取sec_uid此方法穩(wěn)定性有限僅供參考 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } session requests.Session() session.headers.update(headers) # 允許重定向獲取最終的響應(yīng) try: response session.get(share_url, allow_redirectsTrue, timeout10) final_url response.url html_content response.text # 方法1: 嘗試從最終URL的路徑中匹配適用于某些格式 # 例如https://www.douyin.com/user/MS4wLjABAAAAvWZf... # 注意這個MS4wLjAB... 是sec_uid的一種表現(xiàn)形式但通常需要直接使用 pattern_from_url r/user/(MS4wLjAB[^/?]) match re.search(pattern_from_url, final_url) if match: # 實(shí)際上從URL路徑中獲取的這個就是sec_uid return match.group(1) # 方法2: 嘗試從HTML的script標(biāo)簽或JSON數(shù)據(jù)中匹配復(fù)雜且易變 # 這里是一個簡化的、可能很快失效的正則示例 pattern_in_html rsec_uid\s*:\s*([^]) match re.search(pattern_in_html, html_content) if match: return match.group(1) except Exception as e: print(f提取sec_uid失敗: {e}) return None # 使用示例 share_link https://v.douyin.com/ABC123Def/ sec_uid extract_sec_uid_from_share_url(share_link) if sec_uid: print(f提取到的 sec_uid: {sec_uid}) else: print(自動提取失敗請手動獲取。)實(shí)操心得在實(shí)際生產(chǎn)環(huán)境中我強(qiáng)烈建議將sec_uid的獲取作為獨(dú)立的手動前置步驟。你可以寫一個簡單的使用說明告訴用戶如何通過瀏覽器開發(fā)者工具獲取。這比維護(hù)一個脆弱不堪的全自動提取函數(shù)要省心得多也穩(wěn)定得多。把精力集中在核心的列表獲取邏輯上。4. 構(gòu)建仿真的App請求環(huán)境拿到sec_uid后下一步就是模擬App去調(diào)用作品列表接口。直接用一個裸的requests.get()肯定會吃閉門羹。我們需要精心構(gòu)造請求頭Headers和查詢參數(shù)Query Parameters。4.1 分析并準(zhǔn)備關(guān)鍵請求頭通過抓包抖音App的請求你會發(fā)現(xiàn)其Headers包含了許多特征字段。以下是一些最關(guān)鍵且通常需要攜帶的Headersimport requests # 一個模擬抖音App請求的Headers示例部分值需要替換 headers { # 用戶代理模擬抖音App User-Agent: com.ss.android.ugc.aweme/2020102100 (Linux; U; Android 11; zh_CN; MI 9; Build/RKQ1.200826.002; Cronet/TTNetVersion:3c28619c 2020-05-19), # 宿主App Host: www.iesdouyin.com, # 連接方式 Connection: keep-alive, # 接受編碼 Accept-Encoding: gzip, deflate, br, # 接受語言 Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, # 這個Cookie至關(guān)重要通常包含了登錄態(tài)和設(shè)備標(biāo)識 Cookie: 你的Cookie字符串從抓包中獲取, # 引用來源有時可留空有時需要是抖音域內(nèi)地址 Referer: https://www.douyin.com/, # 接受的內(nèi)容類型 Accept: application/json, text/plain, */*, # 內(nèi)容類型 Content-Type: application/x-www-form-urlencoded, }關(guān)鍵點(diǎn)解析User-Agent: 這是設(shè)備的“指紋”。上述示例是一個Android抖音客戶端的UA。保持一個真實(shí)有效的UA很重要。你可以從抓包數(shù)據(jù)中直接復(fù)制也可以在網(wǎng)上搜索最新的抖音UA。Cookie:這是身份認(rèn)證和風(fēng)控的核心Cookie里通常包含了sessionid、install_id、ttwid、odin_tt等關(guān)鍵字段。這些字段標(biāo)識了你的設(shè)備和模擬的登錄狀態(tài)。沒有有效的Cookie接口會返回403或要求登錄。如何獲取通過抓包工具在任意一個成功的抖音API請求的Headers里找到Cookie字段完整復(fù)制下來。這個Cookie有一定有效期。其他Headers: 如Host,Referer,Accept-*等盡量與抓包到的請求保持一致填滿總比空缺好。4.2 理解并處理簽名參數(shù)抖音的API特別是涉及數(shù)據(jù)獲取的幾乎都帶有簽名參數(shù)最常見的是X-Bogus和_signature。這些參數(shù)由客戶端根據(jù)請求URL、請求體、時間戳、設(shè)備信息等計算生成用于防止請求被偽造。對于我們這個“獲取公開視頻列表”的接口好消息是經(jīng)過測試在一定條件下這個接口可能對簽名校驗(yàn)不那么嚴(yán)格或者我們可以通過復(fù)用一套有效的參數(shù)來繞過。在抓包時你會看到類似這樣的請求URLhttps://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uidMS4wLjABAAAA...count20max_cursor0aid1128_signaturexxxxxx這里的_signature就是簽名。我們的策略是直接復(fù)用從抓包到的成功請求中復(fù)制整個URL包括上面的_signature。然后我們只修改max_cursor和count參數(shù)來翻頁而sec_uid和_signature保持不變。注意_signature很可能與sec_uid、max_cursor等參數(shù)綁定只修改max_cursor可能失效。需要測試。尋找無需簽名的接口抖音有一些內(nèi)部或舊的接口版本可能簽名校驗(yàn)不嚴(yán)。這需要持續(xù)抓包和測試。終極方案如果上述方法失效則意味著必須逆向簽名算法。這涉及到更復(fù)雜的JavaScript或Native代碼逆向超出了本文的范疇。通常需要分析X-Bogus的生成邏輯網(wǎng)上有部分開源項(xiàng)目如douyin-signature嘗試解決但需要自行維護(hù)更新。踩坑記錄我最初嘗試完全自己構(gòu)造參數(shù)總是返回403。后來發(fā)現(xiàn)直接使用抓包獲得的完整請求URL包含當(dāng)時生成的_signature去請求竟然可以成功。這說明對于這個列表接口簽名可能有一定的“會話”或“短期”有效性或者服務(wù)器端對來自同一設(shè)備標(biāo)識Cookie的請求做了寬松處理。所以優(yōu)先嘗試“復(fù)制粘貼”大法。5. 實(shí)現(xiàn)視頻列表的獲取與分頁假設(shè)我們已經(jīng)通過“復(fù)用”策略獲得了一個可以工作的請求模板。接下來就是編寫代碼循環(huán)請求直到獲取所有視頻。5.1 發(fā)起單次請求并解析數(shù)據(jù)我們首先實(shí)現(xiàn)獲取第一頁max_cursor0數(shù)據(jù)的函數(shù)。import requests import json import time def get_aweme_list_by_page(sec_uid, max_cursor0, count20): 獲取用戶指定頁的視頻列表 :param sec_uid: 用戶sec_uid :param max_cursor: 分頁游標(biāo)第一頁為0 :param count: 每頁數(shù)量最大似乎為20 :return: 返回本次請求的JSON數(shù)據(jù)以及下一次的max_cursor # 這是從抓包中復(fù)制的完整URL模板包含了當(dāng)時有效的_signature。 # !!! 注意你需要替換成自己抓包得到的、有效的URL !!! # 重點(diǎn)URL中的_signature參數(shù)是綁定的直接復(fù)用。我們只替換sec_uid, max_cursor, count。 url_template https://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uid{}count{}max_cursor{}aid1128_signature你的_signature值 url url_template.format(sec_uid, count, max_cursor) headers { User-Agent: 你的抖音App User-Agent, Cookie: 你的有效Cookie, Accept: application/json, text/plain, */*, Host: www.iesdouyin.com, Connection: keep-alive, # ... 其他必要的headers } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 檢查HTTP錯誤 data response.json() # 檢查接口返回狀態(tài) if data.get(status_code) 0: aweme_list data.get(aweme_list, []) has_more data.get(has_more, 0) 1 next_max_cursor data.get(max_cursor, 0) return aweme_list, next_max_cursor, has_more else: print(f接口返回錯誤: {data}) return [], max_cursor, False except requests.exceptions.RequestException as e: print(f網(wǎng)絡(luò)請求失敗: {e}) return [], max_cursor, False except json.JSONDecodeError as e: print(fJSON解析失敗: {e}, 響應(yīng)內(nèi)容: {response.text[:200]}) return [], max_cursor, False # 使用示例 sec_uid MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx videos, next_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor0, count20) if videos: print(f本頁獲取到 {len(videos)} 個視頻) for video in videos: aweme_id video.get(aweme_id) desc video.get(desc) # 視頻標(biāo)題/描述 create_time video.get(create_time) statistics video.get(statistics, {}) digg_count statistics.get(digg_count, 0) # 點(diǎn)贊 comment_count statistics.get(comment_count, 0) # 評論 share_count statistics.get(share_count, 0) # 分享 print(f 視頻ID: {aweme_id}, 描述: {desc[:30]}..., 點(diǎn)贊: {digg_count}) else: print(未獲取到視頻數(shù)據(jù))5.2 實(shí)現(xiàn)自動分頁抓取單次請求最多返回20條要獲取全部視頻需要根據(jù)has_more和max_cursor進(jìn)行循環(huán)。def get_all_aweme_list(sec_uid, max_count100): 獲取用戶所有視頻列表直到?jīng)]有更多或達(dá)到限制 :param sec_uid: 用戶sec_uid :param max_count: 最大獲取視頻數(shù)防止無限循環(huán) :return: 視頻列表 all_videos [] max_cursor 0 has_more True request_count 0 while has_more and len(all_videos) max_count: print(f正在請求第 {request_count 1} 頁游標(biāo): {max_cursor}) videos, next_max_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor, count20) if videos: all_videos.extend(videos) print(f 本頁獲取 {len(videos)} 個累計 {len(all_videos)} 個) else: # 如果本次沒拿到數(shù)據(jù)可能出錯了謹(jǐn)慎考慮是否跳出循環(huán) print( 本次請求未獲取到數(shù)據(jù)可能已觸達(dá)末尾或遇到風(fēng)控。) # 可以選擇 break 或重試邏輯 break max_cursor next_max_cursor request_count 1 # !!! 非常重要添加延遲避免請求過快觸發(fā)風(fēng)控 !!! time.sleep(2 random.random()) # 隨機(jī)延遲2-3秒 print(f抓取結(jié)束?？偣搏@取 {len(all_videos)} 個視頻。) return all_videos # 使用示例 import random all_videos get_all_aweme_list(sec_uid, max_count200)5.3 解析與存儲視頻信息獲取到的aweme_list中的每個視頻對象結(jié)構(gòu)非常豐富。除了上面示例中的基礎(chǔ)信息還包括視頻播放地址、封面圖、音樂信息、作者信息、地理位置等。我們可以選擇需要的字段進(jìn)行提取和存儲。import csv import os from datetime import datetime def save_videos_to_csv(video_list, filenamedouyin_videos.csv): 將視頻列表保存到CSV文件 if not video_list: print(視頻列表為空無需保存。) return # 定義要保存的字段 fieldnames [ aweme_id, desc, create_time, datetime, digg_count, comment_count, share_count, collect_count, video_url, cover_url, music_title, music_author, author_uid, author_nickname ] rows [] for video in video_list: # 處理可能不存在的字段 stats video.get(statistics, {}) author video.get(author, {}) music video.get(music, {}) video_info video.get(video, {}) # 轉(zhuǎn)換時間戳 create_ts video.get(create_time, 0) if create_ts: dt_str datetime.fromtimestamp(create_ts).strftime(%Y-%m-%d %H:%M:%S) else: dt_str row { aweme_id: video.get(aweme_id, ), desc: video.get(desc, ).replace(\n, ).replace(,, ), # 處理換行和逗號 create_time: create_ts, datetime: dt_str, digg_count: stats.get(digg_count, 0), comment_count: stats.get(comment_count, 0), share_count: stats.get(share_count, 0), collect_count: stats.get(collect_count, 0), video_url: video_info.get(play_addr, {}).get(url_list, [])[0] if video_info else , cover_url: video_info.get(cover, {}).get(url_list, [])[0] if video_info else , music_title: music.get(title, ), music_author: music.get(author, ), author_uid: author.get(uid, ), author_nickname: author.get(nickname, ), } rows.append(row) # 寫入CSV with open(filename, w, newline, encodingutf-8-sig) as f: # utf-8-sig支持Excel直接打開顯示中文 writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(rows) print(f數(shù)據(jù)已保存至 {filename}共 {len(rows)} 條記錄。) # 使用示例 save_videos_to_csv(all_videos, fdouyin_videos_{sec_uid[:10]}.csv)6. 風(fēng)控應(yīng)對與穩(wěn)定性優(yōu)化直接運(yùn)行上面的代碼很可能在抓取幾十個視頻后就會收到429 Too Many Requests或者403 Forbidden的響應(yīng)。這是抖音反爬機(jī)制在起作用。我們必須讓我們的爬蟲行為更“像人”。6.1 請求頻率控制這是最基本也是最重要的措施。固定延遲在每次請求之間加入sleep如time.sleep(3)。隨機(jī)延遲更好的方法是使用隨機(jī)延遲模擬人的不規(guī)則操作。例如time.sleep(2 random.random() * 3)延遲在2到5秒之間。分批次抓取如果需要抓取大量用戶不要一個接一個不停?？梢宰ト∫粋€用戶后休息更長時間如5-10分鐘。6.2 請求頭與Cookie的維護(hù)Cookie失效從抓包獲取的Cookie會過期。過期后需要重新抓包更新?？梢跃帉懸粋€簡單的檢測邏輯如果連續(xù)多次請求返回403或要求登錄的JSON則提示用戶更新Cookie。User-Agent池準(zhǔn)備多個不同的、有效的抖音App User-Agent輪流使用降低單一標(biāo)識被識別的風(fēng)險。使用Session使用requests.Session()可以自動管理Cookie保持會話狀態(tài)比單次請求更接近真實(shí)App行為。6.3 代理IP的使用如果請求頻率過高可能會被限制IP。對于大規(guī)模抓取使用代理IP池是必要的。高質(zhì)量代理選擇可靠的HTTP/HTTPS代理服務(wù)。集成到代碼中import requests proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, # 注意很多代理服務(wù)器http和https都用http協(xié)議 } # 在請求時加入proxies參數(shù) response session.get(url, headersheaders, proxiesproxies, timeout10)6.4 錯誤重試與降級策略網(wǎng)絡(luò)請求總可能失敗需要健壯的錯誤處理。重試機(jī)制對于網(wǎng)絡(luò)超時、連接錯誤等臨時性問題可以設(shè)置重試。可以使用tenacity庫或自己實(shí)現(xiàn)簡單的重試循環(huán)。import requests from tenacity import retry, stop_after_attempt, wait_fixed retry(stopstop_after_attempt(3), waitwait_fixed(2)) def safe_request(url, headers): response requests.get(url, headersheaders, timeout15) response.raise_for_status() return response識別風(fēng)控響應(yīng)如果返回429說明請求過快應(yīng)該大幅延長等待時間如等待1分鐘后再試。如果返回403且內(nèi)容提示簽名錯誤或需要登錄則可能Cookie失效或簽名策略已更新需要人工介入。保存進(jìn)度在抓取大量數(shù)據(jù)時務(wù)必定期將已獲取的數(shù)據(jù)保存到文件或數(shù)據(jù)庫。即使程序中途因錯誤停止下次也可以從斷點(diǎn)max_cursor繼續(xù)避免前功盡棄。7. 常見問題與排查技巧實(shí)錄在實(shí)際操作中你肯定會遇到各種各樣的問題。下面是我踩過的一些坑和解決辦法。7.1 問題返回403 Forbidden或{status_code: 2146, status_msg: 請求異常請稍后重試}可能原因1Cookie失效或無效。排查檢查請求頭中的Cookie值是否完整、最新。最直接的方法是用這個Cookie在瀏覽器中訪問抖音網(wǎng)頁版看是否處于登錄狀態(tài)。解決重新通過抓包獲取有效的Cookie?？赡茉?簽名參數(shù)_signature無效或已過期。排查你復(fù)用的URL中的_signature可能是一次性的或者與sec_uid、max_cursor強(qiáng)綁定。嘗試只修改max_cursor后是否失效。解決重新抓包一次列表請求獲取全新的URL和_signature。如果頻繁失效說明此接口簽名校驗(yàn)嚴(yán)格需要考慮逆向簽名算法或?qū)ふ移渌娲涌?。可能原?請求頭不完整或格式不對。排查對比你的請求頭和抓包中的請求頭確保關(guān)鍵字段如User-Agent,Host,Accept等一致。特別注意Cookie的格式是分號分隔的鍵值對。解決盡量復(fù)制抓包中看到的所有Headers不要遺漏。7.2 問題返回429 Too Many Requests可能原因請求頻率過高觸發(fā)了服務(wù)器的速率限制。解決立即停止當(dāng)前循環(huán)等待一段時間比如5-10分鐘再繼續(xù)。增加請求間隔。將time.sleep的時間加長并加入更大的隨機(jī)因子例如time.sleep(5 random.random() * 10)?？紤]使用代理IP分散請求來源。7.3 問題能獲取到數(shù)據(jù)但只有前幾頁has_more始終為 1但max_cursor不變化或循環(huán)可能原因max_cursor的處理邏輯有誤或者接口在無更多數(shù)據(jù)時仍然返回has_more1。排查打印出每次請求返回的max_cursor和has_more。如果max_cursor不再變化但has_more還是1可能意味著已經(jīng)到達(dá)末尾但接口設(shè)計如此。解決在循環(huán)中增加一個判斷如果連續(xù)2-3次請求返回的max_cursor相同且獲取到的視頻列表為空或重復(fù)則判定為已抓取完畢主動跳出循環(huán)。7.4 問題如何獲取更早的歷史視頻抖音的/aweme/post/接口通常只返回最近發(fā)布的視頻具體數(shù)量可能有限比如最近1000條。要獲取更早的、被“折疊”的視頻通常需要登錄賬號后在App中觸發(fā)“查看更多”操作并抓取那個過程中調(diào)用的另一個API。這個接口的權(quán)限和風(fēng)控等級更高實(shí)現(xiàn)起來復(fù)雜得多。對于絕大多數(shù)分析需求最近幾百條視頻已經(jīng)足夠。7.5 問題視頻數(shù)據(jù)中的播放地址無法直接下載或提示“視頻不見了”視頻的play_addr播放地址返回的URL通常帶有鑒權(quán)參數(shù)有效期很短且可能檢查Referer等Header。直接用在瀏覽器中可能過一段時間就失效。解決如果需要下載視頻應(yīng)該使用返回的video_id或aweme_id結(jié)合其他專門的無水印下載接口這又是另一個話題通常也需要簽名。切勿在程序中高頻訪問視頻播放地址這極易導(dǎo)致IP被封。最后再次強(qiáng)調(diào)技術(shù)是把雙刃劍。這套方法能幫你高效地收集公開數(shù)據(jù)但務(wù)必尊重平臺規(guī)則和用戶隱私將數(shù)據(jù)用于合法、合規(guī)的用途。保持較低的請求頻率避免對抖音服務(wù)器造成不必要的負(fù)擔(dān)。在實(shí)際開發(fā)中最耗時的部分往往不是寫代碼而是與平臺風(fēng)控機(jī)制的“博弈”和參數(shù)的維護(hù)更新。保持耐心多測試多觀察抓包數(shù)據(jù)的變化是成功的關(guān)鍵。