數(shù)字人視頻這條賽道我從去年就開始折騰了。最開始的想法很樸素——能不能用一套完全開源、本地可跑的工具鏈把聲音克隆 腳本生成 PPT 畫面 口型合成這幾件事串成一條自動化流水線輸入一段文字輸出一條帶真人音色、帶講解畫面的數(shù)字人視頻。試過市面上不少方案要么是聲音克隆要付費(fèi)額度要么是畫面生成依賴云端服務(wù)要么是整條鏈路斷在某個環(huán)節(jié)上得手動補(bǔ)一大堆東西。直到我把 GPT-SoVITS、Claude 和一套七步流水線拼到一起才算真正跑通了一個能穩(wěn)定復(fù)現(xiàn)的開源數(shù)字人平臺。這篇文章不講概念只講我實(shí)際搭這套東西時踩過的坑、做過的取舍和最終跑通的完整鏈路。核心關(guān)鍵詞就幾個GPT-SoVITS 聲音克隆、Claude 生成 PPT 腳本與內(nèi)容、七步流水線合成數(shù)字人視頻。適合兩類人看一類是想自己搭一套數(shù)字人生產(chǎn)工具、又不想被商業(yè)平臺綁死的內(nèi)容創(chuàng)作者另一類是想搞清楚聲音克隆 大模型 視頻合成這條鏈路底層怎么串起來的技術(shù)同學(xué)。哪怕你之前沒碰過數(shù)字人跟著思路走也能明白每一步在干什么、為什么這么干。1. 為什么我放棄了商業(yè)數(shù)字人平臺轉(zhuǎn)向自建流水線1.1 商業(yè)平臺的三道坎額度、音色和不可控先說清楚我為什么非要自建。最早我用過幾個在線的數(shù)字人工具體驗(yàn)確實(shí)順滑上傳一段音頻、選個形象、輸入文案幾分鐘出片。但用著用著就發(fā)現(xiàn)三個繞不過去的問題。第一道坎是額度。聲音克隆基本都按字符或者按分鐘計(jì)費(fèi)我做一個十分鐘的講解視頻光聲音合成就要消耗不少額度批量生產(chǎn)的時候成本直接失控。第二道坎是音色歸屬。很多平臺克隆出來的聲音你只有使用權(quán)沒有導(dǎo)出權(quán)想遷移到別的工具鏈里用根本不行等于被鎖死在這家平臺上。第三道坎是不可控。我想在畫面里插入特定的圖表、特定的排版、特定的動畫節(jié)奏平臺給的模板改不動最后出來的東西千篇一律一眼就能看出是數(shù)字人模板片。這三道坎疊加起來結(jié)論就很明確了如果我只是偶爾做一兩條視頻商業(yè)平臺夠用但如果我想把它當(dāng)成一個持續(xù)產(chǎn)出的內(nèi)容工具必須自己掌握整條鏈路。1.2 自建方案的核心訴求本地、開源、可拆解自建不是目的可控才是。我給自己定了三條硬標(biāo)準(zhǔn)。本地可跑。聲音克隆和視頻合成這兩步最好能在自己的機(jī)器上完成不依賴外部服務(wù)的額度和網(wǎng)絡(luò)穩(wěn)定性。這樣批量生產(chǎn)的時候成本就是電費(fèi)和機(jī)器折舊邊際成本幾乎為零。開源可改。每個環(huán)節(jié)用的工具都得是開源的源碼在手遇到問題能改想加功能能加。GPT-SoVITS 就是沖著這一點(diǎn)選的它的聲音克隆效果在開源方案里屬于第一梯隊(duì)而且訓(xùn)練和推理都能本地跑。鏈路可拆解。整條流水線要能拆成獨(dú)立的步驟每一步的輸入輸出都是明確的文件或者數(shù)據(jù)這樣哪一步出問題就單獨(dú)調(diào)哪一步不用整條重跑。這一點(diǎn)特別重要后面講七步流水線的時候你會看到正是因?yàn)榭刹鸾馕也拍茉诼曇艉铣珊彤嬅婧铣芍g插入人工校對環(huán)節(jié)。1.3 七步流水線的整體設(shè)計(jì)思路把需求拆開之后整條鏈路其實(shí)就清晰了。一條數(shù)字人視頻本質(zhì)上需要四樣?xùn)|西腳本內(nèi)容、聲音、畫面、口型對齊。圍繞這四樣?xùn)|西我把它拆成了七個步驟用 Claude 生成講解腳本和分頁大綱用 Claude 把大綱擴(kuò)寫成每一頁 PPT 的文案生成 PPT 文件畫面素材用 GPT-SoVITS 克隆音色并合成配音把配音按頁切分和 PPT 頁面對齊生成數(shù)字人口型視頻或音頻驅(qū)動畫面合成最終視頻加字幕和轉(zhuǎn)場這七步里第 1 到第 3 步是內(nèi)容與畫面第 4 到第 5 步是聲音與對齊第 6 到第 7 步是合成與輸出。每一步都能單獨(dú)跑、單獨(dú)驗(yàn)這就是我堅(jiān)持可拆解的原因。2. GPT-SoVITS 聲音克隆從采樣到可用音色的完整過程2.1 為什么是 GPT-SoVITS 而不是別的克隆方案開源聲音克隆方案我試過好幾個最后留在 GPT-SoVITS 上原因有三個。少樣本效果好。GPT-SoVITS 最大的特點(diǎn)是 few-shot理論上幾分鐘的干凈音頻就能克隆出一個可用的音色。我實(shí)測下來5 到 10 分鐘的高質(zhì)量錄音出來的效果就已經(jīng)相當(dāng)自然了語氣、停頓、音色都能抓住。相比之下有些方案要幾十分鐘甚至幾小時的語料才能訓(xùn)出像樣的模型。中英文混讀穩(wěn)。我的腳本里經(jīng)常中英文夾雜比如這個 API 的 latency 大概在 200 毫秒左右。GPT-SoVITS 在中英混讀上的表現(xiàn)比很多純中文方案好不會一遇到英文單詞就發(fā)音崩掉。訓(xùn)練和推理都能本地跑。這一點(diǎn)直接決定了成本可控。訓(xùn)練一次音色模型之后所有合成都在本地想合成多少條就合成多少條。2.2 錄音采樣的幾個硬性要求聲音克隆的效果七分靠采樣三分靠模型。我踩過的坑幾乎都出在采樣上。下面這幾條是我總結(jié)出來的硬性要求照著做能少走很多彎路。環(huán)境要安靜。不要用帶混響的房間不要開風(fēng)扇空調(diào)對著麥克風(fēng)。我最早在客廳錄出來的音色總帶著一股空曠感后來換到衣柜里衣服吸音錄效果立刻不一樣。麥克風(fēng)別太差。手機(jī)自帶麥克風(fēng)勉強(qiáng)能用但如果有條件用一個入門級的電容麥信噪比會好很多。采樣質(zhì)量的上限直接決定了克隆音色的上限。語速和情緒要統(tǒng)一。錄的時候盡量保持同一個語速、同一個情緒狀態(tài)。如果一段錄音里前半段很興奮、后半段很平淡模型學(xué)出來的音色會不穩(wěn)定。內(nèi)容要覆蓋常用音素。錄的文本最好包含常見的聲母韻母組合不要只錄一段繞口令。我一般會準(zhǔn)備一段包含陳述、疑問、數(shù)字、英文單詞的文本大概 300 到 500 字讀個幾遍湊夠 5 到 10 分鐘。格式統(tǒng)一。采樣音頻統(tǒng)一轉(zhuǎn)成單聲道、16kHz 或 32kHz 的 wav避免不同格式混在一起導(dǎo)致預(yù)處理出錯。提示錄音的時候可以故意在句子之間留一點(diǎn)自然停頓這樣模型學(xué)出來的節(jié)奏更接近真人合成長文本的時候不會一口氣念到底。2.3 訓(xùn)練流程與關(guān)鍵參數(shù)GPT-SoVITS 的訓(xùn)練流程大致分三步數(shù)據(jù)預(yù)處理、訓(xùn)練 GPT 模塊、訓(xùn)練 SoVITS 模塊。這里不展開每一步的界面操作重點(diǎn)講幾個影響效果的參數(shù)。數(shù)據(jù)預(yù)處理這一步會把長音頻切成短片段同時做降噪和靜音切除。切片的粒度很關(guān)鍵切得太碎會丟失上下文切得太長又不利于訓(xùn)練。我一般讓工具自動切切完之后人工聽一遍把明顯有雜音或者念錯的片段刪掉。這一步偷懶后面訓(xùn)練出來的音色就會帶雜音。訓(xùn)練輪數(shù)epoch是最容易調(diào)錯的參數(shù)。輪數(shù)太少音色學(xué)不像輪數(shù)太多會過擬合合成出來的聲音發(fā)悶、發(fā)死。我的經(jīng)驗(yàn)是5 到 10 分鐘語料的情況下先按默認(rèn)輪數(shù)跑一輪聽合成效果如果音色不夠像就加輪數(shù)如果開始發(fā)悶就減輪數(shù)。不要一上來就拉滿。學(xué)習(xí)率一般用默認(rèn)值就行除非你有明確的調(diào)參經(jīng)驗(yàn)。聲音克隆這個任務(wù)對學(xué)習(xí)率不算特別敏感默認(rèn)值在大多數(shù)情況下都能work。訓(xùn)練完之后一定要用幾段訓(xùn)練集之外的文本做測試。我見過不少人用訓(xùn)練集里的句子測試覺得效果完美結(jié)果一換新文本就露餡。測試文本要包含訓(xùn)練時沒出現(xiàn)過的詞這樣才能真實(shí)反映泛化能力。2.4 合成階段的語速與停頓控制訓(xùn)練只是第一步合成階段的控制同樣重要。GPT-SoVITS 合成出來的音頻默認(rèn)語速和停頓不一定適合視頻講解。我一般會做兩件事。一是按標(biāo)點(diǎn)切分再合成。不要把一整頁 PPT 的文案一次性丟進(jìn)去合成而是按句號、問號切分成小段逐段合成再拼起來。這樣每段的停頓更自然也方便后面和畫面做對齊。二是手動調(diào)語速。合成參數(shù)里一般有語速控制講解類視頻我通常會把語速調(diào)到略慢于默認(rèn)值聽起來更從容。如果是快節(jié)奏的短視頻可以適當(dāng)加快。合成完之后我會把音頻導(dǎo)入音頻編輯軟件把明顯的呼吸聲、口水音剪掉把段落之間的靜音統(tǒng)一到 0.3 到 0.5 秒。這一步看起來瑣碎但對最終視頻的觀感影響很大。3. 用 Claude 把一份大綱變成能直接用的 PPT 腳本3.1 讓 Claude 先出結(jié)構(gòu)再填內(nèi)容很多人用大模型寫 PPT上來就說幫我寫一份關(guān)于 XX 的 PPT結(jié)果出來的東西要么太泛要么結(jié)構(gòu)混亂。我的做法是分兩步走先讓 Claude 出結(jié)構(gòu)確認(rèn)結(jié)構(gòu)沒問題了再讓它逐頁填內(nèi)容。第一步的提示詞大概是這樣組織的告訴它主題、目標(biāo)受眾、視頻時長、大概需要多少頁然后讓它輸出一個分頁大綱每頁給出標(biāo)題和一句話要點(diǎn)。這一步不要讓它寫正文只要結(jié)構(gòu)。結(jié)構(gòu)確認(rèn)之后第二步再讓它按頁擴(kuò)寫每頁控制在 100 到 200 字正好對應(yīng) 30 秒到 1 分鐘的講解。這樣分兩步的好處是結(jié)構(gòu)錯了改結(jié)構(gòu)內(nèi)容錯了改內(nèi)容不會混在一起返工。3.2 提示詞里必須交代的幾件事讓 Claude 生成的腳本能直接用于數(shù)字人視頻提示詞里必須交代清楚幾件事否則出來的東西沒法用。受眾和語氣。是給技術(shù)同學(xué)講還是給普通用戶講語氣是嚴(yán)謹(jǐn)還是輕松直接決定用詞。我一般會明確說面向有一定基礎(chǔ)的從業(yè)者語氣直接不要客套話。每頁字?jǐn)?shù)上限。數(shù)字人視頻里一頁 PPT 停留時間有限字?jǐn)?shù)太多觀眾根本讀不完。我會明確要求每頁正文不超過 150 字要點(diǎn)不超過 5 條?？谡Z化要求。PPT 上的文字和配音的文案是兩回事。PPT 上要精簡配音要口語化。我會讓 Claude 同時輸出兩份一份是 PPT 頁面上的精簡文字一份是配音用的口語化講稿。禁止事項(xiàng)。明確告訴它不要用綜上所述隨著……的發(fā)展這類套話不要用 emoji不要寫無法驗(yàn)證的數(shù)據(jù)。3.3 從大綱到分頁文案的擴(kuò)寫技巧擴(kuò)寫這一步我有個小技巧讓 Claude 按一頁一個核心觀點(diǎn)來寫。每一頁只講一件事講透不要一頁塞三個觀點(diǎn)。這樣觀眾看起來不累配音也好切分。具體操作上我會給每一頁指定一個角色有的頁是提出問題有的頁是給出方案有的頁是舉例說明有的頁是總結(jié)要點(diǎn)。讓 Claude 按角色來寫出來的內(nèi)容層次感會強(qiáng)很多。另外配音講稿里我會讓它適當(dāng)加入過渡句比如我們來看下一頁這里有個細(xì)節(jié)要注意。這些過渡句在純文本里顯得啰嗦但在視頻里是必要的能讓講解更連貫。3.4 生成 PPT 文件的幾種落地方式Claude 本身不直接生成 pptx 文件但它的輸出可以很方便地轉(zhuǎn)成 PPT。我試過幾種方式。一種是讓 Claude 輸出結(jié)構(gòu)化的 Markdown 或者 JSON然后用 python-pptx 這類庫批量生成 pptx。這種方式最可控模板可以自己定字體、配色、版式都能統(tǒng)一。缺點(diǎn)是前期要寫一點(diǎn)代碼。另一種是讓 Claude 輸出符合某個 PPT 工具導(dǎo)入格式的內(nèi)容比如直接輸出 Markdown再用支持 Markdown 轉(zhuǎn) PPT 的工具轉(zhuǎn)。這種方式上手快但版式控制弱一些。還有一種是用支持 AI 生成 PPT 的工具把 Claude 的輸出粘進(jìn)去。這種方式最省事但可控性最差適合對版式要求不高的場景。我最終選的是第一種因?yàn)閿?shù)字人視頻對畫面一致性要求高模板必須統(tǒng)一。用 python-pptx 生成的時候我會把母版、字體、配色都固定下來每頁只替換文字內(nèi)容這樣出來的 PPT 風(fēng)格完全一致。4. 七步流水線的中間三步配音切分、頁面對齊與素材準(zhǔn)備4.1 為什么配音要按頁切分這是整條流水線里最容易被忽略、但最關(guān)鍵的一步。數(shù)字人視頻的本質(zhì)是聲音驅(qū)動畫面如果聲音和畫面對不上觀眾立刻就會出戲。我的做法是配音按 PPT 頁面切分一頁對應(yīng)一段音頻。具體來說第 3 步生成 PPT 之后我知道了一共有多少頁第 4 步合成配音的時候我按頁合成每一頁的講稿單獨(dú)合成一段音頻。這樣天然就建立了頁 - 音頻的對應(yīng)關(guān)系。這樣做還有個好處如果某一頁的配音不滿意只需要重新合成那一頁不用整條重來。4.2 頁面與音頻的對齊策略對齊這件事有兩種策略。一種是音頻驅(qū)動畫面先有音頻根據(jù)音頻時長決定每一頁 PPT 停留多久。這種方式適合講解類視頻畫面跟著講解走節(jié)奏自然。另一種是畫面驅(qū)動音頻先定好每頁停留時間再讓配音去適配。這種方式適合有嚴(yán)格時長要求的場景比如廣告片。我做講解類視頻用的是第一種。每一頁的音頻時長就是這一頁 PPT 的停留時長中間加一點(diǎn)轉(zhuǎn)場時間。這樣觀眾聽到什么就看到什么不會出現(xiàn)話還沒說完畫面就切了的情況。4.3 數(shù)字人形象素材的準(zhǔn)備數(shù)字人形象這塊我用的是音頻驅(qū)動靜態(tài)形象或者輕量級口型動畫的方案。核心思路是準(zhǔn)備一張正面、清晰、光線均勻的人物圖或者用虛擬形象然后用音頻去驅(qū)動口型。素材準(zhǔn)備有幾個注意點(diǎn)。人物圖最好是正面、閉嘴、表情自然的這樣口型驅(qū)動的效果最好。背景盡量干凈方便后期摳圖或者疊加。如果是虛擬形象要確保形象和音色匹配別出現(xiàn)蘿莉音配大叔臉這種違和感。4.4 中間環(huán)節(jié)的校驗(yàn)清單在進(jìn)入最后的合成之前我會做一次完整的校驗(yàn)。這一步能省掉大量返工。校驗(yàn)項(xiàng)檢查內(nèi)容常見問題腳本頁數(shù)與大綱一致無錯別字?jǐn)U寫時多出或漏掉頁面PPT版式統(tǒng)一字體無缺失特殊字體在別的機(jī)器上顯示異常配音每頁音頻完整無爆音合成時截斷或雜音對齊頁數(shù)與音頻段數(shù)一致某頁音頻缺失導(dǎo)致錯位形象圖片清晰背景干凈分辨率不夠?qū)е潞铣珊竽：@張表我每次跑流水線都會過一遍尤其是頁數(shù)和音頻段數(shù)一致這一條一旦對不上后面全亂。5. 最后兩步口型合成與視頻輸出的實(shí)操細(xì)節(jié)5.1 口型合成的兩種技術(shù)路線口型合成這塊主流有兩條路線。一條是基于音頻特征驅(qū)動口型把音頻的梅爾頻譜或者音素特征映射到口型參數(shù)上再驅(qū)動人物圖或者模型。這種方式輕量、快適合批量生產(chǎn)缺點(diǎn)是口型精度一般遇到復(fù)雜發(fā)音會有點(diǎn)糊。另一條是基于生成模型的口型合成用擴(kuò)散模型或者 GAN 直接生成帶口型的人物視頻。這種方式效果好口型自然但計(jì)算量大對顯卡要求高。我做批量內(nèi)容選的是第一條路線因?yàn)樗俣群统杀靖煽?。如果做精品單條視頻可以上第二條路線。5.2 合成參數(shù)對最終觀感的影響口型合成有幾個參數(shù)會明顯影響觀感。口型幅度。幅度太小看起來像沒在說話幅度太大又顯得夸張。我一般會調(diào)到中等偏上讓口型清晰但不夸張。頭部動作幅度。純靜態(tài)的數(shù)字人看起來像照片加一點(diǎn)自然的頭部微動會生動很多。但幅度不能大否則會顯得晃。眨眼頻率。如果形象有眼睛眨眼頻率要接近真人大概每 3 到 5 秒一次。頻率不對會顯得很假。這些參數(shù)沒有標(biāo)準(zhǔn)答案我的建議是先跑一條短的測試視頻看效果再調(diào)別一上來就合成整條。5.3 視頻合成與字幕、轉(zhuǎn)場的處理最后一步是把畫面、音頻、字幕、轉(zhuǎn)場合到一起。我用的是常見的視頻處理工具鏈核心是把前面幾步產(chǎn)出的素材按時間軸拼起來。字幕這塊我會從配音的講稿直接生成按句切分和音頻對齊。字幕樣式要統(tǒng)一字號、顏色、位置固定不要每頁都變。轉(zhuǎn)場我一般用最簡單的淡入淡出或者直接硬切。數(shù)字人講解類視頻花哨的轉(zhuǎn)場反而分散注意力。硬切最干凈觀眾注意力始終在內(nèi)容上。輸出參數(shù)上我一般用 1080p、30 幀、H.264 編碼這個組合兼容性最好上傳到各個平臺都不會出問題。如果對文件大小敏感可以適當(dāng)降低碼率但不要低于 4Mbps否則畫面會有明顯壓縮痕跡。5.4 整條流水線的耗時與優(yōu)化跑完整條流水線一條十分鐘的視頻我的機(jī)器上大概需要這些時間腳本生成幾分鐘取決于模型響應(yīng)PPT 生成幾十秒配音合成幾分鐘口型合成是耗時大頭可能十幾分鐘到半小時最后合成幾分鐘。整體下來一條視頻從腳本到成片大概一兩個小時。優(yōu)化的重點(diǎn)在口型合成這一步。我的做法是把口型合成和配音合成并行配音合成完一頁就開始合成那一頁的口型不用等全部配音完成。這樣能省下不少等待時間。另外PPT 生成和腳本生成可以提前批量做好配音和口型合成是串行的這兩步是瓶頸。如果要做批量生產(chǎn)可以考慮多機(jī)并行把不同的視頻分到不同機(jī)器上跑。6. 跑通之后我總結(jié)的幾條經(jīng)驗(yàn)6.1 采樣質(zhì)量決定上限別在這省時間這句話我重復(fù)多少遍都不為過。聲音克隆的效果采樣質(zhì)量占七成。我見過太多人花大量時間調(diào)模型參數(shù)結(jié)果采樣本身就有雜音、有混響怎么調(diào)都出不來好效果。與其在參數(shù)上糾結(jié)不如把錄音環(huán)境弄干凈、把麥克風(fēng)換好一點(diǎn)、把錄音文本準(zhǔn)備充分。這是投入產(chǎn)出比最高的一件事。6.2 腳本和配音分開寫別偷懶PPT 上的文字和配音的講稿是兩種不同的東西。PPT 要精簡配音要口語化。如果偷懶用同一份文案要么 PPT 上字太多觀眾讀不完要么配音太書面聽起來像念稿。讓 Claude 同時輸出兩份多花不了多少時間效果差很多。6.3 中間環(huán)節(jié)一定要人工過一遍流水線再自動中間環(huán)節(jié)也得人工校驗(yàn)。尤其是腳本和配音機(jī)器生成的東西難免有錯別字、有邏輯不通的地方。我一般會在腳本生成后、配音合成前各過一遍把明顯的問題改掉。這一步花十分鐘能省掉后面半小時的返工。6.4 先跑通最小閉環(huán)再優(yōu)化細(xì)節(jié)我一開始就想著把每個環(huán)節(jié)都做到完美結(jié)果卡在聲音克隆上好久整條鏈路一直沒跑通。后來改變策略先用最粗糙的素材把七步跑通一遍看到成片之后再回頭逐個環(huán)節(jié)優(yōu)化。這個思路救了我。先有閉環(huán)再有優(yōu)化不要反過來。6.5 版本管理很重要腳本、PPT、音頻、視頻每一版都存好命名規(guī)范。我吃過虧改到第五版的時候想回到第二版結(jié)果發(fā)現(xiàn)沒存?，F(xiàn)在我的做法是每一版都帶日期和版本號重要的節(jié)點(diǎn)單獨(dú)備份。數(shù)字人視頻這種多環(huán)節(jié)協(xié)作的活兒版本管理能救命。這套流水線我到現(xiàn)在還在用也還在改。GPT-SoVITS 的模型在更新Claude 的能力在變強(qiáng)視頻合成的工具也在迭代。但核心思路沒變把復(fù)雜的事情拆成可獨(dú)立驗(yàn)證的步驟每一步都做到可控整條鏈路自然就穩(wěn)了。如果你也想搭一套自己的數(shù)字人生產(chǎn)工具建議從最小閉環(huán)開始先跑通再優(yōu)化別一上來就追求完美。