用ComfyUI把一段文字變成視頻這事我最近替不少人跑通了。要聊的主角是LTX-2一個(gè)專門(mén)干文生視頻的模型也是目前我在ComfyUI里用下來(lái)比較順手的視頻方案之一。這篇文章不會(huì)給你堆一堆專業(yè)術(shù)語(yǔ)然后丟下一句自己悟而是從原理、工作流搭建、提示詞寫(xiě)法、參數(shù)調(diào)整到實(shí)測(cè)踩坑一條線講完。適合兩類人看一是剛開(kāi)始接觸ComfyUI視頻功能、想少走彎路的新手二是已經(jīng)能跑圖但被視頻模型各種詭異表現(xiàn)折磨過(guò)的老手。1. LTX-2 到底是什么模型先把生成視頻的原理說(shuō)透1.1 文生視頻不是一張張畫(huà)出來(lái)的很多人第一次用LTX-2時(shí)腦子里還帶著視頻生成逐幀圖片合成的舊印象結(jié)果直接用就懵了為什么我給模型寫(xiě)了一段文字它卻能在幾秒內(nèi)吐出一段能看到光影變化、物體位移的短視頻答案在于這類模型走的是一次性建模整段視頻的路線。LTX-2本質(zhì)上和最近兩年流行的圖像擴(kuò)散模型同源屬于擴(kuò)散模型大家庭。擴(kuò)散模型的核心工作方式是先讓內(nèi)容爛掉再學(xué)習(xí)還原訓(xùn)練階段往視頻數(shù)據(jù)里不斷疊加高斯噪聲直到畫(huà)面徹底變成雪花點(diǎn)模型的任務(wù)是學(xué)習(xí)每一步加噪的反過(guò)程在推理時(shí)從噪聲里一步步還原出原始畫(huà)面。推理階段就更純粹了——給模型一個(gè)裝滿隨機(jī)噪聲的潛空間張量再給它一個(gè)文本條件作為導(dǎo)航讓它在幾十步去噪過(guò)程里逐步把噪聲梳理成有語(yǔ)義的畫(huà)面。和圖像擴(kuò)散模型不同的是視頻模型還需要處理時(shí)間這個(gè)維度。早期的視頻生成方案是橫向擴(kuò)展先生成一張圖再用光流或插幀把相鄰幀聯(lián)系起來(lái)。這樣做速度尚可但時(shí)間一致性很難保證物體動(dòng)一動(dòng)就虛背景一跳一跳。LTX-2走的是另一條路它把整段視頻看成一個(gè)三維數(shù)據(jù)塊——高、寬、時(shí)間三個(gè)維度——一次性放進(jìn)潛空間去生成。這樣每一幀都不是獨(dú)立產(chǎn)生而是和前后幀一起參與同一個(gè)去噪過(guò)程換來(lái)的是幀與幀之間天然連貫的運(yùn)動(dòng)。這里又牽出一個(gè)關(guān)鍵詞潛空間。視頻原始的畫(huà)面數(shù)據(jù)量太大如果直接在像素級(jí)別做擴(kuò)散任何顯卡都吃不消。模型通過(guò)一個(gè)時(shí)空壓縮VAE把一段視頻編碼成尺寸小得多的潛空間表示采樣完再解碼回像素。LTX-2對(duì)空間的壓縮率比較高所以同樣一個(gè)顯存預(yù)算它能跑的分辨率和幀數(shù)會(huì)比上一代更寬裕。1.2 LTX-2和更早的LTXV版本差別不在提示詞而在這幾點(diǎn)標(biāo)題里寫(xiě)的是LTX-2實(shí)際社區(qū)里經(jīng)常提到的還有之前的LTXV系列模型。簡(jiǎn)單說(shuō)LTX-2是沿著同一套LTXV架構(gòu)路線迭代出來(lái)的新一代權(quán)重它的主要改進(jìn)集中在三塊運(yùn)動(dòng)幅度更強(qiáng)。上一代模型生成靜態(tài)場(chǎng)景很穩(wěn)但稍微劇烈的動(dòng)作容易發(fā)糊、物體幾何形態(tài)會(huì)飄而LTX-2在主體發(fā)生位移、旋轉(zhuǎn)、形變時(shí)保持形狀的能力要好很多。文本語(yǔ)義跟隨更準(zhǔn)。上一代對(duì)簡(jiǎn)單主謂賓理解最好復(fù)雜一點(diǎn)的同時(shí)拿著杯子看窗外就容易丟條件LTX-2對(duì)多實(shí)體、多動(dòng)作的組合能接住更大比例。對(duì)低分辨率的容忍度更好。過(guò)去生成小分辨率畫(huà)面經(jīng)常出現(xiàn)結(jié)構(gòu)崩壞新版在720x400附近依然能保住合理構(gòu)圖。但要注意這些更好不是無(wú)條件的。LTX-2仍然是擴(kuò)散模型里的視頻分支它對(duì)提示詞的挑剔程度、對(duì)參數(shù)的敏感度本質(zhì)上和LTXV一脈相承。如果之前用過(guò)視頻模型把舊工作流里的模型路徑換掉再把部分采樣參數(shù)修正一下就能跑起來(lái)如果完全沒(méi)接觸過(guò)建議先把后面幾章的參數(shù)邏輯看明白再開(kāi)跑。1.3 用之前先調(diào)整三個(gè)心理預(yù)期我見(jiàn)過(guò)太多第一次接觸LTX-2的人翻車都是因?yàn)轭A(yù)期和現(xiàn)實(shí)差距太大。這里提前說(shuō)清楚第一單次生成時(shí)長(zhǎng)很短。LTX-2默認(rèn)條件下生成的是5到10秒級(jí)別的短視頻片段不是幾十秒的完整MV。想做出長(zhǎng)視頻正確路線是先產(chǎn)出一批短片段再用剪輯或關(guān)鍵幀銜接而不是幻想一句提示詞生成整部電影。第二顯存消耗和幀數(shù)幾乎是線性的。很多人習(xí)慣圖像生成時(shí)的顯存預(yù)算12GB都能跑流暢圖到視頻模型面前完全不夠用。生成32幀720p的資源開(kāi)銷差不多是生成一張2K大圖的若干倍16GB顯存只能算入門(mén)線8GB顯存必須上量化版本和低分辨率組合。第三輸出質(zhì)量是抽卡。同樣的提示詞、同樣的參數(shù)換一個(gè)隨機(jī)種子畫(huà)面細(xì)節(jié)、構(gòu)圖、運(yùn)動(dòng)趨勢(shì)都會(huì)變。視頻生成的隨機(jī)性遠(yuǎn)大于圖像生成做項(xiàng)目時(shí)至少要批量抽好幾次才能挑出可用的鏡頭。2. 把這套工作流跑起來(lái)環(huán)境、模型文件與最小可運(yùn)行鏈路2.1 硬件底線與ComfyUI版本檢查先看硬件。這里不說(shuō)具體顯卡型號(hào)只講紅線顯存12GB可以跑LTX-2的量化版本分辨率建議720x400附近幀數(shù)控制在16幀左右。顯存16GB及以上能嘗試原版浮點(diǎn)權(quán)重和32幀分辨率可以上到1280x768但要注意采樣時(shí)間。顯存8GB不是完全不能玩。需要量化到q4或更低分辨率降到576x320幀數(shù)控制在8幀。能出片但細(xì)節(jié)和運(yùn)動(dòng)質(zhì)量會(huì)明顯妥協(xié)。顯存之外內(nèi)存建議32GB起步視頻解碼和潛空間轉(zhuǎn)換過(guò)程中峰值壓力不小。硬盤(pán)倒不是瓶頸一個(gè)8B規(guī)模的模型權(quán)重按精度不同在8GB到20GB之間預(yù)留出空間就行。ComfyUI部分務(wù)必保證能正常更新核心組件。LTX-2的使用不需要額外裝什么復(fù)雜插件ComfyUI原生已經(jīng)內(nèi)置了對(duì)LTXV架構(gòu)節(jié)點(diǎn)的支持新版本的節(jié)點(diǎn)前綴就是LTXV。遇到過(guò)時(shí)版本跑不起來(lái)第一反應(yīng)應(yīng)該是更新ComfyUI本體而不是去裝各路來(lái)路不明的第三方節(jié)點(diǎn)包。提示安裝完模型后如果工作流報(bào)錯(cuò)說(shuō)找不到某個(gè)LTXV相關(guān)的節(jié)點(diǎn)先用ComfyUI管理器檢查核心更新缺節(jié)點(diǎn)絕大多數(shù)情況是本體太舊而不是模型損壞。2.2 模型文件擺放兩類放法對(duì)應(yīng)兩種工作流LTX-2的模型權(quán)重在開(kāi)源社區(qū)里通常有兩種分發(fā)方式對(duì)應(yīng)ComfyUI里兩種不同的加載習(xí)慣。第一種是拆分版擴(kuò)散模型權(quán)重、文本編碼器權(quán)重、VAE權(quán)重分別獨(dú)立這種最靈活。放法也很明確擴(kuò)散模型權(quán)重放到 ComfyUI/models/diffusion_models/ 目錄文本編碼器相關(guān)文件放到 ComfyUI/models/text_encoders/ 目錄VAE文件放到 ComfyUI/models/vae/第二種是整包版權(quán)重被合并成一個(gè)checkpoint文件直接丟進(jìn) ComfyUI/models/checkpoints/ 即可。整包版對(duì)新手更友好只需要一個(gè)加載節(jié)點(diǎn)就能把模型、文本編碼器、VAE全部引出來(lái)缺點(diǎn)是定制性差想混合不同組件就麻煩。我個(gè)人建議只要你打算長(zhǎng)期用LTX-2就按拆分版管理。視頻模型更新迭代快今天用的小版本VAE明天可能就被新權(quán)重淘汰拆開(kāi)放方便你單獨(dú)替換某一環(huán)而不破壞整個(gè)工作流。2.3 最小可運(yùn)行工作流的節(jié)點(diǎn)鏈路ComfyUI的交互方式是把各種功能節(jié)點(diǎn)拖到畫(huà)布上連成圖。LTX-2文生視頻的最簡(jiǎn)鏈路大致長(zhǎng)這樣模型加載節(jié)點(diǎn)從diffusion_models目錄加載LTX-2擴(kuò)散模型從text_encoders目錄加載配套文本編碼器從vae目錄加載LTXV專用VAE。文本編碼節(jié)點(diǎn)接入提示詞正向、負(fù)向各一個(gè)把文字轉(zhuǎn)換成模型能讀懂的條件向量。潛空間視頻初始化節(jié)點(diǎn)相當(dāng)于準(zhǔn)備一塊空白的視頻畫(huà)布設(shè)置幀數(shù)、寬、高。條件注入節(jié)點(diǎn)把文本向量和潛空間視頻畫(huà)布粘合輸出帶條件的潛視頻張量同時(shí)可設(shè)定視頻的幀率屬性。采樣器節(jié)點(diǎn)核心計(jì)算環(huán)節(jié)。載入模型、正向負(fù)向條件、潛視頻設(shè)置步數(shù)、CFG、采樣器和調(diào)度器執(zhí)行若干輪去噪。VAE解碼節(jié)點(diǎn)把采樣完的潛空間視頻解碼回像素幀。輸出節(jié)點(diǎn)選擇預(yù)覽節(jié)點(diǎn)直接在界面里看或保存節(jié)點(diǎn)寫(xiě)出視頻文件。聽(tīng)起來(lái)節(jié)點(diǎn)不少其實(shí)畫(huà)出來(lái)就一條線走到底。第一次跑通后建議把這套工作流保存成模板之后換提示詞、調(diào)參數(shù)都基于這個(gè)模板修改不要再?gòu)牧愦罱ā?. 提示詞怎么寫(xiě)視頻才愿意動(dòng)起來(lái)很多人在LTX-2上遇到的第一個(gè)挫折不是爆顯存而是畫(huà)面很漂亮但就是不動(dòng)。這問(wèn)題一半出在采樣參數(shù)另一半就出在提示詞根本沒(méi)寫(xiě)到運(yùn)動(dòng)這件事上。3.1 圖像提示詞和視頻提示詞的核心差異圖像生成提示詞強(qiáng)調(diào)靜態(tài)構(gòu)圖一只貓坐在窗臺(tái)上陽(yáng)光灑落高清細(xì)節(jié)。同樣的配方扔給視頻模型模型確實(shí)會(huì)生成一只貓坐在窗臺(tái)上陽(yáng)光也確實(shí)灑落但由于提示詞里不存在任何時(shí)間維度的指令模型傾向于輸出近似靜態(tài)的樣本——擴(kuò)散模型在訓(xùn)練數(shù)據(jù)里見(jiàn)過(guò)大量安靜鏡頭在沒(méi)有明確運(yùn)動(dòng)信號(hào)時(shí)它收斂到靜止樣本是最省力的。視頻提示詞必須額外攜帶至少一類運(yùn)動(dòng)信息主體動(dòng)作、物體運(yùn)動(dòng)、鏡頭運(yùn)動(dòng)三選一最好三者穿插。比如一只貓從窗臺(tái)跳下就比一只貓坐在窗臺(tái)上運(yùn)動(dòng)屬性強(qiáng)得多鏡頭緩緩?fù)葡虼巴獠攀敲鞔_告訴模型攝影機(jī)在動(dòng)。3.2 一套好用不亂的視頻提示詞模板我實(shí)際跑了上百次之后總結(jié)了一套結(jié)構(gòu)寫(xiě)成模板就是主體 主體動(dòng)作 場(chǎng)景/環(huán)境 環(huán)境物體的運(yùn)動(dòng) 鏡頭運(yùn)動(dòng) 光照與畫(huà)質(zhì)修飾套到實(shí)戰(zhàn)里一只戴著紅色圍巾的企鵝在雪地里奔跑腳下濺起雪花鏡頭跟隨企鵝緩慢前進(jìn)低角度仰拍寒冷的清晨光線柔和藍(lán)色調(diào)電影質(zhì)感這個(gè)提示詞沒(méi)有堆砌超高清、8K、杰作這類詞因?yàn)長(zhǎng)TX-2對(duì)此類修飾詞的響應(yīng)遠(yuǎn)不如主體明確性重要。真正起作用的是奔跑濺起雪花鏡頭跟隨前進(jìn)這些動(dòng)態(tài)短語(yǔ)。再給一個(gè)偏靜態(tài)但仍有動(dòng)感的一盞老式臺(tái)燈在木桌上點(diǎn)亮燈絲閃爍幾下光線蔓延到整個(gè)房間氛圍感暖色調(diào)鏡頭靜止注意燈絲閃爍幾下和光線蔓延就是給模型的下臺(tái)階指令讓它知道至少要有一次光照變化否則它又懶回純靜幀了。寫(xiě)提示詞時(shí)你可以把每一段描述在心里過(guò)一遍如果這句描述在時(shí)間軸上完全找不到任何變化點(diǎn)那它對(duì)視頻模型就是無(wú)效信息。3.3 負(fù)面提示詞它的作用比你想的小使用過(guò)圖像模型的人習(xí)慣在負(fù)向框里寫(xiě)模糊、變形、多余肢體、低質(zhì)量。在LTX-2上負(fù)向提示詞可以實(shí)現(xiàn)類似效果但作用范圍很有限。原因在于視頻訓(xùn)練的文本條件經(jīng)常混雜大量未標(biāo)注幀模型對(duì)負(fù)面語(yǔ)義的記憶不如圖像模型強(qiáng)。更實(shí)際的做法是負(fù)向框里保留模糊、扭曲、閃爍、畫(huà)面撕裂這類基礎(chǔ)詞對(duì)穩(wěn)定性有一點(diǎn)幫助但別指望它能精準(zhǔn)糾正運(yùn)動(dòng)。畫(huà)面跑偏嚴(yán)重時(shí)優(yōu)先改正向提示詞把容易歧義的主體屬性寫(xiě)得更具體而不是拼命加負(fù)向詞。運(yùn)動(dòng)不自然時(shí)負(fù)向?qū)懣焖倩蝿?dòng)有時(shí)能壓制鏡頭亂甩但該效果因樣本而異需要實(shí)測(cè)確認(rèn)。4. 采樣參數(shù)逐個(gè)掰開(kāi)步數(shù)、CFG、分辨率與幀數(shù)的顯存賬4.1 步數(shù)不是越多越好20到30步是甜點(diǎn)區(qū)采樣步數(shù)決定模型從噪聲到畫(huà)面的漸進(jìn)過(guò)程數(shù)量。視頻模型的采樣開(kāi)銷遠(yuǎn)大于圖像步數(shù)翻倍生成時(shí)間幾乎翻倍所以步數(shù)選擇非常重要。個(gè)人實(shí)測(cè)LTX-2在默認(rèn)采樣器下20步已經(jīng)能形成完整的畫(huà)面結(jié)構(gòu)24到30步能收斂到比較扎實(shí)的細(xì)節(jié)超過(guò)40步畫(huà)面改善非常有限還會(huì)引入不必要的計(jì)算時(shí)間。如果你用的采樣器偏激進(jìn)甚至18步配合適的調(diào)度器都能出片。一個(gè)更高效的做法是兩步走先用24步把結(jié)構(gòu)定下來(lái)找到合適的種子確認(rèn)構(gòu)圖滿意后再用更高步數(shù)配合同一種子重新出片把細(xì)節(jié)拉滿。但要注意同一種子在不同步數(shù)下生成結(jié)果不完全相同不要指望細(xì)節(jié)逐幀疊加上去。4.2 CFG3到4是安全區(qū)千萬(wàn)慎用大數(shù)值CFG控制文本條件對(duì)畫(huà)面的約束強(qiáng)度。數(shù)值越大畫(huà)面越努力貼合提示詞但副作用是色彩過(guò)飽和、背景臟、運(yùn)動(dòng)僵硬。LTX-2這類視頻模型對(duì)CFG的容忍范圍比圖像模型窄得多——圖像模型可以開(kāi)到7甚至10視頻模型開(kāi)5以上就很容易出現(xiàn)油光臉和鬼影運(yùn)動(dòng)。保守做法CFG固定為3或4。如果你發(fā)現(xiàn)畫(huà)面內(nèi)容偏得厲害、根本不符合提示詞先檢查提示詞結(jié)構(gòu)再看是否值得升CFG如果你發(fā)現(xiàn)畫(huà)面死板、運(yùn)動(dòng)很小可以試著把CFG降到2.5附近有時(shí)反而能釋放運(yùn)動(dòng)自由度。提示視頻模型里CFG和運(yùn)動(dòng)量大致呈反比。想要更激烈的動(dòng)作先考慮降CFG而不是改提示詞。4.3 一張表看清分辨率和幀數(shù)怎么搭配老實(shí)說(shuō)LTX-2有一個(gè)性價(jià)比甜點(diǎn)720x400 24fps。這個(gè)配置在中端顯存上既能保住場(chǎng)景結(jié)構(gòu)又能提供足夠的運(yùn)動(dòng)流暢度適合絕大多數(shù)內(nèi)容場(chǎng)景。分辨率推薦幀數(shù)顯存檔位適用場(chǎng)景576x3208~16幀8GB入門(mén)快速驗(yàn)證、抽卡構(gòu)圖720x40016~32幀12GB~16GB日常主力、短敘事片段1280x76816~32幀16GB以上特寫(xiě)級(jí)細(xì)節(jié)、最終成片1920x10808~16幀24GB以上大屏放映、后期放大幀數(shù)對(duì)顯存的影響比分辨率更直接。同樣是720寬16幀到32幀的顯存增長(zhǎng)接近翻倍。所以當(dāng)顯存吃緊時(shí)優(yōu)先砍幀數(shù)其次再降分辨率——砍幀數(shù)損失的是時(shí)長(zhǎng)降分辨率損失的是全片清晰度前者的觀感傷害往往更小。4.4 種子與運(yùn)動(dòng)傾向一個(gè)經(jīng)常被忽略的變量固定種子可以復(fù)現(xiàn)畫(huà)面這是熟知的用法。但視頻模型里種子還直接影響運(yùn)動(dòng)的氣質(zhì)同一個(gè)提示詞換幾個(gè)種子有的種子出片緩慢像紀(jì)錄片有的種子出片快速像廣告片。這是因?yàn)槌跏荚肼暦植紝?duì)動(dòng)畫(huà)軌跡影響巨大文本只是大方向噪聲細(xì)節(jié)決定了運(yùn)動(dòng)曲線。實(shí)際使用建議在初篩階段固定提示詞和參數(shù)連抽5到10個(gè)種子挑出運(yùn)動(dòng)節(jié)奏最符合需要的那個(gè)挑中后再圍繞該種子做局部參數(shù)微調(diào)。這條工作流習(xí)慣能省你大量反復(fù)抽卡時(shí)間。5. 實(shí)測(cè)踩坑記錄花屏、畫(huà)面不動(dòng)、顯存爆滿的完整排查鏈路這一部分全部來(lái)自我實(shí)際跑LTX-2時(shí)的真實(shí)故障記錄。每條都按現(xiàn)象—排查路徑—最終解決的順序?qū)懛奖隳銓?duì)照。5.1 畫(huà)面動(dòng)是動(dòng)了但變形得像橡皮泥現(xiàn)象生成了一段背景在晃動(dòng)、人物在扭動(dòng)的視頻明明提示詞寫(xiě)的是機(jī)器人走路結(jié)果手臂和腿不斷拉長(zhǎng)縮短像流體。排查這是典型的運(yùn)動(dòng)形變問(wèn)題。我先檢查了CFG發(fā)現(xiàn)開(kāi)到了接近6嫌疑很大。隨后把CFG降到3.5問(wèn)題明顯緩解接著再看提示詞機(jī)器人走路對(duì)模型來(lái)說(shuō)走路是個(gè)高動(dòng)態(tài)語(yǔ)義在低分辨率下更容易誘發(fā)幾何漂移。最終方案CFG降到3.5分辨率從576x320升到720x400提示詞從機(jī)器人走路細(xì)化為一個(gè)銀色機(jī)器人兩足緩慢步行手臂自然擺動(dòng)穩(wěn)健姿態(tài)。形變問(wèn)題基本消失。核心經(jīng)驗(yàn)是高動(dòng)態(tài)語(yǔ)義在低顯存檔位下會(huì)犧牲結(jié)構(gòu)穩(wěn)定性要么降CFG要么提高分辨率不能兩個(gè)都放任不管。5.2 生成到一半直接報(bào)顯存溢出現(xiàn)象16GB顯存跑1280x768、32幀采樣到第15步時(shí)報(bào)錯(cuò)顯存占用拉滿。排查先按第4章的顯存賬反推1280x768 32幀本來(lái)就在16GB的邊緣線上再加上文本編碼器、VAE解碼的臨時(shí)緩沖溢出并不意外。我沒(méi)有立刻降分辨率而是先去掉了工作流里的放大模型和多余增強(qiáng)節(jié)點(diǎn)減掉了一部分臨時(shí)顯存占用但采樣仍然卡在高位。最終方案改成兩階段出片——先在720x400、32幀下完整生成并挑選種子再用選中種子到1280x768重新生成。雖然總時(shí)間變長(zhǎng)但每一階段的顯存峰值都安全可控。之后又試了一步優(yōu)化換用顯存開(kāi)銷更小的采樣器配置同樣能再擠出一點(diǎn)空間。5.3 輸出花屏不是模型壞了多半是VAE環(huán)節(jié)錯(cuò)位現(xiàn)象生成完的視頻像打翻的調(diào)色盤(pán)顏色完全亂掉局部還是雪花噪點(diǎn)但抽幀看有些輪廓還在。排查這種花屏在擴(kuò)散工作流里十有八九是潛空間解碼環(huán)節(jié)出了問(wèn)題。先檢查加載的VAE是否匹配——LTX-2必須用對(duì)應(yīng)的時(shí)空VAE直接用常規(guī)VAE就會(huì)出現(xiàn)色彩錯(cuò)亂。接著檢查解碼節(jié)點(diǎn)普通圖像VAE解碼只能輸出二維畫(huà)面如果誤用了普通解碼節(jié)點(diǎn)去解視頻潛空間會(huì)得到逐幀撕裂。最終方案換成LTXV專用VAE加載節(jié)點(diǎn)并把解碼節(jié)點(diǎn)換成視頻專用的VAE解碼節(jié)點(diǎn)?；ㄆ亮⒖滔А＿@個(gè)坑在第一次搭建工作流時(shí)特別容易踩因?yàn)楹芏嗳肆?xí)慣從圖像工作流復(fù)制粘貼節(jié)點(diǎn)忘了換解碼環(huán)節(jié)。5.4 提示詞寫(xiě)了特寫(xiě)結(jié)果全是全景現(xiàn)象提示詞寫(xiě)一只蜜蜂采蜜的特寫(xiě)鏡頭生成結(jié)果卻是大遠(yuǎn)景蜜蜂占畫(huà)面不到十分之一毫無(wú)特寫(xiě)感。排查先懷疑CFG不夠升到4.5結(jié)果沒(méi)變化又懷疑模型對(duì)中文提示詞理解有問(wèn)題換成英文關(guān)鍵詞效果依然沒(méi)改善。最后看了一下潛空間視頻初始化節(jié)點(diǎn)的寬高比——用的大寬幅模型在寬畫(huà)幅下傾向展示全景構(gòu)圖特寫(xiě)指令被整體空鏡趨勢(shì)淹沒(méi)了。最終方案把寬高比改成接近1:1的構(gòu)圖并重新組織提示詞為微距攝影蜜蜂頭部細(xì)節(jié)花粉顆粒清晰可見(jiàn)特寫(xiě)畫(huà)面立刻切近。經(jīng)驗(yàn)是構(gòu)圖意圖需要和畫(huà)幅統(tǒng)一想拍特寫(xiě)卻給一個(gè)適合拍風(fēng)光的大寬幅是在和模型的天性作對(duì)。6. 從能出片到出好片幾個(gè)試過(guò)有效的進(jìn)階技巧6.1 先生成低分辨率找種子再高分辨率出片這是效率提升最大的一招。視頻采樣時(shí)間跟像素量強(qiáng)相關(guān)用最小分辨率抽卡找構(gòu)圖、找運(yùn)動(dòng)節(jié)奏成本只有最終分辨率的零頭。選中合適種子后把同一個(gè)種子套到高分辨率完整參數(shù)再跑一遍。我在實(shí)踐里通常先用576x320抽10個(gè)種子鎖定之后再用1280x768跑最終版整個(gè)流程做到一半時(shí)間就能覆蓋過(guò)去兩倍的抽卡量。唯一要注意的是分辨率改變后同一種子并不能保證構(gòu)圖完全一致但運(yùn)動(dòng)趨勢(shì)和主體分布會(huì)保留大部分足夠你做質(zhì)量甄別。6.2 用關(guān)鍵幀做錨點(diǎn)比整段重抽更省力如果純粹靠文生視頻抽卡得不到理想鏡頭可以試試這個(gè)辦法先生成一批8幀左右的短片段然后從中選一幀最滿意的畫(huà)面作為關(guān)鍵幀輸入到后續(xù)延展流程讓模型圍繞這一幀繼續(xù)延展運(yùn)動(dòng)。這個(gè)做法比反復(fù)抽整段視頻效率高得多特別適合需要特定構(gòu)圖的場(chǎng)景。實(shí)際上這相當(dāng)于把LTX-2當(dāng)鏡頭初步生成器再用——它的優(yōu)勢(shì)在于快速產(chǎn)出大量方案而精確控制交給關(guān)鍵幀機(jī)制。兩者配合比單獨(dú)一條路走到底穩(wěn)定得多。6.3 保留一套抽卡參數(shù)和一套精修參數(shù)我在實(shí)際使用中維護(hù)著兩套預(yù)設(shè)抽卡參數(shù)22步CFG 3.2576x3208幀只求快。用于批量試探提示詞與種子。精修參數(shù)32步CFG 3.51280x76824幀換成更平滑的調(diào)度器用于最終出片。兩條預(yù)設(shè)之間只改參數(shù)不動(dòng)機(jī)器人。每次有新的需求先在抽卡預(yù)設(shè)上跑通語(yǔ)義確認(rèn)畫(huà)面方向正確再切到精修預(yù)設(shè)出片。這套流程下來(lái)廢片率明顯下降出片的可控性提升了很多。我在處理項(xiàng)目的時(shí)候還有一個(gè)很實(shí)在的習(xí)慣每一次跑完滿意的視頻我會(huì)把提示詞、種子、參數(shù)、成片一起存到同一個(gè)工程目錄里文件名直接寫(xiě)成提示詞關(guān)鍵詞-種子-步數(shù)-CFG-分辨率-幀數(shù)下次想復(fù)用或微調(diào)一眼就能定位不用再去翻歷史記錄。視頻項(xiàng)目的調(diào)試成本高、隨機(jī)性強(qiáng)留好每一步的上下文比任何技巧都實(shí)用。現(xiàn)在LTX-2對(duì)我來(lái)說(shuō)已經(jīng)是一個(gè)比較順手的工具了。它的上限不在于單次生成有多驚艷而在于你能不能圍繞它建立一套快速試探—篩選—精修的流程。把時(shí)間維度考慮進(jìn)提示詞、把顯存預(yù)算落實(shí)到每一步、把精修環(huán)節(jié)從抽卡環(huán)節(jié)里分離出來(lái)這三個(gè)習(xí)慣一旦養(yǎng)成換其他視頻模型上手也不會(huì)太差。