### 一、文章主要內(nèi)容總結(jié)本文提出了首個(gè)基于統(tǒng)一多模態(tài)思維鏈（CoT）的獎(jiǎng)勵(lì)模型UNIFIEDREWARD-THINK，旨在通過顯式長(zhǎng)鏈推理提升多模態(tài)獎(jiǎng)勵(lì)模型的可靠性和魯棒性。核心方法分為三個(gè)訓(xùn)練階段：1. **冷啟動(dòng)階段**：使用少量圖像生成偏好數(shù)據(jù)蒸餾GPT-4o的推理過程，使模型學(xué)習(xí)CoT推理的格式和結(jié)構(gòu)。2. **拒絕采樣階段**：利用大規(guī)模統(tǒng)一多模態(tài)偏好數(shù)據(jù)激發(fā)模型在各類視覺任務(wù)中的推理能力，保留正確推理樣本以強(qiáng)化準(zhǔn)確模式。3. **組相對(duì)策略優(yōu)化（GRPO）階段**：對(duì)錯(cuò)誤預(yù)測(cè)樣本進(jìn)行基于GRPO的強(qiáng)化微調(diào)，推動(dòng)模型探索多樣化推理路徑，優(yōu)化推理準(zhǔn)確性。實(shí)驗(yàn)表明，引入長(zhǎng)CoT推理顯著提升了獎(jiǎng)勵(lì)信號(hào)的準(zhǔn)確性，且模型在掌握CoT后即使無(wú)需顯式推理痕跡，也能通過隱式推理超越現(xiàn)有基線。### 二、文章創(chuàng)新點(diǎn)1. **首個(gè)統(tǒng)一多模態(tài)CoT獎(jiǎng)勵(lì)模型**：實(shí)現(xiàn)了視覺理解與生成任務(wù)的多維度、分步長(zhǎng)鏈推理，突破了傳統(tǒng)獎(jiǎng)勵(lì)模型僅提供直接響應(yīng)或淺層推理的局限。2. **三階段強(qiáng)化微調(diào)框架**：結(jié)合冷啟動(dòng)蒸餾、拒絕采樣和GRPO，有效激活模型的潛在推理能力，解決了CoT獎(jiǎng)勵(lì)數(shù)據(jù)稀缺的問題。3. **顯式與隱式推理結(jié)合**：證明顯式CoT推理可增強(qiáng)模型可靠性，且模型在內(nèi)部化推理能力后，隱式推理仍能提升獎(jiǎng)勵(lì)信號(hào)準(zhǔn)確性，無(wú)需額外推理痕跡。### 三、Abstract翻譯近期，多模態(tài)獎(jiǎng)勵(lì)模型（RMs）在提供獎(jiǎng)勵(lì)信號(hào)以對(duì)齊視覺模型與人類偏好方面展現(xiàn)出顯著潛力。然而，當(dāng)前RMs通常局限于提供直接響應(yīng)或進(jìn)行深度有限的淺層推理，常導(dǎo)致獎(jiǎng)勵(lì)信號(hào)不準(zhǔn)確。我們認(rèn)為，將顯式長(zhǎng)思維鏈（CoT）納入獎(jiǎng)勵(lì)推理過程可顯著增強(qiáng)其可靠性和魯棒性。此外，我們相信一旦RMs內(nèi)化CoT推理能力，其直接響應(yīng)