上周三晚上我照常打開榜單刷當(dāng)天話題排在第一位的是某款國產(chǎn)大模型的官方更新公告結(jié)果評論區(qū)全是兩個字變冷。再往下刷“變冷”本身已經(jīng)成了獨(dú)立熱搜詞。作為一個從內(nèi)測階段就在持續(xù)使用這款模型的深度用戶看到這個熱搜我先是愣了一下——怎么會有這種形容然后立刻打開測試對話框連發(fā)了十幾個問題去驗(yàn)證。事實(shí)證明用戶對“冷”的感知是真的而且遠(yuǎn)比我想象的明顯。這篇文章就把整個事件從頭到尾復(fù)盤一遍所謂“變冷”到底指什么模型更新悄悄改變了哪些行為研發(fā)團(tuán)隊(duì)在更新時容易踩什么坑以及普通用戶和產(chǎn)品團(tuán)隊(duì)各自能從這次熱搜里得到什么。不管你是經(jīng)常用AI工具的開發(fā)者、關(guān)注大模型產(chǎn)品走向的從業(yè)者還是只是好奇“為什么一款A(yù)I會突然變冷”這篇文章都能給你一些可以落地的參考。1. 熱搜背后到底發(fā)生了什么1.1 一次尋常更新一場不尋常的輿情先說時間線。某國產(chǎn)大模型在深夜發(fā)布了新版本官方公告里講的是推理能力增強(qiáng)、代碼水平提升、安全對齊強(qiáng)化這些常規(guī)話術(shù)。按照慣例這種更新公告通常只有深度玩家關(guān)注正常用戶看到也就是隨手刷新一下。但這次不一樣公告發(fā)出去不到半天“變冷”就沖上了熱搜。用戶的反饋集中在幾個點(diǎn)問它聊天話題回答變得簡短且公事公辦讓它幫忙想創(chuàng)意不再有那種“陪你頭腦風(fēng)暴”的感覺一旦觸及稍微開放一點(diǎn)的問題它幾乎條件反射式地給出一句非常嚴(yán)謹(jǐn)?shù)浅＞苋饲Ю锏幕卮?。老用戶的第一直覺是“它是不是被調(diào)傻了”新用戶則完全沒覺得哪里不對。網(wǎng)上的討論迅速分成兩派一派在吐槽一派認(rèn)為“本來就是工具少廢話才是進(jìn)步”。我屬于第一波測試的懷疑者所以我做的事情很簡單——把新舊版本放在同一組問題上直接對比看看“冷”到底是怎么發(fā)生的。1.2 我實(shí)測的一組對比記錄為了避免“憑感覺”的問題我選了四類典型場景做對照測試日常閑聊、代碼請求、開放型創(chuàng)意題、稍微帶點(diǎn)灰色地帶的判斷題。對應(yīng)的對比表格我貼在下面括號內(nèi)是關(guān)鍵差異。提問場景舊版本典型回復(fù)風(fēng)格新版本典型回復(fù)風(fēng)格日常閑聊今天心情怎么樣會接話、會調(diào)侃、會反問簡短回應(yīng)然后建議關(guān)注休息代碼優(yōu)化請求先講思路再貼代碼最后提醒邊界條件直接給精簡版代碼幾乎不注釋開放式創(chuàng)意給產(chǎn)品起名給20個名字再分析每個的調(diào)性給5個名字并附一句簡短理由灰色地帶判斷題某個行為是否合理多角度分析、給不同立場參照直接聲明無法給出價值判斷看到這個結(jié)果我基本確認(rèn)“變冷”不是一個錯覺而是一種系統(tǒng)性的行為偏移。細(xì)心的話還能發(fā)現(xiàn)不只是語氣變了連回答的長度都明顯縮水特別在非任務(wù)型場景下新版本像是被訓(xùn)練成了“只辦正事”的樣子。這個細(xì)節(jié)很重要后面講技術(shù)原因時會再次提到。2. “變冷”的底層機(jī)制一次更新悄悄改了什么2.1 對齊訓(xùn)練的代價模型正在被訓(xùn)練成“不說錯話”做大模型產(chǎn)品的人都知道一次版本更新通常包含兩部分基礎(chǔ)能力的迭代以及基于人類反饋的對齊強(qiáng)化。基礎(chǔ)能力迭代通常是加法——代碼分上漲、數(shù)學(xué)分上漲、推理能力上漲這些都是硬實(shí)力但對齊強(qiáng)化往往是一個取舍過程——安全了、合規(guī)了、不胡說八道了某種意義上是要拿“鮮活性”去換的。具體拆開來看這次更新的核心方向明顯偏向“安全對齊的高壓化”。開發(fā)者會往訓(xùn)練數(shù)據(jù)里加入大量“拒答類”樣本讓模型對模糊的、開放的、沒有標(biāo)準(zhǔn)答案的請求都傾向于用最安全的方式回應(yīng)。做法上的直接后果就是模型寧可回答得短一點(diǎn)、中立一點(diǎn)、省事一點(diǎn)也不愿意展開討論。因?yàn)檎归_討論意味著更多犯錯空間而少說永遠(yuǎn)少錯。這個邏輯在技術(shù)上完全說得通但它有一個此前很多團(tuán)隊(duì)都沒充分估計到的副作用安全對齊是全局性的它不會精確地只作用于“需要拒絕”的問題。模型在訓(xùn)練中接收到的“少說、說安全的話”這類信號會泛化到所有對話場景中去包括那些根本沒有任何風(fēng)險的閑聊。于是用戶發(fā)現(xiàn)這個模型不僅不碰敏感話題了連“今天天氣怎么樣”都回答得像個自動客服。2.2 溫度系數(shù)的隱性調(diào)整不是模型變笨了是它被“擰緊”了除了訓(xùn)練層面的變化應(yīng)用層的推理參數(shù)也可能被順手調(diào)整?！皽囟取边@個參數(shù)決定了生成回復(fù)的隨機(jī)性和多樣性。溫度越高回答越跳躍、越有靈性也越容易跑偏溫度越低回答越保守、越穩(wěn)定、越機(jī)械。在這次更新的新版本中我能明顯感受到回答的多樣性下降——同樣的開放式問題多次刷新得到的答案雷同率變得很高這就是典型的溫度被調(diào)低后的表現(xiàn)。溫度被調(diào)低本身不是壞事。對代碼、數(shù)學(xué)、邏輯推理這類正確答案唯一性強(qiáng)的任務(wù)來說低溫度意味著更高的準(zhǔn)確率和更少的幻覺。問題在于產(chǎn)品團(tuán)隊(duì)如果用一個全局溫度覆蓋所有場景那么閑聊、創(chuàng)意、頭腦風(fēng)暴這類依賴發(fā)散性的場景就會首當(dāng)其沖地“變冷”。這是我在很多模型產(chǎn)品上反復(fù)看到過的老問題——為了保準(zhǔn)確性把全局參數(shù)一刀切。這里涉及一個容易被忽視的產(chǎn)品決策點(diǎn)很多技術(shù)團(tuán)隊(duì)在優(yōu)化模型表現(xiàn)時會直接把溫度當(dāng)作“一個參數(shù)”來調(diào)整卻忽略了它其實(shí)是“一個作用于所有語義空間的旋鈕”。同一個溫度值放在推理任務(wù)上是“精準(zhǔn)”放在創(chuàng)意任務(wù)上就是“干癟”。如果你在更新里動了這個參數(shù)卻沒有在應(yīng)用層按場景區(qū)分調(diào)用那用戶的體感就會出現(xiàn)嚴(yán)重的兩極分化。2.3 研發(fā)視角的指標(biāo)上漲為何在用戶側(cè)變成了“負(fù)優(yōu)化”還有一個必須指出的事實(shí)這次更新從各類基準(zhǔn)測試指標(biāo)來看的確是一次標(biāo)準(zhǔn)的“正向更新”。推理類榜單分?jǐn)?shù)上漲代碼類評測得分上漲安全評測通過率也顯著提升。研發(fā)團(tuán)隊(duì)的匯報材料里每一張圖都是向上的曲線。但用戶感知到的不是抽象分?jǐn)?shù)而是每一次對話的溫度和自由度。當(dāng)一個模型把所有模糊地帶都走得四平八穩(wěn)它換來的是“不犯錯”付出的卻是“沒靈魂”。換一個生活化的類比更新前的模型像一個熱心但偶爾會跑偏的朋友和你聊天時會接梗、會發(fā)散、會給出讓人意外的想法更新后的模型像一個業(yè)務(wù)能力很強(qiáng)的客服你問什么它答什么標(biāo)準(zhǔn)、安全、精確但你不覺得在和“人”說話。這次熱搜的本質(zhì)正是一群習(xí)慣了“朋友”的用戶忽然被換成了“客服”強(qiáng)烈的不適應(yīng)感集中爆發(fā)了。3. 模型更新引發(fā)用戶反感的四個常見原因3.1 產(chǎn)品殼沒變、行為大改用戶需要重新適應(yīng)這款模型被抱怨最直接的原因是產(chǎn)品界面、產(chǎn)品入口、產(chǎn)品名稱都沒變用戶打開的還是同一個對話框但里面的“人”換了。對比同樣發(fā)生模型升級但一直在強(qiáng)化人格化設(shè)定的產(chǎn)品或者更新之后明確告訴用戶“我現(xiàn)在更擅長干活”的產(chǎn)品這種“人設(shè)突變”的體驗(yàn)差異特別明顯。說白了技術(shù)團(tuán)隊(duì)眼里這次只是參數(shù)和權(quán)重的一次迭代但在用戶心里這是老朋友毫無預(yù)兆地?fù)Q了性格。我之前在某產(chǎn)品做模型版本迭代時也踩過類似的坑。研發(fā)側(cè)跑測試全都通過產(chǎn)品側(cè)覺得“能力更強(qiáng)了怎么會有人不滿意”結(jié)果上線第二天就被用戶在評論區(qū)刷屏。原因很簡單用戶不是因?yàn)椤白儾盍恕倍鴳嵟且驗(yàn)椤昂椭安灰粯恿恕倍鴳嵟?。人對熟悉的東西有天然的依賴模型風(fēng)格就是一種非常強(qiáng)烈的熟悉感來源。3.2 更新說明太抽象用戶看不懂你到底改了什么更新公告里寫的是推理能力提升、安全對齊優(yōu)化、響應(yīng)速度改善這類標(biāo)準(zhǔn)描述。說實(shí)話這些詞對我這種從業(yè)者來說都算“正確的廢話”對普通用戶更是毫無信息量?！鞍踩珜R優(yōu)化”到底優(yōu)化了什么沒人說。結(jié)果就是用戶拿舊習(xí)慣去測新模型發(fā)現(xiàn)各種不適應(yīng)然后開始猜是新來的實(shí)習(xí)生調(diào)參失誤還是產(chǎn)品故意在閹割猜來猜去就會發(fā)酵成負(fù)面輿論。更好的做法是寫“人話變更日志”。比如“本次更新后閑聊場景的回答會更簡短”“開放性問題將傾向于給出明確建議而非發(fā)散討論”“涉及價值判斷時模型會直接拒答不再提供多角度分析”。這些描述雖然聽起來不那么“高大上”但每一個字用戶都能看懂也知道該怎么調(diào)整自己的使用預(yù)期。提前說明白比事后解釋一百遍都強(qiáng)。3.3 基準(zhǔn)測試漲分與用戶感知脫節(jié)我在前一小節(jié)其實(shí)已經(jīng)說過這個矛盾但值得單獨(dú)拎出來再強(qiáng)調(diào)一次線上產(chǎn)品在意的指標(biāo)和用戶真正在意的指標(biāo)從來都不是同一套東西。評測分?jǐn)?shù)回答的是“模型能不能做對一道題”用戶感受回答的是“和它說話我舒不舒服”。一個只優(yōu)化前者而忽視后者的更新流程必然會在特定用戶群中造成口碑回彈。這里還涉及一個更深層的判斷一個AI產(chǎn)品的核心競爭力到底該錨定在哪如果你的定位是“效率工具”那低溫度、簡短回答、標(biāo)準(zhǔn)輸出沒有任何問題如果你的定位是“陪伴型助手”那風(fēng)格遷移就是產(chǎn)品自殺。這次“變冷”熱搜最有價值的討論點(diǎn)恰恰是產(chǎn)品團(tuán)隊(duì)需要重新想清楚自己到底要服務(wù)誰。3.4 缺少用戶適應(yīng)期和反饋通道最后一條更偏產(chǎn)品運(yùn)營層面。任何行為變化都應(yīng)該給用戶一個適應(yīng)期比如在小流量灰度時收集反饋、在設(shè)置里提供“經(jīng)典模式/新銳模式”的切換、在更新說明中明確列出哪些行為是有意修改并給出理由。可惜的是現(xiàn)實(shí)中大多數(shù)模型更新都選擇了一次性全量推送直接把所有用戶丟到新行為面前。輿論翻車之后再解釋就已經(jīng)處于被動位置了。4. 這次熱搜給AI從業(yè)者的幾點(diǎn)實(shí)操提醒4.1 發(fā)版前增加“語氣回歸測試”現(xiàn)在很多團(tuán)隊(duì)發(fā)版前會跑自動化評測、安全對齊測試、指標(biāo)回歸測試但很少跑“語氣回歸測試”。我的建議是每次更新前把歷史對話中那些高贊回答、熱門回復(fù)、經(jīng)典問答對收集起來專門編成一個風(fēng)格測試集每次發(fā)版前跑一遍請兩三個真實(shí)用戶打分評估“和舊版像不像”“是否明顯變冷”。這個動作不復(fù)雜卻能在發(fā)版前把最大的輿情風(fēng)險提前暴露出來。具體操作上風(fēng)格測試集不需要太大一百條左右就夠。重點(diǎn)覆蓋四類場景純閑聊、創(chuàng)意發(fā)散、專業(yè)問答、邊緣拒答。每次更新跑完得到的結(jié)果不僅是一個“是否變冷”的判斷還能幫你定位出到底是哪個場景偏移最嚴(yán)重。如果發(fā)現(xiàn)閑聊場景打分驟降哪怕基準(zhǔn)測試分?jǐn)?shù)全漲了也應(yīng)該考慮是否推遲發(fā)布、調(diào)整策略。4.2 變更說明要說人話技術(shù)團(tuán)隊(duì)寫更新公告時建議安排一個“用戶可感知變化”的專項(xiàng)段落。不要只寫提升了多少分?jǐn)?shù)、減少了多少延遲而要寫明“本次更新后聊天場景的回答會更簡潔”“開放式問題將更傾向于給標(biāo)準(zhǔn)建議而不是發(fā)散討論”這類用戶能直接理解的表述。讓用戶對變化有預(yù)期吐槽至少會減掉一半。另外有一個小細(xì)節(jié)鼓勵團(tuán)隊(duì)在更新后的一周內(nèi)安排專人盯著社區(qū)反饋。用戶不會幫你分析技術(shù)原因但他們會無比精準(zhǔn)地描述“哪里不對勁”。這些描述是開發(fā)團(tuán)隊(duì)最寶貴的行為校準(zhǔn)信號比任何內(nèi)部測試都能更快暴露問題。4.3 灰度發(fā)布和回滾預(yù)案是底線版本更新前一定要做小流量灰度切分一部分真實(shí)用戶先體驗(yàn)重點(diǎn)觀察的不是bug率而是對話行為本身的異常波動。如果發(fā)現(xiàn)用戶“變冷”情緒上升第一時間要么回滾要么提供一個可切換舊行為風(fēng)格的開關(guān)?；叶炔还馐羌夹g(shù)手段更是輿情緩沖帶。我特別強(qiáng)調(diào)“可切換性”是因?yàn)槟Ｐ惋L(fēng)格這種東西很難用單一指標(biāo)衡量優(yōu)劣。同一個模型放在A用戶手里是“干凈利落”放在B用戶手里就是“冷漠無情”。與其爭論誰對誰錯不如直接給選擇權(quán)。技術(shù)上新舊行為共存并不復(fù)雜關(guān)鍵是產(chǎn)品團(tuán)隊(duì)有沒有意識到“舊版本也是一種資產(chǎn)”。4.4 把熱搜當(dāng)成反饋信號而不是公關(guān)事故說實(shí)話用戶愿意為“模型變冷了”專門發(fā)一條熱搜這本身就說明產(chǎn)品在用戶心中有相當(dāng)強(qiáng)的情感依附。從另一個角度看這其實(shí)是一次非常有價值的免費(fèi)用戶洞察它明確地告訴開發(fā)團(tuán)隊(duì)用戶希望這個模型不只是越來越“能用”還要越來越“有溫度”。能聽懂這層信號、愿意在產(chǎn)品策略上做平衡的團(tuán)隊(duì)反而能借著這次事件把產(chǎn)品口碑抬得更高。我在這個行業(yè)待了這些年踩過不少模型的坑最大的體會就是用戶對一個模型的評價從來不是由某個單一評測指標(biāo)決定的。他們記住的是“這個AI上次幫我解決了一個特別繞的問題”是“和它聊天有點(diǎn)意思”是那些細(xì)節(jié)里的陪伴感。模型能力可以靠算力堆上去但是對話的“溫度”一旦丟了是沒那么容易找回來的。最后分享一個我自己一直用的小技巧不管用哪家的模型重大更新前記得把舊版的關(guān)鍵回復(fù)截圖保存下來等新版上線后拿同樣的問法去對比這是最簡單也最可靠的“變冷檢測法”。