給大模型做記憶并不是一個(gè)新概念但在過(guò)去一年里它從一個(gè)技術(shù)細(xì)節(jié)變成了一個(gè)獨(dú)立賽道。郝建業(yè)團(tuán)隊(duì)半年融三輪就是一個(gè)很典型的信號(hào)資本開(kāi)始為“模型記憶”買單了。很多人第一次聽(tīng)到這個(gè)方向時(shí)會(huì)以為記憶就是把歷史對(duì)話存下來(lái)下次繼續(xù)塞給模型。但真正落地時(shí)會(huì)發(fā)現(xiàn)問(wèn)題遠(yuǎn)不止“存不存得下”還包括怎么抽取事實(shí)、怎么檢索、怎么更新、怎么防止記憶互相沖突。我盡量不繞概念會(huì)從記憶增強(qiáng)的常用技術(shù)路線講起再給一個(gè)可以照著跑通的最簡(jiǎn) Demo最后把參數(shù)、排查和項(xiàng)目化落地的關(guān)鍵點(diǎn)一起拆掉。1. 大模型為什么要做記憶做的是哪一層1.1 大模型的“失憶”是結(jié)構(gòu)問(wèn)題不是配置問(wèn)題大模型本身不具備長(zhǎng)期記憶這是由 Transformer 的自回歸結(jié)構(gòu)決定的。模型每處理完一段輸入輸出的只是下一個(gè) token 的概率分布一旦會(huì)話結(jié)束內(nèi)部狀態(tài)就會(huì)清空。即使是在同一段上下文里超過(guò)窗口限制的內(nèi)容也會(huì)被丟棄。所以很多應(yīng)用在使用大模型時(shí)會(huì)遇到幾個(gè)典型現(xiàn)象多輪對(duì)話聊到后面前面提過(guò)的關(guān)鍵信息會(huì)突然被忽略連續(xù)問(wèn)同一個(gè)用戶兩次“你上次說(shuō)了什么”模型回答不上來(lái)?yè)Q一個(gè)會(huì)話之后模型完全不記得用戶偏好。這不是模型不聰明而是它在默認(rèn)狀態(tài)下沒(méi)有記憶能力。這里要區(qū)分兩個(gè)概念一個(gè)是短期上下文一個(gè)是長(zhǎng)期記憶。短期上下文是當(dāng)前請(qǐng)求里塞進(jìn)去的所有文本模型能“看到”但窗口有限。長(zhǎng)期記憶是指模型可以從外部存儲(chǔ)中讀到歷史信息并且這些信息可以像數(shù)據(jù)庫(kù)一樣被更新、刪除和檢索。給大模型做記憶主要做的是后一種。1.2 記憶增強(qiáng)和直接拼接歷史記錄不一樣最簡(jiǎn)單粗暴的“記憶”就是把歷史聊天記錄全部拼到提示詞里。可實(shí)際用起來(lái)隨便一個(gè)用戶聊幾十輪token 就會(huì)膨脹再加上業(yè)務(wù)知識(shí)、商品信息、用戶畫(huà)像一次性塞給模型既不經(jīng)濟(jì)也容易讓模型抓不住重點(diǎn)。更常見(jiàn)的做法是“選擇性注入”。先利用規(guī)則或模型從歷史內(nèi)容中抽取關(guān)鍵事實(shí)做成片段用戶提問(wèn)時(shí)再通過(guò)檢索把最相關(guān)的一段或幾段記憶找出來(lái)放回上下文。這樣既能控制 token 開(kāi)銷又能保證模型在回答時(shí)“看到”需要的信息。這種設(shè)計(jì)最大的好處是記憶不再隨著會(huì)話結(jié)束而消失。只要外部存儲(chǔ)里有數(shù)據(jù)用戶下一次發(fā)起新會(huì)話模型依然能恢復(fù)關(guān)鍵信息。1.3 郝建業(yè)團(tuán)隊(duì)半年融三輪說(shuō)明記憶不是偽需求郝建業(yè)團(tuán)隊(duì)半年內(nèi)完成三輪融資這個(gè)節(jié)奏傳遞出來(lái)的信號(hào)比較直接大模型應(yīng)用層已經(jīng)開(kāi)始出現(xiàn)基礎(chǔ)設(shè)施化的需求。應(yīng)用只要想長(zhǎng)期服務(wù)用戶就會(huì)遇到保留用戶偏好、業(yè)務(wù)規(guī)則、歷史決策的問(wèn)題。這些問(wèn)題不是單靠微調(diào)能解決的因?yàn)槲⒄{(diào)成本高、周期長(zhǎng)而且更新一次不一定能保證記憶的即時(shí)性。外部記憶層可以做到按需寫(xiě)入、實(shí)時(shí)讀取、動(dòng)態(tài)更新天然適合做 AI 助手的“長(zhǎng)期大腦”。這也是這個(gè)方向值得關(guān)注的核心原因。2. 給大模型加記憶的四種落地路徑2.1 向量檢索把知識(shí)變成可搜索片段RAG 是目前最常用的一種記憶落地方式。做法很簡(jiǎn)單把文檔或?qū)υ拑?nèi)容切成小段用向量模型編碼成向量存進(jìn)向量數(shù)據(jù)庫(kù)。用戶提問(wèn)時(shí)把問(wèn)題也編碼成向量用相似度檢索找出一批相關(guān)片段再把片段拼到提示詞里。它的優(yōu)點(diǎn)是實(shí)現(xiàn)門檻低、可控性好。你可以在檢索結(jié)果里看到是哪一段文本被找出來(lái)了方便排查也適合處理企業(yè)知識(shí)庫(kù)、產(chǎn)品文檔、FAQ 這類內(nèi)容相對(duì)固定的場(chǎng)景。缺點(diǎn)是依賴文本切塊和檢索質(zhì)量。切得太長(zhǎng)一個(gè)片段里混了多個(gè)主題檢索容易不準(zhǔn)切得太短單個(gè)片段信息量不足。另外向量相似度只能表達(dá)語(yǔ)義相近不能天然判斷“這條記憶是否真的有用”。要避免問(wèn)價(jià)格時(shí)把用戶上次投訴的片段也檢索出來(lái)需要加過(guò)濾條件。2.2 對(duì)話摘要把聊天記錄壓縮成關(guān)鍵事實(shí)向量檢索更擅長(zhǎng)處理“原文型知識(shí)”但多輪對(duì)話里的記憶往往是無(wú)序的。用戶可能在第三輪提到喜歡簡(jiǎn)潔第十輪又說(shuō)今天心情不好這些信息散落在長(zhǎng)對(duì)話里。全部做向量檢索噪音會(huì)很大。更實(shí)用的做法是做對(duì)話摘要。每輪對(duì)話結(jié)束后讓大模型生成一段結(jié)構(gòu)化摘要或者抽取幾個(gè)關(guān)鍵事實(shí)比如“用戶姓名”“用戶偏好”“待辦事項(xiàng)”“結(jié)論”。摘要可以以文本形式存入向量庫(kù)也可以整理成 JSON 字段存進(jìn)普通數(shù)據(jù)庫(kù)。摘要方案能顯著降低存儲(chǔ)和調(diào)用成本但有一個(gè)明顯問(wèn)題摘要會(huì)丟細(xì)節(jié)。如果用戶說(shuō)了一個(gè)具體日期摘要生成時(shí)沒(méi)有寫(xiě)全后面就查不到了。所以我在實(shí)際項(xiàng)目中更傾向于“摘要 原文引用”一起存摘要負(fù)責(zé)快速理解原文引用負(fù)責(zé)查證。2.3 結(jié)構(gòu)化畫(huà)像把用戶和業(yè)務(wù)信息變成字段當(dāng)記憶內(nèi)容穩(wěn)定、字段明確時(shí)沒(méi)必要全部丟給向量庫(kù)。比如用戶 ID、姓名、偏好、會(huì)員等級(jí)、常用地址這些更適合放進(jìn)結(jié)構(gòu)化存儲(chǔ)。每次寫(xiě)入時(shí)更新字段查詢時(shí)直接讀出來(lái)。結(jié)構(gòu)化記憶的好處是準(zhǔn)確、可控、便于權(quán)限管理。你可以精確控制哪些字段能存、哪些不能存也能方便地做數(shù)據(jù)刪除和脫敏。缺點(diǎn)是靈活性差遇到?jīng)]定義過(guò)的信息字段就沒(méi)法容納。所以比較穩(wěn)妥的設(shè)計(jì)是兩層明確的信息進(jìn)結(jié)構(gòu)化字段邊界模糊的信息進(jìn)向量庫(kù)。兩層都帶上用戶標(biāo)識(shí)和更新時(shí)間方便后面處理沖突。2.4 混合記憶生產(chǎn)環(huán)境更常見(jiàn)的組合在很多生產(chǎn)環(huán)境里記憶系統(tǒng)不會(huì)是單一方案。一般流程是先做實(shí)體識(shí)別和意圖判斷提取用戶當(dāng)前問(wèn)的是哪類問(wèn)題。從結(jié)構(gòu)化表里讀取用戶畫(huà)像和權(quán)限信息。從向量庫(kù)檢索文檔片段或歷史對(duì)話摘要。把所有相關(guān)內(nèi)容按優(yōu)先級(jí)拼進(jìn)上下文。這樣做的好處是各取所長(zhǎng)。結(jié)構(gòu)化數(shù)據(jù)保證準(zhǔn)確性向量檢索保證覆蓋面當(dāng)前對(duì)話上下文保證即時(shí)性。壞處是鏈路變長(zhǎng)需要的組件變多調(diào)試時(shí)步驟也多。如果你只是個(gè)人項(xiàng)目或?qū)W習(xí) Demo可以從向量檢索或摘要方案中的一種開(kāi)始不必一開(kāi)始就上全套。3. 從零跑通一個(gè)記憶增強(qiáng) Demo3.1 Demo 的目標(biāo)和邊界先明確要驗(yàn)證什么。我建議第一個(gè) Demo 不要做復(fù)雜知識(shí)庫(kù)就做一個(gè)“記住用戶偏好”的 AI 助手。用戶說(shuō)“我叫小李喜歡簡(jiǎn)潔回答”下次再問(wèn)“你能用哪種風(fēng)格回答我”模型能夠通過(guò)記憶返回“小李喜歡簡(jiǎn)潔”。這個(gè)目標(biāo)足夠簡(jiǎn)單但覆蓋了記憶系統(tǒng)最核心的三件事寫(xiě)入、檢索、注入。先跑通這三件事再擴(kuò)展文檔記憶、多用戶和權(quán)限也來(lái)得及。3.2 技術(shù)選型和環(huán)境準(zhǔn)備如果只是驗(yàn)證流程可以選一條最省事的路徑對(duì)話模型可以直接調(diào)用大模型 API也可以本地部署一個(gè)開(kāi)源模型。API 方式更省心但要注意密鑰和接口地址本地部署則要確認(rèn)顯存或內(nèi)存夠用。文本向量化模型用來(lái)把文本變成向量。注意向量模型和對(duì)話模型可以是兩個(gè)模型不必綁定。向量數(shù)據(jù)庫(kù)選一個(gè)支持相似度檢索的開(kāi)源向量庫(kù)即可。量小的時(shí)候也可以直接用支持余弦相似度的輕量方案。應(yīng)用代碼建議先用 Python 腳本或 Notebook 驗(yàn)證不要一上來(lái)就套框架。這里有一個(gè)容易忽略的點(diǎn)向量化模型的輸出維度要和向量庫(kù)設(shè)置的維度一致。換成某個(gè)模型時(shí)如果報(bào)維度錯(cuò)誤先去檢查配置。3.3 寫(xiě)入記憶抽取、向量化、存儲(chǔ)寫(xiě)一個(gè)簡(jiǎn)單函數(shù)接收用戶 ID 和文本從文本中抽取事實(shí)再存入向量庫(kù)。示例邏輯如下def write_memory(user_id, text): # 用規(guī)則或大模型抽取事實(shí)例如“姓名小李偏好簡(jiǎn)潔” facts extract_facts(text) for fact in facts: vector embed(fact) db.insert(user_iduser_id, textfact, vectorvector)這里的extract_facts可以是正則、關(guān)鍵詞也可以是調(diào)用大模型返回 JSON。如果事實(shí)比較復(fù)雜我建議直接讓大模型輸出字段姓名、偏好、重要日期、待辦事項(xiàng)。Demo 階段用簡(jiǎn)單規(guī)則也能跑。寫(xiě)入時(shí)需要記錄用戶 ID 和時(shí)間戳否則后續(xù)多個(gè)用戶的數(shù)據(jù)會(huì)混在一起。3.4 讀取記憶檢索、拼提示詞、生成用戶提問(wèn)時(shí)先通過(guò)檢索找到相關(guān)記憶再把記憶拼到系統(tǒng)提示詞里。示例def answer_with_memory(user_id, question): question_vector embed(question) memories db.search(question_vector, top_k3, user_iduser_id) context format_memories(memories) prompt build_prompt(question, context) return chat_model(prompt)build_prompt負(fù)責(zé)把記憶片段和當(dāng)前問(wèn)題組合起來(lái)比如以下是該用戶之前留下的記憶 - 小李喜歡簡(jiǎn)潔回答 請(qǐng)根據(jù)以上記憶回答用戶的問(wèn)題你能用哪種風(fēng)格回答我這里有一個(gè)關(guān)鍵點(diǎn)檢索條件一定要帶上用戶 ID。不加過(guò)濾的話模型可能會(huì)讀到另一個(gè)用戶的記憶這是隱私事故。3.5 驗(yàn)證四類場(chǎng)景必須覆蓋跑通之后至少要驗(yàn)證四類場(chǎng)景記憶命中第二次提到同樣信息模型能正確使用。上下文融合新會(huì)話不需要重復(fù)說(shuō)明歷史信息模型能接上。記憶更新用戶改口之后新記憶要覆蓋舊記憶。無(wú)關(guān)問(wèn)題不干擾問(wèn)無(wú)關(guān)問(wèn)題時(shí)記憶不能硬塞導(dǎo)致答案變奇怪。驗(yàn)證時(shí)不要只看一次性結(jié)果。同一個(gè)問(wèn)題多問(wèn)幾次確認(rèn)輸出穩(wěn)定。如果時(shí)好時(shí)壞多數(shù)是檢索結(jié)果不穩(wěn)定或者提示詞沒(méi)有強(qiáng)調(diào)記憶優(yōu)先級(jí)。4. 從 Demo 到正式項(xiàng)目參數(shù)、維護(hù)和排查4.1 需要重點(diǎn)關(guān)注的參數(shù)當(dāng)記憶系統(tǒng)準(zhǔn)備接入真實(shí)場(chǎng)景時(shí)需要關(guān)注的參數(shù)就多了。下面是我會(huì)優(yōu)先盯的幾個(gè)參數(shù)作用調(diào)整思路切塊大小文檔或歷史記錄的分片粒度太長(zhǎng)檢索不準(zhǔn)太短信息缺失一般在幾百字左右Top-K檢索返回的片段數(shù)量越大信息越多但噪音也大可從 3 開(kāi)始調(diào)相似度閾值低于閾值的不注入防止無(wú)關(guān)記憶干擾閾值過(guò)高可能漏檢記憶有效期存儲(chǔ)多久后失效按業(yè)務(wù)定比如用戶偏好長(zhǎng)期有效臨時(shí)決策短期有效覆蓋策略新舊記憶沖突時(shí)如何處理可以保留歷史版本也可以直接覆蓋并發(fā)連接池向量庫(kù)和 API 的連接數(shù)批量任務(wù)時(shí)重點(diǎn)看這里超時(shí)和重試接口調(diào)用失敗時(shí)先看日志確認(rèn)是超時(shí)還是模型報(bào)錯(cuò)這些參數(shù)沒(méi)有絕對(duì)統(tǒng)一的值。很多項(xiàng)目的問(wèn)題不是模型不夠強(qiáng)而是 Top-K 太大導(dǎo)致提示詞里混進(jìn)了無(wú)關(guān)內(nèi)容或者切塊大小和文檔結(jié)構(gòu)不匹配。4.2 記憶系統(tǒng)的排查順序如果模型表現(xiàn)像“失憶”或者回答里出現(xiàn)莫名其妙的內(nèi)容不要直接換模型。按照下面的順序排查先看寫(xiě)入日志用戶說(shuō)了那句話之后記憶有沒(méi)有成功寫(xiě)入如果沒(méi)有先看抽取邏輯和存儲(chǔ)配置。再看檢索結(jié)果在當(dāng)前問(wèn)題下向量庫(kù)返回了哪些片段相似度是多少如果返回空說(shuō)明向量化或過(guò)濾條件有問(wèn)題。然后看提示詞檢索到的記憶有沒(méi)有被拼進(jìn)系統(tǒng)提示詞有沒(méi)有因?yàn)槟０邋e(cuò)誤被遺漏最后看模型參數(shù)溫度太高會(huì)導(dǎo)致輸出漂移系統(tǒng)提示詞沒(méi)有強(qiáng)調(diào)“優(yōu)先使用記憶”也會(huì)影響結(jié)果。大多數(shù)“模型記不住”的案例最后查出來(lái)都是寫(xiě)入或檢索環(huán)節(jié)的問(wèn)題。比如遺忘添加用戶過(guò)濾條件或者向量庫(kù)索引沒(méi)有更新。4.3 多用戶隔離和數(shù)據(jù)更新從 Demo 到正式項(xiàng)目最重要的一步就是數(shù)據(jù)隔離。所有記憶都必須帶用戶 ID 或業(yè)務(wù) ID所有查詢都必須帶過(guò)濾條件。不要指望向量庫(kù)自動(dòng)幫你分好一定要在應(yīng)用層做一層強(qiáng)制過(guò)濾。數(shù)據(jù)更新也要設(shè)計(jì)清楚。用戶說(shuō)“我改成喜歡詳細(xì)回答”這時(shí)候舊記憶“喜歡簡(jiǎn)潔回答”還在庫(kù)里。如果檢索到兩條矛盾記憶模型會(huì)無(wú)所適從。比較簡(jiǎn)單的做法是在同一記憶分類里寫(xiě)入新值時(shí)把舊值標(biāo)記為過(guò)期或直接刪除。復(fù)雜一點(diǎn)的做法是保留歷史版本讓模型按時(shí)間戳選擇。另外用戶有刪除記憶的權(quán)利。產(chǎn)品設(shè)計(jì)上要能支持“清除我的歷史記憶”。這既是合規(guī)需要也是產(chǎn)品信任的一部分。技術(shù)上要預(yù)留按用戶刪除的能力。4.4 長(zhǎng)期運(yùn)行時(shí)要命的細(xì)節(jié)長(zhǎng)期跑下來(lái)有幾個(gè)細(xì)節(jié)容易被忽略記憶存儲(chǔ)的字段版本。今天存的是“偏好”明天改了字段名舊數(shù)據(jù)可能讀不出來(lái)。建議給每條記憶加字段標(biāo)識(shí)和版本。碎片化問(wèn)題。向量庫(kù)里如果積累了太多相似重復(fù)的片段檢索會(huì)越來(lái)越慢也會(huì)增加噪音?？梢远ㄆ谧鋈ブ貕嚎s。上下文注入順序。記憶片段、系統(tǒng)指令、當(dāng)前問(wèn)題之間的排列會(huì)影響模型對(duì)信息的關(guān)注程度需要固定模板并實(shí)際測(cè)試。成本控制。記憶檢索和生成都涉及模型調(diào)用批量場(chǎng)景要計(jì)算每次請(qǐng)求的 token 消耗避免無(wú)上限的上下文塞入。5. 資本熱、創(chuàng)業(yè)冷給開(kāi)發(fā)者的參考5.1 為什么記憶賽道突然變熱大模型發(fā)展到現(xiàn)在基礎(chǔ)能力已經(jīng)被大量討論但應(yīng)用層始終有一個(gè)短板模型沒(méi)有長(zhǎng)期記憶。任何需要持續(xù)服務(wù)的場(chǎng)景比如 AI 客服、AI 助手、智能教育、企業(yè)知識(shí)管理都會(huì)碰到“模型忘了上次說(shuō)過(guò)的話”的尷尬。一旦有人把“記憶層”做成通用能力所有上層應(yīng)用都可以復(fù)用。這解釋了為什么“給大模型做記憶”會(huì)在融資市場(chǎng)受到關(guān)注。不需要重新訓(xùn)練大模型只需要在模型外部加一層數(shù)據(jù)管理就能讓原本“一次性”的大模型具備長(zhǎng)期服務(wù)能力。5.2 真正的技術(shù)壁壘在哪里很多人以為做記憶增強(qiáng)就是接一下向量數(shù)據(jù)庫(kù)其實(shí)不是。真正的難點(diǎn)在于抽取的事實(shí)是否準(zhǔn)確、完整檢索到的記憶是否和當(dāng)前問(wèn)題相關(guān)新舊記憶沖突時(shí)如何決策不同用戶、不同業(yè)務(wù)之間的數(shù)據(jù)如何隔離海量記憶下如何控制檢索延遲和成本。向量數(shù)據(jù)庫(kù)只是一個(gè)存儲(chǔ)組件記憶系統(tǒng)的核心是把非結(jié)構(gòu)化的對(duì)話和文檔變成結(jié)構(gòu)清晰、可更新、可檢索、可信賴的信息。這個(gè)能力需要結(jié)合業(yè)務(wù)去打磨不能靠單一模型解決。5.3 普通團(tuán)隊(duì)怎么切入這個(gè)方向如果你不是做基礎(chǔ)模型也沒(méi)有融資資源可以先從“給自家產(chǎn)品做記憶”開(kāi)始。路徑可以分三步列出產(chǎn)品中最常被重復(fù)詢問(wèn)的信息比如用戶偏好、歷史訂單、上次結(jié)論。設(shè)計(jì)一個(gè)最小記憶表把穩(wěn)定信息存結(jié)構(gòu)化字段把文檔知識(shí)存向量庫(kù)。在對(duì)話流程里接入記憶讀取用 A/B 測(cè)試觀察回答準(zhǔn)確率和用戶滿意度。我先提醒一句不要一開(kāi)始就追求“所有內(nèi)容都能記住”。記憶也是有成本的記太多會(huì)導(dǎo)致噪聲變大還會(huì)引發(fā)隱私和更新的問(wèn)題。寧可記住少量高價(jià)值信息也不要無(wú)差別收集所有對(duì)話。5.4 給同行的收尾建議給大模型做記憶方向確實(shí)值得投入。但真正落地時(shí)最該盯住的不是功能列表而是寫(xiě)入、檢索、更新、刪除這條完整鏈路。我個(gè)人的做法是先把單用戶單條記憶跑穩(wěn)再擴(kuò)展批量先驗(yàn)證準(zhǔn)確率再優(yōu)化速度先在隔離環(huán)境測(cè)試數(shù)據(jù)更新再開(kāi)放給真實(shí)用戶。踩過(guò)幾次之后你會(huì)發(fā)現(xiàn)很多問(wèn)題不是模型能力不足而是記憶數(shù)據(jù)沒(méi)有管好。給大模型做記憶本質(zhì)上不是讓模型更聰明而是讓系統(tǒng)更有條理。這條基本功不管資本熱不熱都值得好好做。