生成：多維度優(yōu)化與深度實(shí)踐指南)
這里寫自定義目錄標(biāo)題歡迎使用Markdown編輯器一、RAG 為什么是落地剛需二、RAG 的核心挑戰(zhàn)與優(yōu)化方向三、檢索層優(yōu)化從索引到匹配的全鏈路改進(jìn)3.1 索引結(jié)構(gòu)優(yōu)化3.2 語(yǔ)義匹配算法升級(jí)3.3 混合檢索策略生成一個(gè)適合你的列表創(chuàng)建一個(gè)表格設(shè)定內(nèi)容居中、居左、居右SmartyPants創(chuàng)建一個(gè)自定義列表如何創(chuàng)建一個(gè)注腳注釋也是必不可少的KaTeX數(shù)學(xué)公式新的甘特圖功能豐富你的文章UML圖表流程圖FLowchart流程圖導(dǎo)出與導(dǎo)入導(dǎo)出導(dǎo)入歡迎使用Markdown編輯器你好 這是你第一次使用# RAG 檢索增強(qiáng)生成多維度優(yōu)化與深度實(shí)踐指南一、RAG 為什么是落地剛需大語(yǔ)言模型雖然能力強(qiáng)大但有兩個(gè)先天缺陷一是知識(shí)截止于訓(xùn)練數(shù)據(jù)無(wú)法獲取最新信息二是容易產(chǎn)生幻覺在缺乏事實(shí)依據(jù)時(shí)編造內(nèi)容。檢索增強(qiáng)生成Retrieval-Augmented GenerationRAG通過(guò)將 LLM 與外部知識(shí)庫(kù)結(jié)合有效緩解了這兩個(gè)問(wèn)題——它讓模型在回答問(wèn)題時(shí)先檢索相關(guān)的知識(shí)片段再基于這些事實(shí)依據(jù)生成答案。RAG 的價(jià)值在于它把模型的知識(shí)和企業(yè)的知識(shí)解耦了。模型的知識(shí)是通用的、靜態(tài)的企業(yè)的知識(shí)是私有的、動(dòng)態(tài)的。通過(guò) RAG企業(yè)可以把內(nèi)部文檔、行業(yè)數(shù)據(jù)、實(shí)時(shí)信息注入到模型的回答中既保證了內(nèi)容的準(zhǔn)確性又保障了數(shù)據(jù)安全——私有數(shù)據(jù)不需要用來(lái)訓(xùn)練模型只需要進(jìn)入檢索庫(kù)。二、RAG 的核心挑戰(zhàn)與優(yōu)化方向雖然 RAG 的原理看起來(lái)簡(jiǎn)單檢索 生成但實(shí)際落地中面臨三大核心挑戰(zhàn)一是檢索效率與準(zhǔn)確性的矛盾。在大規(guī)模文檔庫(kù)中如何快速定位與查詢高度相關(guān)的片段檢索太快可能漏掉相關(guān)內(nèi)容檢索太準(zhǔn)可能錯(cuò)過(guò)語(yǔ)義相關(guān)但關(guān)鍵詞不匹配的內(nèi)容。二是上下文理解深度不足。檢索結(jié)果與生成模型輸入的語(yǔ)義匹配度直接影響回答質(zhì)量。檢索到的內(nèi)容如何與用戶查詢?nèi)诤喜拍茏屇Ｐ屠斫獠⒄_使用三是動(dòng)態(tài)知識(shí)更新延遲。新數(shù)據(jù)入庫(kù)后索引重建與模型微調(diào)的協(xié)同機(jī)制難以平衡實(shí)時(shí)性與成本。針對(duì)這些挑戰(zhàn)優(yōu)化方向可以歸納為三個(gè)層面檢索層優(yōu)化索引結(jié)構(gòu)、改進(jìn)語(yǔ)義匹配算法、動(dòng)態(tài)調(diào)整檢索策略、生成層設(shè)計(jì)上下文壓縮與擴(kuò)展機(jī)制、系統(tǒng)層構(gòu)建低延遲、高可用的分布式架構(gòu)。三、檢索層優(yōu)化從索引到匹配的全鏈路改進(jìn)3.1 索引結(jié)構(gòu)優(yōu)化傳統(tǒng)倒排索引在長(zhǎng)文本場(chǎng)景下存在召回率低的問(wèn)題可以采用分層索引架構(gòu)。以 FAISS 為例先通過(guò)粗粒度聚類快速過(guò)濾候選集再通過(guò)細(xì)粒度索引精確排序importfaissimportnumpyasnp# 第一層粗粒度聚類快速過(guò)濾coarse_indexfaiss.IndexFlatL2(128)# 假設(shè)向量維度為128coarse_index.add(np.random.rand(10000,128).astype(float32))# 10000個(gè)文檔向量# 第二層細(xì)粒度HNSW索引精確檢索fine_indexfaiss.IndexHNSWFlat(128,32)# HNSW參數(shù)維度128鄰域數(shù)32fine_index.add(np.random.rand(10000,128).astype(float32))分層檢索的流程是先通過(guò)粗粒度索引縮小候選范圍如 top 100再通過(guò)細(xì)粒度索引精確排序。這種方案適用于千萬(wàn)級(jí)文檔庫(kù)查詢延遲可以控制在 50ms 以內(nèi)。3.2 語(yǔ)義匹配算法升級(jí)傳統(tǒng) BM25 算法難以處理語(yǔ)義相似但關(guān)鍵詞不重疊的查詢需要引入深度語(yǔ)義模型雙塔模型獨(dú)立編碼查詢與文檔計(jì)算余弦相似度如 Sentence-BERT。優(yōu)點(diǎn)是速度快適合大規(guī)模召回。交叉編碼模型聯(lián)合編碼查詢-文檔對(duì)直接輸出匹配分?jǐn)?shù)如 ColBERT。優(yōu)點(diǎn)是精度高適合精排階段。實(shí)踐中通常采用雙塔召回 交叉精排的兩階段方案先用雙塔模型快速召回候選集再用交叉編碼模型對(duì)候選集精排兼顧速度與精度。3.3 混合檢索策略單一檢索方式都有局限向量檢索擅長(zhǎng)語(yǔ)義匹配但可能忽略精確關(guān)鍵詞關(guān)鍵詞檢索擅長(zhǎng)精確匹配但無(wú)法處理同義表達(dá)?；旌蠙z索將兩者結(jié)合通過(guò)加權(quán)評(píng)分提升召回率defhybrid_search(query,vector_db,keyword_db):vector_resultsvector_db.search(query,top_k5)keyword_resultskeyword_db.search(query,fields[title,content],top_k3)returnmerge_results(vector_results,keyword_results,weights[0.7,0.3]) 混合檢索的關(guān)鍵是權(quán)重設(shè)計(jì)。不同業(yè)務(wù)場(chǎng)景下語(yǔ)義匹配和關(guān)鍵詞匹配的重要性不同需要通過(guò)實(shí)驗(yàn)確定最優(yōu)權(quán)重。## 四、生成層優(yōu)化讓模型用好檢索結(jié)果### 4.1 上下文壓縮技術(shù)檢索到的文檔往往包含大量無(wú)關(guān)信息直接塞進(jìn)上下文不僅浪費(fèi) Token還會(huì)干擾模型判斷。上下文壓縮技術(shù)使用 LLM 對(duì)檢索文檔做摘要提取關(guān)鍵信息后再與查詢拼接。實(shí)驗(yàn)表明這種方法可以使生成結(jié)果的 BLEU 評(píng)分提升12%左右。### 4.2 查詢改寫與擴(kuò)展用戶的原始查詢往往不夠精確直接檢索效果不佳。查詢改寫技術(shù)讓模型先理解用戶意圖改寫為更精確的檢索查詢查詢擴(kuò)展則通過(guò)生成同義詞、相關(guān)概念擴(kuò)大檢索覆蓋面。### 4.3 重排與過(guò)濾檢索返回的結(jié)果需要經(jīng)過(guò)重排把最相關(guān)的內(nèi)容排在最前面。重排可以基于相關(guān)性分?jǐn)?shù)、來(lái)源可信度、時(shí)效性等多個(gè)維度。同時(shí)要過(guò)濾掉低質(zhì)量、重復(fù)、過(guò)時(shí)的內(nèi)容。## 五、系統(tǒng)層優(yōu)化構(gòu)建高可用架構(gòu)### 5.1 知識(shí)庫(kù)分片按領(lǐng)域、時(shí)間或重要性對(duì)知識(shí)庫(kù)分片減少單次檢索范圍。例如將醫(yī)療知識(shí)庫(kù)分為藥品病癥指南三類查詢時(shí)優(yōu)先檢索相關(guān)分片。分片可以顯著降低檢索延遲提升準(zhǔn)確性。### 5.2 緩存機(jī)制對(duì)于高頻查詢緩存檢索結(jié)果可以大幅降低延遲和成本。緩存策略需要考慮緩存哪些查詢、緩存多久、如何保證緩存與知識(shí)庫(kù)更新的一致性。### 5.3 異步與流式處理對(duì)于長(zhǎng)文檔處理可以采用異步處理流程文檔上傳后異步切分、向量化、入庫(kù)查詢時(shí)異步檢索、流式生成。這樣既保證了用戶體驗(yàn)又避免了阻塞。## 六、一個(gè)完整的落地案例以某金融問(wèn)答系統(tǒng)為例未優(yōu)化前的 RAG 方案在回答2023 年某行業(yè)政策變化時(shí)因檢索到過(guò)期政策文檔導(dǎo)致生成錯(cuò)誤暴露了檢索時(shí)效性與準(zhǔn)確性的雙重問(wèn)題。 優(yōu)化后的方案是引入混合檢索向量關(guān)鍵詞對(duì)政策類文檔按時(shí)間加權(quán)優(yōu)先采用最新版本加入查詢改寫把口語(yǔ)化問(wèn)題改寫為精確的政策檢索詞生成層加入上下文壓縮只保留與問(wèn)題直接相關(guān)的政策條款。優(yōu)化后回答準(zhǔn)確率顯著提升過(guò)期信息導(dǎo)致的錯(cuò)誤基本消除。### 6.1 建立 RAG 評(píng)測(cè)體系RAG 系統(tǒng)的優(yōu)化離不開評(píng)測(cè)。建議從三個(gè)維度建立評(píng)測(cè)體系 一是檢索質(zhì)量。用標(biāo)注好的查詢-文檔對(duì)量化召回率相關(guān)文檔是否都被檢索到和準(zhǔn)確率檢索到的文檔是否都相關(guān)。 二是生成質(zhì)量。用人工或 LLM 作為裁判評(píng)估回答的準(zhǔn)確性、完整性、忠實(shí)度是否忠實(shí)于檢索到的文檔有沒有編造。 三是端到端指標(biāo)。結(jié)合業(yè)務(wù)目標(biāo)評(píng)估任務(wù)完成率、用戶滿意度、平均響應(yīng)時(shí)間等。 評(píng)測(cè)集要覆蓋不同類型的查詢——簡(jiǎn)單事實(shí)、多跳推理、時(shí)效性查詢、模糊查詢——才能全面反映系統(tǒng)的能力。## 七、我的幾點(diǎn)思考RAG 的優(yōu)化是一個(gè)系統(tǒng)工程不能只盯著某一個(gè)環(huán)節(jié)。檢索層、生成層、系統(tǒng)層是相互關(guān)聯(lián)的——檢索質(zhì)量影響生成質(zhì)量系統(tǒng)性能影響用戶體驗(yàn)。優(yōu)化的正確姿勢(shì)是先建立評(píng)測(cè)體系量化當(dāng)前系統(tǒng)的短板再有針對(duì)性地優(yōu)化。 另一個(gè)值得關(guān)注的趨勢(shì)是 RAG 與 Agent 的融合。傳統(tǒng) RAG 是檢索一次、生成一次的靜態(tài)流程而 Agent 化的 RAG 可以根據(jù)檢索結(jié)果動(dòng)態(tài)決定下一步——信息不足就繼續(xù)檢索信息沖突就交叉驗(yàn)證這大大提升了復(fù)雜問(wèn)題的回答能力。 最后不要忽視數(shù)據(jù)質(zhì)量。RAG 的上限由知識(shí)庫(kù)的質(zhì)量決定——垃圾進(jìn)垃圾出?；〞r(shí)間做好文檔清洗、切分策略、元數(shù)據(jù)管理往往比調(diào)模型參數(shù)更有效。**Markdown編輯器**所展示的歡迎頁(yè)。如果你想學(xué)習(xí)如何使用Markdown編輯器,可以仔細(xì)閱讀這篇文章了解一下Markdown的基本語(yǔ)法知識(shí)。## 新的改變我們對(duì)Markdown編輯器進(jìn)行了一些功能拓展與語(yǔ)法支持除了標(biāo)準(zhǔn)的Markdown編輯器功能我們?cè)黾恿巳缦聨c(diǎn)新功能幫助你用它寫博客1.**全新的界面設(shè)計(jì)**將會(huì)帶來(lái)全新的寫作體驗(yàn)2.在創(chuàng)作中心設(shè)置你喜愛的代碼高亮樣式Markdown**將代碼片顯示選擇的高亮樣式**進(jìn)行展示3.增加了**圖片拖拽**功能你可以將本地的圖片直接拖拽到編輯區(qū)域直接展示4.全新的**KaTeX數(shù)學(xué)公式**語(yǔ)法5.增加了支持**甘特圖的mermaid語(yǔ)法[^1]**功能6.增加了**多屏幕編輯**Markdown文章功能7.增加了**焦點(diǎn)寫作模式、預(yù)覽模式、簡(jiǎn)潔寫作模式、左右區(qū)域同步滾輪設(shè)置**等功能功能按鈕位于編輯區(qū)域與預(yù)覽區(qū)域中間8.增加了**檢查列表**功能。[^1]:[mermaid語(yǔ)法說(shuō)明](https://mermaid.js.org/intro/)## 功能快捷鍵撤銷kbdCtrl/Command/kbdkbdZ/kbd重做kbdCtrl/Command/kbdkbdY/kbd加粗kbdCtrl/Command/kbdkbdB/kbd斜體kbdCtrl/Command/kbdkbdI/kbd標(biāo)題kbdCtrl/Command/kbdkbdShift/kbdkbdH/kbd無(wú)序列表kbdCtrl/Command/kbdkbdShift/kbdkbdU/kbd有序列表kbdCtrl/Command/kbdkbdShift/kbdkbdO/kbd檢查列表kbdCtrl/Command/kbdkbdShift/kbdkbdC/kbd插入代碼kbdCtrl/Command/kbdkbdShift/kbdkbdK/kbd插入鏈接kbdCtrl/Command/kbdkbdShift/kbdkbdL/kbd插入圖片kbdCtrl/Command/kbdkbdShift/kbdkbdG/kbd查找kbdCtrl/Command/kbdkbdF/kbd替換kbdCtrl/Command/kbdkbdG/kbd## 合理的創(chuàng)建標(biāo)題有助于目錄的生成直接輸入1次kbd#/kbd并按下kbdspace/kbd后將生成1級(jí)標(biāo)題。輸入2次kbd#/kbd并按下kbdspace/kbd后將生成2級(jí)標(biāo)題。以此類推我們支持6級(jí)標(biāo)題。有助于使用TOC語(yǔ)法后生成一個(gè)完美的目錄。## 如何改變文本的樣式*強(qiáng)調(diào)文本*_強(qiáng)調(diào)文本_**加粗文本**__加粗文本__標(biāo)記文本~~刪除文本~~引用文本 H~2~Ois是液體。2^10^運(yùn)算結(jié)果是1024.## 插入鏈接與圖片鏈接:[link](https://www.csdn.net/).圖片:帶尺寸的圖片:居中的圖片:居中并且?guī)С叽绲膱D片:當(dāng)然我們?yōu)榱俗層脩舾颖憬菸覀冊(cè)黾恿藞D片拖拽功能。## 如何插入一段漂亮的代碼片去[博客設(shè)置](https://mp.csdn.net/console/configBlog)頁(yè)面選擇一款你喜歡的代碼片高亮樣式下面展示同樣高亮的 代碼片.javascript//An highlighted block var foobar;生成一個(gè)適合你的列表項(xiàng)目項(xiàng)目項(xiàng)目項(xiàng)目1項(xiàng)目2項(xiàng)目3計(jì)劃任務(wù)完成任務(wù)創(chuàng)建一個(gè)表格一個(gè)簡(jiǎn)單的表格是這么創(chuàng)建的項(xiàng)目Value電腦$1600手機(jī)$12導(dǎo)管$1設(shè)定內(nèi)容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一個(gè)文本轉(zhuǎn)換工具主要功能是將普通的 ASCII 標(biāo)點(diǎn)符號(hào)自動(dòng)轉(zhuǎn)換為更美觀的印刷體標(biāo)點(diǎn)符號(hào)。例如原始符號(hào)轉(zhuǎn)換后說(shuō)明引號(hào)“引號(hào)”直引號(hào)變彎引號(hào)單引號(hào)‘單引號(hào)’直單引號(hào)變彎單引號(hào)--–兩個(gè)連字符變短破折號(hào)---—三個(gè)連字符變長(zhǎng)破折號(hào)...…三個(gè)點(diǎn)變省略號(hào)創(chuàng)建一個(gè)自定義列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何創(chuàng)建一個(gè)注腳一個(gè)具有注腳的文本。1注釋也是必不可少的Markdown將文本轉(zhuǎn)換為HTML。KaTeX數(shù)學(xué)公式您可以使用渲染LaTeX數(shù)學(xué)表達(dá)式 KaTeX:Gamma公式展示Γ ( n ) ( n ? 1 ) ! ? n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n?1)!?n∈N是通過(guò)歐拉積分Γ ( z ) ∫ 0 ∞ t z ? 1 e ? t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞?tz?1e?tdt.你可以找到更多關(guān)于的信息LaTeX數(shù)學(xué)表達(dá)式here.新的甘特圖功能豐富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成進(jìn)行中計(jì)劃一計(jì)劃二現(xiàn)有任務(wù)Adding GANTT diagram functionality to mermaid關(guān)于甘特圖語(yǔ)法參考 這兒,UML圖表可以使用UML圖表進(jìn)行渲染例如下面產(chǎn)生的一個(gè)序列圖王五李四張三王五李四張三李四想了很長(zhǎng)時(shí)間, 文字太長(zhǎng)了不適合放在一行.你好李四, 最近怎么樣?你最近怎么樣王五我很好謝謝!我很好謝謝!打量著王五...很好... 王五, 你怎么樣?關(guān)于UML圖表語(yǔ)法參考 這兒,流程圖鏈接長(zhǎng)方形圓圓角長(zhǎng)方形菱形關(guān)于Mermaid語(yǔ)法參考 這兒,FLowchart流程圖我們依舊會(huì)支持flowchart.js的流程圖語(yǔ)法Created with Rapha?l 2.3.0開始我的操作確認(rèn)結(jié)束yesno關(guān)于Flowchart流程圖語(yǔ)法參考 這兒.導(dǎo)出與導(dǎo)入導(dǎo)出如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當(dāng)你完成了一篇文章的寫作, 在上方工具欄找到文章導(dǎo)出生成一個(gè).md文件或者.html文件進(jìn)行本地保存。導(dǎo)入如果你想加載一篇你寫過(guò)的.md文件在上方工具欄可以選擇導(dǎo)入功能進(jìn)行對(duì)應(yīng)擴(kuò)展名的文件導(dǎo)入繼續(xù)你的創(chuàng)作。注腳的解釋 ?? RAG 檢索增強(qiáng)生成：多維度優(yōu)化與深度實(shí)踐指南
這里寫自定義目錄標(biāo)題歡迎使用Markdown編輯器一、RAG 為什么是落地剛需二、RAG 的核心挑戰(zhàn)與優(yōu)化方向三、檢索層優(yōu)化從索引到匹配的全鏈路改進(jìn)3.1 索引結(jié)構(gòu)優(yōu)化3.2 語(yǔ)義匹配算法升級(jí)3.3 混合檢索策略生成一個(gè)適合你的列表創(chuàng)建一個(gè)表格設(shè)定內(nèi)容居中、居左、居右SmartyPants創(chuàng)建一個(gè)自定義列表如何創(chuàng)建一個(gè)注腳注釋也是必不可少的KaTeX數(shù)學(xué)公式新的甘特圖功能豐富你的文章UML圖表流程圖FLowchart流程圖導(dǎo)出與導(dǎo)入導(dǎo)出導(dǎo)入歡迎使用Markdown編輯器你好 這是你第一次使用# RAG 檢索增強(qiáng)生成多維度優(yōu)化與深度實(shí)踐指南一、RAG 為什么是落地剛需大語(yǔ)言模型雖然能力強(qiáng)大但有兩個(gè)先天缺陷一是知識(shí)截止于訓(xùn)練數(shù)據(jù)無(wú)法獲取最新信息二是容易產(chǎn)生幻覺在缺乏事實(shí)依據(jù)時(shí)編造內(nèi)容。檢索增強(qiáng)生成Retrieval-Augmented GenerationRAG通過(guò)將 LLM 與外部知識(shí)庫(kù)結(jié)合有效緩解了這兩個(gè)問(wèn)題——它讓模型在回答問(wèn)題時(shí)先檢索相關(guān)的知識(shí)片段再基于這些事實(shí)依據(jù)生成答案。RAG 的價(jià)值在于它把模型的知識(shí)和企業(yè)的知識(shí)解耦了。模型的知識(shí)是通用的、靜態(tài)的企業(yè)的知識(shí)是私有的、動(dòng)態(tài)的。通過(guò) RAG企業(yè)可以把內(nèi)部文檔、行業(yè)數(shù)據(jù)、實(shí)時(shí)信息注入到模型的回答中既保證了內(nèi)容的準(zhǔn)確性又保障了數(shù)據(jù)安全——私有數(shù)據(jù)不需要用來(lái)訓(xùn)練模型只需要進(jìn)入檢索庫(kù)。二、RAG 的核心挑戰(zhàn)與優(yōu)化方向雖然 RAG 的原理看起來(lái)簡(jiǎn)單檢索 生成但實(shí)際落地中面臨三大核心挑戰(zhàn)一是檢索效率與準(zhǔn)確性的矛盾。在大規(guī)模文檔庫(kù)中如何快速定位與查詢高度相關(guān)的片段檢索太快可能漏掉相關(guān)內(nèi)容檢索太準(zhǔn)可能錯(cuò)過(guò)語(yǔ)義相關(guān)但關(guān)鍵詞不匹配的內(nèi)容。二是上下文理解深度不足。檢索結(jié)果與生成模型輸入的語(yǔ)義匹配度直接影響回答質(zhì)量。檢索到的內(nèi)容如何與用戶查詢?nèi)诤喜拍茏屇Ｐ屠斫獠⒄_使用三是動(dòng)態(tài)知識(shí)更新延遲。新數(shù)據(jù)入庫(kù)后索引重建與模型微調(diào)的協(xié)同機(jī)制難以平衡實(shí)時(shí)性與成本。針對(duì)這些挑戰(zhàn)優(yōu)化方向可以歸納為三個(gè)層面檢索層優(yōu)化索引結(jié)構(gòu)、改進(jìn)語(yǔ)義匹配算法、動(dòng)態(tài)調(diào)整檢索策略、生成層設(shè)計(jì)上下文壓縮與擴(kuò)展機(jī)制、系統(tǒng)層構(gòu)建低延遲、高可用的分布式架構(gòu)。三、檢索層優(yōu)化從索引到匹配的全鏈路改進(jìn)3.1 索引結(jié)構(gòu)優(yōu)化傳統(tǒng)倒排索引在長(zhǎng)文本場(chǎng)景下存在召回率低的問(wèn)題可以采用分層索引架構(gòu)。以 FAISS 為例先通過(guò)粗粒度聚類快速過(guò)濾候選集再通過(guò)細(xì)粒度索引精確排序importfaissimportnumpyasnp# 第一層粗粒度聚類快速過(guò)濾coarse_indexfaiss.IndexFlatL2(128)# 假設(shè)向量維度為128coarse_index.add(np.random.rand(10000,128).astype(float32))# 10000個(gè)文檔向量# 第二層細(xì)粒度HNSW索引精確檢索fine_indexfaiss.IndexHNSWFlat(128,32)# HNSW參數(shù)維度128鄰域數(shù)32fine_index.add(np.random.rand(10000,128).astype(float32))分層檢索的流程是先通過(guò)粗粒度索引縮小候選范圍如 top 100再通過(guò)細(xì)粒度索引精確排序。這種方案適用于千萬(wàn)級(jí)文檔庫(kù)查詢延遲可以控制在 50ms 以內(nèi)。3.2 語(yǔ)義匹配算法升級(jí)傳統(tǒng) BM25 算法難以處理語(yǔ)義相似但關(guān)鍵詞不重疊的查詢需要引入深度語(yǔ)義模型雙塔模型獨(dú)立編碼查詢與文檔計(jì)算余弦相似度如 Sentence-BERT。優(yōu)點(diǎn)是速度快適合大規(guī)模召回。交叉編碼模型聯(lián)合編碼查詢-文檔對(duì)直接輸出匹配分?jǐn)?shù)如 ColBERT。優(yōu)點(diǎn)是精度高適合精排階段。實(shí)踐中通常采用雙塔召回 交叉精排的兩階段方案先用雙塔模型快速召回候選集再用交叉編碼模型對(duì)候選集精排兼顧速度與精度。3.3 混合檢索策略單一檢索方式都有局限向量檢索擅長(zhǎng)語(yǔ)義匹配但可能忽略精確關(guān)鍵詞關(guān)鍵詞檢索擅長(zhǎng)精確匹配但無(wú)法處理同義表達(dá)?；旌蠙z索將兩者結(jié)合通過(guò)加權(quán)評(píng)分提升召回率defhybrid_search(query,vector_db,keyword_db):vector_resultsvector_db.search(query,top_k5)keyword_resultskeyword_db.search(query,fields[title,content],top_k3)returnmerge_results(vector_results,keyword_results,weights[0.7,0.3]) 混合檢索的關(guān)鍵是權(quán)重設(shè)計(jì)。不同業(yè)務(wù)場(chǎng)景下語(yǔ)義匹配和關(guān)鍵詞匹配的重要性不同需要通過(guò)實(shí)驗(yàn)確定最優(yōu)權(quán)重。## 四、生成層優(yōu)化讓模型用好檢索結(jié)果### 4.1 上下文壓縮技術(shù)檢索到的文檔往往包含大量無(wú)關(guān)信息直接塞進(jìn)上下文不僅浪費(fèi) Token還會(huì)干擾模型判斷。上下文壓縮技術(shù)使用 LLM 對(duì)檢索文檔做摘要提取關(guān)鍵信息后再與查詢拼接。實(shí)驗(yàn)表明這種方法可以使生成結(jié)果的 BLEU 評(píng)分提升12%左右。### 4.2 查詢改寫與擴(kuò)展用戶的原始查詢往往不夠精確直接檢索效果不佳。查詢改寫技術(shù)讓模型先理解用戶意圖改寫為更精確的檢索查詢查詢擴(kuò)展則通過(guò)生成同義詞、相關(guān)概念擴(kuò)大檢索覆蓋面。### 4.3 重排與過(guò)濾檢索返回的結(jié)果需要經(jīng)過(guò)重排把最相關(guān)的內(nèi)容排在最前面。重排可以基于相關(guān)性分?jǐn)?shù)、來(lái)源可信度、時(shí)效性等多個(gè)維度。同時(shí)要過(guò)濾掉低質(zhì)量、重復(fù)、過(guò)時(shí)的內(nèi)容。## 五、系統(tǒng)層優(yōu)化構(gòu)建高可用架構(gòu)### 5.1 知識(shí)庫(kù)分片按領(lǐng)域、時(shí)間或重要性對(duì)知識(shí)庫(kù)分片減少單次檢索范圍。例如將醫(yī)療知識(shí)庫(kù)分為藥品病癥指南三類查詢時(shí)優(yōu)先檢索相關(guān)分片。分片可以顯著降低檢索延遲提升準(zhǔn)確性。### 5.2 緩存機(jī)制對(duì)于高頻查詢緩存檢索結(jié)果可以大幅降低延遲和成本。緩存策略需要考慮緩存哪些查詢、緩存多久、如何保證緩存與知識(shí)庫(kù)更新的一致性。### 5.3 異步與流式處理對(duì)于長(zhǎng)文檔處理可以采用異步處理流程文檔上傳后異步切分、向量化、入庫(kù)查詢時(shí)異步檢索、流式生成。這樣既保證了用戶體驗(yàn)又避免了阻塞。## 六、一個(gè)完整的落地案例以某金融問(wèn)答系統(tǒng)為例未優(yōu)化前的 RAG 方案在回答2023 年某行業(yè)政策變化時(shí)因檢索到過(guò)期政策文檔導(dǎo)致生成錯(cuò)誤暴露了檢索時(shí)效性與準(zhǔn)確性的雙重問(wèn)題。 優(yōu)化后的方案是引入混合檢索向量關(guān)鍵詞對(duì)政策類文檔按時(shí)間加權(quán)優(yōu)先采用最新版本加入查詢改寫把口語(yǔ)化問(wèn)題改寫為精確的政策檢索詞生成層加入上下文壓縮只保留與問(wèn)題直接相關(guān)的政策條款。優(yōu)化后回答準(zhǔn)確率顯著提升過(guò)期信息導(dǎo)致的錯(cuò)誤基本消除。### 6.1 建立 RAG 評(píng)測(cè)體系RAG 系統(tǒng)的優(yōu)化離不開評(píng)測(cè)。建議從三個(gè)維度建立評(píng)測(cè)體系 一是檢索質(zhì)量。用標(biāo)注好的查詢-文檔對(duì)量化召回率相關(guān)文檔是否都被檢索到和準(zhǔn)確率檢索到的文檔是否都相關(guān)。 二是生成質(zhì)量。用人工或 LLM 作為裁判評(píng)估回答的準(zhǔn)確性、完整性、忠實(shí)度是否忠實(shí)于檢索到的文檔有沒有編造。 三是端到端指標(biāo)。結(jié)合業(yè)務(wù)目標(biāo)評(píng)估任務(wù)完成率、用戶滿意度、平均響應(yīng)時(shí)間等。 評(píng)測(cè)集要覆蓋不同類型的查詢——簡(jiǎn)單事實(shí)、多跳推理、時(shí)效性查詢、模糊查詢——才能全面反映系統(tǒng)的能力。## 七、我的幾點(diǎn)思考RAG 的優(yōu)化是一個(gè)系統(tǒng)工程不能只盯著某一個(gè)環(huán)節(jié)。檢索層、生成層、系統(tǒng)層是相互關(guān)聯(lián)的——檢索質(zhì)量影響生成質(zhì)量系統(tǒng)性能影響用戶體驗(yàn)。優(yōu)化的正確姿勢(shì)是先建立評(píng)測(cè)體系量化當(dāng)前系統(tǒng)的短板再有針對(duì)性地優(yōu)化。 另一個(gè)值得關(guān)注的趨勢(shì)是 RAG 與 Agent 的融合。傳統(tǒng) RAG 是檢索一次、生成一次的靜態(tài)流程而 Agent 化的 RAG 可以根據(jù)檢索結(jié)果動(dòng)態(tài)決定下一步——信息不足就繼續(xù)檢索信息沖突就交叉驗(yàn)證這大大提升了復(fù)雜問(wèn)題的回答能力。 最后不要忽視數(shù)據(jù)質(zhì)量。RAG 的上限由知識(shí)庫(kù)的質(zhì)量決定——垃圾進(jìn)垃圾出?；〞r(shí)間做好文檔清洗、切分策略、元數(shù)據(jù)管理往往比調(diào)模型參數(shù)更有效。**Markdown編輯器**所展示的歡迎頁(yè)。如果你想學(xué)習(xí)如何使用Markdown編輯器,可以仔細(xì)閱讀這篇文章了解一下Markdown的基本語(yǔ)法知識(shí)。## 新的改變我們對(duì)Markdown編輯器進(jìn)行了一些功能拓展與語(yǔ)法支持除了標(biāo)準(zhǔn)的Markdown編輯器功能我們?cè)黾恿巳缦聨c(diǎn)新功能幫助你用它寫博客1.**全新的界面設(shè)計(jì)**將會(huì)帶來(lái)全新的寫作體驗(yàn)2.在創(chuàng)作中心設(shè)置你喜愛的代碼高亮樣式Markdown**將代碼片顯示選擇的高亮樣式**進(jìn)行展示3.增加了**圖片拖拽**功能你可以將本地的圖片直接拖拽到編輯區(qū)域直接展示4.全新的**KaTeX數(shù)學(xué)公式**語(yǔ)法5.增加了支持**甘特圖的mermaid語(yǔ)法[^1]**功能6.增加了**多屏幕編輯**Markdown文章功能7.增加了**焦點(diǎn)寫作模式、預(yù)覽模式、簡(jiǎn)潔寫作模式、左右區(qū)域同步滾輪設(shè)置**等功能功能按鈕位于編輯區(qū)域與預(yù)覽區(qū)域中間8.增加了**檢查列表**功能。[^1]:[mermaid語(yǔ)法說(shuō)明](https://mermaid.js.org/intro/)## 功能快捷鍵撤銷kbdCtrl/Command/kbdkbdZ/kbd重做kbdCtrl/Command/kbdkbdY/kbd加粗kbdCtrl/Command/kbdkbdB/kbd斜體kbdCtrl/Command/kbdkbdI/kbd標(biāo)題kbdCtrl/Command/kbdkbdShift/kbdkbdH/kbd無(wú)序列表kbdCtrl/Command/kbdkbdShift/kbdkbdU/kbd有序列表kbdCtrl/Command/kbdkbdShift/kbdkbdO/kbd檢查列表kbdCtrl/Command/kbdkbdShift/kbdkbdC/kbd插入代碼kbdCtrl/Command/kbdkbdShift/kbdkbdK/kbd插入鏈接kbdCtrl/Command/kbdkbdShift/kbdkbdL/kbd插入圖片kbdCtrl/Command/kbdkbdShift/kbdkbdG/kbd查找kbdCtrl/Command/kbdkbdF/kbd替換kbdCtrl/Command/kbdkbdG/kbd## 合理的創(chuàng)建標(biāo)題有助于目錄的生成直接輸入1次kbd#/kbd并按下kbdspace/kbd后將生成1級(jí)標(biāo)題。輸入2次kbd#/kbd并按下kbdspace/kbd后將生成2級(jí)標(biāo)題。以此類推我們支持6級(jí)標(biāo)題。有助于使用TOC語(yǔ)法后生成一個(gè)完美的目錄。## 如何改變文本的樣式*強(qiáng)調(diào)文本*_強(qiáng)調(diào)文本_**加粗文本**__加粗文本__標(biāo)記文本~~刪除文本~~引用文本 H~2~Ois是液體。2^10^運(yùn)算結(jié)果是1024.## 插入鏈接與圖片鏈接:[link](https://www.csdn.net/).圖片:帶尺寸的圖片:居中的圖片:居中并且?guī)С叽绲膱D片:當(dāng)然我們?yōu)榱俗層脩舾颖憬菸覀冊(cè)黾恿藞D片拖拽功能。## 如何插入一段漂亮的代碼片去[博客設(shè)置](https://mp.csdn.net/console/configBlog)頁(yè)面選擇一款你喜歡的代碼片高亮樣式下面展示同樣高亮的 代碼片.javascript//An highlighted block var foobar;生成一個(gè)適合你的列表項(xiàng)目項(xiàng)目項(xiàng)目項(xiàng)目1項(xiàng)目2項(xiàng)目3計(jì)劃任務(wù)完成任務(wù)創(chuàng)建一個(gè)表格一個(gè)簡(jiǎn)單的表格是這么創(chuàng)建的項(xiàng)目Value電腦$1600手機(jī)$12導(dǎo)管$1設(shè)定內(nèi)容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一個(gè)文本轉(zhuǎn)換工具主要功能是將普通的 ASCII 標(biāo)點(diǎn)符號(hào)自動(dòng)轉(zhuǎn)換為更美觀的印刷體標(biāo)點(diǎn)符號(hào)。例如原始符號(hào)轉(zhuǎn)換后說(shuō)明引號(hào)“引號(hào)”直引號(hào)變彎引號(hào)單引號(hào)‘單引號(hào)’直單引號(hào)變彎單引號(hào)--–兩個(gè)連字符變短破折號(hào)---—三個(gè)連字符變長(zhǎng)破折號(hào)...…三個(gè)點(diǎn)變省略號(hào)創(chuàng)建一個(gè)自定義列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何創(chuàng)建一個(gè)注腳一個(gè)具有注腳的文本。1注釋也是必不可少的Markdown將文本轉(zhuǎn)換為HTML。KaTeX數(shù)學(xué)公式您可以使用渲染LaTeX數(shù)學(xué)表達(dá)式 KaTeX:Gamma公式展示Γ ( n ) ( n ? 1 ) ! ? n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n?1)!?n∈N是通過(guò)歐拉積分Γ ( z ) ∫ 0 ∞ t z ? 1 e ? t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞?tz?1e?tdt.你可以找到更多關(guān)于的信息LaTeX數(shù)學(xué)表達(dá)式here.新的甘特圖功能豐富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成進(jìn)行中計(jì)劃一計(jì)劃二現(xiàn)有任務(wù)Adding GANTT diagram functionality to mermaid關(guān)于甘特圖語(yǔ)法參考 這兒,UML圖表可以使用UML圖表進(jìn)行渲染例如下面產(chǎn)生的一個(gè)序列圖王五李四張三王五李四張三李四想了很長(zhǎng)時(shí)間, 文字太長(zhǎng)了不適合放在一行.你好李四, 最近怎么樣?你最近怎么樣王五我很好謝謝!我很好謝謝!打量著王五...很好... 王五, 你怎么樣?關(guān)于UML圖表語(yǔ)法參考 這兒,流程圖鏈接長(zhǎng)方形圓圓角長(zhǎng)方形菱形關(guān)于Mermaid語(yǔ)法參考 這兒,FLowchart流程圖我們依舊會(huì)支持flowchart.js的流程圖語(yǔ)法Created with Rapha?l 2.3.0開始我的操作確認(rèn)結(jié)束yesno關(guān)于Flowchart流程圖語(yǔ)法參考 這兒.導(dǎo)出與導(dǎo)入導(dǎo)出如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當(dāng)你完成了一篇文章的寫作, 在上方工具欄找到文章導(dǎo)出生成一個(gè).md文件或者.html文件進(jìn)行本地保存。導(dǎo)入如果你想加載一篇你寫過(guò)的.md文件在上方工具欄可以選擇導(dǎo)入功能進(jìn)行對(duì)應(yīng)擴(kuò)展名的文件導(dǎo)入繼續(xù)你的創(chuàng)作。注腳的解釋 ??