簡(jiǎn)介這份15KB的docx文檔面向希望在個(gè)人電腦、手機(jī)和瀏覽器中部署DeepSeek大模型的研究人員、開(kāi)發(fā)者與技術(shù)愛(ài)好者圍繞Ollama本地運(yùn)行、移動(dòng)端接入和Open WebUI可視化使用三條路線(xiàn)整理跨平臺(tái)部署方案與關(guān)鍵操作命令。文檔按macOS、Linux、Windows、iPhone與Android等環(huán)境展開(kāi)包含模型拉取、終端交互、快捷指令與API Key配置、Termux依賴(lài)安裝及Ollama編譯啟動(dòng)、Docker Desktop與Open WebUI集成管理等內(nèi)容并附官方網(wǎng)址便于核對(duì)最新版本與支持資料。包內(nèi)共1個(gè)docx文件壓縮包約15KB篇幅精簡(jiǎn)但覆蓋本地、移動(dòng)端與Web端的主要落地路徑。已有3771人學(xué)習(xí)下載適合需要快速搭建DeepSeek實(shí)驗(yàn)環(huán)境、對(duì)照命令排查部署問(wèn)題或把NLP對(duì)話(huà)能力接入個(gè)人設(shè)備與業(yè)務(wù)流程的讀者參考。1. 三端并存的需求先想清楚模型到底跑在哪上周有個(gè)做后端的朋友問(wèn)我能不能在那臺(tái) 16G 內(nèi)存的筆記本上跑一個(gè)能離線(xiàn)對(duì)話(huà)的模型不聯(lián)網(wǎng)、數(shù)據(jù)不出本機(jī)。這個(gè)需求往深了說(shuō)其實(shí)是一整套多平臺(tái) DeepSeek 部署方案桌面端用 Ollama 拉模型起服務(wù)手機(jī)端用 Termux 或者系統(tǒng)快捷指令兜底瀏覽器端再套一層 Open WebUI 做成團(tuán)隊(duì)都能點(diǎn)開(kāi)就用的界面。三條路線(xiàn)的差別不在模型本身而在推理跑在哪里、請(qǐng)求從哪發(fā)出去。搞不清這一點(diǎn)你會(huì)在手機(jī)上裝完一堆東西最后發(fā)現(xiàn)跑的其實(shí)是別人的服務(wù)器。這篇按「先選型、再跑通、最后改」的順序把這套 AI 模型部署的落地路徑拆開(kāi)講新手照著能跑熟手能看到進(jìn)程邊界和接口設(shè)計(jì)。2. 三條路線(xiàn)的架構(gòu)分層與選型賬本2.1 從進(jìn)程邊界看誰(shuí)在真正做推理把三條路線(xiàn)擺在一起看最容易混淆的是「客戶(hù)端」和「推理端」的位置。桌面方案里Ollama 是一個(gè)常駐后臺(tái)的服務(wù)進(jìn)程默認(rèn)監(jiān)聽(tīng)127.0.0.1:11434命令行里敲的ollama run只是一個(gè) HTTP 客戶(hù)端它把對(duì)話(huà)內(nèi)容 POST 給本地服務(wù)服務(wù)加載模型權(quán)重做前向計(jì)算再返回 token。模型和算力都在你自己的機(jī)器上斷網(wǎng)照樣能用。移動(dòng)端要分成兩種完全不同的東西。iPhone 上的快捷指令本質(zhì)是一個(gè)圖形化的 HTTP 請(qǐng)求構(gòu)造器它自己不加載任何模型權(quán)重只負(fù)責(zé)把「你說(shuō)的話(huà)」打包成 JSON發(fā)到一個(gè)兼容 OpenAI 格式的遠(yuǎn)程接口上再把返回的文本念出來(lái)或顯示出來(lái)。它解決的是「手機(jī)上有個(gè)順手的入口」而不是「手機(jī)上跑推理」。Android 上的 Termux 則相反它給你一個(gè)接近 Linux 的終端環(huán)境你可以把 Ollama 源碼拉下來(lái)編譯成可執(zhí)行文件真正在 ARM 芯片上跑推理代價(jià)是編譯門(mén)檻和內(nèi)存天花板。Web 端是第三種形態(tài)。Open WebUI 是一個(gè)前后端一體的應(yīng)用后端用 Python 寫(xiě)前端是瀏覽器頁(yè)面中間通過(guò) HTTP 去調(diào) Ollama 的接口。它自己也不推理價(jià)值在于多會(huì)話(huà)管理、模型切換、提示詞預(yù)設(shè)、多用戶(hù)登錄這些產(chǎn)品化能力。理解了這三層的分工后面每一步命令你都知道自己在動(dòng)哪一塊。提示判斷一個(gè)「手機(jī)跑大模型」的教程靠不靠譜就看它有沒(méi)有說(shuō)清楚推理發(fā)生在本地還是遠(yuǎn)端。只讓你填 API Key 的都是遠(yuǎn)端。2.2 模型規(guī)格與硬件賬本Ollama 的模型名帶 tag冒號(hào)后面是規(guī)格比如deepseek-r1:7b里的7b指 70 億參數(shù)量級(jí)。參數(shù)量直接決定內(nèi)存占用而內(nèi)存是這三條路線(xiàn)里最先撞墻的資源。下面這張表是我在幾種設(shè)備上實(shí)測(cè)后的粗略量級(jí)具體數(shù)值會(huì)隨量化方式和上下文長(zhǎng)度浮動(dòng)但用來(lái)做選型判斷夠用。模型規(guī)格量化后權(quán)重大致體積建議可用內(nèi)存典型落地設(shè)備1.5b12 GB4 GB 以上手機(jī) Termux、低配輕薄本7b / 8b46 GB812 GB主流筆記本、臺(tái)式機(jī)14b810 GB16 GB獨(dú)顯機(jī)器或大內(nèi)存工作站32b 及以上18 GB 起32 GB 以上服務(wù)器、多卡環(huán)境選型邏輯很簡(jiǎn)單手機(jī)端不要碰 7b 以上Android 系統(tǒng)對(duì)單個(gè)應(yīng)用的內(nèi)存限制和后臺(tái)殺進(jìn)程機(jī)制會(huì)讓你跑到一半被 OOM 干掉桌面端 16G 內(nèi)存跑 7b 是甜點(diǎn)區(qū)再大就要看有沒(méi)有獨(dú)立顯卡如果是團(tuán)隊(duì)共用模型放在一臺(tái)常開(kāi)的機(jī)器上其他設(shè)備全部走 HTTP 調(diào)用這才是 AI 模型部署里最省資源的拓?fù)洹＿€有一點(diǎn)容易被忽略上下文長(zhǎng)度也吃?xún)?nèi)存。Ollama 默認(rèn)的上下文窗口不算大如果你在 WebUI 里把上下文調(diào)到很長(zhǎng)同樣的 7b 模型內(nèi)存占用可能翻倍。顯存不夠時(shí)它會(huì)退到 CPU 推理速度掉一個(gè)數(shù)量級(jí)這個(gè)現(xiàn)象后面避坑章節(jié)會(huì)專(zhuān)門(mén)講。2.3 安裝 Ollama 并跑通第一句回復(fù)桌面端是所有路線(xiàn)的基準(zhǔn)先把它跑通后面手機(jī)和 WebUI 才有東西可連。macOS 和 Linux 用官方腳本裝最省事Windows 直接下安裝包雙擊。# macOS / Linux一行腳本完成安裝會(huì)自動(dòng)注冊(cè)系統(tǒng)服務(wù) curl -fsSL https://ollama.com/install.sh | sh # 驗(yàn)證安裝輸出類(lèi)似 ollama version 0.x.x ollama --version # 拉取并進(jìn)入交互式對(duì)話(huà)第一次會(huì)下載權(quán)重文件 ollama run deepseek-r1:7bollama run這個(gè)命令做了兩件事先檢查本地有沒(méi)有對(duì)應(yīng) tag 的模型沒(méi)有就自動(dòng)pull下載完成后啟動(dòng)推理并進(jìn)入 REPL。第一次執(zhí)行會(huì)看到分層的下載進(jìn)度條每一層是模型文件的一個(gè)分片中斷了重跑會(huì)續(xù)傳已經(jīng)下好的層不用從頭再來(lái)。裝完之后要確認(rèn)服務(wù)狀態(tài)。Linux 下安裝腳本會(huì)創(chuàng)建 systemd 單元用systemctl status ollama看macOS 是 launchd 托管的菜單欄應(yīng)用ps aux | grep ollama能看到ollama serve進(jìn)程。如果你想讓局域網(wǎng)內(nèi)其他設(shè)備也能連需要讓服務(wù)監(jiān)聽(tīng)所有網(wǎng)卡# 僅限可信內(nèi)網(wǎng)使用暴露到公網(wǎng)等于把模型算力白送人 OLLAMA_HOST0.0.0.0:11434 ollama serve這個(gè)環(huán)境變量是很多教程漏掉的一步。默認(rèn)只綁127.0.0.1你在另一臺(tái)機(jī)器上curl會(huì)直接連接被拒然后誤以為是防火墻問(wèn)題。改完之后用curl http://主機(jī)IP:11434/api/tags驗(yàn)證能返回 JSON 列表說(shuō)明服務(wù)通了。這一步跑通桌面端的基礎(chǔ)就打好了接下來(lái)兩條路都是在它的接口之上做文章。3. 移動(dòng)端落地iPhone 快捷指令與 Android Termux 編譯3.1 iPhone 快捷指令把 HTTP 請(qǐng)求包成系統(tǒng)級(jí)入口捷徑Shortcuts這個(gè)路子被很多教程寫(xiě)得很玄其實(shí)拆開(kāi)就三個(gè)動(dòng)作接收輸入、發(fā)請(qǐng)求、展示結(jié)果。你在 Safari 里導(dǎo)入一個(gè)現(xiàn)成的快捷指令它內(nèi)部是一個(gè)「獲取 URL 內(nèi)容」動(dòng)作方法選 POST請(qǐng)求體是一段 JSON結(jié)構(gòu)跟 OpenAI 的 Chat Completions 接口一致。{ model: deepseek-chat, messages: [ {role: system, content: 你是一個(gè)簡(jiǎn)潔的中文助手}, {role: user, content: 把這段話(huà)翻譯成英文} ], temperature: 0.7, stream: false }model字段決定服務(wù)端用哪個(gè)模型messages是標(biāo)準(zhǔn)的多輪對(duì)話(huà)數(shù)組stream設(shè)成false是為了讓快捷指令一次性拿到完整文本因?yàn)榱魇椒祷卦诮輳嚼锾幚砥饋?lái)很別扭。請(qǐng)求頭里必須帶Authorization: Bearer 你的Key和Content-Type: application/json少一個(gè)就是 401 或 415。這里要說(shuō)清楚一件事快捷指令的便利性建立在「遠(yuǎn)端有服務(wù)」的前提上它跟本地部署是兩條路。如果你確實(shí)需要離線(xiàn)就別在 iPhone 上折騰這條路直接把模型跑在桌面機(jī)上手機(jī)通過(guò)局域網(wǎng)訪(fǎng)問(wèn)那個(gè) 11434 端口雖然要保證同一網(wǎng)段但數(shù)據(jù)不出內(nèi)網(wǎng)。注意API Key 寫(xiě)死在快捷指令里任何拿到你手機(jī)或者你分享出去的快捷指令的人都能直接看到明文。別用主賬號(hào)的 Key單獨(dú)申請(qǐng)一個(gè)限額的子 Key用完隨時(shí)吊銷(xiāo)。首次運(yùn)行時(shí)系統(tǒng)會(huì)彈權(quán)限確認(rèn)問(wèn)你是否允許訪(fǎng)問(wèn)某個(gè)域名必須點(diǎn)允許否則請(qǐng)求會(huì)被靜默攔截表現(xiàn)就是「點(diǎn)了沒(méi)反應(yīng)」。這個(gè)交互坑我在第一次配的時(shí)候卡了十幾分鐘最后是靠捷徑的「顯示結(jié)果」動(dòng)作把錯(cuò)誤碼打出來(lái)才定位到的。建議你在調(diào)試階段加一個(gè)顯示返回內(nèi)容的動(dòng)作把 HTTP 狀態(tài)碼一起打出來(lái)。3.2 Android Termux從裝依賴(lài)到編譯出可執(zhí)行文件Termux 是 Android 上最接近 Linux 的環(huán)境它不走 proot 那一套虛擬化而是直接跑在 Android 的 Linux 內(nèi)核上所以編譯出來(lái)的二進(jìn)制能原生執(zhí)行。整套流程分三步配環(huán)境、拉源碼、編譯。# 1. 更新包管理器并裝編譯工具鏈 pkg update pkg upgrade -y pkg install git cmake golang libjpeg-turbo -y # 2. 申請(qǐng)共享存儲(chǔ)權(quán)限方便把模型文件放外置卡 termux-setup-storage # 3. 拉 Ollama 源碼depth 1 只取最新一次提交省流量省時(shí)間 git clone --depth 1 https://github.com/ollama/ollama.git cd ollama # 4. 生成版本信息文件再編譯出單文件二進(jìn)制 go generate ./... go build .go generate這一步不能省它會(huì)跑//go:generate注釋標(biāo)記的腳本把版本號(hào)、構(gòu)建時(shí)間之類(lèi)的信息注入到源碼里跳過(guò)它編譯出來(lái)的程序在--version時(shí)會(huì)顯示 dev 或者干脆報(bào)錯(cuò)。go build .在當(dāng)前目錄產(chǎn)出名為ollama的可執(zhí)行文件第一次編譯在手機(jī)上大概十幾到三十分鐘取決于芯片性能中途鎖屏可能被系統(tǒng)掛起建議先執(zhí)行termux-wake-lock拿一個(gè)喚醒鎖。依賴(lài)?yán)飈ibjpeg-turbo容易被漏掉它是圖像處理相關(guān)的庫(kù)Ollama 的多模態(tài)能力會(huì)用到。缺了它編譯過(guò)程不一定立刻報(bào)錯(cuò)但運(yùn)行時(shí)加載模型可能崩這種延遲暴露的問(wèn)題最難查。裝依賴(lài)時(shí)留意終端有沒(méi)有紅色的E:開(kāi)頭錯(cuò)誤有的話(huà)先解決依賴(lài)再往下走。3.3 啟動(dòng)服務(wù)與模型拉取驗(yàn)證編譯完成后不要急著run先把服務(wù)單獨(dú)起起來(lái)驗(yàn)證端口。# 后臺(tái)啟動(dòng)服務(wù) 讓它脫離當(dāng)前終端 ./ollama serve # 驗(yàn)證服務(wù)是否在監(jiān)聽(tīng)正常返回版本信息的 JSON curl http://127.0.0.1:11434 # 手機(jī)內(nèi)存有限先拉最小規(guī)格的模型試水 ./ollama pull deepseek-r1:1.5b # 跑起來(lái)對(duì)話(huà) ./ollama run deepseek-r1:1.5bcurl這一步是整個(gè)移動(dòng)端部署里最重要的驗(yàn)證點(diǎn)。返回Ollama is running或者一段版本 JSON說(shuō)明服務(wù)活著后面拉模型失敗就只可能是網(wǎng)絡(luò)或磁盤(pán)問(wèn)題如果 curl 直接連接失敗那就別往下走先看serve進(jìn)程是不是被系統(tǒng)殺了。Android 的后臺(tái)管理很激進(jìn)切到別的應(yīng)用幾分鐘Termux 的進(jìn)程就可能被回收表現(xiàn)是「剛才還能用現(xiàn)在連不上」。長(zhǎng)期使用的話(huà)在系統(tǒng)設(shè)置里給 Termux 加電池優(yōu)化白名單。模型規(guī)格上老老實(shí)實(shí)選 1.5b。7b 在旗艦機(jī)上勉強(qiáng)能加載但一旦上下文變長(zhǎng)就會(huì)觸發(fā)內(nèi)存回收回應(yīng)到一半斷掉這個(gè)體驗(yàn)比慢更糟。真要在手機(jī)上用大模型正確姿勢(shì)是手機(jī)當(dāng)客戶(hù)端桌面機(jī)當(dāng)推理端中間走局域網(wǎng)。4. Open WebUI 與 Docker瀏覽器里的模型工作臺(tái)4.1 容器網(wǎng)絡(luò)兩個(gè)服務(wù)怎么互相看見(jiàn)Open WebUI 官方推薦用 Docker 跑因?yàn)樗囊蕾?lài)鏈比較長(zhǎng)直接裝 Python 環(huán)境容易和系統(tǒng)包打架。容器化之后有個(gè)關(guān)鍵問(wèn)題WebUI 容器怎么訪(fǎng)問(wèn) Ollama。有兩條路。第一條是 Ollama 跑在宿主機(jī)上容器通過(guò)特殊域名回連宿主機(jī)。macOS 和 Windows 的 Docker Desktop 提供host.docker.internalLinux 上要用宿主機(jī)的實(shí)際內(nèi)網(wǎng) IP 或者172.17.0.1這個(gè)網(wǎng)橋地址。第二條是兩個(gè)都放容器里用 Docker 的自定義網(wǎng)絡(luò)讓它們通過(guò)服務(wù)名互訪(fǎng)這種方式最干凈也方便整體遷移。services: ollama: image: ollama/ollama:latest ports: - 11434:11434 volumes: - ollama:/root/.ollama # 模型權(quán)重持久化刪容器不丟模型 open-webui: image: ghcr.io/open-webui/open-webui:main ports: - 3000:8080 # 左邊是宿主機(jī)端口右邊是容器內(nèi)端口 environment: - OLLAMA_BASE_URLhttp://ollama:11434 volumes: - open-webui:/app/backend/data # 會(huì)話(huà)記錄、用戶(hù)、配置都在這里 depends_on: - ollama volumes: ollama: open-webui:OLLAMA_BASE_URL里寫(xiě)的是服務(wù)名ollama這是 Docker 內(nèi)置 DNS 解析的結(jié)果兩個(gè)容器必須處在同一個(gè) compose 網(wǎng)絡(luò)里才生效。你要是把它改成localhost:11434容器里的 localhost 指的是容器自己會(huì)一直連不上這是最高頻的翻車(chē)點(diǎn)。端口映射3000:8080里的 8080 是 WebUI 容器內(nèi)監(jiān)聽(tīng)的真實(shí)端口改成別的宿主機(jī)端口不影響容器內(nèi)部。depends_on只保證啟動(dòng)順序不保證 Ollama 已經(jīng)準(zhǔn)備好接受請(qǐng)求所以第一次打開(kāi)頁(yè)面時(shí)如果模型列表是空的等十幾秒刷新一下就好不是配置錯(cuò)了。4.2 啟動(dòng)、初始化與模型拉取# 在 compose 文件所在目錄執(zhí)行-d 后臺(tái)運(yùn)行 docker compose up -d # 看兩個(gè)容器的狀態(tài)都應(yīng)該是 running docker compose ps # 如果模型列表為空進(jìn)容器手動(dòng)拉一個(gè) docker compose exec ollama ollama pull deepseek-r1:7b首次訪(fǎng)問(wèn)http://localhost:3000會(huì)引導(dǎo)你創(chuàng)建管理員賬號(hào)賬號(hào)信息存在/app/backend/data下的 SQLite 里所以這個(gè)目錄必須掛卷否則重建容器就全丟了。登錄之后進(jìn)「設(shè)置 → 模型」能看到 Ollama 里已有的模型列表也可以直接在界面上填模型名拉取效果等同于命令行ollama pull。在界面里點(diǎn)「新建對(duì)話(huà)」選模型發(fā)一句話(huà)測(cè)試。如果轉(zhuǎn)圈很久最后報(bào)連接錯(cuò)誤八成是OLLAMA_BASE_URL配錯(cuò)了用docker compose logs open-webui看日志里那一行實(shí)際請(qǐng)求的地址。如果報(bào)模型不存在就是拉取沒(méi)完成或者 tag 拼錯(cuò)注意deepseek-r1和deepseek-r1:7b是兩個(gè)不同的引用前者會(huì)拉默認(rèn) tag。5. 避坑與排查五個(gè)真實(shí)翻車(chē)現(xiàn)場(chǎng)5.1 現(xiàn)象局域網(wǎng)設(shè)備連不上 11434宿主機(jī)自己能通原因Ollama 默認(rèn)只綁127.0.0.1這是出于安全考慮的設(shè)計(jì)不是 bug。很多人以為裝完就能被外部訪(fǎng)問(wèn)結(jié)果在另一臺(tái)機(jī)器上 curl 一直是 connection refused轉(zhuǎn)而去查防火墻白折騰。解決用OLLAMA_HOST0.0.0.0:11434重啟服務(wù)。Linux 下如果是 systemd 托管的要改 unit 文件里的Environment再systemctl daemon-reload直接在 shell 里 export 對(duì)已經(jīng)跑起來(lái)的服務(wù)無(wú)效。改完記得確認(rèn)這臺(tái)機(jī)器的 11434 沒(méi)有暴露到公網(wǎng)Ollama 本身沒(méi)有鑒權(quán)。5.2 現(xiàn)象容器里 WebUI 一直提示連不上模型服務(wù)原因OLLAMA_BASE_URL寫(xiě)成了localhost或127.0.0.1。容器有自己的網(wǎng)絡(luò)命名空間localhost 指向容器自身而 Ollama 根本沒(méi)跑在這個(gè)容器里。解決兩個(gè)服務(wù)在同一 compose 網(wǎng)絡(luò)時(shí)用服務(wù)名Ollama 在宿主機(jī)時(shí)macOS/Windows 用host.docker.internalLinux 用宿主機(jī)的內(nèi)網(wǎng) IP。改完docker compose up -d重建容器才生效只改 yml 不重啟是沒(méi)用的。5.3 現(xiàn)象Termux 里go build報(bào)錯(cuò)提示找不到某個(gè) C 庫(kù)原因Ollama 的部分依賴(lài)用到了 CGO需要系統(tǒng)里有對(duì)應(yīng)的開(kāi)發(fā)庫(kù)。只裝了 golang 沒(méi)裝cmake和libjpeg-turbo編譯到鏈接階段就斷。解決pkg install cmake libjpeg-turbo -y補(bǔ)齊如果還報(bào)錯(cuò)看錯(cuò)誤信息里cannot find -lxxx的庫(kù)名pkg search xxx找對(duì)應(yīng)的包。別去網(wǎng)上抄別人的完整依賴(lài)列表Termux 的包名和標(biāo)準(zhǔn) Linux 發(fā)行版不一樣抄錯(cuò)了會(huì)裝一堆用不上的東西。5.4 現(xiàn)象模型拉到 90% 卡住或者報(bào)校驗(yàn)失敗原因權(quán)重文件按層分片下載網(wǎng)絡(luò)抖動(dòng)會(huì)讓某一層中斷。Ollama 有續(xù)傳機(jī)制但磁盤(pán)空間不足時(shí)它會(huì)先寫(xiě)后失敗表現(xiàn)就是進(jìn)度條卡死。解決先df -h看剩余空間7b 模型至少要留 10 GB 余量。空間夠的話(huà) CtrlC 中斷重跑ollama pull已完成的層不會(huì)重下。反復(fù)失敗就換ollama run直接觸發(fā)拉取有時(shí)比單獨(dú) pull 的容錯(cuò)好一些。5.5 現(xiàn)象手機(jī)端請(qǐng)求返回 401 或 403原因Key 失效、額度耗盡或者請(qǐng)求頭里的Authorization格式不對(duì)。Bearer 后面必須有一個(gè)空格少這個(gè)空格服務(wù)端解析不到 token。解決先用 curl 在電腦上直接打那個(gè)接口把請(qǐng)求頭和請(qǐng)求體都帶上確認(rèn) Key 本身有效。電腦能通手機(jī)不通問(wèn)題就在快捷指令的變量替換上檢查 Key 是不是被當(dāng)成文本而不是變量填進(jìn)了請(qǐng)求頭。6. 二次開(kāi)發(fā)把模型能力接進(jìn)自己的業(yè)務(wù)邏輯跑通之后真正有價(jià)值的部分才開(kāi)始。Ollama 暴露的/api/chat接口是最好用的接入點(diǎn)它跟 OpenAI 的格式基本兼容你原有的 NLP 應(yīng)用代碼幾乎不用改只換 base_url 和模型名。import requests, json def chat(messages, modeldeepseek-r1:7b, hosthttp://127.0.0.1:11434): resp requests.post( f{host}/api/chat, json{ model: model, messages: messages, stream: False, # 關(guān)掉流式方便一次性拿完整結(jié)果 options: {temperature: 0.3, num_ctx: 4096} # 上下文別開(kāi)太大吃?xún)?nèi)存 }, timeout120 # 本地推理慢超時(shí)要給足 ) resp.raise_for_status() return resp.json()[message][content] print(chat([{role: user, content: 用三句話(huà)說(shuō)明什么是向量檢索}]))options里的num_ctx是最值得調(diào)的參數(shù)它決定模型能看多長(zhǎng)的上下文。默認(rèn)值通常夠用調(diào)大到 8192 以上會(huì)顯著增加內(nèi)存占用7b 模型在 16G 機(jī)器上很容易因此退到 CPU 推理。temperature做分類(lèi)、抽取這類(lèi)任務(wù)時(shí)壓到 0.10.3 更穩(wěn)做創(chuàng)意生成再拉到 0.8。改造時(shí)我一般會(huì)包一層自己的服務(wù)把模型調(diào)用、超時(shí)重試、日志記錄收在一處業(yè)務(wù)代碼只依賴(lài)這個(gè)包裝層。好處是換模型只改一個(gè)地方而且能做降級(jí)大模型超時(shí)就切到 1.5b 的小模型先返回用戶(hù)體驗(yàn)比直接報(bào)錯(cuò)好得多。驗(yàn)證方法很樸素寫(xiě)個(gè)腳本連續(xù)打 20 次接口記錄 P95 延遲和失敗率再把num_ctx和模型規(guī)格分別調(diào)一檔對(duì)比數(shù)據(jù)會(huì)告訴你這臺(tái)機(jī)器適合跑多大的模型。WebUI 那一層也有改造空間它自帶 OpenAI 兼容的/api/v1/chat/completions意味著任何支持自定義 base_url 的第三方工具都能接進(jìn)來(lái)。我在一個(gè)內(nèi)部工具里就是這么做的前端不動(dòng)后端把 base_url 從云端服務(wù)改成局域網(wǎng)地址數(shù)據(jù)不出內(nèi)網(wǎng)這件事就自然滿(mǎn)足了。踩過(guò)最疼的一次是沒(méi)做超時(shí)控制一個(gè)批量任務(wù)把模型服務(wù)打滿(mǎn)后面所有請(qǐng)求排隊(duì)前端全部轉(zhuǎn)圈看起來(lái)像服務(wù)掛了。從那以后我每次接模型接口都強(qiáng)制走一遍「單請(qǐng)求 → 壓測(cè) → 加超時(shí)和降級(jí)」這三步不管多急都不跳。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取