前言ollama 是一個開源的本地大語言模型運行框架它提供了非常簡單便捷的使用形式讓用戶可以十分方便的在本地機器上部署和運行大型語言模型從而實現(xiàn)免費離線的方式使用 LLM 能力并確保私有數(shù)據(jù)的隱私和安全性。1 ollama 安裝ollama 支持多種操作系統(tǒng)包括 macOS、Windows、Linux 以及通過 Docker 容器運行。其安裝、使用及模型下載非常簡單可以簡單概括為以下幾步下載 ollama 安裝程序并安裝。啟動 ollama執(zhí)行命令下載和運行模型。如ollama run deepseek-r1:1.5b以命令行交互、API 調(diào)用、第三方應(yīng)用接入等形式使用其服務(wù)。1.1 硬件要求ollama 本身對硬件要求并不高主要取決于運行模型的要求?；窘ㄗh你應(yīng)該至少有 4 GB 的 RAM 來運行 1.5B 模型至少有 8 GB 的 RAM 來運行 7B 模型16 GB 的 RAM 來運行 13B 模型以及 32 GB 的 RAM 來運行 33B 模型。假若需要本地私有化部署具有實用性的模型應(yīng)至少有獨立顯卡并有 4G 以上顯存。純 CPU 模式雖然也可以運行但生成速度很慢僅適用于本地開發(fā)調(diào)試體驗一下。本人實測在Mac Studio 2023 版(Apple M2 Max 芯片12核、32G內(nèi)存、30核顯、1TB SSD)上運行deepseek:1.5b模型響應(yīng)非常快可以較為流暢的運行deepseek-r1:32b及以下的模型。DeepSeek-r1 相關(guān)版本及大小參考參數(shù)版本模型大小建議CPU建議內(nèi)存建議顯存特點deepseek-r1:1.5b1.1GB4核4~8G4GB輕量級速度快、普通文本處理deepseek-r1:7b4.7G8核16G14GB性能較好硬件要求適中deepseek-r1:8b4.9GB8核16G14GB略強于 7b精度更高deepseek-r1:14b9GB12核32G26GB高性能擅長復(fù)雜任務(wù)如數(shù)學(xué)推理、代碼生成deepseek-r1:32b20G16核64G48GB專業(yè)級適合高精度任務(wù)deepseek-r1:70b43GB32核128G140GB頂級模型適合大規(guī)模計算和高復(fù)雜度任務(wù)deepseek-r1:671b404GB64核512G1342GB超大規(guī)模性能卓越推理速度快1.2 Windows \ macOS \ Linux 下安裝 ollamaWindows 和 macOS 用戶可訪問如下地址下載安裝文件并安裝國內(nèi)中文站下載http://ollama.org.cn/download/官方下載https://ollama.com/download/github release 下載https://github.com/ollama/ollama/releases/Linux 用戶可以執(zhí)行如下命令一鍵安裝curl-fsSL https://ollama.com/install.sh|bash安裝完成后可以通過執(zhí)行ollama --version命令查看 ollama 版本信息以驗證是否安裝成功。ollama 離線安裝Windows 和 macOS 下直接復(fù)制安裝文件到本地本進行安裝即可。Linux 下的離線安裝主要步驟參考如下mkdir-p/home/ollama cd/home/ollama# 查看服務(wù)器 CPU 信息獲取其架構(gòu)如x86_64lscpu# 訪問如下地址下載對應(yīng)架構(gòu)的 ollama 安裝包# https://github.com/ollama/ollama/releases/# - x86_64 CPU 選擇下載 ollama-linux-amd64# - aarch64|arm64 CPU 選擇下載 ollama-linux-arm64# 示例wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz# 下載 安裝腳本并放到 /home/ollama 目錄下wget https://ollama.com/install.sh# 將 ollama-linux-amd64.tgz 和 install.sh 拷貝到需要安裝的機器上如放到 /home/ollama 目錄下# 然后執(zhí)行如下命令tar-zxvf ollama-linux-amd64.tgz chmodx install.sh# 編輯 install.sh 文件找到如下內(nèi)容curl--fail--show-error--location--progress-bar-o $TEMP_DIR/ollamahttps://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}# 注釋它并在其下增加如下內(nèi)容cp./ollama-linux-amd64 $TEMP_DIR/ollama# 執(zhí)行安裝腳本./install.sh# 模型的離線下載請參考下文模型導(dǎo)入部分1.3 基于 Docker 安裝 ollama基于 Docker 可以使得 ollama 的安裝、更新與啟停管理更為便捷。首先確保已安裝了 docker然后執(zhí)行如下命令# 拉取鏡像docker pull ollama/ollama# 運行容器CPU 模式docker run-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 運行容器GPU 模式docker run--gpusall-d-p11434:11434-v/data/ollama:/root/.ollama--name ollama ollama/ollama# 進入容器 bash 下并下載模型dockerexec-it ollama/bin/bash# 下載一個模型ollama pull deepseek-r1:8b也可以基于docker-compose進行啟停管理。docker-compose.yml參考services:ollama:image:ollama/ollama container_name:ollama restart:unless-stopped ports:-11434:11434volumes:-/data/ollama:/root/.ollama environment:# 允許局域網(wǎng)跨域形式訪問APIOLLAMA_HOST0.0.0.0:11434OLLAMA_ORIGINS*1.4 修改 ollama 模型默認保存位置ollama下載的模型默認的存儲目錄如下macOS:~/.ollama/modelsLinux:/usr/share/ollama/.ollama/modelsWindows:C:\Users\username\.ollama\models若默認位置存在磁盤空間告急的問題可以通過設(shè)置環(huán)境變量OLLAMA_MODELS修改模型存儲位置。示例# macOS / Linux寫入環(huán)境變量配置到 ~/.bashrc 文件中echoexport OLLAMA_MODELS/data/ollama/models~/.bashrc source~/.bashrc# Windows按 WINR 組合鍵并輸入 cmd 打開命令提示符# 然后執(zhí)行如下命令寫入到系統(tǒng)環(huán)境變量中setx OLLAMA_MODELS D:\data\ollama\models如果已經(jīng)下載過模型可以從上述默認位置將 models 目錄移動到新的位置。對于 docker 安裝模式則可以通過掛載卷的方式修改模型存儲位置。1.5 使用基于 API 形式訪問 ollama 服務(wù)ollama 安裝完成并正常啟動后可以通過命令行形式運行模型如ollama run deepseek-r1:1.5b并通過命令行交互的方式進行測試。此外也可以通過訪問http://localhost:11434以 API 調(diào)用的形式調(diào)用。示例curl http://localhost:11434/api/generate-d {model:deepseek-r1:8b,stream:false,prompt:你是誰}ollama API 文檔參考https://ollama.readthedocs.io/api/https://github.com/ollama/ollama/blob/main/docs/api.md2 使用 ollama 下載和運行模型2.1 使用 ollama 命令行下載和運行模型執(zhí)行如下命令下載并運行一個模型# 基本格式為ollama runmodel_name:size# 例如下載并運行 deepseek-r1 的 1.5b 模型# 如果下載模型速度開始較快后面變慢可以 kill 當前進程并重新執(zhí)行ollama run deepseek-r1:1.5b運行成功則會進入命令行交互模式可以直接輸入問題并獲得應(yīng)答反饋也可以通過 API 調(diào)用方式測試和使用。從如下地址可搜索 ollama 所有支持的模型中文站https://ollama.org.cn/search官方站https://ollama.com/search從 HF 和魔塔社區(qū)下載模型ollama 還支持從 HF 和魔塔社區(qū)下載第三方開源模型。基本格式為# 從 HF(https://huggingface.co) 下載模型的格式ollama run hf.co/{username}/{reponame}:latest# 示例ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0# 從魔塔社區(qū)(https://modelscope.cn)下載模型的格式ollama run modelscope.cn/{username}/{model}# 示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:Q3_K_M2.2 使用 ollama create 導(dǎo)入本地模型通過ollama run和ollama pull命令均是從官方地址下載模型可能會遇到下載速度慢、下載失敗等問題。ollama 支持從本地導(dǎo)入模型。我們可以從第三方下載模型文件并使用ollama create命令導(dǎo)入到 ollama 中。例如假若我們下載了deepseek-r1:8b模型文件并保存在/data/ollama/gguf/deepseek-r1-8b.gguf則可執(zhí)行如下命令進行導(dǎo)入cd/data/ollama/gguf echoFrom ./deepeek-r1-8b.ggufmodelfile-deepseek-r1-8bollama create deepseek-r1:8b-f modelfile-deepseek-r1-8b# 查看模型信息ollamalistollama show deepseek-r1:8b# 運行模型(以命令行交互模式使用)ollama run deepseek-r1:8b相關(guān)文檔參考https://ollama.readthedocs.io/import/https://ollama.readthedocs.io/modelfile/3 ollama 常用命令參考ollama 提供了豐富的命令行工具方便用戶對模型進行管理。ollama --help查看幫助信息。ollama serve啟動 ollama 服務(wù)。ollama create model-name [-f Modelfile]根據(jù)一個 Modelfile 文件導(dǎo)入模型。ollama show model-name:[size]顯示某個模型的詳細信息。ollama run model-name:[size]運行一個模型。若模型不存在會先拉取它。ollama stop model-name:[size]停止一個正在運行的模型。ollama pull model-name:[size]拉取指定的模型。ollama push model-name將一個模型推送到遠程模型倉庫。ollama list列出所有模型。ollama ps列出所有正在運行的模型。ollama cp source-model-name new-model-name復(fù)制一個模型。ollama rm model-name:[size]刪除一個模型。4 ollama 安裝使用常見問題及解決4.1 ollama 模型下載慢離線下載與安裝模型通過 ollama 官方命令拉取模型可能會遇到網(wǎng)速慢、下載時間過長等問題。4.1.1 開始快后來慢間隔性重啟下載由于模型文件較大下載過程中可能會遇到開始網(wǎng)速還可以后面變慢的情況。許多網(wǎng)友反饋退出然后重試則速度就可以上來了所以可以嘗試通過每隔一段時間退出并重新執(zhí)行的方式以保持較快的下載速率。以下是基于該邏輯實現(xiàn)的下載腳本注意將其中的deepseek-r1:7b替換為你希望下載的模型版本。Windows 下在 powershell 中執(zhí)行while($true){$modelExistsollamalist|Select-Stringdeepseek-r1:7bif($modelExists){Write-Host模型已下載完成break}Write-Host開始下載模型...$processStart-Process-FilePathollama-ArgumentListrun,deepseek-r1:7b-PassThru-NoNewWindow# 等待60秒Start-Sleep-Seconds60try{Stop-Process-Id $process.Id-Force-ErrorAction Stop Write-Host已中斷本次下載準備重新嘗試...}catch{Write-Hosterror}}macOS / Linux下在終端中執(zhí)行#!/bin/bashwhiletrue;do# 檢查模型是否已下載完成modelExists$(ollamalist|grepdeepseek-r1:7b)if[-n$modelExists];then echo模型已下載完成breakfi# 啟動ollama進程并記錄echo開始下載模型...ollama run deepseek-r1:7b# 在后臺啟動進程processId$!# 獲取最近啟動的后臺進程的PID# 等待60秒sleep60# 嘗試終止進程ifkill-0$processId2/dev/null;then kill-9$processId# 強制終止進程echo已中斷本次下載準備重新嘗試...elseecho進程已結(jié)束無需中斷fi done4.1.2 通過網(wǎng)盤等第三方離線下載并導(dǎo)入 ollama 模型可以通過國內(nèi)的第三方離線下載模型文件再導(dǎo)入到 ollama 中。詳細參考 2.2 章節(jié)。deepseek-r1相關(guān)模型夸克網(wǎng)盤下載鏈接https://pan.quark.cn/s/7fa235cc64ef 提取碼wasX也可以從 魔塔社區(qū)、HuggingFace 等大模型社區(qū)搜索并下載 stuff 格式的模型文件。例如https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/fileshttps://huggingface.co/unsloth/DeepSeek-R1-GGUF4.1.3 從國內(nèi)大模型提供站下載模型ollama 支持從魔塔社區(qū)直接下載模型。其基本格式為ollama run modelscope.cn/{model-id}一個模型倉庫可能包含多個模型可以指定到具體的模型文件名以只下載它。示例ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF#ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf下載deepseek-r1模型命令參考# deepseek-r1:7bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf# deepseek-r1:14bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M# deepseek-r1:32bollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M此外也可以從 HF 的國內(nèi)鏡像站https://hf-mirror.com查找和拉取模型方法與上述類似# 基本格式ollama run hf-mirror.com/{username}/{reponame}:{label}# 示例 - 拉取 deepseek-r1:7bollama run hf-mirror.com/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M4.2 ollama 服務(wù)設(shè)置允許局域網(wǎng)訪問默認情況下 API 服務(wù)僅允許本機訪問若需要允許局域網(wǎng)其他設(shè)備直接訪問可修改環(huán)境變量OLLAMA_HOST為0.0.0.0并修改OLLAMA_ORIGINS為允許的域名或 IP 地址。環(huán)境變量設(shè)置示例# windows 命令提示符下執(zhí)行setx OLLAMA_HOST0.0.0.0:11434setx OLLAMA_ORIGINS*# macOS 終端下執(zhí)行l(wèi)aunchctl setenv OLLAMA_HOST0.0.0.0:11434launchctl setenv OLLAMA_ORIGINS*特別注意如果你是在云服務(wù)器等擁有公網(wǎng)IP的環(huán)境上部署請謹慎做此設(shè)置否則可能導(dǎo)致 API 服務(wù)被惡意調(diào)用。若需要局域網(wǎng)其他設(shè)備訪問請確保防火墻等安全設(shè)置允許 11434 端口訪問。若需要自定義訪問端口號可通過環(huán)境變量OLLAMA_HOST設(shè)置如OLLAMA_HOST0.0.0.0:11435。4.3 為 ollama API 服務(wù)訪問增加 API KEY 保護為云服務(wù)器部署的服務(wù)增加 API KEY 以保護服務(wù)如果你是通過云服務(wù)器部署那么需要特別注意服務(wù)安全避免被互聯(lián)網(wǎng)工具掃描而泄露導(dǎo)致資源被第三方利用?？梢酝ㄟ^部署 nginx 并設(shè)置代理轉(zhuǎn)發(fā)以增加 API KEY 以保護服務(wù)同時需要屏蔽對 11434 端口的互聯(lián)網(wǎng)直接訪問形式。nginx配置server{# 用于公網(wǎng)訪問的端口listen8434;# 域名綁定若無域名可移除server_name your_domain.com;location/{# 驗證 API KEY。這里的 your_api_key 應(yīng)隨便修改為你希望設(shè)置的內(nèi)容# 可通過 uuid 生成器工具隨機生成一個https://tool.lzw.me/uuid-generatorif($http_authorization!Bearer your_api_key){return403;}# 代理轉(zhuǎn)發(fā)到 ollama 的 11434 端口proxy_pass http://localhost:11434;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;}}5 集成可視化工具在部署了 ollama 并拉取了 deepseek 等模型后即可通過命令行交互和 API 服務(wù)方式使用但使用起來并不方便。開源社區(qū)中有許多大模型相關(guān)的可視化工具如 open-webui、chat-ui、cherry-studio、AnythingLLM 等可以方便地集成 ollama API 服務(wù)提供圖形化界面使用以實現(xiàn)聊天機器人、問答知識庫等多元化應(yīng)用。在官方文檔中列舉了大量較為流行的工具應(yīng)用https://ollama.readthedocs.io/quickstart/#web我們后續(xù)會選擇其中較為典型的工具進行集成和介紹。5.1 示例基于 docker 部署 open-webui 并配置集成 ollama 服務(wù)Open WebUI 是一個開源的大語言模型項目通過部署它可以得到一個純本地運行的基于瀏覽器訪問的 Web 服務(wù)。它提供了可擴展、功能豐富、用戶友好的自托管 AI Web 界面支持各種大型語言模型LLM運行器可以通過配置形式便捷的集成 ollama、OpenAI 等提供的 API。通過 Open WebUI 可以實現(xiàn)聊天機器人、本地知識庫、圖像生成等豐富的大模型應(yīng)用功能。在開始之前請確保你的系統(tǒng)已經(jīng)安裝了 docker。接著拉取大語言模型deepseek-r1:8b和用于 RAG 構(gòu)建本地知識庫的嵌入模型bge-m3ollama pull deepseek-r1:8bollama pull bge-m3然后新建文件docker-compose.yml內(nèi)容參考services:open-webui:image:ghcr.io/open-webui/open-webui:main environment:-OLLAMA_API_BASE_URLhttp://ollama:11434/api-HF_ENDPOINThttps://hf-mirror.com-WEBUI_NAMELZW的LLM服務(wù)# 禁用 OPENAI API 的請求。若你的網(wǎng)絡(luò)環(huán)境無法訪問 openai請務(wù)必設(shè)置該項為 false# 否則在登錄成功時會因為同時請求了 openai 接口而導(dǎo)致白屏?xí)r間過長-ENABLE_OPENAI_APIfalse# 設(shè)置允許跨域請求服務(wù)的域名。* 表示允許所有域名-CORS_ALLOW_ORIGIN*# 開啟圖片生成-ENABLE_IMAGE_GENERATIONtrue# 默認模型-DEFAULT_MODELSdeepseek-r1:8b# RAG 構(gòu)建本地知識庫使用的默認嵌入域名-RAG_EMBEDDING_MODELbge-m3 ports:-8080:8080volumes:-./open_webui_data:/app/backend/data extra_hosts:# - host.docker.internal:host-gateway這里需注意environment環(huán)境變量部分的自定義設(shè)置。許多設(shè)置也可以通過登錄后在 web 界面進行修改。在該目錄下執(zhí)行該命令以啟動服務(wù)docker-compose up -d。成功后即可通過瀏覽器訪問http://localhost:8080。服務(wù)鏡像更新參考# 拉取新鏡像docker-compose pull# 重啟服務(wù)docker-compose up-d--remove-orphans# 清理鏡像docker image pruneopen-webui 詳細文檔參考https://docs.openwebui.com/getting-started/env-configuration可選開啟“聯(lián)網(wǎng)搜索”功能操作路徑設(shè)置 - 聯(lián)網(wǎng)搜索 - 啟用聯(lián)網(wǎng)搜索當前已支持接入的聯(lián)網(wǎng)搜索引擎中在不需要魔法上網(wǎng)的情況下有 bing 和 bocha 可以選擇接入。基本只需要前往注冊并獲取 API KEY 回填到這里即可。如果需要保護隱私數(shù)據(jù)請不要開啟并配置該功能。博查文檔https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR總結(jié)與參考通過以上內(nèi)容我們了解了 ollama 在國內(nèi)環(huán)境下的安裝使用方法并介紹了因為國內(nèi)網(wǎng)絡(luò)特色導(dǎo)致安裝過程可能會遇到的常見問題及解決辦法。希望這些內(nèi)容對你有所幫助。最后的最后感謝你們的閱讀和喜歡作為一位在一線互聯(lián)網(wǎng)行業(yè)奮斗多年的老兵我深知在這個瞬息萬變的技術(shù)領(lǐng)域中持續(xù)學(xué)習(xí)和進步的重要性。為了幫助更多熱愛技術(shù)、渴望成長的朋友我特別整理了一份涵蓋大模型領(lǐng)域的寶貴資料集。這些資料不僅是我多年積累的心血結(jié)晶也是我在行業(yè)一線實戰(zhàn)經(jīng)驗的總結(jié)。這些學(xué)習(xí)資料不僅深入淺出而且非常實用讓大家系統(tǒng)而高效地掌握AI大模型的各個知識點。如果你愿意花時間沉下心來學(xué)習(xí)相信它們一定能為你提供實質(zhì)性的幫助。這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】大模型知識腦圖為了成為更好的 AI大模型 開發(fā)者這里為大家提供了總的路線圖。它的用處就在于你可以按照上面的知識點去找對應(yīng)的學(xué)習(xí)資源保證自己學(xué)得較為全面。經(jīng)典書籍閱讀閱讀AI大模型經(jīng)典書籍可以幫助讀者提高技術(shù)水平開拓視野掌握核心技術(shù)提高解決問題的能力同時也可以借鑒他人的經(jīng)驗。對于想要深入學(xué)習(xí)AI大模型開發(fā)的讀者來說閱讀經(jīng)典書籍是非常有必要的。實戰(zhàn)案例光學(xué)理論是沒用的要學(xué)會跟著一起敲要動手實操才能將自己的所學(xué)運用到實際當中去這時候可以搞點實戰(zhàn)案例來學(xué)習(xí)。面試資料我們學(xué)習(xí)AI大模型必然是想找到高薪的工作下面這些面試題都是總結(jié)當前最新、最熱、最高頻的面試題并且每道題都有詳細的答案面試前刷完這套面試題資料小小offer不在話下640套AI大模型報告合集這套包含640份報告的合集涵蓋了AI大模型的理論研究、技術(shù)實現(xiàn)、行業(yè)應(yīng)用等多個方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報告合集都將為您提供寶貴的信息和啟示。這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】