開發(fā)依賴（圖像處理/音頻處理/模型調(diào)用）)
鄧立國(guó)多模態(tài)Agent開發(fā)必讀書《多模態(tài)AI Agent開發(fā)實(shí)踐》全文試讀~持續(xù)更新-CSDN博客目錄2.3.1 圖像處理依賴配置核心多模態(tài)依賴1. 核心依賴選型與安裝2. 配置驗(yàn)證3. 多模態(tài)適配說明2.3.2 音頻處理依賴配置核心多模態(tài)依賴1. 核心依賴選型與安裝2. 配置驗(yàn)證3. 多模態(tài)適配說明2.3.3 模型調(diào)用依賴配置多模態(tài)大模型適配1. API調(diào)用類模型依賴主流選擇無須本地部署2. 本地部署類模型依賴隱私性強(qiáng)需高性能GPU3. 配置驗(yàn)證多模態(tài)智能體的核心是“多模態(tài)信息處理”需依賴專門的圖像處理、音頻處理工具以及多模態(tài)大模型調(diào)用相關(guān)依賴。本節(jié)將針對(duì)這三類核心依賴詳細(xì)講解配置流程、版本選型、功能適配突出多模態(tài)處理的特殊性確保依賴配置符合前沿開發(fā)需求適配LangChain框架。說明若已安裝LangChain完整版2.2.3節(jié)本節(jié)大部分依賴已自動(dòng)安裝只需驗(yàn)證配置即可若安裝的是基礎(chǔ)版需手動(dòng)安裝對(duì)應(yīng)依賴。2.3.1 圖像處理依賴配置核心多模態(tài)依賴圖像處理是多模態(tài)智能體的核心能力之一如圖像識(shí)別、圖像解析、圖像標(biāo)注核心依賴包括OpenCV、Pillow、Matplotlib等適配LangChain的ImageAnalysisTool等多模態(tài)工具配置流程說明如下。1. 核心依賴選型與安裝1OpenCV首選版本4.9.x穩(wěn)定版支持最新圖像處理算法適配Python 3.11.x安裝命令pip install opencv-python4.9.0.80。opencv-python為CPU版本適合基礎(chǔ)圖像處理若需GPU加速則安裝opencv-contrib-python-cu12x需確保GPU支持CUDA 12.0。2Pillow用于圖像讀取、格式轉(zhuǎn)換版本10.3.x安裝命令pip install pillow10.3.0。3Matplotlib用于圖像可視化如故障標(biāo)注、圖像特征展示版本3.8.x安裝命令pip install matplotlib3.8.4。4額外依賴若需要進(jìn)行細(xì)粒度圖像特征提取如CLIP模型則安裝torch1.13.x、torchvision0.14.x安裝命令pip install torch1.13.1 torchvision0.14.1 --extra-index-url https://download.pytorch.org/whl/cu121GPU版本CPU版本可省略--extra-index-url參數(shù)。2. 配置驗(yàn)證在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證圖像處理依賴是否配置成功import cv2from PIL import Imageimg cv2.imread(test.jpg) #需提前準(zhǔn)備一幅測(cè)試圖像print(img.shape) #輸出圖像尺寸若無報(bào)錯(cuò)則說明配置成功3. 多模態(tài)適配說明OpenCV、Pillow等工具已與LangChain深度適配可通過LangChain的ImageAnalysisTool直接調(diào)用實(shí)現(xiàn)圖像解析、特征提取等功能無須額外編寫適配代碼若需自定義圖像處理邏輯可基于這些工具封裝為L(zhǎng)angChain自定義工具后續(xù)章節(jié)詳細(xì)講解。2.3.2 音頻處理依賴配置核心多模態(tài)依賴音頻處理是多模態(tài)智能體的重要能力如語音轉(zhuǎn)寫、語音合成、語音識(shí)別核心依賴包括Whisper、TTS、PyAudio等適配LangChain的語音相關(guān)工具配置流程說明如下。1. 核心依賴選型與安裝1WhisperOpenAI開源的語音轉(zhuǎn)寫工具支持多語言語音轉(zhuǎn)文本適配多模態(tài)智能體的語音輸入處理版本20231106穩(wěn)定版安裝命令pip install openai-whisper20231106。同時(shí)需安裝FFmpeg系統(tǒng)級(jí)依賴參考2.1.1節(jié)否則無法讀取音頻文件。2TTS文本轉(zhuǎn)語音工具用于多模態(tài)智能體的語音輸出推薦使用coqui-tts開源、多語言、音質(zhì)好版本0.14.x安裝命令pip install TTS0.14.6。3PyAudio用于音頻錄制如實(shí)時(shí)語音輸入版本0.2.13安裝命令pip install pyaudio0.2.13若安裝失敗Windows系統(tǒng)常見可下載對(duì)應(yīng)版本的whl文件https://www.lfd.uci.edu/~gohlke/pythonlibs/通過pip install 文件名.whl安裝。4額外依賴若需要進(jìn)行語音情感分析多模態(tài)交互場(chǎng)景安裝SpeechRecognition3.10.0用于語音特征提取與情感識(shí)別。2. 配置驗(yàn)證在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證音頻處理依賴是否配置成功import whispermodel whisper.load_model(base) #加載基礎(chǔ)版模型體積小適合驗(yàn)證result model.transcribe(test.mp3) #需提前準(zhǔn)備一段測(cè)試音頻print(result[text]) #輸出語音轉(zhuǎn)寫文本無報(bào)錯(cuò)則說明配置成功3. 多模態(tài)適配說明Whisper、TTS等工具可通過LangChain的工具調(diào)用模塊直接集成實(shí)現(xiàn)“語音輸入→轉(zhuǎn)寫文本→多模態(tài)推理→語音輸出”的閉環(huán)例如通過LangChain的Agent調(diào)用Whisper轉(zhuǎn)寫語音指令調(diào)用TTS生成語音回復(fù)適配多模態(tài)交互場(chǎng)景。2.3.3 模型調(diào)用依賴配置多模態(tài)大模型適配多模態(tài)智能體的“大腦”是多模態(tài)大模型如GPT-4V、Gemini Pro、Qwen-VL需配置對(duì)應(yīng)的模型調(diào)用依賴實(shí)現(xiàn)與LangChain的適配核心依賴根據(jù)模型類型API調(diào)用/本地部署分為兩類配置流程說明如下。1. API調(diào)用類模型依賴主流選擇無須本地部署1OpenAI系列模型GPT-4V、GPT-3.5-Turbo安裝openai客戶端版本1.30.x命令pip install openai1.30.5適配LangChain的OpenAI模塊可直接通過LangChain調(diào)用GPT-4V的多模態(tài)能力。2阿里模型Qwen-VL安裝alibabacloud_tea_openapi、alibabacloud_qianwen_agent安裝命令pip install alibabacloud_tea_openapi alibabacloud_qianwen_agent。3百度系列模型文心一言-VL安裝baidu-aip版本4.16.14安裝命令pip install baidu-aip4.16.14。4谷歌系列模型Gemini Pro安裝google-generativeai版本0.5.4安裝命令pip install google-generativeai0.5.4。2. 本地部署類模型依賴隱私性強(qiáng)需高性能GPU若本地部署多模態(tài)大模型如Qwen-VL-7B、LLaVA-7B則需安裝以下依賴1transformers用于加載預(yù)訓(xùn)練多模態(tài)模型版本4.41.x安裝命令pip install transformers4.41.0。2accelerate用于加速模型推理版本0.30.x安裝命令pip install accelerate0.30.0。3peft用于模型微調(diào)可選適合自定義多模態(tài)模型版本0.11.x安裝命令pip install peft0.11.1。4bitsandbytes用于模型量化減少顯存占用版本0.43.0安裝命令pip install bitsandbytes0.43.0。3. 配置驗(yàn)證以O(shè)penAI模型為例在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證模型調(diào)用依賴是否配置成功from openai import OpenAIclient OpenAI(api_keyyour_api_key) #后續(xù)2.4節(jié)配置API密鑰后替換print(OpenAI客戶端初始化成功) #無報(bào)錯(cuò)則說明依賴配置成功 2.3 多模態(tài)開發(fā)依賴（圖像處理/音頻處理/模型調(diào)用）
鄧立國(guó)多模態(tài)Agent開發(fā)必讀書《多模態(tài)AI Agent開發(fā)實(shí)踐》全文試讀~持續(xù)更新-CSDN博客目錄2.3.1 圖像處理依賴配置核心多模態(tài)依賴1. 核心依賴選型與安裝2. 配置驗(yàn)證3. 多模態(tài)適配說明2.3.2 音頻處理依賴配置核心多模態(tài)依賴1. 核心依賴選型與安裝2. 配置驗(yàn)證3. 多模態(tài)適配說明2.3.3 模型調(diào)用依賴配置多模態(tài)大模型適配1. API調(diào)用類模型依賴主流選擇無須本地部署2. 本地部署類模型依賴隱私性強(qiáng)需高性能GPU3. 配置驗(yàn)證多模態(tài)智能體的核心是“多模態(tài)信息處理”需依賴專門的圖像處理、音頻處理工具以及多模態(tài)大模型調(diào)用相關(guān)依賴。本節(jié)將針對(duì)這三類核心依賴詳細(xì)講解配置流程、版本選型、功能適配突出多模態(tài)處理的特殊性確保依賴配置符合前沿開發(fā)需求適配LangChain框架。說明若已安裝LangChain完整版2.2.3節(jié)本節(jié)大部分依賴已自動(dòng)安裝只需驗(yàn)證配置即可若安裝的是基礎(chǔ)版需手動(dòng)安裝對(duì)應(yīng)依賴。2.3.1 圖像處理依賴配置核心多模態(tài)依賴圖像處理是多模態(tài)智能體的核心能力之一如圖像識(shí)別、圖像解析、圖像標(biāo)注核心依賴包括OpenCV、Pillow、Matplotlib等適配LangChain的ImageAnalysisTool等多模態(tài)工具配置流程說明如下。1. 核心依賴選型與安裝1OpenCV首選版本4.9.x穩(wěn)定版支持最新圖像處理算法適配Python 3.11.x安裝命令pip install opencv-python4.9.0.80。opencv-python為CPU版本適合基礎(chǔ)圖像處理若需GPU加速則安裝opencv-contrib-python-cu12x需確保GPU支持CUDA 12.0。2Pillow用于圖像讀取、格式轉(zhuǎn)換版本10.3.x安裝命令pip install pillow10.3.0。3Matplotlib用于圖像可視化如故障標(biāo)注、圖像特征展示版本3.8.x安裝命令pip install matplotlib3.8.4。4額外依賴若需要進(jìn)行細(xì)粒度圖像特征提取如CLIP模型則安裝torch1.13.x、torchvision0.14.x安裝命令pip install torch1.13.1 torchvision0.14.1 --extra-index-url https://download.pytorch.org/whl/cu121GPU版本CPU版本可省略--extra-index-url參數(shù)。2. 配置驗(yàn)證在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證圖像處理依賴是否配置成功import cv2from PIL import Imageimg cv2.imread(test.jpg) #需提前準(zhǔn)備一幅測(cè)試圖像print(img.shape) #輸出圖像尺寸若無報(bào)錯(cuò)則說明配置成功3. 多模態(tài)適配說明OpenCV、Pillow等工具已與LangChain深度適配可通過LangChain的ImageAnalysisTool直接調(diào)用實(shí)現(xiàn)圖像解析、特征提取等功能無須額外編寫適配代碼若需自定義圖像處理邏輯可基于這些工具封裝為L(zhǎng)angChain自定義工具后續(xù)章節(jié)詳細(xì)講解。2.3.2 音頻處理依賴配置核心多模態(tài)依賴音頻處理是多模態(tài)智能體的重要能力如語音轉(zhuǎn)寫、語音合成、語音識(shí)別核心依賴包括Whisper、TTS、PyAudio等適配LangChain的語音相關(guān)工具配置流程說明如下。1. 核心依賴選型與安裝1WhisperOpenAI開源的語音轉(zhuǎn)寫工具支持多語言語音轉(zhuǎn)文本適配多模態(tài)智能體的語音輸入處理版本20231106穩(wěn)定版安裝命令pip install openai-whisper20231106。同時(shí)需安裝FFmpeg系統(tǒng)級(jí)依賴參考2.1.1節(jié)否則無法讀取音頻文件。2TTS文本轉(zhuǎn)語音工具用于多模態(tài)智能體的語音輸出推薦使用coqui-tts開源、多語言、音質(zhì)好版本0.14.x安裝命令pip install TTS0.14.6。3PyAudio用于音頻錄制如實(shí)時(shí)語音輸入版本0.2.13安裝命令pip install pyaudio0.2.13若安裝失敗Windows系統(tǒng)常見可下載對(duì)應(yīng)版本的whl文件https://www.lfd.uci.edu/~gohlke/pythonlibs/通過pip install 文件名.whl安裝。4額外依賴若需要進(jìn)行語音情感分析多模態(tài)交互場(chǎng)景安裝SpeechRecognition3.10.0用于語音特征提取與情感識(shí)別。2. 配置驗(yàn)證在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證音頻處理依賴是否配置成功import whispermodel whisper.load_model(base) #加載基礎(chǔ)版模型體積小適合驗(yàn)證result model.transcribe(test.mp3) #需提前準(zhǔn)備一段測(cè)試音頻print(result[text]) #輸出語音轉(zhuǎn)寫文本無報(bào)錯(cuò)則說明配置成功3. 多模態(tài)適配說明Whisper、TTS等工具可通過LangChain的工具調(diào)用模塊直接集成實(shí)現(xiàn)“語音輸入→轉(zhuǎn)寫文本→多模態(tài)推理→語音輸出”的閉環(huán)例如通過LangChain的Agent調(diào)用Whisper轉(zhuǎn)寫語音指令調(diào)用TTS生成語音回復(fù)適配多模態(tài)交互場(chǎng)景。2.3.3 模型調(diào)用依賴配置多模態(tài)大模型適配多模態(tài)智能體的“大腦”是多模態(tài)大模型如GPT-4V、Gemini Pro、Qwen-VL需配置對(duì)應(yīng)的模型調(diào)用依賴實(shí)現(xiàn)與LangChain的適配核心依賴根據(jù)模型類型API調(diào)用/本地部署分為兩類配置流程說明如下。1. API調(diào)用類模型依賴主流選擇無須本地部署1OpenAI系列模型GPT-4V、GPT-3.5-Turbo安裝openai客戶端版本1.30.x命令pip install openai1.30.5適配LangChain的OpenAI模塊可直接通過LangChain調(diào)用GPT-4V的多模態(tài)能力。2阿里模型Qwen-VL安裝alibabacloud_tea_openapi、alibabacloud_qianwen_agent安裝命令pip install alibabacloud_tea_openapi alibabacloud_qianwen_agent。3百度系列模型文心一言-VL安裝baidu-aip版本4.16.14安裝命令pip install baidu-aip4.16.14。4谷歌系列模型Gemini Pro安裝google-generativeai版本0.5.4安裝命令pip install google-generativeai0.5.4。2. 本地部署類模型依賴隱私性強(qiáng)需高性能GPU若本地部署多模態(tài)大模型如Qwen-VL-7B、LLaVA-7B則需安裝以下依賴1transformers用于加載預(yù)訓(xùn)練多模態(tài)模型版本4.41.x安裝命令pip install transformers4.41.0。2accelerate用于加速模型推理版本0.30.x安裝命令pip install accelerate0.30.0。3peft用于模型微調(diào)可選適合自定義多模態(tài)模型版本0.11.x安裝命令pip install peft0.11.1。4bitsandbytes用于模型量化減少顯存占用版本0.43.0安裝命令pip install bitsandbytes0.43.0。3. 配置驗(yàn)證以O(shè)penAI模型為例在Python交互環(huán)境中執(zhí)行以下命令驗(yàn)證模型調(diào)用依賴是否配置成功from openai import OpenAIclient OpenAI(api_keyyour_api_key) #后續(xù)2.4節(jié)配置API密鑰后替換print(OpenAI客戶端初始化成功) #無報(bào)錯(cuò)則說明依賴配置成功