學(xué)影像？5行代碼搞定單圖問答)
如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像5行代碼搞定單圖問答【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 開源的 40 億參數(shù)醫(yī)學(xué)多模態(tài)大模型基于 InternVL 系列在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而來。它可以看懂胸片、病理切片、眼底圖等醫(yī)學(xué)圖像并用自然語言回答你的問題——只需要5 行核心代碼就能完成第一次醫(yī)學(xué)圖像單圖問答。本教程面向零基礎(chǔ)新手不需要醫(yī)學(xué)或深度學(xué)習(xí)背景跟著步驟走即可在自己的電腦上跑通醫(yī)學(xué)影像 AI 問答。一、30 秒認(rèn)識醫(yī)學(xué)影像多模態(tài)模型能做什么Mini-InternVL2-4B-DA-Medical 屬于 InternVL 家族的領(lǐng)域自適應(yīng)DA, Domain Adaptation系列專門針對醫(yī)學(xué)影像場景做了微調(diào)訓(xùn)練數(shù)據(jù)覆蓋 PMC-OA、MIMIC-CXR胸片、MedPix、RP3D、Retina Image Bank眼底圖等主流醫(yī)學(xué)數(shù)據(jù)集。它支持四種對話方式詳見 README.md 的 Quick Start 部分能力說明典型場景單圖單輪問答傳一張圖 一個(gè)問題這張胸片有什么異常單圖多輪追問基于同一張圖連續(xù)追問這些陰影最需要關(guān)注什么多圖對比一次傳入多張圖對比這兩張片子批量推理batch_chat一次處理一批批量生成影像描述它的視覺端采用動態(tài)分辨率切片機(jī)制把圖片切成 448×448 的方塊最多 12 塊 1 張縮略圖無論你的影像是什么比例都不會變形細(xì)節(jié)保留得更好。二、環(huán)境準(zhǔn)備醫(yī)學(xué)多模態(tài)模型最快安裝方法1. 安裝 Python 依賴模型基于transformers運(yùn)行注意版本要求來自官方說明pip install transformers4.37.2 torch torchvision pillow2. 獲取模型文件將倉庫克隆到本地模型權(quán)重約 8GB請預(yù)留磁盤空間git clone https://gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical顯卡要求4B 參數(shù)使用 bfloat16 推理建議顯存 12GB 及以上顯存較小的機(jī)器可以選用同系列的 1B / 2B 醫(yī)學(xué)版本代碼完全通用。三、5 行代碼完成醫(yī)學(xué)影像單圖問答下面是跑通單圖問答的全部核心代碼load_image是圖片預(yù)處理輔助函數(shù)完整實(shí)現(xiàn)見 README.mdfrom transformers import AutoModel, AutoTokenizer import torch path OpenGVLab/Mini-InternVL2-4B-DA-Medical # 1. 指定模型路徑 model AutoModel.from_pretrained(path, torch_dtypetorch.bfloat16, trust_remote_codeTrue).cuda() # 2. 加載視覺語言模型 tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse) # 3. 加載分詞器 pixel_values load_image(xray.jpg).to(torch.bfloat16).cuda() # 4. 讀取并切片醫(yī)學(xué)影像 response model.chat(tokenizer, pixel_values, image\n這張胸片里有什么異常, dict(max_new_tokens512)) # 5. 提問 print(response)運(yùn)行后模型會針對你的胸片輸出一段自然語言描述。兩個(gè)新手常踩的坑提前說清楚?? 必須在from_pretrained中加trust_remote_codeTrue因?yàn)槟Ｐ妥詭ё远x建模代碼modeling_internvl_chat.py等。?? 問題文本中需要帶image占位符模型才知道問的是哪張圖。四、進(jìn)階玩法醫(yī)學(xué)多輪追問與批量分析基于同一張影像連續(xù)追問多輪對話借助return_historyTrue模型會記住上下文就像和一位影像助手連續(xù)交流cfg dict(max_new_tokens512, do_sampleTrue) resp, history model.chat(tokenizer, pixel_values, image\n請簡要描述這張影像。, cfg, historyNone, return_historyTrue) resp, history model.chat(tokenizer, pixel_values, 哪些區(qū)域最需要關(guān)注, cfg, historyhistory, return_historyTrue)多圖對比把多張圖的切片在第一個(gè)維度拼接image占位符按順序?qū)?yīng)pixel_values torch.cat((load_image(img1.jpg), load_image(img2.jpg)), dim0) response model.chat(tokenizer, pixel_values, image\n請對比這兩張影像的異同。, cfg)批量處理一批影像batch_chat接口實(shí)現(xiàn)見modeling_internvl_chat.py可一次性生成多張影像的描述適合做批量數(shù)據(jù)整理responses model.batch_chat(tokenizer, pixel_values, questionsquestions, generation_configcfg)五、項(xiàng)目文件結(jié)構(gòu)一覽醫(yī)學(xué)多模態(tài)模型都包含什么文件作用config.json模型結(jié)構(gòu)配置InternViT 視覺塔 Phi-3 語言模型modeling_internvl_chat.py核心對話邏輯chat/batch_chat方法所在modeling_intern_vit.py視覺編碼器InternViT實(shí)現(xiàn)modeling_phi3.py語言模型Phi-3實(shí)現(xiàn)conversation.py對話模板定義phi3-chat 模板preprocessor_config.json圖片預(yù)處理參數(shù)448px 切片、歸一化均值tokenizer.json/tokenizer_config.json分詞器文件model-00001-of-00002.safetensors等模型權(quán)重分片存儲generation_config.json生成參數(shù)配置README.md完整使用示例與訓(xùn)練數(shù)據(jù)集說明六、新手常見問題FAQ?Q1運(yùn)行報(bào)錯(cuò)AttributeError或找不到模型類升級transformers到 4.37.2 以上并確認(rèn)trust_remote_codeTrue已開啟。Q2顯存不夠跑 4B 版本怎么辦可以改用同系列的Mini-InternVL2-1B-DA-Medical或 2B 版本用法完全一致也可調(diào)小load_image的max_num默認(rèn) 12 塊來降低顯存占用。Q3模型能直接給診斷結(jié)論嗎它擅長影像內(nèi)容描述與問答輸出屬于輔助參考性質(zhì)不能替代專業(yè)醫(yī)生的診斷請勿直接用于臨床決策。Q4純文本對話可以不帶圖片嗎可以。調(diào)用model.chat(tokenizer, None, 你好你是誰, cfg)傳入None即可進(jìn)行純文本閑聊。 到這里你已經(jīng)用 5 行代碼讓一個(gè) 40 億參數(shù)的醫(yī)學(xué)影像 AI 讀懂了第一張片子。下一步可以試試多輪追問和多圖對比體驗(yàn)更接近影像助手的完整交互流程?！久赓M(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像？5行代碼搞定單圖問答
如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像5行代碼搞定單圖問答【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 開源的 40 億參數(shù)醫(yī)學(xué)多模態(tài)大模型基于 InternVL 系列在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而來。它可以看懂胸片、病理切片、眼底圖等醫(yī)學(xué)圖像并用自然語言回答你的問題——只需要5 行核心代碼就能完成第一次醫(yī)學(xué)圖像單圖問答。本教程面向零基礎(chǔ)新手不需要醫(yī)學(xué)或深度學(xué)習(xí)背景跟著步驟走即可在自己的電腦上跑通醫(yī)學(xué)影像 AI 問答。一、30 秒認(rèn)識醫(yī)學(xué)影像多模態(tài)模型能做什么Mini-InternVL2-4B-DA-Medical 屬于 InternVL 家族的領(lǐng)域自適應(yīng)DA, Domain Adaptation系列專門針對醫(yī)學(xué)影像場景做了微調(diào)訓(xùn)練數(shù)據(jù)覆蓋 PMC-OA、MIMIC-CXR胸片、MedPix、RP3D、Retina Image Bank眼底圖等主流醫(yī)學(xué)數(shù)據(jù)集。它支持四種對話方式詳見 README.md 的 Quick Start 部分能力說明典型場景單圖單輪問答傳一張圖 一個(gè)問題這張胸片有什么異常單圖多輪追問基于同一張圖連續(xù)追問這些陰影最需要關(guān)注什么多圖對比一次傳入多張圖對比這兩張片子批量推理batch_chat一次處理一批批量生成影像描述它的視覺端采用動態(tài)分辨率切片機(jī)制把圖片切成 448×448 的方塊最多 12 塊 1 張縮略圖無論你的影像是什么比例都不會變形細(xì)節(jié)保留得更好。二、環(huán)境準(zhǔn)備醫(yī)學(xué)多模態(tài)模型最快安裝方法1. 安裝 Python 依賴模型基于transformers運(yùn)行注意版本要求來自官方說明pip install transformers4.37.2 torch torchvision pillow2. 獲取模型文件將倉庫克隆到本地模型權(quán)重約 8GB請預(yù)留磁盤空間git clone https://gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical顯卡要求4B 參數(shù)使用 bfloat16 推理建議顯存 12GB 及以上顯存較小的機(jī)器可以選用同系列的 1B / 2B 醫(yī)學(xué)版本代碼完全通用。三、5 行代碼完成醫(yī)學(xué)影像單圖問答下面是跑通單圖問答的全部核心代碼load_image是圖片預(yù)處理輔助函數(shù)完整實(shí)現(xiàn)見 README.mdfrom transformers import AutoModel, AutoTokenizer import torch path OpenGVLab/Mini-InternVL2-4B-DA-Medical # 1. 指定模型路徑 model AutoModel.from_pretrained(path, torch_dtypetorch.bfloat16, trust_remote_codeTrue).cuda() # 2. 加載視覺語言模型 tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse) # 3. 加載分詞器 pixel_values load_image(xray.jpg).to(torch.bfloat16).cuda() # 4. 讀取并切片醫(yī)學(xué)影像 response model.chat(tokenizer, pixel_values, image\n這張胸片里有什么異常, dict(max_new_tokens512)) # 5. 提問 print(response)運(yùn)行后模型會針對你的胸片輸出一段自然語言描述。兩個(gè)新手常踩的坑提前說清楚?? 必須在from_pretrained中加trust_remote_codeTrue因?yàn)槟Ｐ妥詭ё远x建模代碼modeling_internvl_chat.py等。?? 問題文本中需要帶image占位符模型才知道問的是哪張圖。四、進(jìn)階玩法醫(yī)學(xué)多輪追問與批量分析基于同一張影像連續(xù)追問多輪對話借助return_historyTrue模型會記住上下文就像和一位影像助手連續(xù)交流cfg dict(max_new_tokens512, do_sampleTrue) resp, history model.chat(tokenizer, pixel_values, image\n請簡要描述這張影像。, cfg, historyNone, return_historyTrue) resp, history model.chat(tokenizer, pixel_values, 哪些區(qū)域最需要關(guān)注, cfg, historyhistory, return_historyTrue)多圖對比把多張圖的切片在第一個(gè)維度拼接image占位符按順序?qū)?yīng)pixel_values torch.cat((load_image(img1.jpg), load_image(img2.jpg)), dim0) response model.chat(tokenizer, pixel_values, image\n請對比這兩張影像的異同。, cfg)批量處理一批影像batch_chat接口實(shí)現(xiàn)見modeling_internvl_chat.py可一次性生成多張影像的描述適合做批量數(shù)據(jù)整理responses model.batch_chat(tokenizer, pixel_values, questionsquestions, generation_configcfg)五、項(xiàng)目文件結(jié)構(gòu)一覽醫(yī)學(xué)多模態(tài)模型都包含什么文件作用config.json模型結(jié)構(gòu)配置InternViT 視覺塔 Phi-3 語言模型modeling_internvl_chat.py核心對話邏輯chat/batch_chat方法所在modeling_intern_vit.py視覺編碼器InternViT實(shí)現(xiàn)modeling_phi3.py語言模型Phi-3實(shí)現(xiàn)conversation.py對話模板定義phi3-chat 模板preprocessor_config.json圖片預(yù)處理參數(shù)448px 切片、歸一化均值tokenizer.json/tokenizer_config.json分詞器文件model-00001-of-00002.safetensors等模型權(quán)重分片存儲generation_config.json生成參數(shù)配置README.md完整使用示例與訓(xùn)練數(shù)據(jù)集說明六、新手常見問題FAQ?Q1運(yùn)行報(bào)錯(cuò)AttributeError或找不到模型類升級transformers到 4.37.2 以上并確認(rèn)trust_remote_codeTrue已開啟。Q2顯存不夠跑 4B 版本怎么辦可以改用同系列的Mini-InternVL2-1B-DA-Medical或 2B 版本用法完全一致也可調(diào)小load_image的max_num默認(rèn) 12 塊來降低顯存占用。Q3模型能直接給診斷結(jié)論嗎它擅長影像內(nèi)容描述與問答輸出屬于輔助參考性質(zhì)不能替代專業(yè)醫(yī)生的診斷請勿直接用于臨床決策。Q4純文本對話可以不帶圖片嗎可以。調(diào)用model.chat(tokenizer, None, 你好你是誰, cfg)傳入None即可進(jìn)行純文本閑聊。 到這里你已經(jīng)用 5 行代碼讓一個(gè) 40 億參數(shù)的醫(yī)學(xué)影像 AI 讀懂了第一張片子。下一步可以試試多輪追問和多圖對比體驗(yàn)更接近影像助手的完整交互流程?！久赓M(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考