戰(zhàn)：掌握history參數(shù)，讓醫(yī)學(xué)AI真正記住上下文)
Mini-InternVL2-4B-DA-Medical多輪對話實(shí)戰(zhàn)掌握history參數(shù)讓醫(yī)學(xué)AI真正記住上下文【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 推出的醫(yī)學(xué)領(lǐng)域適配版多模態(tài)大模型基于開源 InternVL2-4B 在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而成。本文是一份面向新手的多輪對話實(shí)戰(zhàn)指南只需掌握history參數(shù)就能讓醫(yī)學(xué) AI 記住之前的對話連續(xù)完成影像描述與追問獲得流暢的問診式體驗(yàn)。 快速認(rèn)識(shí) Mini-InternVL2-4B-DA-Medical一句話概括這是一個(gè)會(huì)看片子的口袋級醫(yī)學(xué)多模態(tài)模型。項(xiàng)目說明基座模型InternVL2-4BMini-InternVL 架構(gòu)領(lǐng)域適配在醫(yī)學(xué)影像數(shù)據(jù)上專項(xiàng)微調(diào)視覺編碼器InternViT動(dòng)態(tài)分辨率1~12 個(gè)圖像塊語言骨干Phi-3-mini-128k支持 128K 上下文訓(xùn)練數(shù)據(jù)PMC-OA、MIMIC-CXR、MedPix、Open-i、Retina Image Bank 等規(guī)格4B 參數(shù)單卡即可部署模型介紹、全系列尺寸1B / 2B / 4B詳見 README.md視覺與語言子模塊分別位于 modeling_intern_vit.py 和 modeling_phi3.py。為什么領(lǐng)域適配很關(guān)鍵普通多模態(tài)大模型對醫(yī)學(xué)影像只能泛泛而談而 Mini-InternVL2-4B-DA-Medical 經(jīng)過醫(yī)學(xué)數(shù)據(jù)微調(diào)在胸片、眼底、病理等影像的描述與問答上明顯更專業(yè)——相當(dāng)于通用實(shí)習(xí)生完成了?？婆嘤?xùn)。 三步加載模型3分鐘上手環(huán)境要求transformers4.37.2用AutoModel直接加載權(quán)重即可無需訓(xùn)練from transformers import AutoModel, AutoTokenizer model AutoModel.from_pretrained( OpenGVLab/Mini-InternVL2-4B-DA-Medical, torch_dtypetorch.bfloat16, trust_remote_codeTrue ).eval().cuda() tokenizer AutoTokenizer.from_pretrained( OpenGVLab/Mini-InternVL2-4B-DA-Medical, trust_remote_codeTrue, use_fastFalse)兩個(gè)必配項(xiàng)trust_remote_codeTrue模型依賴自定義建模代碼 modeling_internvl_chat.pyuse_fastFalse構(gòu)建 tokenizer 時(shí)必須指定。 理解 history 參數(shù)多輪對話的核心機(jī)制單輪對話時(shí)模型是金魚記憶——回答完就忘。多輪對話的關(guān)鍵就是model.chat()的history 參數(shù)它的結(jié)構(gòu)非常直觀一個(gè) (問題, 答案) 元組組成的列表。response, history model.chat(tokenizer, pixel_values, question, generation_config, historyhistory, return_historyTrue)源碼邏輯很簡潔modeling_internvl_chat.py把history中每一輪對話按順序重放進(jìn)對話模板在末尾追加本輪question讓模型生成答案將(question, response)追加到history末尾若return_historyTrue同時(shí)返回答案和更新后的記憶。 三個(gè)參數(shù)構(gòu)成閉環(huán)history過去的記憶→question本輪提問→return_historyTrue帶出新記憶供下一輪使用。 實(shí)戰(zhàn)示例醫(yī)學(xué)影像問診式對話以一張 X 光片為例進(jìn)行看圖 追問的三輪對話generation_config dict(max_new_tokens1024, do_sampleTrue) # 第 1 輪描述圖像首輪 historyNone q1 image\nPlease describe the image in detail. response, history model.chat(tokenizer, pixel_values, q1, generation_config, historyNone, return_historyTrue) # 第 2 輪臨床追問直接傳 history q2 What do these findings suggest clinically? response, history model.chat(tokenizer, pixel_values, q2, generation_config, historyhistory, return_historyTrue) # 第 3 輪繼續(xù)對話 q3 Please explain it in more accessible language. response, history model.chat(tokenizer, pixel_values, q3, generation_config, historyhistory, return_historyTrue)輪次用戶輸入要點(diǎn)第 1 輪image 描述請求圖片只在這一輪傳入question 需含image占位符第 2 輪臨床追問不必重傳圖片也不必寫image第 3 輪通俗化解釋模型記得第 1 輪看過這張圖精髓就在這里圖片只傳一次。首輪問題里的圖像 token 會(huì)隨 history 一起被重放后續(xù)輪次只傳文字模型依然知道你在問哪張圖。? 多輪對話常見問題速查Q1批處理為什么不能用 historybatch_chat()暫不支持多輪對話傳入history會(huì)直接拋出異常見 modeling_internvl_chat.py。批量場景請用單輪batch_chat多輪場景請用chat循環(huán)。Q2每輪都要寫image占位符嗎不用。僅首輪historyNone時(shí)chat()會(huì)自動(dòng)在問題開頭補(bǔ)上image\n見 modeling_internvl_chat.py從第二輪起 history 里已包含圖像信息無需重復(fù)。Q3對話越長會(huì)不會(huì)越慢會(huì)。每輪都要重讀完整對話歷史輸入 token 隨輪數(shù)增長。換話題時(shí)重新開一個(gè)空history即可。Q4如何讓回答更穩(wěn)定通過generation_config控制隨機(jī)性醫(yī)學(xué)場景建議降低do_sample或采用貪心解碼輸出更專業(yè)、更可控。?? 注意事項(xiàng)與技巧環(huán)境transformers4.37.2否則加載模型可能報(bào)錯(cuò)顯存bfloat16 精度下權(quán)重約 8 GB疊加上下文開銷建議 12 GB 以上顯存的單卡部署參數(shù)詳情見 config.json多圖多輪把兩張圖torch.cat拼接并傳入num_patches_list即可連續(xù)追問兩張圖的異同對話模板模型采用phi3-chat模板角色格式與系統(tǒng)消息由 conversation.py 自動(dòng)處理無需手寫。 總結(jié)一張表記住 history 用法掌握點(diǎn)用法開新對話historyNone獲取記憶return_historyTrue延續(xù)對話下一輪傳入historyhistoryMini-InternVL2-4B-DA-Medical 用 4B 的輕量參數(shù)做到了醫(yī)學(xué)級的圖像理解能力而 history 參數(shù)正是把一問一答升級為連續(xù)問診的關(guān)鍵。記住這一行代碼即可response, history model.chat(tokenizer, pixel_values, question, generation_config, historyhistory, return_historyTrue)【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Mini-InternVL2-4B-DA-Medical多輪對話實(shí)戰(zhàn)：掌握history參數(shù)，讓醫(yī)學(xué)AI真正記住上下文
Mini-InternVL2-4B-DA-Medical多輪對話實(shí)戰(zhàn)掌握history參數(shù)讓醫(yī)學(xué)AI真正記住上下文【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 推出的醫(yī)學(xué)領(lǐng)域適配版多模態(tài)大模型基于開源 InternVL2-4B 在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而成。本文是一份面向新手的多輪對話實(shí)戰(zhàn)指南只需掌握history參數(shù)就能讓醫(yī)學(xué) AI 記住之前的對話連續(xù)完成影像描述與追問獲得流暢的問診式體驗(yàn)。 快速認(rèn)識(shí) Mini-InternVL2-4B-DA-Medical一句話概括這是一個(gè)會(huì)看片子的口袋級醫(yī)學(xué)多模態(tài)模型。項(xiàng)目說明基座模型InternVL2-4BMini-InternVL 架構(gòu)領(lǐng)域適配在醫(yī)學(xué)影像數(shù)據(jù)上專項(xiàng)微調(diào)視覺編碼器InternViT動(dòng)態(tài)分辨率1~12 個(gè)圖像塊語言骨干Phi-3-mini-128k支持 128K 上下文訓(xùn)練數(shù)據(jù)PMC-OA、MIMIC-CXR、MedPix、Open-i、Retina Image Bank 等規(guī)格4B 參數(shù)單卡即可部署模型介紹、全系列尺寸1B / 2B / 4B詳見 README.md視覺與語言子模塊分別位于 modeling_intern_vit.py 和 modeling_phi3.py。為什么領(lǐng)域適配很關(guān)鍵普通多模態(tài)大模型對醫(yī)學(xué)影像只能泛泛而談而 Mini-InternVL2-4B-DA-Medical 經(jīng)過醫(yī)學(xué)數(shù)據(jù)微調(diào)在胸片、眼底、病理等影像的描述與問答上明顯更專業(yè)——相當(dāng)于通用實(shí)習(xí)生完成了?？婆嘤?xùn)。 三步加載模型3分鐘上手環(huán)境要求transformers4.37.2用AutoModel直接加載權(quán)重即可無需訓(xùn)練from transformers import AutoModel, AutoTokenizer model AutoModel.from_pretrained( OpenGVLab/Mini-InternVL2-4B-DA-Medical, torch_dtypetorch.bfloat16, trust_remote_codeTrue ).eval().cuda() tokenizer AutoTokenizer.from_pretrained( OpenGVLab/Mini-InternVL2-4B-DA-Medical, trust_remote_codeTrue, use_fastFalse)兩個(gè)必配項(xiàng)trust_remote_codeTrue模型依賴自定義建模代碼 modeling_internvl_chat.pyuse_fastFalse構(gòu)建 tokenizer 時(shí)必須指定。 理解 history 參數(shù)多輪對話的核心機(jī)制單輪對話時(shí)模型是金魚記憶——回答完就忘。多輪對話的關(guān)鍵就是model.chat()的history 參數(shù)它的結(jié)構(gòu)非常直觀一個(gè) (問題, 答案) 元組組成的列表。response, history model.chat(tokenizer, pixel_values, question, generation_config, historyhistory, return_historyTrue)源碼邏輯很簡潔modeling_internvl_chat.py把history中每一輪對話按順序重放進(jìn)對話模板在末尾追加本輪question讓模型生成答案將(question, response)追加到history末尾若return_historyTrue同時(shí)返回答案和更新后的記憶。 三個(gè)參數(shù)構(gòu)成閉環(huán)history過去的記憶→question本輪提問→return_historyTrue帶出新記憶供下一輪使用。 實(shí)戰(zhàn)示例醫(yī)學(xué)影像問診式對話以一張 X 光片為例進(jìn)行看圖 追問的三輪對話generation_config dict(max_new_tokens1024, do_sampleTrue) # 第 1 輪描述圖像首輪 historyNone q1 image\nPlease describe the image in detail. response, history model.chat(tokenizer, pixel_values, q1, generation_config, historyNone, return_historyTrue) # 第 2 輪臨床追問直接傳 history q2 What do these findings suggest clinically? response, history model.chat(tokenizer, pixel_values, q2, generation_config, historyhistory, return_historyTrue) # 第 3 輪繼續(xù)對話 q3 Please explain it in more accessible language. response, history model.chat(tokenizer, pixel_values, q3, generation_config, historyhistory, return_historyTrue)輪次用戶輸入要點(diǎn)第 1 輪image 描述請求圖片只在這一輪傳入question 需含image占位符第 2 輪臨床追問不必重傳圖片也不必寫image第 3 輪通俗化解釋模型記得第 1 輪看過這張圖精髓就在這里圖片只傳一次。首輪問題里的圖像 token 會(huì)隨 history 一起被重放后續(xù)輪次只傳文字模型依然知道你在問哪張圖。? 多輪對話常見問題速查Q1批處理為什么不能用 historybatch_chat()暫不支持多輪對話傳入history會(huì)直接拋出異常見 modeling_internvl_chat.py。批量場景請用單輪batch_chat多輪場景請用chat循環(huán)。Q2每輪都要寫image占位符嗎不用。僅首輪historyNone時(shí)chat()會(huì)自動(dòng)在問題開頭補(bǔ)上image\n見 modeling_internvl_chat.py從第二輪起 history 里已包含圖像信息無需重復(fù)。Q3對話越長會(huì)不會(huì)越慢會(huì)。每輪都要重讀完整對話歷史輸入 token 隨輪數(shù)增長。換話題時(shí)重新開一個(gè)空history即可。Q4如何讓回答更穩(wěn)定通過generation_config控制隨機(jī)性醫(yī)學(xué)場景建議降低do_sample或采用貪心解碼輸出更專業(yè)、更可控。?? 注意事項(xiàng)與技巧環(huán)境transformers4.37.2否則加載模型可能報(bào)錯(cuò)顯存bfloat16 精度下權(quán)重約 8 GB疊加上下文開銷建議 12 GB 以上顯存的單卡部署參數(shù)詳情見 config.json多圖多輪把兩張圖torch.cat拼接并傳入num_patches_list即可連續(xù)追問兩張圖的異同對話模板模型采用phi3-chat模板角色格式與系統(tǒng)消息由 conversation.py 自動(dòng)處理無需手寫。 總結(jié)一張表記住 history 用法掌握點(diǎn)用法開新對話historyNone獲取記憶return_historyTrue延續(xù)對話下一輪傳入historyhistoryMini-InternVL2-4B-DA-Medical 用 4B 的輕量參數(shù)做到了醫(yī)學(xué)級的圖像理解能力而 history 參數(shù)正是把一問一答升級為連續(xù)問診的關(guān)鍵。記住這一行代碼即可response, history model.chat(tokenizer, pixel_values, question, generation_config, historyhistory, return_historyTrue)【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考