態(tài)Tile切分機(jī)制完整解析)
為什么InternViT-300M-448px能處理超高分辨率圖像動(dòng)態(tài)Tile切分機(jī)制完整解析【免費(fèi)下載鏈接】InternViT-300M-448px項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448pxInternViT-300M-448px 是 OpenGVLab 開源的 3 億參數(shù)輕量視覺基礎(chǔ)模型Vision Encoder它通過動(dòng)態(tài) Tile 切分機(jī)制支持 448×448 動(dòng)態(tài)分辨率訓(xùn)練時(shí) 1~12 塊、推理時(shí)最多可擴(kuò)展到 40 塊從而完整保留超高分辨率圖像中的細(xì)節(jié)與文字信息是多模態(tài)大模型MLLM理想的高清視覺底座。一、為什么超高分辨率是視覺模型的天敵普通視覺模型輸入尺寸是固定的比如 224×224。一張 4000px 的長文檔或高清圖被壓縮到 224px 后小字直接糊成馬賽克——OCR 失敗、表格讀亂、細(xì)節(jié)丟失。常見做法是把圖放大再喂進(jìn)去但代價(jià)很直接分辨率翻一倍Token 數(shù)量翻四倍注意力計(jì)算量按平方級(jí)暴漲。InternViT-300M-448px 的解法很聰明不強(qiáng)行喂整張大圖而是把大圖切成若干 448×448 的塊Tile逐塊編碼塊數(shù)可以按需伸縮。這就是它的動(dòng)態(tài)分辨率能力來源。二、InternViT-300M-448px 模型檔案核心參數(shù)一覽項(xiàng)目數(shù)值說明參數(shù)量304M輕量消費(fèi)級(jí) GPU 即可推理編碼器層數(shù)24Transformer 層隱藏維度102416 個(gè)注意力頭Patch 尺寸14圖像切片的步長基礎(chǔ) Tile448×448448÷1432整除友好訓(xùn)練 Tile 數(shù)1~12多尺度訓(xùn)練推理 Tile 數(shù)1~40測(cè)試時(shí)擴(kuò)展Test-Time Scaling注意力加速Flash Attention長序列推理提速歸一化LayerNorm數(shù)值穩(wěn)定推理精度bfloat16顯存友好知識(shí)蒸餾來源InternViT-6B-448px-V1-5繼承高分辨率與 OCR 能力許可證MIT可自由商用 300M 的小模型卻繼承了 6B 大模型的魯棒性、OCR 能力與高分辨率處理能力靠的是知識(shí)蒸餾 訓(xùn)練期加入的大量 OCR 數(shù)據(jù)Wukong、LaionCOCO-OCR 等。三、動(dòng)態(tài) Tile 切分機(jī)制完整解析3.1 基礎(chǔ)單元448×448 Tile圖像先被縮放到合適倍數(shù)然后按 448×448 網(wǎng)格切分。每個(gè) Tile 獨(dú)立送入 ViT448÷1432 → 每個(gè) Tile 產(chǎn)生32×321024 個(gè) patch 特征向量塊與塊之間互不干擾天然可以并行批量處理3.2 位置編碼插值一張表適配任意分辨率固定輸入尺寸的 ViT 靠查表得到位置信息而 InternViT 的做法更靈活位置編碼以特征圖形式存儲(chǔ)運(yùn)行時(shí)通過**雙三次插值bicubic interpolation**重采樣到當(dāng)前尺寸。核心邏輯在 modeling_intern_vit.py 的_get_pos_embed中——對(duì)位置編碼張量調(diào)用F.interpolate(modebicubic)把 32×32 的位置網(wǎng)格拉伸/壓縮到任意 H×W。這意味著一套權(quán)重就能處理 448 以外的各種輸入尺寸無需為每種分辨率維護(hù)獨(dú)立的位置編碼表。3.3 逐 Tile 獨(dú)立編碼1 到 40 塊的自由切換由于每個(gè) Tile 都是獨(dú)立編碼的模型前向入口還支持直接傳入預(yù)計(jì)算好的pixel_embeds見 modeling_intern_vit.py 的forward。整個(gè)推理管線因此是解耦的外部管線負(fù)責(zé)縮放 切分決定切幾塊1~40 由圖像大小和任務(wù)精細(xì)度決定ViT逐塊編碼每塊輸出 1024 個(gè)特征各塊特征拼接后經(jīng) MLP 投影器送入語言模型InternLM2 / Phi-3 等圖片越大、切塊越多 → Token 越多 → 視覺細(xì)節(jié)越完整。這就是測(cè)試時(shí)擴(kuò)展同一個(gè)模型按需投入算力換更高分辨率無需重新訓(xùn)練。3.4 Flash Attention長序列注意力的加速器40 個(gè) Tile 意味著單次前向有上萬個(gè) Token。config.json 中use_flash_attn: true開啟了 Flash Attention實(shí)現(xiàn)見 flash_attention.py它大幅減少注意力矩陣的顯存讀寫讓長序列高分辨率推理在顯存和時(shí)間上都可行。四、一張大圖的處理全流程Token 賬本圖像規(guī)模Tile 網(wǎng)格Tile 數(shù)輸入語言模型的視覺特征數(shù)448×4481×111,0241792×17924×41616,3842688×26886×63636,864超高超大圖按需最多 4040,960每個(gè) Tile 恒定貢獻(xiàn) 1024 個(gè)特征32×32賬目清晰可控。需要極致細(xì)節(jié)就切 40 塊普通場(chǎng)景 1~4 塊足矣——分辨率預(yù)算完全由你掌控。五、倉庫文件導(dǎo)讀每個(gè)文件負(fù)責(zé)什么modeling_intern_vit.py—— 核心模型代碼Patch 化、位置編碼雙三次插值、Flash Attention 注意力、24 層編碼器configuration_intern_vit.py——InternVisionConfig配置類定義 patch_size、image_size 等結(jié)構(gòu)參數(shù)config.json—— 本模型的實(shí)際配置448 輸入、14 Patch、24 層、1024 隱藏維、bfloat16preprocessor_config.json—— 圖像預(yù)處理resize 到 448、雙三次重采樣、ImageNet 歸一化flash_attention.py—— Flash Attention 實(shí)現(xiàn)長序列加速的關(guān)鍵model.safetensors—— 模型權(quán)重本體mlp_projector/—— 視覺特征到語言模型的 MLP 投影器含internlm2_chat_1_8b.pth與phi_3_mini_128k_instruct.pth兩份適配權(quán)重README.md—— 項(xiàng)目說明、訓(xùn)練數(shù)據(jù)與快速上手六、快速上手三步跑通高分辨率視覺特征提取第一步獲取倉庫git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448px第二步加載模型與處理器bfloat16 精度import torch from PIL import Image from transformers import AutoModel, CLIPImageProcessor model AutoModel.from_pretrained( OpenGVLab/InternViT-300M-448px, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).cuda().eval() processor CLIPImageProcessor.from_pretrained(OpenGVLab/InternViT-300M-448px) image Image.open(photo.jpg).convert(RGB) pixel_values processor(imagesimage, return_tensorspt).pixel_values第三步前向推理得到特征with torch.no_grad(): features model(pixel_values.to(torch.bfloat16).cuda()) 本倉庫中單個(gè) 448×448 Tile 即可獨(dú)立編碼完整的多 Tile 編排等比縮放、網(wǎng)格切分、批量編碼、拼接投影在 InternVL 主倉庫的推理管線中完成。官方提示InternViT V2.5 系列更適合用于搭建 MLLM而非傳統(tǒng) CV 任務(wù)。七、常見問題 FAQQ1為什么訓(xùn)練只用 12 塊推理卻允許 40 塊位置編碼靠雙三次插值生成而非固定查表所以未見過的尺寸也能平滑工作。多塊推理屬于測(cè)試時(shí)擴(kuò)展用額外算力換取更高分辨率表現(xiàn)。Q2為什么基礎(chǔ) Tile 選 448 而不是 224448 能被 patch_size14 整除448÷1432單塊就含 1024 個(gè)特征同時(shí)更大的塊在同樣分辨率下切得更少Token 預(yù)算利用率更高對(duì) OCR 小字也更友好。Q3小顯存能跑嗎304M 參數(shù) bfloat16 推理權(quán)重僅約 0.6GB一張 8GB 級(jí)別的消費(fèi)級(jí)顯卡即可運(yùn)行Tile 數(shù)越少激活顯存越省。Q4mlp_projector 目錄是干什么的它是視覺→語言的 MLP 投影器權(quán)重分別適配 InternLM2-Chat-1.8B 和 Phi-3-mini 兩個(gè)語言模型用于把 ViT 輸出的特征對(duì)齊到 LLM 的詞嵌入空間。八、寫在最后InternViT-300M-448px 用三個(gè)精巧設(shè)計(jì)回答了小模型如何看清大圖448×448 標(biāo)準(zhǔn) Tile 位置編碼插值 逐塊獨(dú)立編碼再疊加 Flash Attention 加速最終以 300M 的輕量身材實(shí)現(xiàn)了 1~40 塊動(dòng)態(tài)分辨率、覆蓋超高分辨率圖像與密集 OCR 場(chǎng)景的能力。如果你正在搭建多模態(tài)應(yīng)用又苦于顯存開銷這套動(dòng)態(tài) Tile 切分方案值得直接借鑒?！久赓M(fèi)下載鏈接】InternViT-300M-448px項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448px創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 為什么InternViT-300M-448px能處理超高分辨率圖像？動(dòng)態(tài)Tile切分機(jī)制完整解析
為什么InternViT-300M-448px能處理超高分辨率圖像動(dòng)態(tài)Tile切分機(jī)制完整解析【免費(fèi)下載鏈接】InternViT-300M-448px項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448pxInternViT-300M-448px 是 OpenGVLab 開源的 3 億參數(shù)輕量視覺基礎(chǔ)模型Vision Encoder它通過動(dòng)態(tài) Tile 切分機(jī)制支持 448×448 動(dòng)態(tài)分辨率訓(xùn)練時(shí) 1~12 塊、推理時(shí)最多可擴(kuò)展到 40 塊從而完整保留超高分辨率圖像中的細(xì)節(jié)與文字信息是多模態(tài)大模型MLLM理想的高清視覺底座。一、為什么超高分辨率是視覺模型的天敵普通視覺模型輸入尺寸是固定的比如 224×224。一張 4000px 的長文檔或高清圖被壓縮到 224px 后小字直接糊成馬賽克——OCR 失敗、表格讀亂、細(xì)節(jié)丟失。常見做法是把圖放大再喂進(jìn)去但代價(jià)很直接分辨率翻一倍Token 數(shù)量翻四倍注意力計(jì)算量按平方級(jí)暴漲。InternViT-300M-448px 的解法很聰明不強(qiáng)行喂整張大圖而是把大圖切成若干 448×448 的塊Tile逐塊編碼塊數(shù)可以按需伸縮。這就是它的動(dòng)態(tài)分辨率能力來源。二、InternViT-300M-448px 模型檔案核心參數(shù)一覽項(xiàng)目數(shù)值說明參數(shù)量304M輕量消費(fèi)級(jí) GPU 即可推理編碼器層數(shù)24Transformer 層隱藏維度102416 個(gè)注意力頭Patch 尺寸14圖像切片的步長基礎(chǔ) Tile448×448448÷1432整除友好訓(xùn)練 Tile 數(shù)1~12多尺度訓(xùn)練推理 Tile 數(shù)1~40測(cè)試時(shí)擴(kuò)展Test-Time Scaling注意力加速Flash Attention長序列推理提速歸一化LayerNorm數(shù)值穩(wěn)定推理精度bfloat16顯存友好知識(shí)蒸餾來源InternViT-6B-448px-V1-5繼承高分辨率與 OCR 能力許可證MIT可自由商用 300M 的小模型卻繼承了 6B 大模型的魯棒性、OCR 能力與高分辨率處理能力靠的是知識(shí)蒸餾 訓(xùn)練期加入的大量 OCR 數(shù)據(jù)Wukong、LaionCOCO-OCR 等。三、動(dòng)態(tài) Tile 切分機(jī)制完整解析3.1 基礎(chǔ)單元448×448 Tile圖像先被縮放到合適倍數(shù)然后按 448×448 網(wǎng)格切分。每個(gè) Tile 獨(dú)立送入 ViT448÷1432 → 每個(gè) Tile 產(chǎn)生32×321024 個(gè) patch 特征向量塊與塊之間互不干擾天然可以并行批量處理3.2 位置編碼插值一張表適配任意分辨率固定輸入尺寸的 ViT 靠查表得到位置信息而 InternViT 的做法更靈活位置編碼以特征圖形式存儲(chǔ)運(yùn)行時(shí)通過**雙三次插值bicubic interpolation**重采樣到當(dāng)前尺寸。核心邏輯在 modeling_intern_vit.py 的_get_pos_embed中——對(duì)位置編碼張量調(diào)用F.interpolate(modebicubic)把 32×32 的位置網(wǎng)格拉伸/壓縮到任意 H×W。這意味著一套權(quán)重就能處理 448 以外的各種輸入尺寸無需為每種分辨率維護(hù)獨(dú)立的位置編碼表。3.3 逐 Tile 獨(dú)立編碼1 到 40 塊的自由切換由于每個(gè) Tile 都是獨(dú)立編碼的模型前向入口還支持直接傳入預(yù)計(jì)算好的pixel_embeds見 modeling_intern_vit.py 的forward。整個(gè)推理管線因此是解耦的外部管線負(fù)責(zé)縮放 切分決定切幾塊1~40 由圖像大小和任務(wù)精細(xì)度決定ViT逐塊編碼每塊輸出 1024 個(gè)特征各塊特征拼接后經(jīng) MLP 投影器送入語言模型InternLM2 / Phi-3 等圖片越大、切塊越多 → Token 越多 → 視覺細(xì)節(jié)越完整。這就是測(cè)試時(shí)擴(kuò)展同一個(gè)模型按需投入算力換更高分辨率無需重新訓(xùn)練。3.4 Flash Attention長序列注意力的加速器40 個(gè) Tile 意味著單次前向有上萬個(gè) Token。config.json 中use_flash_attn: true開啟了 Flash Attention實(shí)現(xiàn)見 flash_attention.py它大幅減少注意力矩陣的顯存讀寫讓長序列高分辨率推理在顯存和時(shí)間上都可行。四、一張大圖的處理全流程Token 賬本圖像規(guī)模Tile 網(wǎng)格Tile 數(shù)輸入語言模型的視覺特征數(shù)448×4481×111,0241792×17924×41616,3842688×26886×63636,864超高超大圖按需最多 4040,960每個(gè) Tile 恒定貢獻(xiàn) 1024 個(gè)特征32×32賬目清晰可控。需要極致細(xì)節(jié)就切 40 塊普通場(chǎng)景 1~4 塊足矣——分辨率預(yù)算完全由你掌控。五、倉庫文件導(dǎo)讀每個(gè)文件負(fù)責(zé)什么modeling_intern_vit.py—— 核心模型代碼Patch 化、位置編碼雙三次插值、Flash Attention 注意力、24 層編碼器configuration_intern_vit.py——InternVisionConfig配置類定義 patch_size、image_size 等結(jié)構(gòu)參數(shù)config.json—— 本模型的實(shí)際配置448 輸入、14 Patch、24 層、1024 隱藏維、bfloat16preprocessor_config.json—— 圖像預(yù)處理resize 到 448、雙三次重采樣、ImageNet 歸一化flash_attention.py—— Flash Attention 實(shí)現(xiàn)長序列加速的關(guān)鍵model.safetensors—— 模型權(quán)重本體mlp_projector/—— 視覺特征到語言模型的 MLP 投影器含internlm2_chat_1_8b.pth與phi_3_mini_128k_instruct.pth兩份適配權(quán)重README.md—— 項(xiàng)目說明、訓(xùn)練數(shù)據(jù)與快速上手六、快速上手三步跑通高分辨率視覺特征提取第一步獲取倉庫git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448px第二步加載模型與處理器bfloat16 精度import torch from PIL import Image from transformers import AutoModel, CLIPImageProcessor model AutoModel.from_pretrained( OpenGVLab/InternViT-300M-448px, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).cuda().eval() processor CLIPImageProcessor.from_pretrained(OpenGVLab/InternViT-300M-448px) image Image.open(photo.jpg).convert(RGB) pixel_values processor(imagesimage, return_tensorspt).pixel_values第三步前向推理得到特征with torch.no_grad(): features model(pixel_values.to(torch.bfloat16).cuda()) 本倉庫中單個(gè) 448×448 Tile 即可獨(dú)立編碼完整的多 Tile 編排等比縮放、網(wǎng)格切分、批量編碼、拼接投影在 InternVL 主倉庫的推理管線中完成。官方提示InternViT V2.5 系列更適合用于搭建 MLLM而非傳統(tǒng) CV 任務(wù)。七、常見問題 FAQQ1為什么訓(xùn)練只用 12 塊推理卻允許 40 塊位置編碼靠雙三次插值生成而非固定查表所以未見過的尺寸也能平滑工作。多塊推理屬于測(cè)試時(shí)擴(kuò)展用額外算力換取更高分辨率表現(xiàn)。Q2為什么基礎(chǔ) Tile 選 448 而不是 224448 能被 patch_size14 整除448÷1432單塊就含 1024 個(gè)特征同時(shí)更大的塊在同樣分辨率下切得更少Token 預(yù)算利用率更高對(duì) OCR 小字也更友好。Q3小顯存能跑嗎304M 參數(shù) bfloat16 推理權(quán)重僅約 0.6GB一張 8GB 級(jí)別的消費(fèi)級(jí)顯卡即可運(yùn)行Tile 數(shù)越少激活顯存越省。Q4mlp_projector 目錄是干什么的它是視覺→語言的 MLP 投影器權(quán)重分別適配 InternLM2-Chat-1.8B 和 Phi-3-mini 兩個(gè)語言模型用于把 ViT 輸出的特征對(duì)齊到 LLM 的詞嵌入空間。八、寫在最后InternViT-300M-448px 用三個(gè)精巧設(shè)計(jì)回答了小模型如何看清大圖448×448 標(biāo)準(zhǔn) Tile 位置編碼插值 逐塊獨(dú)立編碼再疊加 Flash Attention 加速最終以 300M 的輕量身材實(shí)現(xiàn)了 1~40 塊動(dòng)態(tài)分辨率、覆蓋超高分辨率圖像與密集 OCR 場(chǎng)景的能力。如果你正在搭建多模態(tài)應(yīng)用又苦于顯存開銷這套動(dòng)態(tài) Tile 切分方案值得直接借鑒?！久赓M(fèi)下載鏈接】InternViT-300M-448px項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternViT-300M-448px創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考