人工智能深度學(xué)習(xí)計算機視覺醫(yī)療健康【免費下載鏈接】nnUNet項目地址https://gitcode.com/gh_mirrors/nn/nnUNet點擊查看免費下載導(dǎo)讀在 nnU-Net v2 中不同數(shù)據(jù)集經(jīng)過自動化實驗規(guī)劃后其 patch size、網(wǎng)絡(luò)拓撲、batch size 乃至歸一化方案往往各不相同因此不能直接把一個數(shù)據(jù)集上訓(xùn)練好的權(quán)重搬到另一個數(shù)據(jù)集上。本文以 documentation/pretraining_and_finetuning.md 為核心完整講解監(jiān)督預(yù)訓(xùn)練的可行路徑先把目標數(shù)據(jù)集的 plans 轉(zhuǎn)移到預(yù)訓(xùn)練數(shù)據(jù)集以對齊網(wǎng)絡(luò)結(jié)構(gòu)再用allfold 在預(yù)訓(xùn)練數(shù)據(jù)上訓(xùn)練最后通過-pretrained_weights參數(shù)把權(quán)重初始化到目標數(shù)據(jù)集并微調(diào)。讀完本文你將掌握一套可復(fù)現(xiàn)的跨數(shù)據(jù)集遷移訓(xùn)練方案并了解其背后的源碼實現(xiàn)原理與注意事項。需要說明的是本文討論的是監(jiān)督式的 plans/權(quán)重跨數(shù)據(jù)集遷移。如果你要找的是基于 nnssl本文不涉及該路徑。術(shù)語約定整個流程涉及兩個數(shù)據(jù)集原文檔給出的術(shù)語定義如下術(shù)語含義pretraining dataset預(yù)訓(xùn)練數(shù)據(jù)集即你打算在其上執(zhí)行預(yù)訓(xùn)練的數(shù)據(jù)集finetuning dataset微調(diào)數(shù)據(jù)集即你真正關(guān)心、最終要微調(diào)出模型的目標數(shù)據(jù)集兩者的關(guān)系是先在預(yù)訓(xùn)練數(shù)據(jù)集上訓(xùn)練出一個通用的模型再把它的權(quán)重作為目標數(shù)據(jù)集的初始化從而獲得更好的收斂性能或更短的訓(xùn)練時間。為什么不能直接復(fù)用權(quán)重plans 對齊是前提nnU-Net 最核心的特性之一是自動化數(shù)據(jù)集分析與實驗規(guī)劃對每個數(shù)據(jù)集它會依據(jù)數(shù)據(jù)指紋fingerprint自動決定 patch size、batch size、網(wǎng)絡(luò)拓撲、歸一化方案等訓(xùn)練超參數(shù)參見 nnunetv2/experiment_planning/ 下的相關(guān)實現(xiàn)。這意味著兩個數(shù)據(jù)集的 patch size 可能不同兩個數(shù)據(jù)集的網(wǎng)絡(luò)拓撲深度、寬度、卷積核配置可能不同兩個數(shù)據(jù)集的歸一化方案可能不同。權(quán)重 tensor 的形狀與網(wǎng)絡(luò)結(jié)構(gòu)嚴格綁定拓撲不一致時state_dict根本無法對齊。因此開箱即用地從一個數(shù)據(jù)集拿權(quán)重去初始化另一個數(shù)據(jù)集是不可能的。解決辦法就是把目標數(shù)據(jù)集finetuning dataset的 plans 轉(zhuǎn)移到預(yù)訓(xùn)練數(shù)據(jù)集讓兩邊共享完全相同的網(wǎng)絡(luò)結(jié)構(gòu)、patch size、batch size 與歸一化設(shè)置。原文檔特別強調(diào)轉(zhuǎn)移是全量的不只是網(wǎng)絡(luò)拓撲、batch size 和 patch size歸一化方案也會一并轉(zhuǎn)移。因此在兩個使用不同歸一化方案的數(shù)據(jù)集之間做遷移可能效果不好但取決于具體方案也可能可行。對于 CT 數(shù)據(jù)還要注意CT 歸一化中的 clip 值、均值mean與標準差std同樣會被轉(zhuǎn)移——預(yù)訓(xùn)練數(shù)據(jù)集的 CT 數(shù)據(jù)將按目標數(shù)據(jù)集的統(tǒng)計量做歸一化處理。完整實操流程在預(yù)訓(xùn)練數(shù)據(jù)集上訓(xùn)練整個流程共分 5 步命令均來自原文檔下面結(jié)合源碼逐一展開說明。第 0 步環(huán)境準備按照 documentation/setting_up_paths.md 和 documentation/set_environment_variables.md 設(shè)置nnUNet_raw、nnUNet_preprocessed、nnUNet_results等環(huán)境變量預(yù)訓(xùn)練數(shù)據(jù)集與微調(diào)數(shù)據(jù)集都已按 nnU-Net 數(shù)據(jù)集格式放置于nnUNet_raw中格式規(guī)范見 documentation/dataset_format.md。第 1 步為微調(diào)數(shù)據(jù)集執(zhí)行實驗規(guī)劃與預(yù)處理nnUNetv2_plan_and_preprocess -d FINETUNING_DATASET因為我們最終關(guān)心的是微調(diào)數(shù)據(jù)集所以需要先對它的數(shù)據(jù)進行數(shù)據(jù)指紋提取、實驗規(guī)劃與預(yù)處理產(chǎn)出它的 plans 文件。該命令的入口與實現(xiàn)位于 nnunetv2/experiment_planning/plan_and_preprocess_entrypoints.py核心 API 在 nnunetv2/experiment_planning/plan_and_preprocess_api.py 中。規(guī)劃完成后微調(diào)數(shù)據(jù)集在nnUNet_preprocessed目錄下會生成形如nnUNetPlans.json的 plans 文件。第 2 步提取預(yù)訓(xùn)練數(shù)據(jù)集的指紋若尚未生成nnUNetv2_extract_fingerprint -d PRETRAINING_DATASET該步驟只計算預(yù)訓(xùn)練數(shù)據(jù)集的指紋模態(tài)、spacing、強度分布等統(tǒng)計信息不做規(guī)劃。從源碼看它調(diào)用的是 nnunetv2/experiment_planning/plan_and_preprocess_api.py 中的extract_fingerprint_dataset實際計算由 nnunetv2/experiment_planning/dataset_fingerprint/fingerprint_extractor.py 中的DatasetFingerprintExtractor完成。指紋是后續(xù)預(yù)處理如裁剪、重采樣所必需的輸入。第 3 步將微調(diào)數(shù)據(jù)集的 plans 轉(zhuǎn)移到預(yù)訓(xùn)練數(shù)據(jù)集nnUNetv2_move_plans_between_datasets -s FINETUNING_DATASET -t PRETRAINING_DATASET -sp FINETUNING_PLANS_IDENTIFIER -tp PRETRAINING_PLANS_IDENTIFIER參數(shù)含義參數(shù)說明-s源數(shù)據(jù)集此處為微調(diào)數(shù)據(jù)集的名稱或 ID-t目標數(shù)據(jù)集此處為預(yù)訓(xùn)練數(shù)據(jù)集的名稱或 ID-sp源 plans 標識符即源數(shù)據(jù)集 plans 文件名去掉.json后綴的部分通常就是nnUNetPlans除非你在nnUNetv2_plan_and_preprocess時更換過實驗規(guī)劃器-tp目標 plans 標識符建議設(shè)置成一個自定義名稱如nnUNetPlansFrom2以免覆蓋預(yù)訓(xùn)練數(shù)據(jù)集默認的 plans該命令的實際實現(xiàn)在 nnunetv2/experiment_planning/plans_for_pretraining/move_plans_between_datasets.py 中入口為entry_point_move_plans_between_datasets邏輯核心是move_plans_between_datasets見 L12-L61。從源碼可以看到它在轉(zhuǎn)移時做了以下幾件事斷言前置條件要求源數(shù)據(jù)集已存在預(yù)處理目錄否則提示先運行nnUNetv2_plan_and_preprocess且源 plans 文件存在否則提示先執(zhí)行實驗規(guī)劃見 L23-L29改寫dataset_name把 plans 中的dataset_name改成目標預(yù)訓(xùn)練數(shù)據(jù)集名稱L32保證后續(xù)訓(xùn)練/推理能正確找到目標數(shù)據(jù)集改寫data_identifier若-tp與-sp不同會把每個 configuration 里的data_identifier前綴替換為目標標識符L35-L43這樣預(yù)處理產(chǎn)出的數(shù)據(jù)會落在以新標識符命名的子目錄下避免與預(yù)訓(xùn)練數(shù)據(jù)集原有預(yù)處理數(shù)據(jù)沖突改寫 reader/writer根據(jù)目標數(shù)據(jù)集的dataset.json與示例圖像重新確定image_reader_writerL45-L56保證讀取器與目標數(shù)據(jù)集的圖像格式匹配寫入新 plans 文件最終保存為nnUNet_preprocessed/預(yù)訓(xùn)練數(shù)據(jù)集/PRETRAINING_PLANS_IDENTIFIER.jsonL60-L61。第 4 步用轉(zhuǎn)移后的 plans 預(yù)處理預(yù)訓(xùn)練數(shù)據(jù)集nnUNetv2_preprocess -d PRETRAINING_DATASET -plans_name PRETRAINING_PLANS_IDENTIFIER注意這里必須顯式指定-plans_name PRETRAINING_PLANS_IDENTIFIER即第 3 步中你自定義的目標 plans 標識符。由于該 plans 中記錄的是微調(diào)數(shù)據(jù)集的 patch size、spacing 重采樣目標和歸一化參數(shù)預(yù)訓(xùn)練數(shù)據(jù)集的預(yù)處理數(shù)據(jù)將完全按微調(diào)數(shù)據(jù)集的口徑生成從而保證后續(xù)訓(xùn)練時兩邊的數(shù)據(jù)形態(tài)一致。第 5 步在預(yù)訓(xùn)練數(shù)據(jù)集上訓(xùn)練使用 all foldnnUNetv2_train PRETRAINING_DATASET CONFIG all -p PRETRAINING_PLANS_IDENTIFIERPRETRAINING_DATASET預(yù)訓(xùn)練數(shù)據(jù)集名稱或 IDCONFIG配置名如2d、3d_fullres等在轉(zhuǎn)移的 plans 中存在的 configurationall使用全部數(shù)據(jù)訓(xùn)練。原文檔明確指出預(yù)訓(xùn)練場景下沒有必要劃分數(shù)據(jù)做交叉驗證所以這里用allfold 而非0/1/2/3/4之一-p PRETRAINING_PLANS_IDENTIFIER指定使用轉(zhuǎn)移過來的自定義 plans。訓(xùn)練完成后或當你以其他方式獲得了兼容權(quán)重后預(yù)訓(xùn)練數(shù)據(jù)集的 checkpoint如checkpoint_final.pth即作為可復(fù)用的初始化權(quán)重。使用預(yù)訓(xùn)練權(quán)重初始化目標數(shù)據(jù)集模型基本命令nnUNetv2_train FINETUNING_DATASET CONFIG FOLD -pretrained_weights PATH_TO_CHECKPOINT其中PATH_TO_CHECKPOINT指向預(yù)訓(xùn)練階段產(chǎn)出的 checkpoint 文件例如.../checkpoint_final.pth。訓(xùn)練正常結(jié)束后你得到的就是在目標數(shù)據(jù)集上微調(diào)好的模型可用標準的 documentation/run_inference_with_pretrained_models.md 流程進行推理。源碼層面的實現(xiàn)細節(jié)-pretrained_weights的處理邏輯位于 nnunetv2/run/run_training.py與-c繼續(xù)訓(xùn)練互斥maybe_load_checkpoint中明確斷言——continue_training與pretrained_weights不能同時使用預(yù)訓(xùn)練權(quán)重只能在訓(xùn)練開始時加載見 L100-L104加載時機當既不是繼續(xù)訓(xùn)練也不是純驗證時且指定了pretrained_weights_file會先初始化 trainerinitialize()再調(diào)用load_pretrained_weights(nnunet_trainer.network, pretrained_weights_file, verboseTrue)將權(quán)重灌入網(wǎng)絡(luò)見 L120-L125繼續(xù)訓(xùn)練時的 checkpoint 查找順序checkpoint_final.pth→checkpoint_latest.pth→checkpoint_best.pth見 L106-L111這與微調(diào)后繼續(xù)訓(xùn)練的場景相關(guān)。權(quán)重加載函數(shù)位于 nnunetv2/run/load_pretrained_weights.py其機制值得展開按 key 與 shape 匹配只把 key 相同且 shape 相同的參數(shù)從預(yù)訓(xùn)練state_dict復(fù)制到當前網(wǎng)絡(luò)L62-L65并在加載前逐一斷言非分割層參數(shù)必須存在且形狀一致L43-L51跳過分割層key 中包含.seg_layers.的參數(shù)即最終輸出分割圖的 1x1(x1) 卷積層不會被轉(zhuǎn)移L30-L32。這正是原文檔所說加載預(yù)訓(xùn)練權(quán)重時除分割層外的所有層都會被使用的源碼依據(jù)——分割頭保持隨機初始化以適應(yīng)目標數(shù)據(jù)集的類別數(shù)兼容 DDP 與 torch.compile 前綴如果預(yù)訓(xùn)練權(quán)重來自 nnU-Net 之外的訓(xùn)練如 DDP 會加module.前綴、torch.compile 會加_orig_mod前綴需要先修正 key而 nnU-Net 自己保存的 checkpoint 由nnUNetTrainer.save_checkpoint處理過無需擔心L15-L18加載時也會自動剝離這些前綴L34-L40。微調(diào)階段的訓(xùn)練器選擇與自定義原文檔明確說明目前 nnU-Net 沒有專門針對微調(diào)場景定制的 trainer當前推薦做法就是直接使用標準nnUNetTrainer并配合-pretrained_weights參數(shù)。同時你完全可以根據(jù)需要編寫自己的 trainer 子類例如學(xué)習(xí)率 warmup/ramp up在微調(diào)初期使用較低或線性上升的學(xué)習(xí)率避免破壞預(yù)訓(xùn)練特征分割頭專項微調(diào)先凍結(jié)編碼器只訓(xùn)練分割頭再解凍全網(wǎng)絡(luò)縮短訓(xùn)練輪數(shù)因為模型已有良好的初始化可以顯著減少 epochs。關(guān)于自定義 trainer倉庫中已有大量可參考的變體實現(xiàn)如 nnunetv2/training/nnUNetTrainer/variants/ 下的各類 Trainer自定義 trainer 需要繼承nnUNetTrainer并置于nnunetv2.training.nnUNetTrainer命名空間下之后通過nnUNetv2_train的-tr參數(shù)指定該查找邏輯可參考 nnunetv2/utilities/find_class_by_name.py 的recursive_find_python_class。需要特別區(qū)分的是本倉庫 nnunetv2/training/nnUNetTrainer/pretraining/pretrainedTrainer.py 中的PretrainedTrainer以及PretrainedTrainer_Primus、PretrainedTrainer_150ep等系列是自監(jiān)督 nnssl 擴展路徑專用的訓(xùn)練器——它從 plans 中的pretrain_info讀取 checkpoint 路徑與 key 映射負責把 nnssl 預(yù)訓(xùn)練編碼器適配進分割網(wǎng)絡(luò)包括按輸入通道重復(fù) stem 權(quán)重、按 patch size 對可學(xué)習(xí)位置編碼做三線性插值等并配合 warmup→train 兩階段學(xué)習(xí)率調(diào)度。該訓(xùn)練器通過nnUNetv2_train_pretrained入口nnunetv2/run/run_training_from_pretrained.py啟動與本文討論的監(jiān)督式 plans 轉(zhuǎn)移 -pretrained_weights初始化是兩條相互獨立的流程詳見 documentation/finetuning_from_nnssl_checkpoints.md。實操注意事項匯總結(jié)合原文檔與源碼以下幾點在實踐中尤其重要plans 必須嚴格對齊預(yù)訓(xùn)練與微調(diào)必須使用同一份結(jié)構(gòu)相同的plans否則load_pretrained_weights中非分割層 key 與 shape 必須匹配的斷言會直接報錯-tp使用自定義標識符防止覆蓋預(yù)訓(xùn)練數(shù)據(jù)集原本的nnUNetPlans同時后續(xù)nnUNetv2_preprocess與nnUNetv2_train都要記得帶-plans_name/-p指向同一標識符歸一化方案會整體轉(zhuǎn)移包括 CT 的 clip 值、mean、std。若預(yù)訓(xùn)練數(shù)據(jù)集與微調(diào)數(shù)據(jù)集的歸一化差異過大遷移效果可能不佳分割層不遷移目標數(shù)據(jù)集的類別數(shù)不必與預(yù)訓(xùn)練數(shù)據(jù)集一致分割頭會從頭訓(xùn)練預(yù)訓(xùn)練用allfold預(yù)訓(xùn)練階段不劃分交叉驗證 fold把全部數(shù)據(jù)用于訓(xùn)練-pretrained_weights與-c互斥無法一邊繼續(xù)訓(xùn)練一邊加載預(yù)訓(xùn)練權(quán)重預(yù)訓(xùn)練權(quán)重只在訓(xùn)練初始階段生效checkpoint 路徑要寫對PATH_TO_CHECKPOINT應(yīng)指向真實存在的.pth文件如checkpoint_final.pth源碼會直接torch.load讀取其network_weights字段。總結(jié)nnU-Net v2 的監(jiān)督預(yù)訓(xùn)練方案本質(zhì)上是一個plans 搬運 權(quán)重初始化的流程通過nnUNetv2_move_plans_between_datasets把微調(diào)數(shù)據(jù)集的完整訓(xùn)練配置網(wǎng)絡(luò)拓撲、patch size、batch size、歸一化參數(shù)等遷移給預(yù)訓(xùn)練數(shù)據(jù)集在預(yù)訓(xùn)練數(shù)據(jù)集上用allfold 完成預(yù)訓(xùn)練最后用-pretrained_weights把預(yù)訓(xùn)練權(quán)重初始化到微調(diào)數(shù)據(jù)集分割層除外并正常訓(xùn)練。整套流程的所有關(guān)鍵環(huán)節(jié)都有對應(yīng)的源碼實現(xiàn)可供核對任何一步出錯如 plans 未對齊、checkpoint 路徑不存在、歸一化不匹配都能在報錯信息或代碼斷言中找到明確提示。贊分享人工智能深度學(xué)習(xí)計算機視覺醫(yī)療健康【免費下載鏈接】nnUNet項目地址https://gitcode.com/gh_mirrors/nn/nnUNet點擊查看免費下載相關(guān)推薦SimCLR 對比學(xué)習(xí)實戰(zhàn)TensorFlow Model Garden 中的無監(jiān)督預(yù)訓(xùn)練與半監(jiān)督微調(diào)全流程SimCLR 對比學(xué)習(xí)實戰(zhàn)TensorFlow Model Garden 中的無監(jiān)督預(yù)訓(xùn)練與半監(jiān)督微調(diào)全流程 TensorFlow Model Garden人工智能深度學(xué)習(xí)計算機視覺NLP語音Fairseq 中 wav2vec 2.0 全流程實戰(zhàn)數(shù)據(jù)清單、自監(jiān)督預(yù)訓(xùn)練、CTC 微調(diào)與跨語言擴展Fairseq 中 wav2vec 2.0 全流程實戰(zhàn)數(shù)據(jù)清單、自監(jiān)督預(yù)訓(xùn)練、CTC 微調(diào)與跨語言擴展 本文以 examples/wav2vec/README人工智能深度學(xué)習(xí)預(yù)訓(xùn)練NLP語音Ant Design DatePicker 的 needConfirm掌控選擇確認按鈕的提交時機Ant Design DatePicker 的 needConfirm掌控選擇確認按鈕的提交時機 本篇文章聚焦 Ant Design DatePicker 組大模型模型微調(diào)上一篇Komodo用戶行為分析優(yōu)化部署工具的使用體驗下一篇Satellizer逆向工程從編譯代碼還原認證流程設(shè)計創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考