練 Unity ML-Agents 模型：虛擬機(jī)、容器實例與 GPU 環(huán)境完整指南)
在 Microsoft Azure 上部署并訓(xùn)練 Unity ML-Agents 模型虛擬機(jī)、容器實例與 GPU 環(huán)境完整指南【免費下載鏈接】ml-agentsThe Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning.項目地址: https://gitcode.com/gh_mirrors/ml/ml-agents本指南基于 Unity ML-Agents 開源倉庫中 Training-on-Microsoft-Azure.md 編寫系統(tǒng)講解如何在 Microsoft Azure 云端完成 Unity ML-Agents 環(huán)境的訓(xùn)練任務(wù)覆蓋預(yù)配置數(shù)據(jù)科學(xué)虛擬機(jī)DSVM自定義 GPU 虛擬機(jī)手動搭建與Azure 容器實例ACI按需訓(xùn)練三條路徑并給出環(huán)境連通性測試、mlagents-learn訓(xùn)練命令、TensorBoard 遠(yuǎn)程監(jiān)控的完整實操步驟。讀完本文你將能夠在 Azure 上從零搭建一套可用于深度強(qiáng)化學(xué)習(xí)訓(xùn)練的云端環(huán)境并把本地 Unity 構(gòu)建的可執(zhí)行環(huán)境上傳后完成端到端的云端訓(xùn)練與結(jié)果監(jiān)控。方案總覽在 Azure 上訓(xùn)練 ML-Agents 的三條路徑在 Azure 上訓(xùn)練 ML-Agents 環(huán)境主要有三種方式各有適用場景方案適用場景特點預(yù)配置 Azure 虛擬機(jī)DSVM想最快開始訓(xùn)練不愿手動裝驅(qū)動開箱即用幾乎無需配置選擇 N 系列 GPU 機(jī)型即可默認(rèn)跑 GPU自定義實例自建虛擬機(jī)需要對環(huán)境有完全控制或想理解底層依賴從 NVIDIA 驅(qū)動、CUDA、cuDNN 開始逐步搭建可控性最強(qiáng)但步驟繁瑣Azure Container InstancesACI按需訓(xùn)練、用完即關(guān)避免閑置計費容器拉起即訓(xùn)、訓(xùn)完即銷毀不占用常駐虛擬機(jī)資源??重要說明來自原文檔原文檔作者已在團(tuán)隊內(nèi)部停止使用本指南因此其中的步驟可能不會在所有環(huán)境中正確工作保留下來僅供參考。同時原指南撰寫于 ML-Agents Toolkit v0.3 時代pip install mlagents1.1.0、PyTorch 1.7.0而當(dāng)前倉庫已全面轉(zhuǎn)向 PyTorch 訓(xùn)練后端ml-agents/mlagents/trainers目錄下已全部為 PyTorch 實現(xiàn)訓(xùn)練入口為 learn.py。因此本文在保留原文檔完整步驟的同時會對照當(dāng)前倉庫的實際實現(xiàn)給出適用的命令與參數(shù)說明。另外原文檔明確提示非 headless無圖形界面模式的訓(xùn)練尚未驗證其兼容性因此下面的所有步驟均以 headless 無圖形模式為準(zhǔn)。方案一使用預(yù)配置的 Azure 數(shù)據(jù)科學(xué)虛擬機(jī)DSVM最快的方式是從 Azure Marketplace 直接部署一個預(yù)配置鏡像——適用于 Linux (Ubuntu) 的數(shù)據(jù)科學(xué)虛擬機(jī)Data Science Virtual Machine, DSVM。該鏡像預(yù)裝了大量數(shù)據(jù)科學(xué)與深度學(xué)習(xí)所需的軟件部署完成后即可直接開始訓(xùn)練配置。部署時需要注意機(jī)型選擇對訓(xùn)練設(shè)備的決定性影響如果將鏡像部署到N 系列 GPU 優(yōu)化虛擬機(jī)訓(xùn)練默認(rèn)會在 GPU 上運行如果選擇其他任何類型的虛擬機(jī)訓(xùn)練將在 CPU 上運行。N 系列機(jī)型如 NC、ND、NV 系列是 Azure 上搭載 NVIDIA GPU 的虛擬機(jī)規(guī)格原文檔使用術(shù)語 N-Series GPU optimized VM 即指這類機(jī)型。安裝 ML-Agents 工具包無論選擇哪種虛擬機(jī)方案都需要在實例上安裝 ML-Agents 的 Python 訓(xùn)練端。原文檔給出的安裝步驟如下使用scp等工具將本倉庫中的ml-agents子文件夾移動復(fù)制到遠(yuǎn)程 Azure 實例并將其設(shè)置為工作目錄。安裝所需依賴包Torchpip3 install torch1.7.0 -f https://download.pytorch.org/whl/torch_stable.htmlMLAgentspython -m pip install mlagents1.1.0需要說明的是上述版本號對應(yīng) ML-Agents Toolkit v0.3 時代的歷史版本。當(dāng)前倉庫的 ML-Agents 已完全基于 PyTorch訓(xùn)練框架位于 ml-agents/mlagents/trainers環(huán)境通信庫位于 ml-agents-envs/mlagents_envs。使用當(dāng)前版本時應(yīng)直接安裝與倉庫配套的最新mlagents與mlagents-envs包python -m pip install mlagents mlagents-envs而不是固定到 1.1.0。訓(xùn)練端的版本信息可在訓(xùn)練啟動時查看learn.py 中的get_version_string()會同時打印ml-agents、ml-agents-envs、通信 API 版本以及 PyTorch 版本。測試環(huán)境連通性構(gòu)建 Linux headless 可執(zhí)行文件并驗證連接完成安裝后建議先驗證云端環(huán)境與 Unity 環(huán)境之間的通信是否正常步驟如下在 Unity Editor 中加載一個包含 ML-Agents 環(huán)境的項目如果沒有自建環(huán)境可以直接使用倉庫 Project/Assets/ML-Agents/Examples 下的示例環(huán)境。打開 Build Settings 窗口菜單File Build Settings。選擇Linux作為目標(biāo)平臺x86_64作為目標(biāo)架構(gòu)。勾選Headless Mode無頭模式。點擊 Build 構(gòu)建 Unity 環(huán)境可執(zhí)行文件。將構(gòu)建產(chǎn)物上傳到你的 Azure 實例。使用 Python 測試實例環(huán)境是否就緒from mlagents_envs.environment import UnityEnvironment env UnityEnvironment(file_nameyour_env, seed1, side_channels[])其中your_env對應(yīng)你的環(huán)境可執(zhí)行文件的路徑例如/home/UserName/Build/yourFile。如果一切正常你會收到一條確認(rèn)環(huán)境加載成功的消息。這段測試代碼直接對應(yīng) mlagents_envs/environment.py 中UnityEnvironment.__init__的構(gòu)造簽名file_name指定 Unity 環(huán)境二進(jìn)制文件seed設(shè)置隨機(jī)種子side_channels用于傳入非 RL 通信的附加側(cè)信道。從 environment.py 的_executable_args()可以看到Python 端啟動可執(zhí)行文件時會自動附加-nographics、-batchmode以及--mlagents-port 端口參數(shù)——這正是 headless 模式下環(huán)境能夠無顯示運行并與訓(xùn)練端建立 socket 通信的實現(xiàn)基礎(chǔ)。headless 模式的關(guān)鍵注意點在 headless 模式下運行環(huán)境時必須在mlagents-learn命令中追加--no-graphics參數(shù)否則訓(xùn)練無法進(jìn)行。你可以通過簡單的方式驗證中止一次訓(xùn)練查看輸出是 Model Saved 還是 Aborted或者檢查結(jié)果文件夾中是否生成了.onnx模型文件。該參數(shù)在 cli_utils.py 中有明確定義--no-graphics表示以無圖形模式運行 Unity 可執(zhí)行文件即不初始化圖形驅(qū)動僅在智能體不使用視覺觀測時適用。與之對應(yīng)的還有--no-graphics-monitor主 worker 保持圖形模式、其余 worker 無圖形。在虛擬機(jī)上運行訓(xùn)練將環(huán)境可執(zhí)行文件上傳到虛擬機(jī)并完成安裝后即可開始訓(xùn)練使用scp將構(gòu)建好的 Unity 應(yīng)用移動到你的虛擬機(jī)上。將安裝了 ML-Agents 工具包的目錄設(shè)置為工作目錄。運行以下命令mlagents-learn trainer_config --envyour_app --run-idrun_id --train參數(shù)說明trainer_config訓(xùn)練器配置文件路徑Y(jié)AML 格式定義行為behaviors、超參數(shù)與獎勵信號等your_appUnity 可執(zhí)行文件路徑例如~/unity-volume/3DBallHeadlessrun_id本次訓(xùn)練運行的標(biāo)識符用于命名模型與統(tǒng)計數(shù)據(jù)的保存目錄。如果你選擇的是帶 GPU 支持的 N 系列虛擬機(jī)可以在命令行運行nvidia-smi驗證 GPU 是否確實被訓(xùn)練進(jìn)程使用。當(dāng)前版本命令參數(shù)深入說明原文檔中的命令沿用至今但當(dāng)前倉庫的命令行參數(shù)已大幅擴(kuò)展完整定義位于 cli_utils.py 的_create_parser()中常用參數(shù)包括參數(shù)默認(rèn)值說明trainer_config_path位置參數(shù)None訓(xùn)練器 YAML 配置文件路徑--envNone要訓(xùn)練的 Unity 可執(zhí)行文件路徑--run-idppo訓(xùn)練運行標(biāo)識用于命名模型、統(tǒng)計子目錄及模型文件本身用 TensorBoard 觀察時務(wù)必為每次運行設(shè)置唯一 id否則同一 id 的統(tǒng)計數(shù)據(jù)會被合并--trainFalse是否進(jìn)入訓(xùn)練模式--forceFalse是否強(qiáng)制覆蓋該 run-id 已存在的 summary 與模型數(shù)據(jù)不指定時若 run-id 已被使用過會報錯--resumeFalse是否從檢查點恢復(fù)訓(xùn)練需配合--run-id--initialize-fromNone從指定 run-id 的已存模型初始化網(wǎng)絡(luò)可用于在新環(huán)境上微調(diào)已有模型--seed-1訓(xùn)練代碼隨機(jī)數(shù)生成器種子--num-envs1訓(xùn)練時并行啟動的 Unity 環(huán)境實例數(shù)--num-areas1每個 Unity 環(huán)境實例內(nèi)的并行訓(xùn)練區(qū)Training Area數(shù)量--base-port5005環(huán)境通信起始端口每個并發(fā)實例依次使用base_port worker_id--results-dirresults結(jié)果基礎(chǔ)目錄--no-graphicsFalseheadless 無圖形模式不初始化圖形驅(qū)動僅適用于無視覺觀測的智能體--torch-deviceNone訓(xùn)練所用torch.device如cpu、cuda或cuda:0用于顯式指定 GPU--timeout-wait60等待 Unity 環(huán)境啟動的超時時間秒--max-lifetime-restarts10Unity 可執(zhí)行文件整個生命周期內(nèi)允許崩潰重啟的最大次數(shù)-1表示不限訓(xùn)練配置文件的完整寫法可參考倉庫 config/ppo/3DBall.yamlbehaviors: 3DBall: trainer_type: ppo hyperparameters: batch_size: 64 buffer_size: 12000 learning_rate: 0.0003 beta: 0.001 epsilon: 0.2 lambd: 0.99 num_epoch: 3 learning_rate_schedule: linear network_settings: normalize: true hidden_units: 128 num_layers: 2 vis_encode_type: simple reward_signals: extrinsic: gamma: 0.99 strength: 1.0 keep_checkpoints: 5 max_steps: 500000 time_horizon: 1000 summary_freq: 12000從 learn.py 的run_training()可以看清訓(xùn)練啟動的底層鏈路命令行參數(shù)經(jīng)parse_command_line解析為RunOptions隨后依次執(zhí)行目錄校驗validate_existing_directories、注冊 TensorBoard 統(tǒng)計寫入器register_stats_writer_plugins、通過create_environment_factory創(chuàng)建環(huán)境工廠再交由SubprocessEnvManager管理多個環(huán)境實例、TrainerFactory按配置創(chuàng)建對應(yīng)算法訓(xùn)練器最后由TrainerController.start_learning()啟動訓(xùn)練循環(huán)見 trainer_controller.py。訓(xùn)練結(jié)束時會生成configuration.yaml、training_status.json、timers.json等運行記錄文件learn.py。用 TensorBoard 遠(yuǎn)程監(jiān)控訓(xùn)練進(jìn)度訓(xùn)練開始后可以使用 TensorBoard 觀察訓(xùn)練過程詳細(xì)說明參見倉庫文檔 Using-Tensorboard.md。由于是遠(yuǎn)程虛擬機(jī)還需要額外配置網(wǎng)絡(luò)訪問首先為你的虛擬機(jī)開放 Web 流量的相應(yīng)端口。注意不需要新建 Network Security Group網(wǎng)絡(luò)安全組而是進(jìn)入虛擬機(jī) Settings 下的Networking選項卡進(jìn)行配置。以開放端口 6006 為例入站規(guī)則Inbound Rule可設(shè)置為Source源AnySource Port Ranges源端口范圍*Destination目標(biāo)AnyDestination Port Ranges目標(biāo)端口范圍6006Protocol協(xié)議AnyAction操作AllowPriority優(yōu)先級保持默認(rèn)除非訓(xùn)練是以后臺進(jìn)程方式啟動的否則請從另一個終端會話連接到你的虛擬機(jī)。在終端中運行tensorboard --logdir results --host 0.0.0.0然后在瀏覽器中訪問你的虛擬機(jī)IP地址:6006即可查看 TensorBoard 報告。說明原文檔第 4 步寫作端口 6060但第 1 步開放及 TensorBoard 默認(rèn)端口均為 6006本文按 6006 統(tǒng)一處理。--logdir results指向mlagents-learn默認(rèn)的結(jié)果輸出目錄TensorBoard 會按run-id值組織各次訓(xùn)練的統(tǒng)計子目錄若未指定--run-id默認(rèn)字符串為ppo見 cli_utils.py。TensorBoard 的默認(rèn)端口是 6006若該端口已被占用可通過--port選項換用其他空閑端口。TensorBoard 中可以觀察的訓(xùn)練統(tǒng)計量包括環(huán)境統(tǒng)計Environment/Cumulative Reward累積獎勵、Environment/Episode Length回合長度、Environment/Lesson課程進(jìn)度、策略統(tǒng)計Policy/Entropy熵、Policy/Learning Rate學(xué)習(xí)率、Policy/Value Estimate價值估計等、損失函數(shù)Losses/Policy Loss、Losses/Value Loss等以及自我對弈場景下的Self-Play/ELO評分。在 headless 云端訓(xùn)練中Environment/Cumulative Reward與Policy/Entropy是判斷訓(xùn)練是否收斂的最直觀指標(biāo)。方案二使用 Azure Container InstancesACI按需訓(xùn)練Azure Container Instances (ACI) 允許你按需拉起一個容器來執(zhí)行訓(xùn)練訓(xùn)練完成后容器即被關(guān)閉。這種方式的核心價值在于避免訓(xùn)練結(jié)束后仍讓可計費的虛擬機(jī)空轉(zhuǎn)將模型訓(xùn)練完全卸載到云端無需在自己的電腦上安裝 Python 和 TensorFlow/PyTorch。使用 ACI 時你需要將訓(xùn)練環(huán)境含 ML-Agents 工具包、Unity 可執(zhí)行文件打包進(jìn)容器鏡像通過 ACI 啟動容器執(zhí)行mlagents-learn訓(xùn)練命令訓(xùn)練產(chǎn)出模型文件、TensorBoard 日志持久化到掛載的存儲卷后隨容器銷毀一并歸檔。倉庫根目錄提供了 Dockerfile可作為構(gòu)建訓(xùn)練容器鏡像的參考起點。方案三自定義實例——從零手動搭建 GPU 訓(xùn)練虛擬機(jī)如果希望完全掌控環(huán)境可以按以下步驟手動搭建一臺自定義虛擬機(jī)。此部分為原文檔的完整步驟注意其中驅(qū)動與 CUDA 版本均針對 Ubuntu 16.04 LTS 測試環(huán)境屬于歷史版本僅作原理性參考。首先在 Azure 門戶部署一臺 Ubuntu Linux 虛擬機(jī)原文檔測試環(huán)境為 Ubuntu 16.04 LTS。若要使用 GPU 支持請選擇 N 系列虛擬機(jī)。SSH 登錄虛擬機(jī)。安裝 NVIDIA 驅(qū)動wget http://us.download.nvidia.com/tesla/375.66/nvidia-diag-driver-local-repo-ubuntu1604_375.66-1_amd64.deb sudo dpkg -i nvidia-diag-driver-local-repo-ubuntu1604_375.66-1_amd64.deb sudo apt-get update sudo apt-get install cuda-drivers sudo reboot一分鐘后重新連接虛擬機(jī)安裝 CUDA 工具包wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb sudo apt-get update sudo apt-get install cuda-8-0接下來需要從 NVIDIA 開發(fā)者網(wǎng)站下載 cuDNN這要求注冊 NVIDIA 開發(fā)者賬號。訪問 developer.nvidia.com 創(chuàng)建并驗證賬號。從 NVIDIA 官網(wǎng)下載與你安裝的 CUDA 版本匹配的 cuDNN deb 包原文檔示例為libcudnn6_6.0.20-1cuda8.0_amd64.deb下載到本地電腦。將 deb 包復(fù)制到虛擬機(jī)scp libcudnn6_6.0.21-1cuda8.0_amd64.deb VMUserNameVMIPAddress:libcudnn6_6.0.21-1cuda8.0_amd64.debSSH 回到虛擬機(jī)并執(zhí)行sudo dpkg -i libcudnn6_6.0.21-1cuda8.0_amd64.deb export LD_LIBRARY_PATH/usr/local/cuda/lib64/:/usr/lib/x86_64-linux-gnu/:$LD_LIBRARY_PATH . ~/.profile sudo reboot一分鐘后重新 SSH 進(jìn)入虛擬機(jī)安裝 Python 包管理器sudo apt install python-pip sudo apt install python3-pip接下來安裝深度學(xué)習(xí)框架。原文檔要求根據(jù)是否使用 GPU 選擇安裝版本GPU 訓(xùn)練pip3 install tensorflow-gpu1.4.0 keras2.0.6CPU 訓(xùn)練pip3 install tensorflow1.4.0 keras2.0.6?? 版本提示上述 TensorFlow 1.4.0 / Keras 2.0.6 是 ML-Agents v0.3 時代TensorFlow 后端的安裝方式。當(dāng)前倉庫的訓(xùn)練后端已完全遷移至 PyTorch參見 ml-agents/mlagents/trainers 下的ppo/、sac/、poca/等算法目錄因此在當(dāng)前版本下此步應(yīng)改為安裝 PyTorch 與配套的mlagents包并在 cli_utils.py 中通過--torch-device參數(shù)顯式選擇cuda設(shè)備來使用 GPU。最后安裝其余依賴pip3 install pillow pip3 install numpy完成以上步驟后你的自定義 Azure 虛擬機(jī)就具備了運行 ML-Agents 訓(xùn)練的全部條件可以回到前面的安裝 ML-Agents 工具包測試環(huán)境連通性與運行訓(xùn)練章節(jié)繼續(xù)操作。常見問題與注意事項headless 訓(xùn)練必須加--no-graphics否則mlagents-learn無法在無圖形會話中推進(jìn)訓(xùn)練。判斷方式中止訓(xùn)練后檢查輸出是否為 Model Saved或查看結(jié)果目錄是否生成了.onnx模型文件。GPU 是否生效的驗證在 N 系列 GPU 虛擬機(jī)上運行nvidia-smi確認(rèn)訓(xùn)練進(jìn)程占用了 GPU也可在訓(xùn)練命令中通過--torch-device cuda顯式指定。安全提示Python 與 Unity 環(huán)境之間通過開放的 socket 通信且無認(rèn)證見 environment.py 的構(gòu)造注釋請確保訓(xùn)練網(wǎng)絡(luò)環(huán)境安全可信。run-id 唯一性TensorBoard 會把同一 run-id 的所有運行統(tǒng)計合并顯示云端多次訓(xùn)練務(wù)必使用不同run-id或訓(xùn)練前刪除results目錄下對應(yīng)子目錄。版本兼容性原文檔針對 ML-Agents v0.3 編寫安裝命令中的具體版本號mlagents1.1.0、torch1.7.0、tensorflow-gpu1.4.0等不適用于當(dāng)前 PyTorch 版本倉庫請以當(dāng)前倉庫配套的最新包版本為準(zhǔn)。免閑置計費若僅需臨時跑一輪訓(xùn)練優(yōu)先考慮 ACI 容器方案訓(xùn)練結(jié)束即銷毀避免虛擬機(jī)空轉(zhuǎn)產(chǎn)生持續(xù)費用?！久赓M下載鏈接】ml-agentsThe Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning.項目地址: https://gitcode.com/gh_mirrors/ml/ml-agents創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 在 Microsoft Azure 上部署并訓(xùn)練 Unity ML-Agents 模型：虛擬機(jī)、容器實例與 GPU 環(huán)境完整指南
在 Microsoft Azure 上部署并訓(xùn)練 Unity ML-Agents 模型虛擬機(jī)、容器實例與 GPU 環(huán)境完整指南【免費下載鏈接】ml-agentsThe Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning.項目地址: https://gitcode.com/gh_mirrors/ml/ml-agents本指南基于 Unity ML-Agents 開源倉庫中 Training-on-Microsoft-Azure.md 編寫系統(tǒng)講解如何在 Microsoft Azure 云端完成 Unity ML-Agents 環(huán)境的訓(xùn)練任務(wù)覆蓋預(yù)配置數(shù)據(jù)科學(xué)虛擬機(jī)DSVM自定義 GPU 虛擬機(jī)手動搭建與Azure 容器實例ACI按需訓(xùn)練三條路徑并給出環(huán)境連通性測試、mlagents-learn訓(xùn)練命令、TensorBoard 遠(yuǎn)程監(jiān)控的完整實操步驟。讀完本文你將能夠在 Azure 上從零搭建一套可用于深度強(qiáng)化學(xué)習(xí)訓(xùn)練的云端環(huán)境并把本地 Unity 構(gòu)建的可執(zhí)行環(huán)境上傳后完成端到端的云端訓(xùn)練與結(jié)果監(jiān)控。方案總覽在 Azure 上訓(xùn)練 ML-Agents 的三條路徑在 Azure 上訓(xùn)練 ML-Agents 環(huán)境主要有三種方式各有適用場景方案適用場景特點預(yù)配置 Azure 虛擬機(jī)DSVM想最快開始訓(xùn)練不愿手動裝驅(qū)動開箱即用幾乎無需配置選擇 N 系列 GPU 機(jī)型即可默認(rèn)跑 GPU自定義實例自建虛擬機(jī)需要對環(huán)境有完全控制或想理解底層依賴從 NVIDIA 驅(qū)動、CUDA、cuDNN 開始逐步搭建可控性最強(qiáng)但步驟繁瑣Azure Container InstancesACI按需訓(xùn)練、用完即關(guān)避免閑置計費容器拉起即訓(xùn)、訓(xùn)完即銷毀不占用常駐虛擬機(jī)資源??重要說明來自原文檔原文檔作者已在團(tuán)隊內(nèi)部停止使用本指南因此其中的步驟可能不會在所有環(huán)境中正確工作保留下來僅供參考。同時原指南撰寫于 ML-Agents Toolkit v0.3 時代pip install mlagents1.1.0、PyTorch 1.7.0而當(dāng)前倉庫已全面轉(zhuǎn)向 PyTorch 訓(xùn)練后端ml-agents/mlagents/trainers目錄下已全部為 PyTorch 實現(xiàn)訓(xùn)練入口為 learn.py。因此本文在保留原文檔完整步驟的同時會對照當(dāng)前倉庫的實際實現(xiàn)給出適用的命令與參數(shù)說明。另外原文檔明確提示非 headless無圖形界面模式的訓(xùn)練尚未驗證其兼容性因此下面的所有步驟均以 headless 無圖形模式為準(zhǔn)。方案一使用預(yù)配置的 Azure 數(shù)據(jù)科學(xué)虛擬機(jī)DSVM最快的方式是從 Azure Marketplace 直接部署一個預(yù)配置鏡像——適用于 Linux (Ubuntu) 的數(shù)據(jù)科學(xué)虛擬機(jī)Data Science Virtual Machine, DSVM。該鏡像預(yù)裝了大量數(shù)據(jù)科學(xué)與深度學(xué)習(xí)所需的軟件部署完成后即可直接開始訓(xùn)練配置。部署時需要注意機(jī)型選擇對訓(xùn)練設(shè)備的決定性影響如果將鏡像部署到N 系列 GPU 優(yōu)化虛擬機(jī)訓(xùn)練默認(rèn)會在 GPU 上運行如果選擇其他任何類型的虛擬機(jī)訓(xùn)練將在 CPU 上運行。N 系列機(jī)型如 NC、ND、NV 系列是 Azure 上搭載 NVIDIA GPU 的虛擬機(jī)規(guī)格原文檔使用術(shù)語 N-Series GPU optimized VM 即指這類機(jī)型。安裝 ML-Agents 工具包無論選擇哪種虛擬機(jī)方案都需要在實例上安裝 ML-Agents 的 Python 訓(xùn)練端。原文檔給出的安裝步驟如下使用scp等工具將本倉庫中的ml-agents子文件夾移動復(fù)制到遠(yuǎn)程 Azure 實例并將其設(shè)置為工作目錄。安裝所需依賴包Torchpip3 install torch1.7.0 -f https://download.pytorch.org/whl/torch_stable.htmlMLAgentspython -m pip install mlagents1.1.0需要說明的是上述版本號對應(yīng) ML-Agents Toolkit v0.3 時代的歷史版本。當(dāng)前倉庫的 ML-Agents 已完全基于 PyTorch訓(xùn)練框架位于 ml-agents/mlagents/trainers環(huán)境通信庫位于 ml-agents-envs/mlagents_envs。使用當(dāng)前版本時應(yīng)直接安裝與倉庫配套的最新mlagents與mlagents-envs包python -m pip install mlagents mlagents-envs而不是固定到 1.1.0。訓(xùn)練端的版本信息可在訓(xùn)練啟動時查看learn.py 中的get_version_string()會同時打印ml-agents、ml-agents-envs、通信 API 版本以及 PyTorch 版本。測試環(huán)境連通性構(gòu)建 Linux headless 可執(zhí)行文件并驗證連接完成安裝后建議先驗證云端環(huán)境與 Unity 環(huán)境之間的通信是否正常步驟如下在 Unity Editor 中加載一個包含 ML-Agents 環(huán)境的項目如果沒有自建環(huán)境可以直接使用倉庫 Project/Assets/ML-Agents/Examples 下的示例環(huán)境。打開 Build Settings 窗口菜單File Build Settings。選擇Linux作為目標(biāo)平臺x86_64作為目標(biāo)架構(gòu)。勾選Headless Mode無頭模式。點擊 Build 構(gòu)建 Unity 環(huán)境可執(zhí)行文件。將構(gòu)建產(chǎn)物上傳到你的 Azure 實例。使用 Python 測試實例環(huán)境是否就緒from mlagents_envs.environment import UnityEnvironment env UnityEnvironment(file_nameyour_env, seed1, side_channels[])其中your_env對應(yīng)你的環(huán)境可執(zhí)行文件的路徑例如/home/UserName/Build/yourFile。如果一切正常你會收到一條確認(rèn)環(huán)境加載成功的消息。這段測試代碼直接對應(yīng) mlagents_envs/environment.py 中UnityEnvironment.__init__的構(gòu)造簽名file_name指定 Unity 環(huán)境二進(jìn)制文件seed設(shè)置隨機(jī)種子side_channels用于傳入非 RL 通信的附加側(cè)信道。從 environment.py 的_executable_args()可以看到Python 端啟動可執(zhí)行文件時會自動附加-nographics、-batchmode以及--mlagents-port 端口參數(shù)——這正是 headless 模式下環(huán)境能夠無顯示運行并與訓(xùn)練端建立 socket 通信的實現(xiàn)基礎(chǔ)。headless 模式的關(guān)鍵注意點在 headless 模式下運行環(huán)境時必須在mlagents-learn命令中追加--no-graphics參數(shù)否則訓(xùn)練無法進(jìn)行。你可以通過簡單的方式驗證中止一次訓(xùn)練查看輸出是 Model Saved 還是 Aborted或者檢查結(jié)果文件夾中是否生成了.onnx模型文件。該參數(shù)在 cli_utils.py 中有明確定義--no-graphics表示以無圖形模式運行 Unity 可執(zhí)行文件即不初始化圖形驅(qū)動僅在智能體不使用視覺觀測時適用。與之對應(yīng)的還有--no-graphics-monitor主 worker 保持圖形模式、其余 worker 無圖形。在虛擬機(jī)上運行訓(xùn)練將環(huán)境可執(zhí)行文件上傳到虛擬機(jī)并完成安裝后即可開始訓(xùn)練使用scp將構(gòu)建好的 Unity 應(yīng)用移動到你的虛擬機(jī)上。將安裝了 ML-Agents 工具包的目錄設(shè)置為工作目錄。運行以下命令mlagents-learn trainer_config --envyour_app --run-idrun_id --train參數(shù)說明trainer_config訓(xùn)練器配置文件路徑Y(jié)AML 格式定義行為behaviors、超參數(shù)與獎勵信號等your_appUnity 可執(zhí)行文件路徑例如~/unity-volume/3DBallHeadlessrun_id本次訓(xùn)練運行的標(biāo)識符用于命名模型與統(tǒng)計數(shù)據(jù)的保存目錄。如果你選擇的是帶 GPU 支持的 N 系列虛擬機(jī)可以在命令行運行nvidia-smi驗證 GPU 是否確實被訓(xùn)練進(jìn)程使用。當(dāng)前版本命令參數(shù)深入說明原文檔中的命令沿用至今但當(dāng)前倉庫的命令行參數(shù)已大幅擴(kuò)展完整定義位于 cli_utils.py 的_create_parser()中常用參數(shù)包括參數(shù)默認(rèn)值說明trainer_config_path位置參數(shù)None訓(xùn)練器 YAML 配置文件路徑--envNone要訓(xùn)練的 Unity 可執(zhí)行文件路徑--run-idppo訓(xùn)練運行標(biāo)識用于命名模型、統(tǒng)計子目錄及模型文件本身用 TensorBoard 觀察時務(wù)必為每次運行設(shè)置唯一 id否則同一 id 的統(tǒng)計數(shù)據(jù)會被合并--trainFalse是否進(jìn)入訓(xùn)練模式--forceFalse是否強(qiáng)制覆蓋該 run-id 已存在的 summary 與模型數(shù)據(jù)不指定時若 run-id 已被使用過會報錯--resumeFalse是否從檢查點恢復(fù)訓(xùn)練需配合--run-id--initialize-fromNone從指定 run-id 的已存模型初始化網(wǎng)絡(luò)可用于在新環(huán)境上微調(diào)已有模型--seed-1訓(xùn)練代碼隨機(jī)數(shù)生成器種子--num-envs1訓(xùn)練時并行啟動的 Unity 環(huán)境實例數(shù)--num-areas1每個 Unity 環(huán)境實例內(nèi)的并行訓(xùn)練區(qū)Training Area數(shù)量--base-port5005環(huán)境通信起始端口每個并發(fā)實例依次使用base_port worker_id--results-dirresults結(jié)果基礎(chǔ)目錄--no-graphicsFalseheadless 無圖形模式不初始化圖形驅(qū)動僅適用于無視覺觀測的智能體--torch-deviceNone訓(xùn)練所用torch.device如cpu、cuda或cuda:0用于顯式指定 GPU--timeout-wait60等待 Unity 環(huán)境啟動的超時時間秒--max-lifetime-restarts10Unity 可執(zhí)行文件整個生命周期內(nèi)允許崩潰重啟的最大次數(shù)-1表示不限訓(xùn)練配置文件的完整寫法可參考倉庫 config/ppo/3DBall.yamlbehaviors: 3DBall: trainer_type: ppo hyperparameters: batch_size: 64 buffer_size: 12000 learning_rate: 0.0003 beta: 0.001 epsilon: 0.2 lambd: 0.99 num_epoch: 3 learning_rate_schedule: linear network_settings: normalize: true hidden_units: 128 num_layers: 2 vis_encode_type: simple reward_signals: extrinsic: gamma: 0.99 strength: 1.0 keep_checkpoints: 5 max_steps: 500000 time_horizon: 1000 summary_freq: 12000從 learn.py 的run_training()可以看清訓(xùn)練啟動的底層鏈路命令行參數(shù)經(jīng)parse_command_line解析為RunOptions隨后依次執(zhí)行目錄校驗validate_existing_directories、注冊 TensorBoard 統(tǒng)計寫入器register_stats_writer_plugins、通過create_environment_factory創(chuàng)建環(huán)境工廠再交由SubprocessEnvManager管理多個環(huán)境實例、TrainerFactory按配置創(chuàng)建對應(yīng)算法訓(xùn)練器最后由TrainerController.start_learning()啟動訓(xùn)練循環(huán)見 trainer_controller.py。訓(xùn)練結(jié)束時會生成configuration.yaml、training_status.json、timers.json等運行記錄文件learn.py。用 TensorBoard 遠(yuǎn)程監(jiān)控訓(xùn)練進(jìn)度訓(xùn)練開始后可以使用 TensorBoard 觀察訓(xùn)練過程詳細(xì)說明參見倉庫文檔 Using-Tensorboard.md。由于是遠(yuǎn)程虛擬機(jī)還需要額外配置網(wǎng)絡(luò)訪問首先為你的虛擬機(jī)開放 Web 流量的相應(yīng)端口。注意不需要新建 Network Security Group網(wǎng)絡(luò)安全組而是進(jìn)入虛擬機(jī) Settings 下的Networking選項卡進(jìn)行配置。以開放端口 6006 為例入站規(guī)則Inbound Rule可設(shè)置為Source源AnySource Port Ranges源端口范圍*Destination目標(biāo)AnyDestination Port Ranges目標(biāo)端口范圍6006Protocol協(xié)議AnyAction操作AllowPriority優(yōu)先級保持默認(rèn)除非訓(xùn)練是以后臺進(jìn)程方式啟動的否則請從另一個終端會話連接到你的虛擬機(jī)。在終端中運行tensorboard --logdir results --host 0.0.0.0然后在瀏覽器中訪問你的虛擬機(jī)IP地址:6006即可查看 TensorBoard 報告。說明原文檔第 4 步寫作端口 6060但第 1 步開放及 TensorBoard 默認(rèn)端口均為 6006本文按 6006 統(tǒng)一處理。--logdir results指向mlagents-learn默認(rèn)的結(jié)果輸出目錄TensorBoard 會按run-id值組織各次訓(xùn)練的統(tǒng)計子目錄若未指定--run-id默認(rèn)字符串為ppo見 cli_utils.py。TensorBoard 的默認(rèn)端口是 6006若該端口已被占用可通過--port選項換用其他空閑端口。TensorBoard 中可以觀察的訓(xùn)練統(tǒng)計量包括環(huán)境統(tǒng)計Environment/Cumulative Reward累積獎勵、Environment/Episode Length回合長度、Environment/Lesson課程進(jìn)度、策略統(tǒng)計Policy/Entropy熵、Policy/Learning Rate學(xué)習(xí)率、Policy/Value Estimate價值估計等、損失函數(shù)Losses/Policy Loss、Losses/Value Loss等以及自我對弈場景下的Self-Play/ELO評分。在 headless 云端訓(xùn)練中Environment/Cumulative Reward與Policy/Entropy是判斷訓(xùn)練是否收斂的最直觀指標(biāo)。方案二使用 Azure Container InstancesACI按需訓(xùn)練Azure Container Instances (ACI) 允許你按需拉起一個容器來執(zhí)行訓(xùn)練訓(xùn)練完成后容器即被關(guān)閉。這種方式的核心價值在于避免訓(xùn)練結(jié)束后仍讓可計費的虛擬機(jī)空轉(zhuǎn)將模型訓(xùn)練完全卸載到云端無需在自己的電腦上安裝 Python 和 TensorFlow/PyTorch。使用 ACI 時你需要將訓(xùn)練環(huán)境含 ML-Agents 工具包、Unity 可執(zhí)行文件打包進(jìn)容器鏡像通過 ACI 啟動容器執(zhí)行mlagents-learn訓(xùn)練命令訓(xùn)練產(chǎn)出模型文件、TensorBoard 日志持久化到掛載的存儲卷后隨容器銷毀一并歸檔。倉庫根目錄提供了 Dockerfile可作為構(gòu)建訓(xùn)練容器鏡像的參考起點。方案三自定義實例——從零手動搭建 GPU 訓(xùn)練虛擬機(jī)如果希望完全掌控環(huán)境可以按以下步驟手動搭建一臺自定義虛擬機(jī)。此部分為原文檔的完整步驟注意其中驅(qū)動與 CUDA 版本均針對 Ubuntu 16.04 LTS 測試環(huán)境屬于歷史版本僅作原理性參考。首先在 Azure 門戶部署一臺 Ubuntu Linux 虛擬機(jī)原文檔測試環(huán)境為 Ubuntu 16.04 LTS。若要使用 GPU 支持請選擇 N 系列虛擬機(jī)。SSH 登錄虛擬機(jī)。安裝 NVIDIA 驅(qū)動wget http://us.download.nvidia.com/tesla/375.66/nvidia-diag-driver-local-repo-ubuntu1604_375.66-1_amd64.deb sudo dpkg -i nvidia-diag-driver-local-repo-ubuntu1604_375.66-1_amd64.deb sudo apt-get update sudo apt-get install cuda-drivers sudo reboot一分鐘后重新連接虛擬機(jī)安裝 CUDA 工具包wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb sudo apt-get update sudo apt-get install cuda-8-0接下來需要從 NVIDIA 開發(fā)者網(wǎng)站下載 cuDNN這要求注冊 NVIDIA 開發(fā)者賬號。訪問 developer.nvidia.com 創(chuàng)建并驗證賬號。從 NVIDIA 官網(wǎng)下載與你安裝的 CUDA 版本匹配的 cuDNN deb 包原文檔示例為libcudnn6_6.0.20-1cuda8.0_amd64.deb下載到本地電腦。將 deb 包復(fù)制到虛擬機(jī)scp libcudnn6_6.0.21-1cuda8.0_amd64.deb VMUserNameVMIPAddress:libcudnn6_6.0.21-1cuda8.0_amd64.debSSH 回到虛擬機(jī)并執(zhí)行sudo dpkg -i libcudnn6_6.0.21-1cuda8.0_amd64.deb export LD_LIBRARY_PATH/usr/local/cuda/lib64/:/usr/lib/x86_64-linux-gnu/:$LD_LIBRARY_PATH . ~/.profile sudo reboot一分鐘后重新 SSH 進(jìn)入虛擬機(jī)安裝 Python 包管理器sudo apt install python-pip sudo apt install python3-pip接下來安裝深度學(xué)習(xí)框架。原文檔要求根據(jù)是否使用 GPU 選擇安裝版本GPU 訓(xùn)練pip3 install tensorflow-gpu1.4.0 keras2.0.6CPU 訓(xùn)練pip3 install tensorflow1.4.0 keras2.0.6?? 版本提示上述 TensorFlow 1.4.0 / Keras 2.0.6 是 ML-Agents v0.3 時代TensorFlow 后端的安裝方式。當(dāng)前倉庫的訓(xùn)練后端已完全遷移至 PyTorch參見 ml-agents/mlagents/trainers 下的ppo/、sac/、poca/等算法目錄因此在當(dāng)前版本下此步應(yīng)改為安裝 PyTorch 與配套的mlagents包并在 cli_utils.py 中通過--torch-device參數(shù)顯式選擇cuda設(shè)備來使用 GPU。最后安裝其余依賴pip3 install pillow pip3 install numpy完成以上步驟后你的自定義 Azure 虛擬機(jī)就具備了運行 ML-Agents 訓(xùn)練的全部條件可以回到前面的安裝 ML-Agents 工具包測試環(huán)境連通性與運行訓(xùn)練章節(jié)繼續(xù)操作。常見問題與注意事項headless 訓(xùn)練必須加--no-graphics否則mlagents-learn無法在無圖形會話中推進(jìn)訓(xùn)練。判斷方式中止訓(xùn)練后檢查輸出是否為 Model Saved或查看結(jié)果目錄是否生成了.onnx模型文件。GPU 是否生效的驗證在 N 系列 GPU 虛擬機(jī)上運行nvidia-smi確認(rèn)訓(xùn)練進(jìn)程占用了 GPU也可在訓(xùn)練命令中通過--torch-device cuda顯式指定。安全提示Python 與 Unity 環(huán)境之間通過開放的 socket 通信且無認(rèn)證見 environment.py 的構(gòu)造注釋請確保訓(xùn)練網(wǎng)絡(luò)環(huán)境安全可信。run-id 唯一性TensorBoard 會把同一 run-id 的所有運行統(tǒng)計合并顯示云端多次訓(xùn)練務(wù)必使用不同run-id或訓(xùn)練前刪除results目錄下對應(yīng)子目錄。版本兼容性原文檔針對 ML-Agents v0.3 編寫安裝命令中的具體版本號mlagents1.1.0、torch1.7.0、tensorflow-gpu1.4.0等不適用于當(dāng)前 PyTorch 版本倉庫請以當(dāng)前倉庫配套的最新包版本為準(zhǔn)。免閑置計費若僅需臨時跑一輪訓(xùn)練優(yōu)先考慮 ACI 容器方案訓(xùn)練結(jié)束即銷毀避免虛擬機(jī)空轉(zhuǎn)產(chǎn)生持續(xù)費用?！久赓M下載鏈接】ml-agentsThe Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning.項目地址: https://gitcode.com/gh_mirrors/ml/ml-agents創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考