人工智能語(yǔ)音音頻深度學(xué)習(xí)NLP【免費(fèi)下載鏈接】espnetEnd-to-End Speech Processing Toolkit項(xiàng)目地址https://gitcode.com/gh_mirrors/es/espnet點(diǎn)擊查看免費(fèi)下載本指南以 ESPnet 倉(cāng)庫(kù)中egs2/jsut/asr1配方及其 README 記錄為核心系統(tǒng)講解如何基于日語(yǔ)朗讀語(yǔ)料庫(kù) JSUT 訓(xùn)練端到端語(yǔ)音識(shí)別ASR模型。文中完整收錄 README 中 E-Branchformer、Conformer、Transformer 與 RNN 四類(lèi)模型的配置與 CER 評(píng)測(cè)結(jié)果并結(jié)合倉(cāng)庫(kù)內(nèi)真實(shí)配置文件和源碼如espnet2/asr/encoder/e_branchformer_encoder.py逐項(xiàng)解讀參數(shù)含義幫助你理解 ESPnet 2 配方的完整調(diào)用鏈數(shù)據(jù)準(zhǔn)備 → 特征提取 → 模型訓(xùn)練 → 解碼評(píng)測(cè)并掌握 E-Branchformer 這一兼顧全局注意力與局部卷積建模能力的新一代編碼器。JSUT 數(shù)據(jù)集與配方目錄結(jié)構(gòu)JSUTJapanese Speech corpus of Saruwatari laboratory, University of Tokyo是日語(yǔ)單說(shuō)話(huà)人朗讀語(yǔ)音數(shù)據(jù)集采樣率 48kHz包含 basic5000、loanword128、onomatopee300、repeat500、travel1000 等多個(gè)子集。在 ESPnet 中egs2/jsut/asr1配方將其降采樣到 16kHz 用于 ASR 實(shí)驗(yàn)README 中同時(shí)記錄了 16k 與 48k 兩套實(shí)驗(yàn)的歷史結(jié)果。配方目錄關(guān)鍵文件如下文件/目錄作用run.sh一鍵訓(xùn)練入口封裝對(duì)asr.sh的調(diào)用asr.shESPnet2 通用 ASR 流水線(xiàn)主腳本conf/tuning/各模型調(diào)優(yōu)配置E-Branchformer/Conformer/Transformer/RNNconf/decode_transformer.yaml解碼參數(shù)配置conf/train_lm.yaml語(yǔ)言模型訓(xùn)練配置local/download.sh數(shù)據(jù)集自動(dòng)下載腳本local/data_prep.sh、local/change_sampling_rate.sh數(shù)據(jù)切分與降采樣db.sh語(yǔ)料路徑配置JSUTdownloads表示自動(dòng)下載從 db.sh 第 101 行可以看到JSUTdownloads配合 local/download.sh 中的邏輯腳本會(huì)通過(guò)wget http://ss-takashi.sakura.ne.jp/corpus/jsut_ver1.1.zip下載并解壓語(yǔ)料同時(shí)從r9y9/jsut-lab克隆 full-context label 用于對(duì)齊標(biāo)簽擴(kuò)展若目標(biāo)目錄已存在則自動(dòng)跳過(guò)Already exists. Skipped.。一鍵運(yùn)行run.sh 入口參數(shù)全解析JSUT asr1 的 run.sh 展示了 ESPnet2 配方的標(biāo)準(zhǔn)啟動(dòng)方式fs16000 opts if [ ${fs} -eq 48000 ]; then # To suppress recreation, specify wav format opts--audio_format wav else opts--audio_format flac fi train_settr_no_dev valid_setdev test_setsdev eval1 asr_configconf/tuning/train_asr_conformer8.yaml inference_configconf/decode_transformer.yaml lm_configconf/train_lm.yaml ./asr.sh \ --ngpu 4 \ --lang jp \ --token_type char \ --feats_type raw \ --fs ${fs} \ --speed_perturb_factors 0.9 1.0 1.1 \ --local_data_opts --fs ${fs} \ --asr_config ${asr_config} \ --inference_config ${inference_config} \ --lm_config ${lm_config} \ --train_set ${train_set} \ --valid_set ${valid_set} \ --test_sets ${test_sets} \ --lm_train_text data/${train_set}/text \ ${opts} $各參數(shù)含義--fs 16000目標(biāo)采樣率。JSUT 原始音頻為 48kHz配方默認(rèn)降采樣到 16kHz當(dāng)設(shè)為 48000 時(shí)需追加--audio_format wav避免重采樣。--token_type char日語(yǔ)按字符假名/漢字字符建詞表對(duì)應(yīng)中文等表意文字場(chǎng)景常見(jiàn)做法。--feats_type raw直接以原始波形作為輸入由前端frontend在線(xiàn)計(jì)算 Fbank 特征無(wú)需離線(xiàn) dump 特征。--speed_perturb_factors 0.9 1.0 1.1三倍速度擾動(dòng)數(shù)據(jù)增強(qiáng)是 README 中_spspeed perturb后綴實(shí)驗(yàn)的由來(lái)。--ngpu 4使用 4 張 GPU 訓(xùn)練。--train_set tr_no_dev / --valid_set dev / --test_sets dev eval1訓(xùn)練集為剔除 dev 后的剩余數(shù)據(jù)驗(yàn)證集與測(cè)試集均為 dev 與 eval1各 250 句README 評(píng)測(cè)表格中Snt250即由此而來(lái)。--lm_train_text data/${train_set}/text以訓(xùn)練集文本訓(xùn)練 RNN 語(yǔ)言模型用于解碼重打分。執(zhí)行./run.sh即可按asr.sh流水線(xiàn)依次完成語(yǔ)料下載、數(shù)據(jù)準(zhǔn)備、特征提取原始波形、詞表構(gòu)建、ASR 模型與 LM 訓(xùn)練、解碼與評(píng)分。E-Branchformer 模型配置與源碼級(jí)原理README 的第一部分記錄的是當(dāng)前倉(cāng)庫(kù)的旗艦實(shí)驗(yàn)asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_spESPnet 202301 版本PyTorch 1.13.1參數(shù)量 44.24M預(yù)訓(xùn)練模型鏈接見(jiàn) README 中 pyf98/jsut_e_branchformer。其訓(xùn)練配置為 conf/tuning/train_asr_e_branchformer_e16_conv15.yaml完整內(nèi)容如下# frontend related frontend: default frontend_conf: n_fft: 512 win_length: 400 hop_length: 160 # encoder related encoder: e_branchformer encoder_conf: output_size: 256 attention_heads: 4 attention_layer_type: rel_selfattn pos_enc_layer_type: rel_pos rel_pos_type: latest cgmlp_linear_units: 1024 cgmlp_conv_kernel: 15 use_linear_after_conv: false gate_activation: identity num_blocks: 16 dropout_rate: 0.1 positional_dropout_rate: 0.1 attention_dropout_rate: 0.1 input_layer: conv2d layer_drop_rate: 0.0 linear_units: 1024 positionwise_layer_type: linear use_ffn: true macaron_ffn: true merge_conv_kernel: 15 # decoder related decoder: transformer decoder_conf: input_layer: embed num_blocks: 6 linear_units: 2048 dropout_rate: 0.1 # hybrid CTC/attention model_conf: ctc_weight: 0.3 lsm_weight: 0.1 length_normalized_loss: false # optimization related optim: adam accum_grad: 1 grad_clip: 3 max_epoch: 100 optim_conf: lr: 4.0 scheduler: noamlr scheduler_conf: model_size: 256 warmup_steps: 25000 # minibatch related batch_type: numel batch_bins: 15000000 best_model_criterion: - - valid - acc - max keep_nbest_models: 10關(guān)鍵參數(shù)解讀前端frontenddefault前端在 16kHz 下以n_fft512、win_length40025ms 窗、hop_length16010ms 幀移計(jì)算 Fbank 特征。編碼器e_branchformeroutput_size256為模型維度attention_heads4多頭注意力attention_layer_type: rel_selfattn與pos_enc_layer_type: rel_pos組合使用相對(duì)位置編碼relative positional encodingrel_pos_type: latest表示采用最新版相對(duì)位置注意力實(shí)現(xiàn)相對(duì)legacy舊實(shí)現(xiàn)后者會(huì)被打上 deprecated 警告見(jiàn) e_branchformer_encoder.py。CGMLP 分支cgmlp_linear_units1024、cgmlp_conv_kernel15對(duì)應(yīng)卷積門(mén)控 MLP 分支的線(xiàn)性單元數(shù)與卷積核大小use_linear_after_conv: false、gate_activation: identity控制門(mén)控激活方式。FFN 與合并模塊use_ffn: true、macaron_ffn: true表示同時(shí)使用 macaron 風(fēng)格 FFN縮放系數(shù) 0.5與標(biāo)準(zhǔn) FFNmerge_conv_kernel15是合并兩個(gè)分支時(shí) depth-wise 卷積的核大小。整體規(guī)模num_blocks16個(gè)編碼器塊、input_layer: conv2d下采樣Conv2dSubsampling?；旌?CTC/Attentionctc_weight0.3、lsm_weight0.1標(biāo)簽平滑、length_normalized_loss: false。優(yōu)化器Adamlr4.0配合noamlrNoam 學(xué)習(xí)率調(diào)度warmup_steps25000、model_size256。批處理batch_type: numel按元素?cái)?shù)幀數(shù)×維度動(dòng)態(tài)組批batch_bins15000000。模型選擇以驗(yàn)證集 accuracy 最大為準(zhǔn)則valid/acc/max保留keep_nbest_models: 10個(gè)最優(yōu)模型。從源碼層面看E-Branchformer 編碼器定義在 espnet2/asr/encoder/e_branchformer_encoder.py其引用文獻(xiàn)為 E-Branchformer: Branchformer with Enhanced merging for speech recognitionSLT 2022。核心設(shè)計(jì)體現(xiàn)在EBranchformerEncoderLayer第 58-188 行的前向計(jì)算中Macaron FFN先經(jīng)過(guò) macaron 風(fēng)格 FFN輸出按ff_scale0.5縮放后與殘差相加雙分支并行x1、x2分支一為多頭自注意力rel_selfattn可替換為FastSelfAttention高效注意力源碼第 147-153 行;分支二為卷積門(mén)控 MLPCGMLP來(lái)自 espnet2/asr/layers/cgmlp.py 的ConvolutionalGatingMLP;增強(qiáng)合并模塊Enhanced merging將兩個(gè)分支輸出torch.cat拼接后先經(jīng)mask_padded_frames屏蔽填充幀再送入核大小為merge_conv_kernel的 depth-wise 卷積融合self.depthwise_conv_fusion最后經(jīng)merge_proj線(xiàn)性投影回原維度并與殘差相加源碼第 168-175 行標(biāo)準(zhǔn) FFN 與最終 LayerNorm收尾第 177-183 行。這種全局注意力 局部卷積雙分支結(jié)構(gòu)正是 E-Branchformer 相比純 Transformer 能更好建模語(yǔ)音局部時(shí)序模式的原因也是該實(shí)驗(yàn)取得更低 CER 的架構(gòu)基礎(chǔ)。解碼配置LM 重打分與 beam searchREADME 中所有實(shí)驗(yàn)的評(píng)測(cè)解碼均使用 Transformer 解碼器配置 conf/decode_transformer.yamllm_weight: 0.3 beam_size: 20 penalty: 0.0 maxlenratio: 0.0 minlenratio: 0.0 ctc_weight: 0.3beam_size: 20beam search 寬度lm_weight: 0.3外部 RNN 語(yǔ)言模型打分權(quán)重評(píng)測(cè)表名中的decode_transformer_lm_...前綴即表示解碼時(shí)聯(lián)合了訓(xùn)練好的 Transformer LMctc_weight: 0.3與訓(xùn)練時(shí)model_conf.ctc_weight一致的 CTC 得分權(quán)重maxlenratio/minlenratio為 0表示不限制生成長(zhǎng)度比例。配套的 RNN LM 配置見(jiàn) conf/train_lm.yaml兩層 LSTMnlayers: 2、unit: 650、SGD 優(yōu)化器、batch_type: folded、max_epoch: 20、以驗(yàn)證集 loss 最小選模型。解碼評(píng)測(cè)時(shí)按 README 中的命名約定asr_model_valid.acc.ave表示取驗(yàn)證 accuracy 最優(yōu)的多個(gè)模型參數(shù)平均lm_train_lm_jp_char_valid.loss.ave表示 LM 取驗(yàn)證 loss 最優(yōu)模型。評(píng)測(cè)結(jié)果全景E-Branchformer vs Conformer vs Transformer vs RNNE-Branchformer本倉(cāng)庫(kù)旗艦實(shí)驗(yàn)44.24M 參數(shù)模型名asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_sp訓(xùn)練環(huán)境為 espnet 202301 / PyTorch 1.13.1評(píng)測(cè)指標(biāo)為 CER字符錯(cuò)誤率S.Err 為句子錯(cuò)誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.38.42.21.111.885.2decode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592888.29.62.21.113.088.0Conformerespnet 0.9.2 時(shí)代記錄README 的 conformer vs transformer results 一節(jié)記錄了三個(gè)歷史模型均基于 16k 音頻對(duì)應(yīng)配置可見(jiàn) conf/tuning/train_asr_conformer8.yaml12 層 Conformercnn_module_kernel15、macaron_style: true、activation_type: swish、pos_enc_layer_type: rel_posasr_train_asr_conformer8_raw_char_spconformerZenodo 存檔 4292742datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.28.62.21.112.085.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592887.59.92.61.313.986.4asr_train_asr_conformer_raw_char_optim_conflr5_spconformerZenodo 存檔 4073045datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634987.410.32.41.414.088.8decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592886.211.02.81.214.990.0asr_train_asr_transformer_raw_char_sptransformerZenodo 存檔 4073054datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634985.811.03.21.615.891.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592884.112.53.51.717.693.6對(duì)應(yīng)純 Transformer 編碼器配置見(jiàn) conf/tuning/train_asr_transformer.yaml 與 conf/train_asr_transformer.yaml。RNNespnet 0.6.0 時(shí)代基線(xiàn)asr_train_rnn_raw_char采用 RNN 編碼器的歷史基線(xiàn)README 同時(shí)給出 16k 與 48k 兩套結(jié)果。16k 結(jié)果CERS.Err 對(duì)應(yīng)句子錯(cuò)誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634983.412.54.11.518.195.2decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592882.513.54.01.719.195.248k 實(shí)驗(yàn)需要顯式調(diào)整前端參數(shù)以匹配 48kHz 采樣率下的窗長(zhǎng)與幀移保持 32ms 窗、8ms 幀移README 明確要求追加如下參數(shù)--asr_args --frontend_conf n_fft$(echo ${fs} | python -c print(int(0.032 * float(input())))) --frontend_conf hop_length$(echo ${fs} | python -c print(int(0.008 * float(input()))))即通過(guò)asr_args注入動(dòng)態(tài)計(jì)算的n_fft與hop_length48kHz 時(shí)分別為 1536 與 384同時(shí)結(jié)合 run.sh 中--fs 48000時(shí)追加的--audio_format wav。48k 結(jié)果datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634984.712.03.31.717.094.8decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592883.513.13.41.618.094.8結(jié)果橫向?qū)Ρ扰c解讀以 eval1 的 CERErr 列縱向?qū)Ρ菶-Branchformer 13.0 conformer8 13.9 conformer(conflr5) 14.9 transformer 17.6 RNN-16k 19.1 RNN-48k 18.0?？蓺w納出三點(diǎn)結(jié)論均為倉(cāng)庫(kù) README 數(shù)據(jù)所支撐的客觀事實(shí)而非外部評(píng)價(jià)E-Branchformer 優(yōu)于同規(guī)模 Conformer在 JSUT 上16 層 E-Branchformer44.24M 參數(shù)相對(duì) 12 層 Conformer8 在 dev/eval1 上 CER 分別降低 0.2/0.9 個(gè)百分點(diǎn)驗(yàn)證了增強(qiáng)合并模塊帶來(lái)的建模增益Conformer 優(yōu)于 Transformer相對(duì)位置編碼 卷積模塊的 Conformer 明顯勝過(guò)純 Transformereval1 上 13.9 vs 17.6RNN 基線(xiàn)差距顯著早期 RNN 模型 CER 在 17-19 區(qū)間48k 采樣率配合正確的窗長(zhǎng)/幀移參數(shù)可小幅改善指標(biāo)但整體仍遠(yuǎn)遜于基于注意力的現(xiàn)代架構(gòu)。需要注意這些歷史結(jié)果來(lái)自不同 ESPnet 版本0.6.0 / 0.9.2 / 202301與不同訓(xùn)練配置環(huán)境差異日期、Python/PyTorch 版本、Git hash在 README 中均已注明直接橫向?qū)Ρ葧r(shí)應(yīng)考慮配置與實(shí)現(xiàn)版本的差異。復(fù)現(xiàn)要點(diǎn)與擴(kuò)展閱讀復(fù)現(xiàn) E-Branchformer 實(shí)驗(yàn)只需在egs2/jsut/asr1目錄下將run.sh中的asr_config替換為conf/tuning/train_asr_e_branchformer_e16_conv15.yaml后執(zhí)行./run.sh數(shù)據(jù)可自動(dòng)下載JSUTdownloads詞表采用 char 級(jí)別特征為 raw 波形 在線(xiàn) Fbank。評(píng)測(cè)時(shí)使用 conf/decode_transformer.yaml 聯(lián)合 conf/train_lm.yaml 訓(xùn)練的 LSTM LM 進(jìn)行重打分最終以 CER 為指標(biāo)在 dev/eval1各 250 句上評(píng)測(cè)。進(jìn)一步深入編碼器實(shí)現(xiàn)espnet2/asr/encoder/e_branchformer_encoder.py雙分支與合并模塊、espnet2/asr/layers/cgmlp.py卷積門(mén)控 MLP其他 JSUT 相關(guān)配方egs2/jsut/tts1、egs2/jsut_song/svs1歌唱合成可參考同一數(shù)據(jù)準(zhǔn)備腳本ESPnet2 通用訓(xùn)練選項(xiàng)說(shuō)明見(jiàn) doc/espnet2_training_option.md結(jié)構(gòu)化數(shù)據(jù)格式見(jiàn) doc/espnet2_structured_data.md。贊分享人工智能語(yǔ)音音頻深度學(xué)習(xí)NLP【免費(fèi)下載鏈接】espnetEnd-to-End Speech Processing Toolkit項(xiàng)目地址https://gitcode.com/gh_mirrors/es/espnet點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Eigent 安裝流程測(cè)試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測(cè)試依賴(lài)安裝Eigent 安裝流程測(cè)試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測(cè)試依賴(lài)安裝 Eigent 是開(kāi)源的 Cowork 桌面應(yīng)用Ele人工智能語(yǔ)音音頻深度學(xué)習(xí)NLPESPnet Fisher CallHome Spanish 語(yǔ)音識(shí)別實(shí)戰(zhàn)E-Branchformer 與 Conformer 配置、訓(xùn)練與評(píng)測(cè)全解ESPnet Fisher CallHome Spanish 語(yǔ)音識(shí)別實(shí)戰(zhàn)E Branchformer 與 Conformer 配置、訓(xùn)練與評(píng)測(cè)全解 本篇技術(shù)人工智能語(yǔ)音音頻深度學(xué)習(xí)NLPOdin 編譯期執(zhí)行CTE設(shè)計(jì)剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類(lèi)型安全邊界Odin 編譯期執(zhí)行CTE設(shè)計(jì)剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類(lèi)型安全邊界 導(dǎo)讀 編譯期執(zhí)行Compile Time ExecutionCTE是人工智能語(yǔ)音音頻深度學(xué)習(xí)NLP上一篇WarcraftHelper魔獸爭(zhēng)霸III現(xiàn)代優(yōu)化完整指南下一篇RepoDB連接持久性配置如何平衡性能與資源使用創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考