.10自然語言處理項(xiàng)目鏡像部署教程想要迅速搭建一個(gè)歸屬于自身的 AI 開發(fā)環(huán)境, 然而又不愿被繁雜的依賴以及版本沖突弄得顧此失彼、疲憊不堪? 今日, 就在這里講述一下怎樣運(yùn)用最為簡(jiǎn)單的方式, 在.10 環(huán)境里面, 借由一個(gè)預(yù)先配置好的鏡像, 順利實(shí)行部署生態(tài), 進(jìn)而開始你的自然語言處理項(xiàng)目。這個(gè)教程的關(guān)鍵要點(diǎn), 是一個(gè)被稱作 -.10 的鏡像, 你能夠?qū)⑵漕I(lǐng)會(huì)成一個(gè)“拿來就能用”的AI開發(fā)工具集合, 它已然為你預(yù)備好了3.10這個(gè)穩(wěn)定且具備豐富功能的版本, 另外還有這個(gè)強(qiáng)大的環(huán)境管理工具。這表明你不需要通過手動(dòng)方式去安裝、處理環(huán)境變量, 更不用為不同項(xiàng)目之間的包版本沖突而憂心。不管是想要運(yùn)行熱門的在途模型, 又或是開展自身的模型微調(diào)試驗(yàn), 這個(gè)環(huán)境都能夠讓你達(dá)成事倍功半的效果, 就跟教程核心提供的這個(gè)名為 -.10 的鏡像一樣, 這個(gè)鏡像你可以理解為“開箱即用”的AI開發(fā)套件, 它準(zhǔn)備好的版本穩(wěn)定且功能豐富, 還有強(qiáng)大的環(huán)境管理工具, 有了它不用手動(dòng)安裝、配置環(huán)境變量, 不用擔(dān)心不同項(xiàng)目包版本打架, 在這個(gè)環(huán)境跑通熱門模型或進(jìn)行自己的模型微調(diào)實(shí)驗(yàn), 都能事半功倍。接下來, 我會(huì)一步一步地, 帶著你去完成那整個(gè)的流程, 從環(huán)境啟動(dòng)開始, 一直到運(yùn)行第一個(gè)模型。整個(gè)的這個(gè)過程, 是那樣清晰看得明白, 就算是才剛剛接觸到AI領(lǐng)域的新手, 也能夠比較輕松地跟隨著行進(jìn)不亂套。1. 環(huán)境準(zhǔn)備與快速啟動(dòng)首先, 我們得去獲取, 然后啟動(dòng)這個(gè)被稱作“工具箱”的東西。這里給出了兩種主流的交互方式, 一種方式, 還有SSH終端這種方式。你能夠依據(jù)自身習(xí)慣, 在這兩者之中隨意選擇其中一個(gè)。1.1 通過 啟動(dòng)推薦新手有一個(gè)網(wǎng)頁版的, 且是交互式的編程環(huán)境被提供了, 它特別適宜用來學(xué)習(xí)以及探索, 原因在于你能夠一邊書寫代碼, 一邊去查看結(jié)果。拿取鏡像: 找尋并且開啟 -.10 鏡像, 進(jìn)入網(wǎng)絡(luò)界面, 鏡像開啟之后, 系統(tǒng)平常將會(huì)給出一個(gè)入口鏈接, 點(diǎn)選它, 您會(huì)見到一個(gè)仿若下圖的文件管理界面。去進(jìn)行新建操作, 要點(diǎn)擊右上角位置的“New”按鈕, 之后選擇“ 3”以此來創(chuàng)建出一個(gè)新的筆記本。已然準(zhǔn)備妥當(dāng): 現(xiàn)下, 你會(huì)于新標(biāo)簽頁里瞧見一個(gè)空的代碼單格Cell。全部我們的操作都會(huì)在這些單格當(dāng)中達(dá)成。1.2借助SSH終端推行啟動(dòng)推舉進(jìn)階用戶設(shè)若你更傾向于在命令行的環(huán)境之下開展相關(guān)工作, 又或者要求實(shí)施某些文件的操作行為, 那么SSH這種方式是于你而言更為徑直的一種選取。獲取SSH相關(guān)信息, 即開啟鏡像之后, 尋覓所給到的SSH連接指令, 連同IP地址, 以及端口號(hào), 還有密碼。連接終端之時(shí), 開啟你本地的終端程序諸如系統(tǒng)下的CMD, 或者M(jìn)ac/Linux系統(tǒng)對(duì)應(yīng)的工具, 鍵入差不多如下這般的命令去實(shí)施連接:ssh root你的鏡像IP -p 端口號(hào)輸入密碼后你就進(jìn)入了鏡像系統(tǒng)的命令行環(huán)境。驗(yàn)證環(huán)境連接成功后你可以通過幾個(gè)簡(jiǎn)單命令檢查環(huán)境。python --version # 應(yīng)顯示 Python 3.10.x conda --version # 應(yīng)顯示 conda 版本信息不論挑選哪一種途徑, 我們的, 處于3.10加上的那種環(huán)境, 已然準(zhǔn)備妥當(dāng)。緊接著, 我們著手給項(xiàng)目安裝必需的“部件”。2. 安裝核心AI庫這是我們的鏡像, 它已經(jīng)自帶了和包管理工具, 然而呢一些AI專用的庫, 需要我們自己去安裝, 別擔(dān)心, 這個(gè)過程是非常簡(jiǎn)單的。于其中: 徑直在首個(gè)代碼單元格之內(nèi)輸入如下的命令, 隨后按Shift與Enter組合鍵予以運(yùn)行。于SSH終端那兒: 直接在命令行當(dāng)中輸入便可。首先, 我們進(jìn)行深度學(xué)習(xí)框架的安裝, 以及與之相關(guān)的GPU支持庫的安裝, 要是你的環(huán)境能夠支持CUDA, 這般會(huì)使模型運(yùn)行加速, 情況就是如此。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118小提示: 上段鏈接里的cu118, 它表示的是CUDA 11.8, 如果你的環(huán)境當(dāng)中不存在GPU, 或者僅僅想用CPU去運(yùn)行, 那么能夠采用pip torch這種方式來安裝CPU版本。接下來, 要安裝核心庫, 還有另外一個(gè)。前者給出了數(shù)目眾多至上萬這樣多的預(yù)訓(xùn)練模型, 后者涵蓋了有著豐富內(nèi)容的數(shù)據(jù)集合, 這能便利我們?nèi)ラ_展訓(xùn)練以及進(jìn)行評(píng)估。pip install transformers datasets為了使得數(shù)據(jù)處理可更高效些, 我們通常情形下還會(huì)去安裝, 專門用于簡(jiǎn)化分布式訓(xùn)練的部分, 以及專門用于模型評(píng)估的部分。pip install accelerate evaluate最后, 安裝一個(gè)常用的, 某些模型像T5, mT5會(huì)用到的工具包。pip install sentencepiece安裝完成后你可以通過以下代碼快速驗(yàn)證主要庫是否安裝成功# 在Jupyter的單元格或Python腳本中運(yùn)行 import torch import transformers print(fPyTorch 版本: {torch.__version__}) print(fTransformers 版本: {transformers.__version__}) # 檢查CUDA是否可用如果有GPU print(fCUDA 可用: {torch.cuda.is_available()})要是所有方面都順?biāo)彀l(fā)展, 你便會(huì)瞧見與之對(duì)應(yīng)的版本編號(hào), 還有關(guān)于CUDA能不能夠被使用的提示信息。到了這個(gè)時(shí)候, 你的AI開發(fā)環(huán)境已然是全方位都配置妥當(dāng)啦3. 快速上手運(yùn)行你的第一個(gè)模型環(huán)境搭建完成了, 我們著手實(shí)際相關(guān)事宜呢。極為便利之一情況是, 通過寥寥幾行代碼即可調(diào)用強(qiáng)大的預(yù)訓(xùn)練模型。我們嘗試一項(xiàng)經(jīng)典的文本分類任務(wù): 判定一條評(píng)論里的情感屬于正面還是負(fù)面。我們將使用 API這是提供的最簡(jiǎn)單的模型調(diào)用方式。from transformers import pipeline # 創(chuàng)建一個(gè)情感分析管道模型會(huì)自動(dòng)從Hub下載 classifier pipeline(sentiment-analysis) # 準(zhǔn)備一些測(cè)試句子 test_texts [ I love this product! Its absolutely amazing., This is the worst experience Ive ever had., The item is okay, not great but not terrible either. ] # 進(jìn)行預(yù)測(cè) results classifier(test_texts) # 打印結(jié)果 for text, result in zip(test_texts, results): print(f文本: {text}) print(f 情感: {result[label]}, 置信度: {result[score]:.4f}) print(- * 50)實(shí)施該段代碼的運(yùn)行任務(wù), 你便將會(huì)察覺到模型針對(duì)每一句話給定了“正面”或者“負(fù)面”這樣的判定, 并且還存在著一個(gè)置信度分?jǐn)?shù)情況。在整個(gè)流程之中, 模型的下載、加載以及推理的這些操作都是自行達(dá)成的, 難道不是極為簡(jiǎn)易的嗎?4. 進(jìn)階實(shí)踐微調(diào)一個(gè)文本分類模型只是單單運(yùn)用預(yù)訓(xùn)練模型, 不會(huì)覺得足夠過癮嗎? 我們?nèi)L試用自身的數(shù)據(jù)來進(jìn)行微調(diào), 也就是去Fine-tune一個(gè)模型, 要讓它變?yōu)楦朴诮鉀Q針對(duì)特定問題的一種狀態(tài)。在這里挑選英文電影評(píng)論數(shù)據(jù)集, 確切來講是IMDb來作為例子, 去微調(diào)出一個(gè)用于進(jìn)行情感分類工作模式的BERT模型。4.1 加載數(shù)據(jù)集和模型首先, 我們把IMDb數(shù)據(jù)集從庫加載出來, 并且加載一個(gè)預(yù)訓(xùn)練的BERT模型以及跟它對(duì)應(yīng)的分詞器。from datasets import load_dataset from transformers import AutoTokenizer, AutoModelForSequenceClassification # 1. 加載數(shù)據(jù)集 print(正在加載IMDb數(shù)據(jù)集...) dataset load_dataset(imdb) print(dataset) # 2. 加載分詞器和模型 # 我們使用一個(gè)較小的BERT變體‘distilbert-base-uncased’訓(xùn)練更快 model_name distilbert-base-uncased tokenizer AutoTokenizer.from_pretrained(model_name) # 指定分類標(biāo)簽數(shù)為2正面/負(fù)面 model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) print(f模型和分詞器 {model_name} 加載完成)4.2 預(yù)處理數(shù)據(jù)模型沒辦法直接去處理文本, 得先借助分詞器把它轉(zhuǎn)化為數(shù)字ID, 也就是Token IDs。def preprocess_function(examples): # 對(duì)文本進(jìn)行分詞、截?cái)嗪吞畛?return tokenizer(examples[text], truncationTrue, paddingmax_length, max_length512) # 對(duì)數(shù)據(jù)集的所有分片train, test應(yīng)用預(yù)處理函數(shù) tokenized_datasets dataset.map(preprocess_function, batchedTrue) # 為了訓(xùn)練我們重命名標(biāo)簽列并設(shè)置格式為PyTorch張量 tokenized_datasets tokenized_datasets.rename_column(label, labels) tokenized_datasets.set_format(torch) # 從訓(xùn)練集中取一小部分作為演示為了節(jié)省時(shí)間 small_train_dataset tokenized_datasets[train].shuffle(seed42).select(range(1000)) small_eval_dataset tokenized_datasets[test].shuffle(seed42).select(range(200))4.3 配置訓(xùn)練參數(shù)并開始微調(diào)使用的 API可以大大簡(jiǎn)化訓(xùn)練循環(huán)。from transformers import TrainingArguments, Trainer import numpy as np from datasets import load_metric # 定義評(píng)估函數(shù)計(jì)算準(zhǔn)確率 def compute_metrics(eval_pred): metric load_metric(accuracy) logits, labels eval_pred predictions np.argmax(logits, axis-1) return metric.compute(predictionspredictions, referenceslabels) # 設(shè)置訓(xùn)練參數(shù) training_args TrainingArguments( output_dir./my_imdb_model, # 模型輸出目錄 evaluation_strategyepoch, # 每個(gè)epoch結(jié)束后評(píng)估 save_strategyepoch, # 每個(gè)epoch結(jié)束后保存 learning_rate2e-5, # 學(xué)習(xí)率 per_device_train_batch_size8, # 每個(gè)設(shè)備的訓(xùn)練批次大小 per_device_eval_batch_size8, # 每個(gè)設(shè)備的評(píng)估批次大小 num_train_epochs3, # 訓(xùn)練輪數(shù)為了演示只設(shè)3輪 weight_decay0.01, # 權(quán)重衰減 logging_dir./logs, # 日志目錄 logging_steps10, load_best_model_at_endTrue, # 訓(xùn)練結(jié)束后加載最佳模型 ) # 初始化Trainer trainer Trainer( modelmodel, argstraining_args, train_datasetsmall_train_dataset, eval_datasetsmall_eval_dataset, tokenizertokenizer, compute_metricscompute_metrics, ) print(開始訓(xùn)練...) trainer.train() print(訓(xùn)練完成)訓(xùn)練終結(jié)之后, 模型會(huì)自行存于./ 這個(gè)目錄之中。你能夠借用它開展預(yù)測(cè), 恰似我們最開始所用到的那般。4.4 使用微調(diào)后的模型進(jìn)行預(yù)測(cè)# 加載我們剛剛微調(diào)好的模型 from transformers import TextClassificationPipeline fine_tuned_model AutoModelForSequenceClassification.from_pretrained(./my_imdb_model/best_model) # 假設(shè)最佳模型保存在此 fine_tuned_tokenizer AutoTokenizer.from_pretrained(./my_imdb_model/best_model) custom_classifier TextClassificationPipeline(modelfine_tuned_model, tokenizerfine_tuned_tokenizer) # 測(cè)試一些新的評(píng)論 new_reviews [ The plot was predictable and the acting was subpar., A heartwarming story with brilliant performances., It was fine, Ive seen better. ] predictions custom_classifier(new_reviews) for review, pred in zip(new_reviews, predictions): print(f評(píng)論: {review}) print(f 預(yù)測(cè): {pred[label]}, 分?jǐn)?shù): {pred[score]:.4f})5. 實(shí)用技巧與常見問題 5.1 環(huán)境管理與依賴凍結(jié)的強(qiáng)大之處在于環(huán)境隔離。建議為每個(gè)項(xiàng)目創(chuàng)建獨(dú)立的環(huán)境# 在終端中執(zhí)行 conda create -n my_nlp_project python3.10 conda activate my_nlp_project # 然后在這個(gè)新環(huán)境里安裝上述所有包保存環(huán)境依賴方便復(fù)現(xiàn)pip freeze requirements.txt # 別人可以通過 pip install -r requirements.txt 一鍵安裝所有依賴5.2 加速下載與模型緩存模型默認(rèn)從海外下載可能會(huì)慢?？梢栽O(shè)置鏡像源import os os.environ[HF_ENDPOINT] https://hf-mirror.com # 在加載模型或數(shù)據(jù)集之前設(shè)置模型在默認(rèn)狀況之下, 將會(huì)被下載至~/.cache//這一位置。要是你的系統(tǒng)盤空間處在不足的情形, 那么能夠?qū)彺媛窂接枰孕薷?os.environ[TRANSFORMERS_CACHE] /path/to/your/cache5.3遇到問題時(shí)的排查思路, 或者說, 百分之九十九的情形下是包沒有安裝, 這時(shí)要用pip list檢查是否安裝了torch等, 并且用pip進(jìn)行補(bǔ)裝。CUDA出現(xiàn)問題, 原因是模型或者批次太大, 導(dǎo)致顯存不足。需要嘗試, 下載模型失敗或者超時(shí)的話, 要檢查網(wǎng)絡(luò), 或者使用上述的鏡像源設(shè)置。運(yùn)行速度慢的話, 要確認(rèn)CUDA是否可用, 憑借torch.cuda.()來判斷。要是得出的結(jié)果為False, 那么模型將會(huì)在CPU上運(yùn)行, 速度會(huì)極其緩慢。6.總結(jié)。通過這篇教程我們完成了一個(gè)完整的自然語言處理項(xiàng)目閉環(huán)環(huán)境搭建方面, 借助-.10鏡像, 我們差不多在幾乎零配置的狀況下, 實(shí)現(xiàn)了獲取一個(gè)干干凈凈又相互隔離的3.10開發(fā)環(huán)境。之于工具安裝, 我們開展了安裝與生態(tài)的核心庫這一行為, 從而給AI項(xiàng)目準(zhǔn)備好了“武器庫”。就快速體驗(yàn)而言, 運(yùn)用API, 我們僅僅憑借幾行代碼便達(dá)成了體驗(yàn)預(yù)訓(xùn)練模型的強(qiáng)大能力這一點(diǎn)。針對(duì)于深度實(shí)踐, 我們逐個(gè)步驟地完成了從數(shù)據(jù)加載、預(yù)處理、模型微調(diào)一直到最終預(yù)測(cè)的一整個(gè)完整流程, 進(jìn)而掌握了使用微調(diào)模型的核心方式。這個(gè)按鏡像所構(gòu)建的部署辦法, 其最大的益處就在于具備可重復(fù)再現(xiàn)的特征以及方便捷便的特性。你根本不用為操作系統(tǒng)之間所存在的差異、底層依賴相互之間帶來的沖突困擾操心, 能夠把相較以前更加多的精力著重匯聚于模型、數(shù)據(jù)以及算法自身。不管是處于學(xué)習(xí)的階段、實(shí)驗(yàn)進(jìn)行的時(shí)期還是原型得以發(fā)展建設(shè)的進(jìn)程之中, 這確實(shí)皆是這樣一條極為高效率的門道。下一步你可以嘗試愿此教程成為你踏入AI大千世界的一塊無比堅(jiān)實(shí)的助力跳板, 動(dòng)手操作運(yùn)行一回代碼, 你會(huì)對(duì)全個(gè)過程懷有更具深度的理解, 祝你開發(fā)能夠心情愉悅