在實(shí)際 AI 項(xiàng)目開發(fā)和學(xué)習(xí)過程中獲取穩(wěn)定、可靠且成本可控的大模型服務(wù)是首要挑戰(zhàn)。無論是進(jìn)行應(yīng)用原型驗(yàn)證、API 集成測(cè)試還是開展個(gè)人研究直接調(diào)用商業(yè) API 可能面臨費(fèi)用高昂、額度有限或網(wǎng)絡(luò)延遲等問題。而本地部署則需要強(qiáng)大的硬件支持對(duì)初學(xué)者和中小團(tuán)隊(duì)門檻較高。因此尋找一個(gè)提供強(qiáng)大模型能力、具備充足免費(fèi)額度且易于上手的云平臺(tái)成為許多開發(fā)者的迫切需求。阿里云百煉平臺(tái)正是在此背景下為開發(fā)者提供的一站式大模型服務(wù)。它集成了國(guó)內(nèi)外主流的優(yōu)秀模型并提供了包括免費(fèi)額度在內(nèi)的多種計(jì)費(fèi)方式旨在降低大模型的應(yīng)用門檻。本文將圍繞如何利用阿里云百煉平臺(tái)特別是其免費(fèi)資源來快速開啟你的大模型應(yīng)用之旅。我們將從平臺(tái)核心概念講起逐步完成賬號(hào)開通、環(huán)境準(zhǔn)備、模型調(diào)用、應(yīng)用開發(fā)的全流程并深入探討在生產(chǎn)環(huán)境中如何優(yōu)化成本與性能。無論你是希望體驗(yàn)最新國(guó)產(chǎn)大模型 Qwen 系列的能力還是需要一個(gè)穩(wěn)定的開發(fā)測(cè)試環(huán)境本文都將提供一條清晰的實(shí)踐路徑。1. 理解阿里云百煉一站式大模型服務(wù)平臺(tái)阿里云百煉并非一個(gè)單一的大模型而是一個(gè)集成了模型服務(wù)、應(yīng)用開發(fā)、部署運(yùn)維等能力的平臺(tái)。你可以將其理解為大模型時(shí)代的“云服務(wù)市場(chǎng)”和“開發(fā)工具包”的結(jié)合體。它的核心價(jià)值在于將模型訓(xùn)練、推理的復(fù)雜基礎(chǔ)設(shè)施封裝起來讓開發(fā)者能夠像調(diào)用普通 API 一樣便捷地使用各種頂尖的大語言模型。1.1 平臺(tái)的核心組件與工作流百煉平臺(tái)主要包含以下幾個(gè)核心組件模型服務(wù)這是平臺(tái)的核心提供了包括通義千問Qwen、Baichuan、ChatGLM 等在內(nèi)的多種國(guó)產(chǎn)及國(guó)際主流大模型。每個(gè)模型都以 API 的形式提供服務(wù)開發(fā)者無需關(guān)心底層 GPU 集群和推理框架。應(yīng)用開發(fā)工作臺(tái)提供了一個(gè)低代碼/無代碼的界面允許開發(fā)者通過拖拽組件的方式快速構(gòu)建基于大模型的智能應(yīng)用如智能客服、內(nèi)容生成助手等。模型精調(diào)Fine-tuning支持對(duì)平臺(tái)上的基礎(chǔ)模型進(jìn)行定制化訓(xùn)練。你可以上傳自己的數(shù)據(jù)集在基礎(chǔ)模型上進(jìn)行微調(diào)以使其更適應(yīng)你的特定業(yè)務(wù)場(chǎng)景如法律、醫(yī)療、金融領(lǐng)域的專業(yè)問答。模型部署與管理對(duì)于精調(diào)后的模型或自行接入的模型平臺(tái)提供部署能力并配套了監(jiān)控、日志、版本管理等運(yùn)維功能。對(duì)于大多數(shù)開發(fā)者尤其是入門和原型開發(fā)階段最常用的是模型服務(wù)和應(yīng)用開發(fā)工作臺(tái)。典型的工作流是在平臺(tái)上創(chuàng)建應(yīng)用 - 為應(yīng)用配置一個(gè)或多個(gè)模型 API - 在代碼中通過 SDK 或 HTTP 請(qǐng)求調(diào)用這些 API - 構(gòu)建最終的用戶交互界面。1.2 免費(fèi)資源與計(jì)費(fèi)模式解析免費(fèi)資源是吸引開發(fā)者的關(guān)鍵。阿里云百煉通常為新用戶或特定活動(dòng)提供免費(fèi)額度這可能包括免費(fèi) tokens例如新用戶注冊(cè)或完成實(shí)名認(rèn)證后贈(zèng)送一定量的 tokens如 100萬、1000萬甚至上億。Token 是計(jì)費(fèi)單位可以理解為模型處理文本的“字?jǐn)?shù)”或“單元”。無論是輸入Prompt還是輸出Completion都會(huì)消耗 tokens。免費(fèi)試用服務(wù)器/資源包有時(shí)平臺(tái)會(huì)推出“免費(fèi)試用”活動(dòng)贈(zèng)送一定時(shí)長(zhǎng)如一個(gè)月的特定規(guī)格的模型服務(wù)資源包在額度內(nèi)可免費(fèi)使用。注意免費(fèi)額度通常有有效期限制如一個(gè)月內(nèi)有效且可能僅適用于部分特定模型如 Qwen-Max 系列或較低 QPS每秒查詢率。超出免費(fèi)額度后將按量計(jì)費(fèi)。務(wù)必在控制臺(tái)查看清楚免費(fèi)額度的具體規(guī)則、適用范圍和到期時(shí)間。常規(guī)的計(jì)費(fèi)模式是按調(diào)用量即消耗的 tokens計(jì)費(fèi)。不同模型的單價(jià)不同通常性能越強(qiáng)、上下文窗口越大的模型單價(jià)越高。例如Qwen2.5-72B-Instruct 的單價(jià)會(huì)高于 Qwen2.5-7B-Instruct。2. 環(huán)境準(zhǔn)備與賬號(hào)開通在開始編碼之前你需要完成阿里云賬號(hào)的注冊(cè)、實(shí)名認(rèn)證并在百煉平臺(tái)開通服務(wù)。2.1 注冊(cè)與實(shí)名認(rèn)證訪問阿里云官網(wǎng)打開瀏覽器訪問阿里云官方網(wǎng)站。注冊(cè)賬號(hào)如果你沒有阿里云賬號(hào)點(diǎn)擊注冊(cè)通?？梢允褂檬謾C(jī)號(hào)或郵箱進(jìn)行注冊(cè)。完成實(shí)名認(rèn)證這是使用絕大多數(shù)阿里云服務(wù)包括百煉免費(fèi)額度的強(qiáng)制性前提。登錄阿里云控制臺(tái)在“賬號(hào)管理”或“實(shí)名認(rèn)證”頁(yè)面按照指引完成個(gè)人或企業(yè)實(shí)名認(rèn)證。個(gè)人認(rèn)證一般需要身份證信息。2.2 開通百煉服務(wù)并領(lǐng)取免費(fèi)額度進(jìn)入百煉產(chǎn)品頁(yè)在阿里云官網(wǎng)搜索“百煉”或直接訪問百煉產(chǎn)品介紹頁(yè)。立即開通在產(chǎn)品頁(yè)找到“立即開通”或“免費(fèi)試用”按鈕。系統(tǒng)可能會(huì)引導(dǎo)你進(jìn)行一些簡(jiǎn)單的服務(wù)協(xié)議確認(rèn)。進(jìn)入百煉控制臺(tái)開通成功后進(jìn)入阿里云控制臺(tái)在“產(chǎn)品與服務(wù)”中找到“模型服務(wù)靈積”DASHSCOPE這是百煉模型服務(wù)的底層品牌或直接搜索“百煉”進(jìn)入控制臺(tái)。查看與領(lǐng)取免費(fèi)額度在控制臺(tái)首頁(yè)或“費(fèi)用中心”查找“免費(fèi)額度”、“資源包”或“優(yōu)惠券”相關(guān)入口。仔細(xì)閱讀免費(fèi)額度的說明確認(rèn)其包含的 tokens 數(shù)量、適用的模型列表以及有效期。通常免費(fèi)額度會(huì)自動(dòng)發(fā)放到你的賬戶部分活動(dòng)可能需要手動(dòng)點(diǎn)擊“領(lǐng)取”。2.3 獲取訪問密鑰API Key調(diào)用百煉的模型 API需要使用 API Key 進(jìn)行身份鑒權(quán)。在百煉控制臺(tái)找到“API-KEY管理”或“密鑰管理”頁(yè)面。點(diǎn)擊“創(chuàng)建新的 API Key”。系統(tǒng)會(huì)生成一個(gè)以sk-開頭的密鑰字符串。立即復(fù)制并妥善保存這個(gè) API Key。出于安全考慮控制臺(tái)通常只顯示一次。如果丟失需要重新創(chuàng)建。安全警告API Key 是訪問你賬戶資源和進(jìn)行計(jì)費(fèi)的憑證等同于密碼。切勿將其直接硬編碼在客戶端代碼或提交到公開的代碼倉(cāng)庫(kù)如 GitHub。生產(chǎn)環(huán)境應(yīng)使用環(huán)境變量或配置中心來管理。3. 快速開始調(diào)用你的第一個(gè)大模型 API我們將以 Python 環(huán)境為例演示如何通過官方 SDK 調(diào)用一個(gè)模型。這里選擇通義千問的最新款模型qwen-max或qwen-plus作為示例它們通常在免費(fèi)額度范圍內(nèi)。3.1 安裝必要的 Python 包官方推薦使用dashscope庫(kù)它是阿里云提供的官方 Python SDK。打開終端或命令提示符執(zhí)行以下命令pip install dashscope如果你的網(wǎng)絡(luò)環(huán)境導(dǎo)致 pip 安裝緩慢可以考慮使用國(guó)內(nèi)鏡像源pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple3.2 編寫第一個(gè)調(diào)用腳本創(chuàng)建一個(gè)新的 Python 文件例如first_call.py。# first_call.py import dashscope from dashscope import Generation # 步驟1設(shè)置你的 API Key # 重要此處僅為示例實(shí)際項(xiàng)目中應(yīng)從環(huán)境變量讀取 dashscope.api_key 你的-API-KEY-放在-這里 # 步驟2調(diào)用模型 def call_qwen_with_messages(): # 使用 messages 格式這是與聊天模型交互的標(biāo)準(zhǔn)方式 messages [ {role: system, content: 你是一個(gè)樂于助人的助手。}, {role: user, content: 請(qǐng)用一句話介紹中國(guó)的長(zhǎng)城。} ] # 調(diào)用 Generation.call 方法 # model: 指定模型名稱例如 qwen-max, qwen-plus, qwen-turbo 等 # messages: 對(duì)話歷史 response Generation.call( modelqwen-max, # 可根據(jù)免費(fèi)額度支持的模型調(diào)整如 qwen-plus messagesmessages, # 可選參數(shù)控制生成行為的參數(shù) result_formatmessage, # 返回格式為 message ) # 步驟3處理響應(yīng) if response.status_code 200: # 成功響應(yīng)提取助手回復(fù)的內(nèi)容 answer response.output.choices[0].message[content] print(f模型回復(fù): {answer}) # 打印本次調(diào)用消耗的 tokens (輸入輸出) usage response.usage print(fTokens 消耗: 輸入 {usage.input_tokens}, 輸出 {usage.output_tokens}, 總計(jì) {usage.total_tokens}) else: # 處理錯(cuò)誤 print(f請(qǐng)求失敗狀態(tài)碼: {response.status_code}) print(f錯(cuò)誤信息: {response.message}) print(f請(qǐng)求ID: {response.request_id}) if __name__ __main__: call_qwen_with_messages()3.3 運(yùn)行腳本并驗(yàn)證將上述代碼中的‘你的-API-KEY-放在-這里’替換為你在控制臺(tái)獲取的真實(shí) API Key。在終端中切換到腳本所在目錄運(yùn)行python first_call.py預(yù)期輸出你應(yīng)該能在控制臺(tái)看到模型關(guān)于長(zhǎng)城的回復(fù)以及本次調(diào)用消耗的 tokens 數(shù)量。這證明你的環(huán)境、API Key 和基礎(chǔ)調(diào)用流程都是正確的。3.4 關(guān)鍵代碼與參數(shù)詳解dashscope.api_key設(shè)置全局 API Key。更安全的做法是使用環(huán)境變量# 在終端中設(shè)置臨時(shí) export DASHSCOPE_API_KEYyour-api-key-here# 在代碼中讀取 import os dashscope.api_key os.getenv(DASHSCOPE_API_KEY)messages列表這是與聊天模型交互的核心數(shù)據(jù)結(jié)構(gòu)。它是一個(gè)字典列表每個(gè)字典包含role和content。role可以是system系統(tǒng)指令設(shè)定助手行為、user用戶輸入、assistant助手的歷史回復(fù)。content對(duì)應(yīng)角色的文本內(nèi)容。Generation.call參數(shù)model必須指定。你需要根據(jù)免費(fèi)額度支持的模型列表來選擇例如qwen-max最強(qiáng)能力可能消耗額度快或不在免費(fèi)范圍、qwen-plus均衡能力、qwen-turbo高速低成本。務(wù)必在控制臺(tái)確認(rèn)。result_format指定響應(yīng)格式。message是常用格式直接返回結(jié)構(gòu)化的消息。響應(yīng)對(duì)象responseresponse.status_codeHTTP 狀態(tài)碼200 表示成功。response.output.choices[0].message[‘content’]提取模型生成的文本。response.usage包含input_tokens,output_tokens,total_tokens用于核算費(fèi)用和監(jiān)控用量。4. 構(gòu)建一個(gè)簡(jiǎn)單的智能對(duì)話應(yīng)用掌握了基礎(chǔ) API 調(diào)用后我們可以構(gòu)建一個(gè)簡(jiǎn)單的命令行對(duì)話應(yīng)用實(shí)現(xiàn)多輪交互。4.1 項(xiàng)目結(jié)構(gòu)設(shè)計(jì)創(chuàng)建一個(gè)項(xiàng)目文件夾例如qwen_chatbot結(jié)構(gòu)如下qwen_chatbot/ ├── config.py # 配置文件管理 API Key 等 ├── chat_client.py # 核心的聊天客戶端類 ├── main.py # 主程序入口命令行交互邏輯 └── requirements.txt # 項(xiàng)目依賴4.2 實(shí)現(xiàn)核心聊天客戶端首先創(chuàng)建config.py來安全地管理配置# config.py import os class Config: # 從環(huán)境變量讀取 API Key如果不存在則使用空字符串會(huì)報(bào)錯(cuò) DASHSCOPE_API_KEY os.getenv(DASHSCOPE_API_KEY, ) # 默認(rèn)使用的模型可以在運(yùn)行時(shí)覆蓋 DEFAULT_MODEL qwen-plus classmethod def validate(cls): 驗(yàn)證必要配置是否存在 if not cls.DASHSCOPE_API_KEY: raise ValueError(環(huán)境變量 DASHSCOPE_API_KEY 未設(shè)置。請(qǐng)?jiān)O(shè)置該變量或直接在 config.py 中配置。)然后創(chuàng)建chat_client.py封裝與百煉 API 的交互# chat_client.py import dashscope from dashscope import Generation from config import Config class QwenChatClient: def __init__(self, api_keyNone, modelNone): # 初始化時(shí)設(shè)置 API Key 和模型 self.api_key api_key or Config.DASHSCOPE_API_KEY self.model model or Config.DEFAULT_MODEL if not self.api_key: raise ValueError(API Key 未提供且未在環(huán)境變量中設(shè)置。) dashscope.api_key self.api_key # 維護(hù)對(duì)話歷史 self.conversation_history [] def add_system_prompt(self, prompt): 添加系統(tǒng)指令設(shè)定助手角色 self.conversation_history.append({role: system, content: prompt}) def chat(self, user_input, temperature0.8, max_tokens1500): 發(fā)送用戶輸入并獲取模型回復(fù)。 參數(shù): user_input (str): 用戶輸入的文本。 temperature (float): 采樣溫度控制隨機(jī)性 (0.0~2.0)。值越低輸出越確定越高越隨機(jī)。 max_tokens (int): 生成的最大 token 數(shù)。 返回: tuple: (助手回復(fù)文本, 本次消耗的tokens數(shù)) # 1. 將用戶輸入加入歷史 self.conversation_history.append({role: user, content: user_input}) # 2. 調(diào)用 API try: response Generation.call( modelself.model, messagesself.conversation_history, temperaturetemperature, max_tokensmax_tokens, result_formatmessage, ) except Exception as e: # 處理網(wǎng)絡(luò)或SDK異常 print(f調(diào)用 API 時(shí)發(fā)生異常: {e}) # 從歷史中移除本次失敗的用戶輸入避免狀態(tài)不一致 self.conversation_history.pop() return None, 0 # 3. 處理響應(yīng) if response.status_code 200: assistant_reply response.output.choices[0].message[content] # 將助手回復(fù)加入歷史用于后續(xù)上下文 self.conversation_history.append({role: assistant, content: assistant_reply}) usage response.usage total_tokens usage.total_tokens return assistant_reply, total_tokens else: print(fAPI 調(diào)用失敗。狀態(tài)碼: {response.status_code}, 信息: {response.message}) # 同樣移除失敗的用戶輸入 self.conversation_history.pop() return None, 0 def clear_history(self): 清空對(duì)話歷史但保留系統(tǒng)指令如果有 system_prompts [msg for msg in self.conversation_history if msg[role] system] self.conversation_history system_prompts def get_history(self): 獲取當(dāng)前對(duì)話歷史只讀 return self.conversation_history.copy()4.3 實(shí)現(xiàn)命令行交互界面創(chuàng)建main.py作為應(yīng)用入口# main.py import sys from chat_client import QwenChatClient from config import Config def main(): # 驗(yàn)證配置 try: Config.validate() except ValueError as e: print(f配置錯(cuò)誤: {e}) print(請(qǐng)?jiān)O(shè)置環(huán)境變量 DASHSCOPE_API_KEY例如) print( Linux/Mac: export DASHSCOPE_API_KEYyour-key) print( Windows (cmd): set DASHSCOPE_API_KEYyour-key) print( Windows (PowerShell): $env:DASHSCOPE_API_KEYyour-key) sys.exit(1) # 初始化客戶端 client QwenChatClient() # 可選設(shè)置系統(tǒng)指令例如讓助手扮演特定角色 # client.add_system_prompt(你是一位資深軟件工程師擅長(zhǎng)用簡(jiǎn)潔清晰的代碼解決問題。) print(f歡迎使用 Qwen 對(duì)話助手 (模型: {client.model})) print(輸入內(nèi)容開始對(duì)話輸入 quit 或 exit 退出輸入 clear 清空歷史。) print(- * 50) while True: try: user_input input(\nYou: ).strip() except (EOFError, KeyboardInterrupt): # 處理 CtrlD, CtrlC print(\n\n再見) break if user_input.lower() in [quit, exit, q]: print(再見) break elif user_input.lower() in [clear, c]: client.clear_history() print([對(duì)話歷史已清空]) continue elif not user_input: continue # 忽略空輸入 print(Assistant: , end, flushTrue) # 開始輸出不換行 reply, tokens_used client.chat(user_input) if reply is not None: print(reply) print(f[本次消耗 Tokens: {tokens_used}]) else: print([未能獲取回復(fù)]) if __name__ __main__: main()4.4 運(yùn)行與測(cè)試設(shè)置環(huán)境變量在運(yùn)行程序前確保已設(shè)置DASHSCOPE_API_KEY。# Linux / Mac export DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # Windows (PowerShell) $env:DASHSCOPE_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx安裝依賴在項(xiàng)目根目錄創(chuàng)建requirements.txt內(nèi)容為dashscope然后安裝。pip install -r requirements.txt運(yùn)行程序python main.py交互測(cè)試在命令行中輸入問題觀察助手的回復(fù)和 tokens 消耗。嘗試輸入clear清空歷史再進(jìn)行新一輪對(duì)話觀察模型是否還記得之前的內(nèi)容清空后應(yīng)該不記得。5. 進(jìn)階使用與生產(chǎn)環(huán)境考量基礎(chǔ)調(diào)用跑通后要將其用于更嚴(yán)肅的項(xiàng)目或生產(chǎn)環(huán)境還需要考慮更多因素。5.1 管理對(duì)話上下文與 tokens 消耗大模型 API 按 tokens 計(jì)費(fèi)且模型本身有上下文窗口限制例如 8K, 32K, 128K tokens。無限制地增長(zhǎng)conversation_history會(huì)導(dǎo)致兩個(gè)問題1) 單次調(diào)用 tokens 超限API 報(bào)錯(cuò)2) 費(fèi)用快速增加。解決方案實(shí)現(xiàn)歷史消息窗口或摘要# 在 chat_client.py 的 QwenChatClient 類中添加方法 class QwenChatClient: # ... 之前的代碼 ... def __init__(self, api_keyNone, modelNone, max_history_tokens3000): # ... 其他初始化 ... self.max_history_tokens max_history_tokens # 歷史上下文最大 tokens 數(shù) self._estimated_history_tokens 0 # 簡(jiǎn)單估算當(dāng)前歷史 tokens def chat(self, user_input, temperature0.8, max_tokens1500): # 在添加用戶輸入前檢查是否會(huì)超出限制 # 這是一個(gè)簡(jiǎn)化的估算實(shí)際需要更精確的 token 計(jì)數(shù)可用 tiktoken 庫(kù) estimated_input_tokens len(user_input) // 4 # 粗略估算1 token ~ 4字符英文 if self._estimated_history_tokens estimated_input_tokens max_tokens self.max_history_tokens: # 超出限制需要裁剪歷史。例如保留最近的幾條消息和系統(tǒng)指令。 self._trim_conversation_history() # ... 原有的 chat 方法邏輯 ... # 在成功獲取回復(fù)后更新估算的 tokens self._estimated_history_tokens total_tokens def _trim_conversation_history(self): 裁剪對(duì)話歷史保留系統(tǒng)指令和最近的一些對(duì)話 system_msgs [msg for msg in self.conversation_history if msg[role] system] # 保留系統(tǒng)消息和最近3輪對(duì)話userassistant 為一輪 recent_messages self.conversation_history[-6:] if len(self.conversation_history) 6 else self.conversation_history self.conversation_history system_msgs recent_messages # 重新估算 tokens (這里簡(jiǎn)化處理實(shí)際項(xiàng)目應(yīng)重新計(jì)算) self._estimated_history_tokens sum(len(msg[content]) // 4 for msg in self.conversation_history)對(duì)于長(zhǎng)文檔對(duì)話更高級(jí)的策略是使用“摘要”技術(shù)當(dāng)歷史過長(zhǎng)時(shí)調(diào)用模型自身對(duì)之前的對(duì)話進(jìn)行總結(jié)然后將摘要作為新的系統(tǒng)消息或上下文的一部分。5.2 處理流式輸出Streaming對(duì)于需要長(zhǎng)時(shí)間生成文本的場(chǎng)景如寫長(zhǎng)文章、代碼等待模型完全生成再返回體驗(yàn)不佳。百煉 API 支持流式響應(yīng)。# stream_chat.py import dashscope from dashscope import Generation dashscope.api_key your-api-key def stream_chat(): messages [{role: user, content: 用 Python 寫一個(gè)快速排序算法并逐行解釋。}] responses Generation.call( modelqwen-plus, messagesmessages, streamTrue, # 啟用流式輸出 result_formatmessage, ) full_reply [] print(Assistant: , end, flushTrue) for response in responses: if response.status_code 200: # 流式響應(yīng)中每次返回一部分內(nèi)容 chunk response.output.choices[0].message[content] if chunk is not None: print(chunk, end, flushTrue) full_reply.append(chunk) else: print(f\n請(qǐng)求失敗: {response.code} - {response.message}) break print() # 換行 # full_reply 包含了完整的回復(fù)內(nèi)容 if __name__ __main__: stream_chat()5.3 異步調(diào)用提升性能在 Web 服務(wù)或需要并發(fā)處理多個(gè)請(qǐng)求的場(chǎng)景下使用異步調(diào)用可以避免阻塞提高吞吐量。dashscope庫(kù)支持asyncio。# async_chat.py import asyncio import dashscope from dashscope import AsyncGeneration dashscope.api_key your-api-key async def async_chat_concurrent(questions): 并發(fā)調(diào)用模型回答多個(gè)問題 tasks [] for q in questions: messages [{role: user, content: q}] # 創(chuàng)建異步任務(wù) task AsyncGeneration.call( modelqwen-turbo, # 并發(fā)請(qǐng)求可使用更輕量的模型 messagesmessages, result_formatmessage, ) tasks.append(task) # 等待所有任務(wù)完成 responses await asyncio.gather(*tasks) answers [] for resp in responses: if resp.status_code 200: answers.append(resp.output.choices[0].message[content]) else: answers.append(fError: {resp.message}) return answers async def main(): questions [ Python 中列表和元組的主要區(qū)別是什么, 解釋一下 HTTP 和 HTTPS 的區(qū)別。, 什么是 RESTful API ] results await async_chat_concurrent(questions) for q, a in zip(questions, results): print(fQ: {q[:50]}...) print(fA: {a[:100]}...\n) if __name__ __main__: asyncio.run(main())5.4 生產(chǎn)環(huán)境配置清單將學(xué)習(xí) demo 轉(zhuǎn)化為生產(chǎn)服務(wù)需要關(guān)注以下方面方面學(xué)習(xí)/測(cè)試環(huán)境生產(chǎn)環(huán)境建議API Key 管理硬編碼或環(huán)境變量使用密鑰管理服務(wù)如阿里云 KMS動(dòng)態(tài)獲取定期輪換。配置管理寫在代碼或簡(jiǎn)單配置文件使用配置中心如 Nacos, Apollo實(shí)現(xiàn)不同環(huán)境dev/test/prod隔離。錯(cuò)誤處理簡(jiǎn)單打印日志實(shí)現(xiàn)重試機(jī)制帶退避策略、熔斷降級(jí)如 Sentinel、告警通知。日志與監(jiān)控控制臺(tái)輸出結(jié)構(gòu)化日志JSON 格式接入 ELK 或 SLs。監(jiān)控 API 調(diào)用延遲、成功率、tokens 消耗。性能與限流直接調(diào)用實(shí)現(xiàn)客戶端緩存對(duì)相同問題緩存回復(fù)、請(qǐng)求隊(duì)列、按業(yè)務(wù)優(yōu)先級(jí)限流。成本控制使用免費(fèi)額度設(shè)置預(yù)算告警、按業(yè)務(wù)線拆分 API Key 以便核算、選擇性價(jià)比合適的模型如非必要不用 max 版本。安全基本無輸入輸出內(nèi)容過濾防注入、敏感信息、用戶身份鑒權(quán)、請(qǐng)求頻率限制。模型選型使用默認(rèn)或最強(qiáng)模型根據(jù)場(chǎng)景選擇qwen-turbo實(shí)時(shí)對(duì)話、qwen-plus通用任務(wù)、qwen-max復(fù)雜推理。進(jìn)行 A/B 測(cè)試。6. 常見問題排查與優(yōu)化在實(shí)際使用中你可能會(huì)遇到以下問題。6.1 調(diào)用失敗問題排查表問題現(xiàn)象可能原因檢查步驟解決方案Invalid API Key或Authentication failed1. API Key 錯(cuò)誤或未設(shè)置。2. API Key 已失效或被禁用。3. 環(huán)境變量未正確加載。1. 檢查代碼中dashscope.api_key或環(huán)境變量DASHSCOPE_API_KEY的值。2. 登錄百煉控制臺(tái)確認(rèn) API Key 狀態(tài)是否正常。1. 修正 API Key。2. 在控制臺(tái)重新生成 API Key 并更新配置。Model not found或Invalid model1. 模型名稱拼寫錯(cuò)誤。2. 該模型在當(dāng)前區(qū)域不可用。3. 免費(fèi)額度不包含該模型。1. 核對(duì)代碼中的model參數(shù)。2. 在百煉控制臺(tái)的“模型廣場(chǎng)”或“在線調(diào)用”頁(yè)面查看可用模型列表。1. 使用正確的模型名稱如qwen-plus。2. 切換到其他可用區(qū)域或模型。Rate limit exceeded或Throttling1. 請(qǐng)求頻率超過免費(fèi)額度或套餐的 QPS 限制。2. 突發(fā)大量請(qǐng)求。1. 查看控制臺(tái)的額度使用情況。2. 檢查代碼中是否有循環(huán)頻繁調(diào)用。1. 降低調(diào)用頻率加入延遲如time.sleep。2. 對(duì)于批量任務(wù)使用異步和隊(duì)列。Insufficient balance免費(fèi)額度已用完賬戶無余額。登錄阿里云控制臺(tái)查看“費(fèi)用中心”和百煉的“資源包/用量”情況。1. 購(gòu)買資源包或充值。2. 申請(qǐng)新的免費(fèi)活動(dòng)如果有。3. 優(yōu)化 prompts 減少 tokens 消耗。請(qǐng)求超時(shí)Timeout1. 網(wǎng)絡(luò)不穩(wěn)定。2. 模型響應(yīng)時(shí)間過長(zhǎng)生成長(zhǎng)文本。3. SDK 默認(rèn)超時(shí)時(shí)間太短。1. 檢查網(wǎng)絡(luò)連接。2. 嘗試一個(gè)簡(jiǎn)單 prompt 看是否快速響應(yīng)。1. 增加 SDK 或 HTTP 客戶端的超時(shí)設(shè)置。2. 對(duì)于長(zhǎng)文本生成使用流式接口并設(shè)置合理超時(shí)。3. 考慮使用qwen-turbo等更快模型。回復(fù)內(nèi)容不符合預(yù)期1. Prompt 指令不清晰。2.temperature參數(shù)過高導(dǎo)致隨機(jī)性大。3. 對(duì)話歷史包含誤導(dǎo)信息。1. 檢查system和user的 prompt 是否明確。2. 將temperature調(diào)低如 0.3。3. 清空歷史或檢查歷史消息。1. 優(yōu)化 prompt 工程給出更具體的指令和示例。2. 調(diào)整生成參數(shù)temperature,top_p。3. 實(shí)現(xiàn)對(duì)話歷史管理。6.2 成本優(yōu)化策略免費(fèi)額度是有限的合理使用才能延長(zhǎng)其生命周期。選擇合適的模型完成簡(jiǎn)單任務(wù)時(shí)優(yōu)先使用qwen-turbo而非qwen-max。在控制臺(tái)對(duì)比不同模型的單價(jià)和性能。優(yōu)化 Prompt清晰簡(jiǎn)潔避免冗長(zhǎng)的背景描述直接提問。結(jié)構(gòu)化對(duì)于復(fù)雜任務(wù)使用“步驟1、步驟2”或“思考過程”來引導(dǎo)模型有時(shí)反而能減少無效輸出。設(shè)定輸出格式明確要求模型以 JSON、列表或特定格式回復(fù)避免生成無關(guān)解釋。管理上下文如 5.1 節(jié)所述主動(dòng)裁剪或總結(jié)對(duì)話歷史避免每次調(diào)用都攜帶過長(zhǎng)的上下文。實(shí)現(xiàn)緩存層對(duì)于常見、重復(fù)性的問題如產(chǎn)品 FAQ可以將問答對(duì)緩存起來直接返回緩存結(jié)果避免重復(fù)調(diào)用 API。監(jiān)控與告警在阿里云費(fèi)用中心設(shè)置消費(fèi)預(yù)警當(dāng)用量達(dá)到免費(fèi)額度的 80%、90% 時(shí)發(fā)送通知。6.3 免費(fèi)額度使用建議明確適用范圍仔細(xì)閱讀免費(fèi)額度說明確認(rèn)其支持的模型、區(qū)域和有效期。通常qwen-turbo和qwen-plus在免費(fèi)范圍內(nèi)qwen-max可能不在或額度較少。用于學(xué)習(xí)和原型驗(yàn)證將免費(fèi)額度優(yōu)先用于技術(shù)可行性驗(yàn)證PoC、小型 demo 開發(fā)和個(gè)人學(xué)習(xí)。避免用于大規(guī)模、高并發(fā)的生產(chǎn)流量測(cè)試。分散使用如果有多個(gè)項(xiàng)目或?qū)嶒?yàn)可以創(chuàng)建多個(gè)應(yīng)用并使用同一個(gè) API Key但要在代碼中做好標(biāo)記以便后期分析各項(xiàng)目的成本。關(guān)注官方動(dòng)態(tài)阿里云會(huì)不定期推出新的免費(fèi)活動(dòng)或開發(fā)者激勵(lì)計(jì)劃。關(guān)注阿里云官網(wǎng)、技術(shù)社區(qū)和郵件通知。通過阿里云百煉平臺(tái)開發(fā)者能夠以極低的初始成本接觸和集成業(yè)界領(lǐng)先的大模型能力。從開通賬號(hào)、領(lǐng)取免費(fèi)額度到編寫第一個(gè)調(diào)用腳本再到構(gòu)建一個(gè)具備歷史管理功能的對(duì)話應(yīng)用這個(gè)過程本身就是一個(gè)完整的學(xué)習(xí)閉環(huán)。關(guān)鍵在于理解其按 token 計(jì)費(fèi)的模式并學(xué)會(huì)通過模型選型、prompt 優(yōu)化和上下文管理來控制成本。當(dāng)項(xiàng)目從學(xué)習(xí)測(cè)試走向生產(chǎn)環(huán)境時(shí)則需要將關(guān)注點(diǎn)從“功能實(shí)現(xiàn)”擴(kuò)展到“穩(wěn)定性、安全性與成本效益”的平衡引入必要的工程化實(shí)踐。