適合前后端/測試等有編程基礎(chǔ)的同學(xué)手把手教你給AI Agent“打分”前言通過前面18節(jié)課的學(xué)習(xí)你已經(jīng)能構(gòu)建一個功能完整的AI Agent了——它能調(diào)用工具、能自主決策、能團(tuán)隊(duì)協(xié)作、能記住用戶偏好、還能防御安全攻擊。但有一個問題是所有Agent從“Demo”走向“生產(chǎn)”必須面對的你怎么知道你的Agent“夠好”傳統(tǒng)的軟件測試有明確的輸入輸出和預(yù)期結(jié)果——單元測試、集成測試、端到端測試一套組合拳打下來質(zhì)量基本有保障。但Agent不一樣。同樣的輸入兩次運(yùn)行可能給出完全不同的回答同樣的任務(wù)Agent可能走不同的路徑同樣的工具調(diào)用參數(shù)可能略有差異。Agent的輸出是非確定性的——這讓評估變得極其困難。一句話定義Agent評估是通過多層級、多維度的測試方法對Agent的最終輸出、執(zhí)行軌跡、工具調(diào)用和對話能力進(jìn)行系統(tǒng)性度量以量化其性能、發(fā)現(xiàn)回歸、并持續(xù)優(yōu)化的過程。Agent評估不僅是“測一下能不能跑”更是從開發(fā)到上線的質(zhì)量保障體系。一、為什么Agent評估這么難——非確定性輸出的挑戰(zhàn)1.1 傳統(tǒng)測試 vs Agent測試維度傳統(tǒng)軟件測試Agent測試輸入輸出確定性相同輸入→相同輸出非確定性相同輸入→不同輸出預(yù)期結(jié)果明確可驗(yàn)證模糊、需要語義判斷執(zhí)行路徑固定代碼走哪條分支是確定的動態(tài)Agent自主決定調(diào)用哪些工具評判標(biāo)準(zhǔn)精確匹配/布爾值需要LLM-as-Judge或語義相似度回歸測試簡單對比前后輸出困難語義等價需要推理1.2 Agent評估的四個層級LangChain團(tuán)隊(duì)在評估Deep Agents的實(shí)踐中總結(jié)出有效的Agent評估需要在多個層級進(jìn)行。┌─────────────────────────────────────────────────────────────────┐ │ Agent評估四層金字塔 │ │ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第四層多輪對話Multi-turn Conversations │ │ │ │ 模擬真實(shí)用戶交互測試上下文理解和長期記憶 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第三層完整軌跡Full Trajectory │ │ │ │ 測試Agent的完整執(zhí)行路徑工具調(diào)用順序最終答案 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第二層單步?jīng)Q策Single Step │ │ │ │ 測試Agent在某個特定狀態(tài)下的下一步?jīng)Q策是否正確 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第一層單元測試Unit Test │ │ │ │ 測試單個工具/函數(shù)的正確性 │ │ │ └─────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘層級測試內(nèi)容運(yùn)行方式適用場景單元測試單個工具/函數(shù)離線開發(fā)階段驗(yàn)證基礎(chǔ)組件單步?jīng)Q策Agent某一步的選擇是否正確離線驗(yàn)證特定場景下的決策邏輯完整軌跡工具調(diào)用順序最終答案離線回歸測試版本對比多輪對話完整用戶交互在線/離線模擬真實(shí)使用場景二、Agent評估的核心指標(biāo)體系2.1 最終輸出質(zhì)量指標(biāo)指標(biāo)說明評估方式任務(wù)完成率Agent成功完成任務(wù)的次數(shù)占比人工/LLM判斷答案正確性最終答案是否與標(biāo)準(zhǔn)答案語義一致精確匹配/LLM-as-Judge答案有用性回答是否真正幫助了用戶LLM-as-Judge幻覺率回答中是否存在編造的事實(shí)事實(shí)核查2.2 軌跡與過程指標(biāo)指標(biāo)說明評估方式工具調(diào)用準(zhǔn)確率工具選擇和參數(shù)是否正確軌跡匹配工具錯誤率工具調(diào)用失敗的比例規(guī)則檢查平均步數(shù)完成任務(wù)所需的平均行動步數(shù)統(tǒng)計(jì)重復(fù)動作率重復(fù)無效動作的比例規(guī)則檢查路徑效率是否走了最優(yōu)路徑軌跡對比2.3 對話與行為指標(biāo)指標(biāo)說明評估方式目標(biāo)達(dá)成度Agent是否成功實(shí)現(xiàn)了用戶目標(biāo)LLM判斷主題遵循度是否在預(yù)定領(lǐng)域內(nèi)回答問題規(guī)則/LLM上下文連貫性多輪對話中是否保持邏輯一致LLM判斷2.4 成本與效率指標(biāo)指標(biāo)說明Token消耗每次對話的Token使用量API調(diào)用次數(shù)調(diào)用了多少次LLM API響應(yīng)延遲從輸入到輸出的時間成本/任務(wù)完成一個任務(wù)的平均成本三、Agent評估的三大主流框架3.1 LangSmith —— 最全面的評估平臺LangSmith是LangChain團(tuán)隊(duì)開發(fā)的評估和監(jiān)控平臺提供從開發(fā)到生產(chǎn)的完整評估能力。核心能力能力說明離線評估在開發(fā)階段對數(shù)據(jù)集運(yùn)行評估比較版本、發(fā)現(xiàn)回歸在線監(jiān)控在生產(chǎn)環(huán)境實(shí)時評估真實(shí)用戶交互30評估模板覆蓋安全、響應(yīng)質(zhì)量、軌跡、用戶行為、多模態(tài)可復(fù)用評估器一次構(gòu)建跨項(xiàng)目復(fù)用評估工作流1. 創(chuàng)建數(shù)據(jù)集手動標(biāo)注/歷史 traces/合成數(shù)據(jù) 2. 定義評估器規(guī)則/LLM-as-Judge/自定義 3. 運(yùn)行實(shí)驗(yàn)在數(shù)據(jù)集上執(zhí)行Agent 4. 分析結(jié)果對比版本、發(fā)現(xiàn)回歸LangSmith Engine當(dāng)評估發(fā)現(xiàn)失敗時LangSmith Engine可以自動診斷根因并幫助解決問題。3.2 Ragas —— 專注Agent指標(biāo)的開源庫Ragas是一個開源庫專門用于評估LLM應(yīng)用包括RAG系統(tǒng)和Agent。Agent專用指標(biāo)指標(biāo)說明ToolCallAccuracy評估LLM在識別和調(diào)用所需工具方面的性能AgentGoalAccuracy評估Agent是否成功實(shí)現(xiàn)了用戶目標(biāo)TopicAdherence評估Agent是否在預(yù)定領(lǐng)域內(nèi)回答問題Ragas的評估方式通過結(jié)構(gòu)化軌跡structured traces而非僅看最終輸出來評估Agent行為。3.3 agentevals —— LangChain官方軌跡評估包agentevals是LangChain官方開源的軌跡評估包。核心功能評估Agent的完整執(zhí)行軌跡消息序列工具調(diào)用。四種匹配模式模式說明適用場景strict精確匹配消息和工具調(diào)用的順序測試特定序列如“先查策略再授權(quán)”unordered工具調(diào)用順序不限驗(yàn)證信息檢索順序不重要subsetAgent只調(diào)用參考工具中的工具不能多確保Agent不超出預(yù)期范圍supersetAgent至少調(diào)用參考工具可以多驗(yàn)證最小必需操作3.4 三大框架對比維度LangSmithRagasagentevals類型云平臺SDK開源庫開源包核心能力全鏈路評估監(jiān)控Agent/RAG指標(biāo)軌跡匹配學(xué)習(xí)曲線中低低離線評估???在線監(jiān)控???可視化? 完整儀表板??四、實(shí)戰(zhàn)用LangSmith評估Agent4.1 環(huán)境配置importosfromlangsmithimportClientfromlangsmith.evaluationimportevaluatefromlangchain_openaiimportChatOpenAIfromlangchain.agentsimportcreate_agentfromlangchain.toolsimporttool# 設(shè)置LangSmith環(huán)境變量os.environ[LANGCHAIN_API_KEY]YOUR_LANGSMITH_API_KEYos.environ[LANGCHAIN_ENDPOINT]https://api.smith.langchain.comos.environ[OPENAI_API_KEY]YOUR_OPENAI_API_KEY# 初始化LangSmith客戶端clientClient()4.2 定義待評估的Agenttooldefget_weather(city:str)-str:獲取指定城市的天氣信息weather_db{北京:晴25°C,上海:多云28°C,深圳:小雨30°C}returnweather_db.get(city,f未找到{city}的天氣信息)tooldefsearch_web(query:str)-str:搜索網(wǎng)絡(luò)信息returnf關(guān)于{query}的搜索結(jié)果找到3條相關(guān)信息...# 創(chuàng)建AgentllmChatOpenAI(modelgpt-4o-mini,temperature0)agentcreate_agent(modelllm,tools[get_weather,search_web],system_prompt你是一個樂于助人的助手可以使用工具回答問題。)4.3 創(chuàng)建評估數(shù)據(jù)集# 在LangSmith中創(chuàng)建數(shù)據(jù)集dataset_nameweather_agent_test# 檢查數(shù)據(jù)集是否存在不存在則創(chuàng)建try:datasetclient.read_dataset(dataset_namedataset_name)except:datasetclient.create_dataset(dataset_namedataset_name,description天氣查詢Agent的測試數(shù)據(jù)集)# 添加測試用例examples[{inputs:{question:北京今天天氣怎么樣},outputs:{expected_answer:北京天氣晴朗氣溫25°C,expected_tools:[get_weather]}},{inputs:{question:上海的天氣如何},outputs:{expected_answer:上海多云氣溫28°C,expected_tools:[get_weather]}},{inputs:{question:幫我查一下深圳天氣再搜一下深圳的旅游景點(diǎn)},outputs:{expected_answer:深圳小雨30°C深圳旅游景點(diǎn)包括世界之窗、歡樂谷等,expected_tools:[get_weather,search_web]}}]# 批量添加示例client.create_examples(inputs[{question:ex[inputs][question]}forexinexamples],outputs[{reference:ex[outputs][expected_answer],expected_tools:ex[outputs][expected_tools]}forexinexamples],dataset_iddataset.id)4.4 定義評估器fromlangsmith.evaluationimportRunEvaluatorfromlangsmith.schemasimportExample,Run# 1. 答案正確性評估器使用LLM-as-Judgedefanswer_correctness_evaluator(run:Run,example:Example)-dict:評估Agent的最終答案是否正確# 獲取Agent的輸出和標(biāo)準(zhǔn)答案predictionrun.outputs.get(output,)referenceexample.outputs.get(reference,)# 使用LLM判斷語義等價性judge_llmChatOpenAI(modelgpt-4o-mini,temperature0)judge_promptf 判斷以下兩個回答是否在語義上等價表達(dá)相同的意思。 標(biāo)準(zhǔn)答案{reference}Agent回答{prediction}只輸出是或否。 resultjudge_llm.invoke(judge_prompt)is_correct是inresult.contentreturn{key:answer_correctness,score:1.0ifis_correctelse0.0}# 2. 軌跡評估器檢查工具調(diào)用是否正確deftrajectory_evaluator(run:Run,example:Example)-dict:評估Agent的工具調(diào)用軌跡是否正確expected_toolsexample.outputs.get(expected_tools,[])# 從運(yùn)行中提取工具調(diào)用actual_tools[]ifhasattr(run,trace)andrun.trace:forchildinrun.trace.get(children,[]):ifchild.get(name)inexpected_tools:actual_tools.append(child.get(name))# 檢查是否調(diào)用了所有預(yù)期工具all_calledall(toolinactual_toolsfortoolinexpected_tools)# 檢查是否調(diào)用了不該調(diào)用的工具可選no_extralen(actual_tools)len(expected_tools)return{key:trajectory_correctness,score:1.0if(all_calledandno_extra)else0.0,comment:f預(yù)期工具:{expected_tools}, 實(shí)際調(diào)用:{actual_tools}}4.5 運(yùn)行評估fromlangsmith.evaluationimportRunEvalConfig# 定義評估配置eval_configRunEvalConfig(evaluators[answer_correctness_evaluator,trajectory_evaluator],max_concurrency1# 并行執(zhí)行數(shù)量)# 運(yùn)行評估deftarget_agent(inputs:dict)-dict:待評估的Agent函數(shù)resultagent.invoke({messages:[{role:user,content:inputs[question]}]})return{output:result[messages][-1].content}resultsevaluate(target_agent,datadataset_name,evaluatorseval_config,experiment_prefixweather_agent_v1)print(f評估完成查看結(jié)果{results.url})4.6 分析結(jié)果評估完成后可以在LangSmith儀表板中按answer_correctness分?jǐn)?shù)篩選找到回答錯誤的案例按trajectory_correctness分?jǐn)?shù)篩選找到工具調(diào)用錯誤的案例對比不同版本的Agent性能發(fā)現(xiàn)回歸五、實(shí)戰(zhàn)用agentevals做軌跡匹配評估fromagentevals.trajectory.matchimportcreate_trajectory_match_evaluatorfromlangchain_core.messagesimportHumanMessage,AIMessage,ToolMessage# 創(chuàng)建軌跡匹配評估器trajectory_evaluatorcreate_trajectory_match_evaluator(trajectory_match_modestrict,# 嚴(yán)格匹配模式)# 定義參考軌跡期望的執(zhí)行路徑reference_trajectory[HumanMessage(content北京天氣怎么樣),AIMessage(content,tool_calls[{id:call_1,name:get_weather,args:{city:北京}}]),ToolMessage(content北京晴25°C,tool_call_idcall_1),AIMessage(content北京今天天氣晴朗氣溫25°C。)]# 實(shí)際執(zhí)行Agent獲取軌跡resultagent.invoke({messages:[HumanMessage(content北京天氣怎么樣)]})actual_trajectoryresult[messages]# 評估evaluationtrajectory_evaluator(outputsactual_trajectory,reference_outputsreference_trajectory)print(f軌跡匹配結(jié)果:{evaluation})# {key: trajectory_strict_match, score: True, comment: None}四種匹配模式的應(yīng)用場景模式代碼適用場景stricttrajectory_match_modestrict測試嚴(yán)格的執(zhí)行順序如“先身份驗(yàn)證再操作”unorderedtrajectory_match_modeunordered驗(yàn)證信息檢索工具調(diào)用順序不重要subsettrajectory_match_modesubset確保Agent不調(diào)用超出范圍的工具supersettrajectory_match_modesuperset驗(yàn)證Agent至少完成了最低要求的操作六、Deep Agents的評估經(jīng)驗(yàn)LangChain團(tuán)隊(duì)在構(gòu)建Deep Agents復(fù)雜、有狀態(tài)的長期運(yùn)行Agent時總結(jié)了四條關(guān)鍵經(jīng)驗(yàn)經(jīng)驗(yàn)1每個測試用例需要獨(dú)立的成功標(biāo)準(zhǔn)傳統(tǒng)LLM評估中所有數(shù)據(jù)點(diǎn)使用相同的評估邏輯。但Deep Agent不同——每個測試用例的“成功標(biāo)準(zhǔn)”可能完全不同。例如一個日歷調(diào)度Agent需要驗(yàn)證Agent是否調(diào)用了edit_file修改memories.mdAgent是否在最終消息中告知了用戶memories.md文件是否確實(shí)包含了正確的記憶內(nèi)容經(jīng)驗(yàn)2單步運(yùn)行驗(yàn)證決策單步運(yùn)行Single Step可以快速驗(yàn)證Agent在特定場景下的決策是否正確而且節(jié)省Token。經(jīng)驗(yàn)3完整軌跡測試最終狀態(tài)完整軌跡Full Turn用于測試Agent的最終狀態(tài)——不僅看最終答案還要檢查工具調(diào)用序列和狀態(tài)變化。經(jīng)驗(yàn)4多輪對話模擬真實(shí)交互多輪對話Multiple Turns模擬真實(shí)的用戶交互但需要“保持在軌道上”——不能讓對話無限發(fā)散。七、Agent評估最佳實(shí)踐7.1 評估策略組合階段評估方式頻率開發(fā)階段單元測試 單步?jīng)Q策評估每次代碼變更集成階段完整軌跡評估每次PR預(yù)發(fā)布數(shù)據(jù)集批量評估版本發(fā)布前生產(chǎn)環(huán)境在線評估 實(shí)時監(jiān)控持續(xù)7.2 離線評估 vs 在線評估維度離線評估在線評估時機(jī)上線前生產(chǎn)環(huán)境實(shí)時數(shù)據(jù)固定數(shù)據(jù)集真實(shí)用戶流量目的發(fā)現(xiàn)回歸、對比版本檢測實(shí)時問題、度量質(zhì)量反饋慢批量運(yùn)行快實(shí)時7.3 評估器類型選擇評估器類型適用場景優(yōu)缺點(diǎn)規(guī)則匹配精確格式、工具名稱快速、確定性強(qiáng)、覆蓋面窄LLM-as-Judge語義正確性、有用性靈活、覆蓋面廣、成本高、不穩(wěn)定軌跡匹配工具調(diào)用順序精確控制、需定義參考軌跡人工評估最終驗(yàn)收最可靠、最慢、最貴7.4 常見陷阱陷阱1只測最終答案不測軌跡只看最終答案可能會掩蓋Agent走“彎路”的問題——答案對了但調(diào)了不該調(diào)的工具、浪費(fèi)了Token。陷阱2測試數(shù)據(jù)泄露不要在訓(xùn)練/開發(fā)數(shù)據(jù)上測試。用獨(dú)立的、未在Agent開發(fā)過程中見過的測試集。陷阱3忽略成本評估Agent不僅要“做對”還要“做得便宜”。跟蹤Token消耗和API調(diào)用次數(shù)。八、實(shí)戰(zhàn)小練習(xí)作業(yè)練習(xí)構(gòu)建客服Agent的完整評估體系需求構(gòu)建一個簡單的客服Agent支持查詢訂單狀態(tài)、退款、產(chǎn)品咨詢在LangSmith中創(chuàng)建包含10個測試用例的數(shù)據(jù)集實(shí)現(xiàn)三種評估器答案正確性評估器LLM-as-Judge軌跡評估器檢查工具調(diào)用是否正確成本評估器檢查Token消耗是否在預(yù)算內(nèi)運(yùn)行評估并分析結(jié)果提示代碼框架fromlangsmithimportClientfromlangsmith.evaluationimportevaluate# 1. 定義Agenttooldefcheck_order(order_id:str)-str:查詢訂單狀態(tài)returnf訂單{order_id}狀態(tài)已發(fā)貨tooldefprocess_refund(order_id:str)-str:處理退款returnf訂單{order_id}退款處理中# 2. 創(chuàng)建數(shù)據(jù)集clientClient()datasetclient.create_dataset(dataset_namecustomer_service_test)test_cases[{question:我的訂單12345到哪了,expected_tools:[check_order]},{question:我要退款訂單號67890,expected_tools:[process_refund]},# ... 添加更多測試用例]# 3. 定義評估器defanswer_correctness(run,example):# LLM-as-Judge評估passdeftrajectory_correctness(run,example):# 檢查工具調(diào)用passdefcost_evaluator(run,example):# 檢查Token消耗pass# 4. 運(yùn)行評估resultsevaluate(target_agent,datadataset_name,evaluators[answer_correctness,trajectory_correctness,cost_evaluator])結(jié)語今天這節(jié)課我們?nèi)鎸W(xué)習(xí)了Agent的評估與測試知識點(diǎn)核心內(nèi)容為什么評估很難Agent輸出非確定性需要多層級測試四個評估層級單元測試→單步?jīng)Q策→完整軌跡→多輪對話核心指標(biāo)體系任務(wù)完成率、工具調(diào)用準(zhǔn)確率、目標(biāo)達(dá)成度、成本LangSmith全鏈路評估平臺30模板離線在線Ragas開源Agent指標(biāo)庫ToolCallAccuracy等agentevals官方軌跡匹配包四種匹配模式Deep Agents經(jīng)驗(yàn)每個測試用例獨(dú)立標(biāo)準(zhǔn)、多輪對話模擬真實(shí)交互最佳實(shí)踐離線在線組合、多類型評估器、成本監(jiān)控至此模塊五工程篇的第19節(jié)已完成課時內(nèi)容狀態(tài)第19節(jié)Agent的評估與測試?第20節(jié)Agent的部署與上線待生成第21節(jié)Agent的可觀測性與監(jiān)控待生成第22節(jié)Agent的性能優(yōu)化待生成下節(jié)課第20節(jié)我們將學(xué)習(xí)Agent的部署與上線——如何將Agent封裝為RESTful API、服務(wù)化架構(gòu)設(shè)計(jì)、異步處理與任務(wù)隊(duì)列讓你的Agent真正走向生產(chǎn)環(huán)境如果覺得有幫助歡迎點(diǎn)贊、收藏、評論三連我們下節(jié)課見 本文是《AI Agent開發(fā)實(shí)戰(zhàn)》課程第19節(jié)的完整內(nèi)容系列文章持續(xù)更新中關(guān)注我不迷路