本文深入淺出地介紹了大模型LLM的基本原理包括Token、Prompt、Context等核心概念以及Scaling Law和Emergence等重要理論。文章闡述了LLM如何通過Harness工程軀干從接話轉(zhuǎn)變?yōu)槟茏灾鲌?zhí)行多步任務(wù)的Agent并總結(jié)了從LLM到Agent的發(fā)展脈絡(luò)。對于想要了解大模型和Agent的程序員來說這是一份不可多得的入門指南。你可能也刷到過 Claude Code、Codex、Manus 這些名字也聽人講AI Agent 是未來。但真要追問一句——Agent 到底是什么它和你天天用的 ChatGPT 有什么本質(zhì)區(qū)別為什么同樣是大模型有的只是陪你聊天有的卻能讀文件、改代碼、跑命令、持續(xù)完成任務(wù)說實話我之前也說不清楚。天天用 AI 寫代碼、查資料、做總結(jié)自以為很懂但當(dāng)我試圖向團隊解釋為什么我們需要 Agent 架構(gòu)時才發(fā)現(xiàn)自己只停留在能對話的層面對底層原理一知半解。如果你也和我一樣對 Agent 本身充滿好奇那這篇文章就是為你寫的。我不會一上來就堆術(shù)語定義而是沿著 Agent 出現(xiàn)的歷史脈絡(luò)往前推——先把 LLM 這個大腦本身拆清楚它如何產(chǎn)出文字為什么提示詞能改變生成結(jié)果為什么上下文窗口框定了模型當(dāng)下的視野以及為何參數(shù)規(guī)模突破某個閾值后推理、編程、翻譯這些高階技能會突然冒出來。只有先夯實這一層后面再聊 Chatbot、Prompt Engineering、Context Engineering乃至 Agent 和 Harness才不會變成時髦詞的堆疊。準(zhǔn)備好了嗎讓我們沿著這條路走一遍。一、先說結(jié)論Agent LLM Harness在工程實現(xiàn)層面我們可以先記住一個公式Agent LLM Harness什么意思逐個拆開理解。1.LLM 是大腦LLM大語言模型唯一的工作就是猜下一個字最可能是什么。就像你用手機輸入法打出今天天氣真它馬上推薦好“不錯”——只不過 LLM 的聯(lián)想能力比輸入法高出幾個量級。但這個大腦有嘴沒手不能自己操作文件、運行命令也不會在模型內(nèi)部長期保存任務(wù)狀態(tài)。2.Chatbot 與 Agent 的區(qū)別我們?nèi)粘Ｓ玫?AI 產(chǎn)品底層都有一個 LLM。能對話是因為產(chǎn)品方給這個大腦套上了聊天界面相當(dāng)于裝了一張嘴于是它變成了 Chatbot聊天機器人。但 Chatbot 的交互模式基本停留在你問一句它回一句。Agent 則完全不同——它在 LLM 的大腦/嘴之外加上了手腳、工具、記憶、執(zhí)行環(huán)境、權(quán)限和反饋回路。維度ChatbotAgent核心能力對話、問答自主執(zhí)行多步驟任務(wù)工具使用? 無? 可調(diào)用文件系統(tǒng)、終端、API記憶? 僅限當(dāng)前對話? 跨會話持久化記憶自我糾錯? 一次性輸出? 觀察結(jié)果→調(diào)整→再執(zhí)行反饋回路? 無? 寫→跑→看→修→再來Agent 不止于說更能做不止于做一步更能根據(jù)執(zhí)行結(jié)果自我調(diào)整繼續(xù)推進。它更像是一個 LLM 大腦被裝進了一套能行動、能觀察、能記憶、能驗證、能受控的工程軀干里。3.Harness從馬具到工程軀干Harness 泛指 LLM 之外的那層殼——嘴、手腳、工具、記憶、執(zhí)行環(huán)境等配套設(shè)施的總和。英文Harness本意是馬具——套在馬身上讓它能拉車、干活的一整套裝備韁繩、馬鞍、馬蹄鐵等。這個詞用在 AI Agent 上生動地說明模型好比一匹烈馬Harness 就是把原始的模型能力馴服和引導(dǎo)為可控、可靠的生產(chǎn)力的那套韁與鞍。?? 這不是最嚴(yán)格的定義而是業(yè)內(nèi)廣泛形成共識的一種直覺好用的理解框架。LLM 負責(zé)推理和生成Harness 負責(zé)把它接入真實世界。Agent 指被 Harness 包裹著的 LLM。4.Harness 的兩層結(jié)構(gòu)以當(dāng)下最主流的 Coding Agent——Claude Code 為例Harness 可以拆成兩層層級名稱定位典型內(nèi)容Builder Harness系統(tǒng)底層執(zhí)行層給 LLM 執(zhí)行用的基礎(chǔ)設(shè)施Agent 底層定義System Prompt、文件系統(tǒng)、終端沙箱、工具調(diào)用User Harness用戶層約束層規(guī)范用戶使用 Agent 完成特定任務(wù)CLAUDE.md 中的編碼規(guī)范、項目約定、工作流Claude Code 是 Anthropic 推出的 agentic coding tool。套用本文框架來拆它把 Claude 這個 LLM 對接到代碼倉庫、Shell、文件系統(tǒng)、工具鏈和反饋閉環(huán)——讓它從只會說躍遷到真能干的決定性因素不是模型本身而是包裹在模型外面的那層工程外殼。LLM 到 Agent 之間并不是直接跳過去的Harness 也不是一蹴而就的。為什么一個原本只會接話的語言模型后來竟然能讀代碼、改文件、跑命令、看報錯、繼續(xù)修復(fù)這件事得先回到 LLM 的底層機制說起。二、LLM 基礎(chǔ)只會接話的語言模型1.Token最小語言處理單元LLM 的底層架構(gòu)基于 Transformer運行模式為自回歸——通俗講就是逐詞往下續(xù)寫。一句話概括拿到已有文本計算下一個詞元Token的概率分布挑一個追加到末尾再重復(fù)此過程。這個機制決定了關(guān)于 LLM 的一切——本質(zhì)上就是根據(jù)上文預(yù)測下一個 Token。關(guān)于 LLM有三個必須搞清的基礎(chǔ)概念Token、Prompt 和 Context。 Token 是什么LLM 無法直接處理原始文字——本質(zhì)還是機器。在真正處理之前文本會先被分詞器切成一個個最小處理單元——Token。Token 不是完整的詞而是子詞或字符片段。中文里一個字或一個詞、英文里一個單詞或單詞片段都可能被拆成 Token。比如unbelievable可能被切成 [“un”, “believe”, “able”]。 為什么不直接用字母或完整詞做 Token 核心是平衡詞匯量大小和序列長度方案問題以字母為單位語義單元太小——把 “l(fā)ike” 拆成 [“l(fā)”,“i”,“k”,“e”]模型完全無法判斷這是喜歡“像還是愛好”字母本身幾乎沒有語義以完整詞為單位詞表會膨脹到百萬級——eat/eats/eating/eaten 被當(dāng)成四個毫無關(guān)聯(lián)的新詞無法理解它們共享同一個核心動作子詞分詞法BPE? 復(fù)用詞根幾千個積木覆蓋幾十萬詞的全部變化子詞分詞法的妙處把 “unbelievable” 拆成 [“un”, “believe”, “able”]“eating” 拆成 [“eat”, “ing”]——模型既能抓到核心含義來自 eat 和 believe又能借助 “ing”、“un”、“able” 這類共享積木理解時態(tài)和語氣。幾千塊積木就能拼出幾十萬英文單詞的全部變形。實際效果你輸入給 LLM 的任何話都會先被分詞器切成一串 Token每個 Token 底層有一個專屬 ID——就像字典上每個詞的編號。模型預(yù)測下一個詞本質(zhì)就是預(yù)測下一個 Token 的 ID。 Token 經(jīng)濟學(xué)Token 已是公認的最基礎(chǔ) AI 花銷計量單位。管理 AI 成本的核心本質(zhì)上就是在分配 Token 預(yù)算。如今Token 經(jīng)濟學(xué)已經(jīng)成型并爆火大量廠商和個人在 Token 的倒買倒賣中試圖分一杯羹各種 Token 套餐層出不窮——其中不乏吃相較難看的……2.Prompt操控輸出的方向盤如果上文是空的模型就寸步難行。這個初始輸入就是 Prompt提示詞。從數(shù)學(xué)角度簡單理解Prompt 就是你給模型提供的條件概率的前置條件。模型看到 Prompt 請用李白的風(fēng)格寫一首詠月的詩之后它內(nèi)部計算可以簡化為P(下一個詞 | “請用李白的風(fēng)格寫一首詠月的詩”)模型在訓(xùn)練時讀過無數(shù)詩詞、無數(shù)指令學(xué)到的模式是當(dāng)上文出現(xiàn)李白“風(fēng)格”詩這些詞時后續(xù)大概率會是古詩體、帶李白特色的詞匯。Prompt 的本質(zhì)就是通過改寫上文來操控模型預(yù)測的條件分布。提示詞稍有變化前置條件就變了輸出的概率分布就可能顯著偏移——“寫一首詩和請創(chuàng)作一首七言絕句”條件不同生成路徑就分叉了。這也為后來 Prompt Engineering 的興起埋下了伏筆。3.Context模型當(dāng)下能看見的世界模型在生成每個新 Token 時都會回顧之前見過的所有內(nèi)容。這個被回顧的整個上文——包括提示詞、歷史對話、模型自身的輸出——就是 Context上下文。訓(xùn)練時學(xué)到的參數(shù)化知識之外裸模型在一次對話中不具備真正的長期記憶也不天然聯(lián)網(wǎng)。當(dāng)然產(chǎn)品方可以在模型外掛載記憶庫、搜索引擎、數(shù)據(jù)庫等模塊但對模型本身而言它當(dāng)下能直接加工的仍然只有被塞進上下文窗口里的內(nèi)容。這個回顧的能力來自 Transformer 的核心數(shù)學(xué)特性——自注意力機制Self-Attention。簡單理解讓句子中的每個詞都能和上下文里所有其他詞打招呼計算出一個注意力權(quán)重判斷誰對自己最重要。2017 年Google 拋出論文《Attention Is All You Need》Transformer 架構(gòu)橫空出世徹底改寫了 NLP 的規(guī)則——它放棄了沿用多年的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN完全依賴注意力機制就拿到了更強的效果和更高的訓(xùn)練吞吐。時至今日幾乎所有大語言模型都建立在 Transformer 這個底座之上。4.上下文窗口與迷失在中間模型能看無限長的上下文嗎不能——這就引出了上下文約束Context Constraint的來源。標(biāo)準(zhǔn)全量自注意力的計算復(fù)雜度與 Token 數(shù)量相關(guān)呈 O(n2) 增長——Token 越多計算量平方級膨脹。現(xiàn)實中長上下文模型會通過 KV cache、分塊、稀疏注意力等工程優(yōu)化來緩解但上下文越長成本和難度越高這個基本約束沒有消失。所以系統(tǒng)必須設(shè)定一個最大長度上限這就是上下文窗口Context Window。沒被放進窗口的內(nèi)容模型在當(dāng)前推理里就看不見等同于從未存在。上下文窗口的演變我用一張表幫你建立直覺階段窗口大小類比 便利貼≤4K巴掌大的紙聊幾句就得擦掉重寫 說明書32K能攤開一份產(chǎn)品手冊或幾十頁合同? 工作臺128K–200K能裝下《三體》第一部像個讀過所有資料的同事? 圖書館1M–10M一次性擺滿整個哈利·波特系列或整個代碼倉庫?? 一個關(guān)鍵的但是桌面大了不等于什么都能精準(zhǔn)定位就像把一本幾百頁的書攤開在巨大的工作臺上——內(nèi)容全在眼前但你的注意力天然更集中在書的開頭和正在讀的那一頁中間攤開的部分很容易一眼掃過就忽略。模型也一樣——即便上下文窗口不斷擴大它仍然對文檔首尾的信息提取最準(zhǔn)確中間部分則容易視而不見。這便是“迷失在中間”Lost in the Middle效應(yīng)LLM 的一個重要已知缺陷。 所以上下文工程的核心不是換一張更大的桌子而是學(xué)會在這張桌面上把最關(guān)鍵的信息永遠放在模型注意力最集中的位置。哪怕窗口已經(jīng)擴到百萬級 Token精心編排提示詞和檢索策略仍然不可省略——否則重要信息照樣被淹沒。三、Scaling Law大力出奇跡的科學(xué)依據(jù)一個只會詞語接龍的統(tǒng)計模型怎么就會寫詩、翻譯、寫代碼了它真的理解了語言還是只是在背誦解開這個謎題的關(guān)鍵在于兩個概念Scaling Law規(guī)模法則 和 Emergence涌現(xiàn)。1.從直覺到定律Scaling Law 的誕生Anthropic 聯(lián)合創(chuàng)始人 Dario Amodei 的職業(yè)軌跡恰好是 Scaling Law 從萌芽到成熟的縮影。他早年在百度硅谷 AI 實驗室做語音識別研究與當(dāng)時的百度首席科學(xué)家吳恩達共事。后來在訪談中他回憶正是在那些語音訓(xùn)練實驗里他捕捉到了一個早期信號數(shù)據(jù)量增加、模型擴大、訓(xùn)練時長拉長之后性能呈現(xiàn)出顯著且持續(xù)的上行趨勢。這仍然只是訪談里的個人回憶不是正式論文結(jié)論但它幫助我們理解 Scaling Law 思想出現(xiàn)的早期背景。時間事件意義2017年百度研究院發(fā)表《Deep Learning Scaling is Predictable, Empirically》首次實證深度學(xué)習(xí)性能與規(guī)模因素呈可預(yù)測的冪律關(guān)系2020年OpenAI 發(fā)表《Scaling Laws for Neural Language Models》正式確立投入多少資源模型可預(yù)測地變好多少故事的高潮出現(xiàn)在 2020 年的 OpenAI。彼時 Dario Amodei 已從百度轉(zhuǎn)投 OpenAI 擔(dān)任研究副總裁。研究團隊訓(xùn)練了幾十種不同參數(shù)規(guī)模的模型隨后將性能數(shù)據(jù)畫到對數(shù)坐標(biāo)圖上——一條幾乎完美的直線浮現(xiàn)出來。據(jù)此OpenAI 拋出了那篇后來被反復(fù)引用的論文《Scaling Laws for Neural Language Models》給出了精準(zhǔn)結(jié)論語言模型的最終表現(xiàn)跟投入的算力、訓(xùn)練語料體量、參數(shù)規(guī)模三者之間橫跨 7 個數(shù)量級維持著極度穩(wěn)定的冪律關(guān)聯(lián)。換句話說他們用相對嚴(yán)格的數(shù)理方式證明了一條煉金術(shù)公式你投入多少資源模型就會可預(yù)測地變好多少。這條規(guī)律后來被冠以大名鼎鼎的 Scaling Law規(guī)模法則。它從一段模糊的直覺蛻變?yōu)橹敢麄€大語言模型行業(yè)發(fā)展的第一性原理也成了軍備競賽的理論基石。Dario Amodei 本人正是懷著對這一規(guī)律的堅定信仰不久后離開 OpenAI 創(chuàng)辦了 Anthropic。 這給全行業(yè)注入了信心在相當(dāng)大的范圍內(nèi)持續(xù)堆料——更多參數(shù)、更多語料、更多算力——模型效果就會沿著可預(yù)見的曲線攀升。雖然不等于堆料必勝但足以把大模型訓(xùn)練從押寶賭博推進到有據(jù)可依的工程投入。大模型競賽的序幕由此拉開。2.Scaling Law 到頭了嗎從 AI 爆發(fā)以來Scaling Law 是否到頭始終爭論不休。前段時間張小珺采訪姚順宇《獨家對話姚順宇請允許我小瘋一下》后者給出了一組基于一線模型研究的判斷注意訪談觀點非論文結(jié)論維度判斷 理論上未見頂——作為經(jīng)驗定律的 Scaling Law 依然有效潛力巨大 實踐上多 Bug——所謂撞墻大多是執(zhí)行層面的問題掩蓋了真實進步? 未來上靠系統(tǒng)——個人英雄紅利消失未來 AI 的突破將取決于能否構(gòu)建一個靠譜的集體系統(tǒng)姚順宇出身理論物理先后在 Anthropic 和 Google DeepMind 從事模型研究。他的判斷折射出一線研究者的重要共識Chinchilla 模型雖然參數(shù)只有 Gopher 的四分之一但因為吃了 4 倍多的數(shù)據(jù)最終表現(xiàn)反而更優(yōu)。Chinchilla Law 的核心建議模型參數(shù)與訓(xùn)練 Token 數(shù)的理想比例約為 1:20才能在特定算力預(yù)算下實現(xiàn)效果最大化。這就像健身光練大肌肉參數(shù)不行營養(yǎng)數(shù)據(jù)也得跟上而且要等比增長。四、Emergence量變引發(fā)質(zhì)變Scaling Law 解釋了大模型效果穩(wěn)步上行但更讓人震撼的現(xiàn)象還在后面——當(dāng)參數(shù)從幾千萬膨脹到百億、千億量級某些在小模型上完全不存在的智能行為竟然在超大模型上自發(fā)浮現(xiàn)。這些能力從未被專門訓(xùn)練過——訓(xùn)練目標(biāo)始終只有預(yù)測下一個 Token——但它們就是冒出來了如同水溫升到沸點驟然翻滾。研究者借用了復(fù)雜科學(xué)里的一個古老詞匯來命名——涌現(xiàn)Emergence。所謂涌現(xiàn)就是量變引發(fā)質(zhì)變。涌現(xiàn)能力指的是小規(guī)模模型中不存在、但在大規(guī)模模型中才出現(xiàn)的能力。1.涌現(xiàn)不是 AI 獨有涌現(xiàn)這一概念并非 AI 首創(chuàng)它的根基扎在復(fù)雜系統(tǒng)科學(xué)里。諾貝爾物理學(xué)獎得主菲利普·安德森曾留下一個經(jīng)典論斷——“多者異也”More is different——精確刻畫了這種規(guī)律大量簡單組件按照簡單規(guī)則交互當(dāng)規(guī)模越過某個門檻整體就會呈現(xiàn)出任何單一組件都無法預(yù)示的全局新特征。涌現(xiàn)為何會發(fā)生學(xué)界目前對 LLM 涌現(xiàn)原理的研究正處于活躍期但尚無統(tǒng)一的嚴(yán)格證明——本質(zhì)上對復(fù)雜系統(tǒng)涌現(xiàn)現(xiàn)象做出解釋性論證本身難度就極高。不過這并不妨礙我們先理解和利用它。一些來自自然界的類比系統(tǒng)個體行為涌現(xiàn)的宏觀屬性 水單個 H?O 分子既沒有濕的感覺也沒有流動的特性濕潤和流動這些全新的宏觀屬性涌現(xiàn)了出來 蟻群單個螞蟻行為極其簡單種植真菌、飼養(yǎng)蚜蟲等農(nóng)業(yè)文明——解剖任何一只螞蟻都找不到負責(zé)這些行為的基因 神經(jīng)網(wǎng)絡(luò)單個參數(shù)只是數(shù)字推理、翻譯、寫代碼——當(dāng)擁有足夠多的螞蟻全新的協(xié)作方式讓智慧悄然誕生2.GPT-3規(guī)模即能力2020 年OpenAI 發(fā)表了里程碑論文《Language Models are Few-Shot Learners》介紹了擁有 1750 億參數(shù)的 GPT-3。這篇論文的關(guān)鍵價值不在于架構(gòu)創(chuàng)新而在于用實驗數(shù)據(jù)印證了一個震撼結(jié)論“規(guī)模即能力”。當(dāng)參數(shù)量沖到 1750 億這個前所未有的量級一種此前從未顯現(xiàn)的技能被解鎖了——無需對任何下游任務(wù)做微調(diào)不更新任何參數(shù)僅在輸入里給出三兩個示例few-shot prompting模型就能在翻譯、問答、算術(shù)、單詞重組等數(shù)十項 NLP 評測中拿到與當(dāng)時最優(yōu)專用模型旗鼓相當(dāng)甚至更優(yōu)的分?jǐn)?shù)。這種在 GPT-2 時期就已初露端倪的能力到 GPT-3 才真正變得強大且穩(wěn)定。學(xué)術(shù)界后來把它命名為“上下文學(xué)習(xí)”In-Context Learning。比如你想讓它把英文翻譯成法文不用重新訓(xùn)練模型直接在輸入里寫英文: Hello → 法文: Bonjour英文: Thank you → 法文: Merci英文: Good morning → 法文:模型看到這兩個示例馬上識別出翻譯模式然后正確接上 Bonjour。GPT-3 論文的真正價值不在于首創(chuàng)了上下文學(xué)習(xí)而是在超大規(guī)模上系統(tǒng)驗證了這種能力的強度與通用性——由此開創(chuàng)了預(yù)訓(xùn)練 提示詞的全新范式讓 AI 從每個任務(wù)都要單獨訓(xùn)練的專用工具蛻變?yōu)榭可舷挛木湍芙邮中氯蝿?wù)的通用助手。3.Google 正式確立涌現(xiàn)GPT-3 讓全世界目睹了這種奇異現(xiàn)象但真正把涌現(xiàn)這個概念在大模型領(lǐng)域確立下來的是 Google 團隊 2022 年發(fā)表的論文 《Emergent Abilities of Large Language Models》。研究團隊系統(tǒng)考察了 GPT-3、Gopher、LaMDA 等一系列不同規(guī)模的模型得出了關(guān)鍵結(jié)論模型表現(xiàn)跟規(guī)模之間并非線性遞增關(guān)系而是存在一個臨界拐點——只有參數(shù)量突破特定閾值才會激活小模型完全不具備的新能力。這是涌現(xiàn)現(xiàn)象首次獲得大規(guī)模系統(tǒng)性實證支撐。涌現(xiàn)能力很難通過外推小模型表現(xiàn)來預(yù)測這意味著繼續(xù)擴大規(guī)模有望進一步拓寬能力邊界。論文中部分任務(wù)顯示能力躍遷大致出現(xiàn)在接近 1022 次訓(xùn)練浮點運算的量級附近——但這并非所有能力共享的統(tǒng)一開關(guān)不同任務(wù)、數(shù)據(jù)集和評估方式都會影響拐點的具體位置。4.六項核心涌現(xiàn)能力除了上下文學(xué)習(xí)后續(xù)研究者還整理過大量被觀察到的涌現(xiàn)能力。Jason Wei 曾整理了 137 項涌現(xiàn)能力。我挑最核心的六個方向① 上下文學(xué)習(xí)In-Context Learning 無需微調(diào)給幾個示例就會新任務(wù)——GPT-3 的核心突破。② 思維鏈Chain-of-Thought 最著名的涌現(xiàn)能力。小模型像毛躁的孩子問小明有 5 個蘋果給了小紅 2 個又買了 3 個還剩幾個直接瞎猜。但大模型會自己寫出步驟5 - 2 33 3 6答案6③ 算術(shù)推理Arithmetic Reasoning 小模型勉強做112大模型突然能處理三四位數(shù)加減乘除、甚至混合運算——不是背下了所有算術(shù)題題目無限而是涌現(xiàn)出了對十進制“進位”運算規(guī)則的抽象理解。④ 代碼生成Code Generation 把寫一個 Python 程序把列表里所有偶數(shù)挑出來喂給大模型直接吐出可運行代碼甚至能理解有 bug 的代碼并指出錯誤。編程語言是極度嚴(yán)謹(jǐn)?shù)男问秸Z言小模型只能模仿代碼外觀大模型涌現(xiàn)出了對算法、邏輯控制流的深層表征能力。⑤ 跨語言翻譯Multilingual Translation 即使訓(xùn)練數(shù)據(jù)里沒有中文-斯瓦希里語的平行對照大模型也能直接翻譯。因為它在海量多語言訓(xùn)練中無監(jiān)督地構(gòu)建了一個語義中間層——不管什么語言核心語義在高維空間里被拉到相近位置。一旦語義巴別塔建成跨語種翻譯自然涌現(xiàn)。⑥ 多任務(wù)語言理解MMLU 涵蓋 57 個學(xué)科的超級大考卷——數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)、倫理。小模型得分接近瞎蒙大模型在所有學(xué)科上展現(xiàn)高正確率——不是某個科目的死記硬背而是學(xué)會了如何根據(jù)上下文調(diào)用背景知識來推理。六項對比一覽能力小模型大模型涌現(xiàn)關(guān)鍵突破上下文學(xué)習(xí)需微調(diào)才能做新任務(wù)給幾個示例即可無需更新參數(shù)思維鏈直接猜答案分步寫出推理過程從一步到位到分步推導(dǎo)算術(shù)推理勉強做 11三四位數(shù)混合運算抽象理解運算規(guī)則代碼生成模仿代碼外觀生成可運行代碼理解邏輯控制流跨語言翻譯只能翻譯訓(xùn)練過的語對零樣本跨語言翻譯構(gòu)建語義中間層多任務(wù)理解瞎蒙水平57 學(xué)科高正確率學(xué)會調(diào)用背景知識推理?? 一個關(guān)鍵認知能力涌現(xiàn) ≠ 智能涌現(xiàn)更嚴(yán)謹(jǐn)?shù)卣fLLM 目前所展現(xiàn)的是可以被觀察和評估的“能力涌現(xiàn)”Emergent Abilities而非已經(jīng)獲得嚴(yán)格證明的智能涌現(xiàn)Emergent Intelligence。兩者絕不能混為一談。不過這并不妨礙我們?nèi)ダ盟?。就?18 世紀(jì)的物理學(xué)家尚未參透熱力學(xué)的微觀本質(zhì)卻已經(jīng)駕著蒸汽機改寫了世界——今天我們對大模型的駕馭恰好站在相似的歷史節(jié)點上。五、從 LLM 到 Agent 的發(fā)展脈絡(luò)盡管涌現(xiàn)的底層原理尚未完全探明但它已經(jīng)催生了一種全新的應(yīng)用范式Prompt 本身成了給模型編程的接口。這意味著接觸 AI 的門檻從必須懂模型訓(xùn)練斷崖式降到了只需會組織語言。正是這一轉(zhuǎn)變讓大模型從實驗室走進了每個普通人的日?！狿rompt Engineering 隨之爆發(fā)ChatGPT 這樣的現(xiàn)象級產(chǎn)品也因此埋下了火種。但 Chatbot 只是第一步。完整的發(fā)展脈絡(luò)是階段核心能力邊界 LLM預(yù)測下一個 Token只能接話沒有手腳 ChatbotLLM 聊天界面能對話但你問一句它答一句?? Prompt Engineering優(yōu)化提問方式輸出質(zhì)量有提升但仍是一次性生成 Context Engineering優(yōu)化上下文組織把資料、歷史、規(guī)則、工具結(jié)果有效注入但無行動力 AgentLLM Harness能調(diào)用工具、觀察結(jié)果、繼續(xù)行動自主完成多步任務(wù)關(guān)鍵轉(zhuǎn)折在最后一步一旦 LLM 從被動應(yīng)答轉(zhuǎn)向主動調(diào)用工具、觀察執(zhí)行結(jié)果、持續(xù)推進任務(wù)Agent 的問題才真正浮現(xiàn)。 把 LLM 變成 Agent 的那套工程體系正是 Harness。這條從 LLM → Chatbot → Prompt Engineering → Context Engineering → Agent 的演進路徑不是跳過去的是一步步走出來的。下一篇我們從 Chatbot、提示詞工程和上下文工程展開繼續(xù)看這個會說話的大腦是怎樣一步步走向能行動的 Agent。六、總結(jié)用一段話濃縮全文核心LLM 底層運行邏輯基于已有文本推算下一個詞元。詞元定義了語言處理方式提示詞決定了生成起點上下文框定了模型可見范圍。規(guī)模法則與涌現(xiàn)則回答了另一個核心問題——為何一個只會接話的系統(tǒng)參數(shù)突破百億后竟然解鎖了推理、編程、翻譯等高階技能。此后的發(fā)展路徑清晰大腦套上聊天界面變成 Chatbot人們發(fā)現(xiàn)提問技巧影響輸出質(zhì)量提示詞工程應(yīng)運而生再進一步認識到整段上下文的組織才是關(guān)鍵。而一旦 LLM 從被動應(yīng)答轉(zhuǎn)向主動調(diào)用工具、觀察反饋、持續(xù)推進任務(wù)Agent 的時代才算真正開啟。下一次在調(diào)試 Agent 表現(xiàn)時別急著換更強的模型。先看看 Harness 那一層——文件系統(tǒng)完善嗎沙箱安全嗎記憶機制在工作嗎上下文腐爛了嗎也許答案就在那里。結(jié)尾如何學(xué)習(xí)大模型 AI 由于新崗位的生產(chǎn)效率要優(yōu)于被取代崗位的生產(chǎn)效率所以實際上整個社會的生產(chǎn)效率是提升的。但是具體到個人只能說是“最先掌握AI的人將會比較晚掌握AI的人有競爭優(yōu)勢”。這句話放在計算機、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的開局時期都是一樣的道理。我在一線科技企業(yè)深耕十二載見證過太多因技術(shù)卡位而躍遷的案例。那些率先擁抱 AI 的同事早已在效率與薪資上形成代際優(yōu)勢我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在大模型的學(xué)習(xí)中的很多困惑。我們整理出這套AI 大模型突圍資料包? 從零到一的 AI 學(xué)習(xí)路徑圖? 大模型調(diào)優(yōu)實戰(zhàn)手冊附醫(yī)療/金融等大廠真實案例? 百度/阿里專家閉門錄播課? 大模型當(dāng)下最新行業(yè)報告? 真實大廠面試真題? 2026 最新崗位需求圖譜所有資料 ?? 朋友們?nèi)绻行枰禔I大模型入門進階學(xué)習(xí)資源包》下方掃碼獲取~① 全套AI大模型應(yīng)用開發(fā)視頻教程包含提示工程、RAG、LangChain、Agent、模型微調(diào)與部署、DeepSeek等技術(shù)點② 大模型系統(tǒng)化學(xué)習(xí)路線作為學(xué)習(xí)AI大模型技術(shù)的新手方向至關(guān)重要。 正確的學(xué)習(xí)路線可以為你節(jié)省時間少走彎路方向不對努力白費。這里我給大家準(zhǔn)備了一份最科學(xué)最系統(tǒng)的學(xué)習(xí)成長路線圖和學(xué)習(xí)規(guī)劃帶你從零基礎(chǔ)入門到精通③ 大模型學(xué)習(xí)書籍文檔學(xué)習(xí)AI大模型離不開書籍文檔我精選了一系列大模型技術(shù)的書籍和學(xué)習(xí)文檔電子版它們由領(lǐng)域內(nèi)的頂尖專家撰寫內(nèi)容全面、深入、詳盡為你學(xué)習(xí)大模型提供堅實的理論基礎(chǔ)。④ AI大模型最新行業(yè)報告2025最新行業(yè)報告針對不同行業(yè)的現(xiàn)狀、趨勢、問題、機會等進行系統(tǒng)地調(diào)研和評估以了解哪些行業(yè)更適合引入大模型的技術(shù)和應(yīng)用以及在哪些方面可以發(fā)揮大模型的優(yōu)勢。⑤ 大模型項目實戰(zhàn)配套源碼學(xué)以致用在項目實戰(zhàn)中檢驗和鞏固你所學(xué)到的知識同時為你找工作就業(yè)和職業(yè)發(fā)展打下堅實的基礎(chǔ)。⑥ 大模型大廠面試真題面試不僅是技術(shù)的較量更需要充分的準(zhǔn)備。在你已經(jīng)掌握了大模型技術(shù)之后就需要開始準(zhǔn)備面試我精心整理了一份大模型面試題庫涵蓋當(dāng)前面試中可能遇到的各種技術(shù)問題讓你在面試中游刃有余。以上資料如何領(lǐng)取為什么大家都在學(xué)大模型最近科技巨頭英特爾宣布裁員2萬人傳統(tǒng)崗位不斷縮減但AI相關(guān)技術(shù)崗瘋狂擴招有3-5年經(jīng)驗大廠薪資就能給到50K*20薪不出1年“有AI項目經(jīng)驗”將成為投遞簡歷的門檻。風(fēng)口之下與其像“溫水煮青蛙”一樣坐等被行業(yè)淘汰不如先人一步掌握AI大模型原理應(yīng)用技術(shù)項目實操經(jīng)驗“順風(fēng)”翻盤這些資料真的有用嗎這份資料由我和魯為民博士(北京清華大學(xué)學(xué)士和美國加州理工學(xué)院博士)共同整理現(xiàn)任上海殷泊信息科技CEO其創(chuàng)立的MoPaaS云平臺獲Forrester全球’強勁表現(xiàn)者’認證服務(wù)航天科工、國家電網(wǎng)等1000企業(yè)以第一作者在IEEE Transactions發(fā)表論文50篇獲NASA JPL火星探測系統(tǒng)強化學(xué)習(xí)專利等35項中美專利。本套AI大模型課程由清華大學(xué)-加州理工雙料博士、吳文俊人工智能獎得主魯為民教授領(lǐng)銜研發(fā)。資料內(nèi)容涵蓋了從入門到進階的各類視頻教程和實戰(zhàn)項目無論你是小白還是有些技術(shù)基礎(chǔ)的技術(shù)人員這份資料都絕對能幫助你提升薪資待遇轉(zhuǎn)行大模型崗位。以上全套大模型資料如何領(lǐng)取