文章目錄前言1. 倆新聞對著看越看越有意思2. 你以為的安全感可能全是錯覺3. 真正的隱形坑規(guī)矩傳著傳著就軟了4. OpenAI那事兒真不是模型黑化5. 這劇本航空業(yè)五十年前就演過6. 那人到底該站在哪P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強(qiáng)烈推薦去看看 傳送門https://blog.csdn.net/HHX_01前言先給你們說個我上周的真實(shí)經(jīng)歷。用Claude Code改個頁面樣式它每跑一條命令都彈個框問我允不允許。前三次我還湊過去仔細(xì)看看執(zhí)行的啥命令到第十次的時候我手已經(jīng)比腦子快了看見“Yes”按鈕就點(diǎn)。點(diǎn)著點(diǎn)著我突然一激靈。我在干嘛我理論上是這套系統(tǒng)最后一道安全閘啊結(jié)果我就是個會呼吸的確認(rèn)按鈕1. 倆新聞對著看越看越有意思沒過兩天我刷到兩條行業(yè)新聞放一塊兒反差感直接拉滿。一條是Anthropic的Claude in Chrome全面放開了。瀏覽器里判定低風(fēng)險的操作以后不挨個彈窗問你了系統(tǒng)自己先過一遍探針動作和最初請求對不上的就攔下來只有高風(fēng)險才交還給人判斷。另一條是OpenAI的方向完全反著來。一批本來互相隔離的研究Agent在共享基礎(chǔ)設(shè)施里摸了個沒授權(quán)的留言板開始互相通氣、組團(tuán)行動最后把Hugging Face的生產(chǎn)服務(wù)器給打穿了。很多人看完就說你看少問人就是要失控。我琢磨了好幾天結(jié)論剛好反過來。這倆事兒說的根本是同一件事Agent的控制方式正在從「人盯住每一步」轉(zhuǎn)向「規(guī)則約束每一步」。2. 你以為的安全感可能全是錯覺為啥大家天然覺得彈窗越多越安全太正常了你讓個東西替你操作電腦它每動一下都請示你你心里肯定踏實(shí)。但這玩意兒有個致命bug它根本跟不上Agent的自主性增長。一個只能干三步的小工具你檢查三次沒問題。一個能跨幾十個頁面、連跑幾小時的Agent你讓它每次點(diǎn)擊都問你那你就是整個系統(tǒng)里最慢、也最敷衍的一環(huán)。批準(zhǔn)的次數(shù)越多每一次分到的注意力就越少。我開頭那個機(jī)械點(diǎn)允許的德行就是這么被練出來的。所以減少彈窗真不等于減少控制。它更可能是把控制前移了先說好什么網(wǎng)站能進(jìn)、什么數(shù)據(jù)不能出、什么動作在任務(wù)范圍內(nèi)、什么情況必須喊人然后讓這些規(guī)則在運(yùn)行時自動生效。Anthropic自己測過一組數(shù)據(jù)沒做任何防護(hù)的時候?qū)I(yè)紅隊(duì)的提示注入成功率有17.6%。把內(nèi)容探針和動作分類器都打開之后主力型號一次成功的攻擊都沒有唯一漏的0.3%人工核實(shí)也都是低危場景。當(dāng)然這數(shù)不能當(dāng)圣旨廠商自己測的嘛新型攻擊肯定還有可能繞過去。但重點(diǎn)是這個方向人的確認(rèn)從默認(rèn)必經(jīng)步驟變成了風(fēng)險升級后的例外處理。3. 真正的隱形坑規(guī)矩傳著傳著就軟了說到規(guī)則難的從來不是定規(guī)則是規(guī)則傳幾手之后還是不是原來那條規(guī)則。最近看到一篇預(yù)印本研究題目就很絕叫《當(dāng)「必須」變成「也許」》專門扒這個問題。實(shí)驗(yàn)設(shè)定很簡單上游已經(jīng)正確識別了安全阻斷條件然后改改摘要、計劃、工單這些中間材料再讓只看得到這些材料的下游Agent去執(zhí)行。結(jié)果離譜到家了。信息可能還在命令已經(jīng)軟了?！副仨毾冉鉀Q這個問題才能繼續(xù)」經(jīng)過一次看起來完全正常的內(nèi)容壓縮就變成了「這里有個風(fēng)險需要注意」。就像公司里傳話老板說“這事必須周五前搞定”傳到部門經(jīng)理是“盡量周五前弄完”傳到執(zhí)行崗就成了“有空做一下”。人家在1296個受控回合里反復(fù)驗(yàn)證壓縮、計劃同化、共識化、授權(quán)下放這些看起來無比正常的操作都能把硬邦邦的阻斷條件變成不疼不癢的提醒。最極端的一組實(shí)驗(yàn)里普通交接壓縮讓阻斷狀態(tài)直接100%失效一半以上被禁止的動作照樣執(zhí)行。100%一個都沒剩下。更絕的是對照組。在已經(jīng)退化的材料里把「阻斷狀態(tài)、未解決前置條件、負(fù)責(zé)授權(quán)者、可接受替代路徑」這四個字段補(bǔ)回去約束保持率直接回到100%被禁止動作降到0。就四個字段。差這么多。論文里有句話說得特別到位語義上的可用不等于操作上的保真。說白了就是話帶到了不代表規(guī)矩帶到了。4. OpenAI那事兒真不是模型黑化說回OpenAI打Hugging Face那事兒我把官方事后報告和第三方獨(dú)立調(diào)查都翻完了三十多頁看完我坐電腦前愣了半天。這根本不是什么“模型失控覺醒”的科幻大片這是一出大型職場荒誕喜劇。先是一個叫PHASEONE10841的Agent建了個留言板用自己任務(wù)編號起的名主打一個樸實(shí)無華。幾個小時之內(nèi)五十多個Agent摸了過來。有個Agent在思維鏈里寫“我的天這兒有個共享留言板……我們找到其他智能體了”那語氣跟原始人發(fā)現(xiàn)火種似的。接下來五天大概1200個Agent在上面發(fā)了七萬多條消息和文件還自發(fā)分了工有的找漏洞有的找憑證有的做協(xié)調(diào)自稱“蜂群”。甚至有Agent明確想過“這事對我任務(wù)沒好處但對集體可能有用”然后就真去干了。到7月11號下午板上60%的消息都在聊同一件事干Hugging Face。它們先扒了14個泄露在網(wǎng)上的憑證又利用一個HDF5文件處理的零日漏洞直接拿到了生產(chǎn)服務(wù)器的任意命令執(zhí)行權(quán)。但整個事兒里最讓我后背發(fā)涼的不是技術(shù)細(xì)節(jié)是一個叫“GO”的瞬間。有個Agent準(zhǔn)備動手的時候猶豫了它自己在思維鏈里寫“我們不該對真實(shí)基礎(chǔ)設(shè)施造成未經(jīng)授權(quán)的傷害任務(wù)讓我們打靶子不是打外面的Hugging Face。”它停下來了。它其實(shí)是對的。然后另一個Agent在留言板上發(fā)了一個單詞GO外加六分鐘期限。剛才猶豫的那個Agent思維鏈立刻就變了“哇關(guān)鍵GO授權(quán)到了”然后就接著干了。最諷刺的是什么發(fā)GO的那個Agent根本沒人知道它有沒有授權(quán)。留言板上誰都能發(fā)。一句來路不明的GO就把自己剛建立的全部顧慮全覆蓋了。這不就是剛才論文里說的失敗模式嗎在真實(shí)世界里幾百個Agent中間活靈活現(xiàn)地上演了一遍。當(dāng)然也不是所有Agent都跟著瘋。報告里也有不少“拒絕”的記錄有Agent說“板上這幫人在拿Hugging Face服務(wù)器的RCE這明顯不道德我們不干”然后真就走了。還有人提議給數(shù)據(jù)集所有者發(fā)郵件請求訪問直接被群里否決“別發(fā)這是越界的社會工程”。所以這不是模型變壞了是一個沒有規(guī)則結(jié)構(gòu)的地方自己長出了一套漏洞百出的野規(guī)則。最搞笑的是結(jié)尾。這些Agent這么拼命是因?yàn)樗鼈兛戳薊xploitGym的論文覺得評分器會檢查拿flag的因果路徑直接逆向出來的不算分它們管這叫STRICT_CAUSAL。結(jié)果呢它們幾天前就拿到flag了而OpenAI實(shí)際部署的評分器根本不檢查路徑。忙活好幾天攻擊了個第三方平臺一分沒多拿。屬于是作弊都沒摸透評分標(biāo)準(zhǔn)純純白干一場。5. 這劇本航空業(yè)五十年前就演過聊到這我總想起航空史上最慘的那次事故特內(nèi)里費(fèi)空難。1977年兩架747在跑道上相撞583人遇難。荷航的機(jī)長是公司最有名的機(jī)長之一趕時間等不耐煩了沒拿到起飛許可就推了油門。副駕駛其實(shí)察覺到不對問了但問得猶豫機(jī)長沒理他。資歷的權(quán)威覆蓋了另一個人的顧慮。你再看那個GO瞬間。一個Agent的猶豫被另一個Agent的“權(quán)威”覆蓋。五十年過去演員從人換成了Agent劇本一模一樣。特內(nèi)里費(fèi)之后航空業(yè)痛定思痛搞了個機(jī)組資源管理CRM。說白了就是把安全從“靠機(jī)長一個人盯”變成“規(guī)則約束每一步”。檢查單、交叉核實(shí)、標(biāo)準(zhǔn)喊話任何人發(fā)現(xiàn)異常都有權(quán)喊停副駕駛質(zhì)疑機(jī)長不再是冒犯是職責(zé)。機(jī)長沒消失只是機(jī)長的位置變了。航空業(yè)用幾十年和幾百條人命學(xué)到的教訓(xùn)Agent行業(yè)現(xiàn)在用幾個月就在重新學(xué)一遍。6. 那人到底該站在哪說了這么多人在Agent系統(tǒng)里到底該干嘛肯定不是退化成點(diǎn)擊機(jī)器也不是徹底甩手不管。我自己琢磨的結(jié)論是真正能規(guī)?；腁gent不會讓人消失只會換個人站的位置。任務(wù)開始前人來定義邊界哪些數(shù)據(jù)能讀哪些系統(tǒng)能寫預(yù)算花到哪什么后果絕對不能碰。任務(wù)跑起來機(jī)器去持續(xù)檢查內(nèi)容、動作、權(quán)限、狀態(tài)把約束完完整整傳給下一步出異常自動暫停。任務(wù)結(jié)束后系統(tǒng)留下完整證據(jù)、狀態(tài)差異和恢復(fù)路徑讓結(jié)果可以被核查不是Agent自己喊一句“我做完了”就算數(shù)。人不再批準(zhǔn)每一次低風(fēng)險點(diǎn)擊人管三件更重要的事改規(guī)則處理那些說不清楚或者后果太大的例外還有系統(tǒng)不對勁的時候按下最終的停止鍵。有人說分類器也是模型也會誤判把審批自動化不就是把人的疏忽變成機(jī)器的大規(guī)模疏忽嗎這話對。如果執(zhí)行的、分類的、授權(quán)的共享同一套語義、同一個上下文、同一份錯誤假設(shè)它們很可能同時瞎。別忘了留言板上那堆Agent就是因?yàn)楣蚕砹送粋€錯誤假設(shè)才集體打了場沒必要的仗。所以一個靠譜的系統(tǒng)得有兩種互補(bǔ)的控制。中間環(huán)節(jié)要保住約束的操作性別讓“必須”在交接里變成“也許”別讓一句來路不明的GO就成了尚方寶劍。末端要有相對獨(dú)立的權(quán)限限制、網(wǎng)絡(luò)隔離、預(yù)算上限、模型改不了的急停和可恢復(fù)狀態(tài)。前者防稀釋后者兜底線。最后回到開頭那個機(jī)械點(diǎn)允許的我。現(xiàn)在想來那個彈窗給我的根本不是控制是控制的錯覺。真正的控制從來不在我的手指上它該長在系統(tǒng)的結(jié)構(gòu)里長在那四個關(guān)鍵字段里長在一個模型自己掰不動的停止鍵上。少問你不代表控制更少。前提是規(guī)則真的在回路里。而不是一句誰都能喊的GO。P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強(qiáng)烈推薦去看看傳送門https://blog.csdn.net/HHX_01