備掉線時，集群如何繼續(xù)運轉(zhuǎn))
Exo 分布式 AI 集群容錯完全指南一臺設(shè)備掉線時集群如何繼續(xù)運轉(zhuǎn)【免費下載鏈接】exoRun frontier AI locally.項目地址: https://gitcode.com/GitHub_Trending/exo8/exo半夜集群里某臺機(jī)器突然斷電其余設(shè)備照常運轉(zhuǎn)。Exo 是一個用多臺家用設(shè)備搭建本地分布式 AI 集群的項目容錯與高可用從第一天就寫進(jìn)了它的架構(gòu)里。跟著一次故障的生命周期看看它如何扛過單點故障。故障發(fā)生前如何預(yù)防單點風(fēng)險跑大模型時沒人想把整個集群押在某個「指揮點」上。Exo 不預(yù)設(shè)永久主節(jié)點每個節(jié)點啟動時都默認(rèn)自己就是主節(jié)點隨后各自廣播狀態(tài)互相比較。選舉消息里帶著時鐘值、資歷、已處理命令數(shù)與候選會話四項信息比較順序固定同一組候選人在每臺機(jī)器上都會算出同一個贏家集群不需要額外協(xié)商就能收斂到唯一主節(jié)點。完整邏輯見選舉算法實現(xiàn)。主節(jié)點故障后如何自動切換有節(jié)點掉線、或有新設(shè)備加入時每個存活節(jié)點偵測到連接變化后時鐘加一并觸發(fā)新一輪選舉通常在 3 秒內(nèi)收斂。主節(jié)點切換因此不是「應(yīng)急預(yù)案」而是日常流程的一部分。舊主節(jié)點即使再沒回來集群也會自己組織出新的指揮點無需人介入。模型分片與放置如何避免把所有東西壓在一臺機(jī)器上調(diào)度模型時主節(jié)點先查看當(dāng)前拓?fù)涮舫鰞?nèi)存充足、彼此互聯(lián)的節(jié)點「環(huán)」再把模型權(quán)重切成分片放到這些節(jié)點上。評分邏輯優(yōu)先選擇已經(jīng)下載過該模型、空閑內(nèi)存更多的機(jī)器新任務(wù)不必重新下載權(quán)重。這套放置策略既是并行加速的來源也是容錯的根子單機(jī)承載的分片越少它倒下時的影響面就越小。故障發(fā)生瞬間心跳檢測與自動止血 心跳看門狗5 秒確認(rèn)一次進(jìn)程是否還活著真正加載模型、執(zhí)行推理的 runner 進(jìn)程由runner 監(jiān)督者看護(hù)它每 5 秒輪詢一次進(jìn)程是否存活。一旦發(fā)現(xiàn)死亡先記錄死因——退出碼、被哪個信號殺死、stderr 的最后幾行——再向集群上報「runner 失敗」事件。與此同時該 runner 上正在進(jìn)行的推理請求不會被掛起客戶端會收到一個明確的錯誤塊調(diào)用方立刻知道哪里出了問題。節(jié)點超時后如何從拓?fù)渲幸瞥簩用孢€記錄著每個節(jié)點的最后通信時間。一臺機(jī)器失聯(lián)超時后主節(jié)點會把它從拓?fù)淅镆瞥B同它的內(nèi)存、磁盤、網(wǎng)絡(luò)記錄一起清理并重算還有哪些節(jié)點組合可用。故障被確認(rèn)的那一刻起這個節(jié)點的「影子」就不再占據(jù)調(diào)度名額。故障處理中數(shù)據(jù)與任務(wù)如何不掉線模型權(quán)重存在磁盤上恢復(fù)不依賴單份副本模型權(quán)重的每一個分片都持久化在持有它的節(jié)點本地磁盤上。節(jié)點掉線后主節(jié)點在剩余節(jié)點上重新跑一遍放置流程。評分規(guī)則天然優(yōu)先選擇已持有權(quán)重的機(jī)器新實例只需從磁盤加載文件不必從頭重新下載。對于進(jìn)行中的請求客戶端會收到明確的失敗事件業(yè)務(wù)方可以選擇重試或換到其他可用實例。張量與流水線并行剩下的節(jié)點如何接住工作分片放置意味著并行張量并行下每臺機(jī)器負(fù)責(zé)不同的權(quán)重切片流水線并行下每臺機(jī)器承接不同的層段。一臺機(jī)器離線只影響它自己的那份分片其余集群滿負(fù)荷繼續(xù)工作。官方多機(jī)基準(zhǔn)測試也印證了這一點節(jié)點數(shù)增加后Exo 相對傳統(tǒng) TCP 方案的吞吐優(yōu)勢進(jìn)一步擴(kuò)大。故障之后如何持續(xù)盯住集群 ?控制面板如何一眼看清整個集群狀態(tài)網(wǎng)頁控制面板持續(xù)上報每個節(jié)點的資源占用、溫度與拓?fù)錉顟B(tài)并實時渲染。哪臺機(jī)器溫度在爬升、哪個節(jié)點剛重新上線、哪個實例正在加載模型不用翻日志一眼就能看清。異常如何留痕事件、日志與保活集群的每次狀態(tài)變化——節(jié)點加入、節(jié)點超時、runner 失敗——都以事件形式進(jìn)入中央狀態(tài)機(jī)形成可追溯的時間線監(jiān)督者還會把 runner 的 stderr 歸檔到日志方便事后復(fù)盤。流式 API 帶有 10 秒一次的保活心跳長連接不會在無人知曉時悄悄斷開。Exo 的容錯不是功能堆疊而是一條鏈?zhǔn)虑鞍扬L(fēng)險攤開事中快速止血事后把任務(wù)接回然后持續(xù)盯著。git clone https://gitcode.com/GitHub_Trending/exo8/exo無論你是第一次跑大模型、做分布式推理研究還是開發(fā)新模型你搭在家里的集群從此不怕「一臺機(jī)器倒下」?！久赓M下載鏈接】exoRun frontier AI locally.項目地址: https://gitcode.com/GitHub_Trending/exo8/exo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Exo 分布式 AI 集群容錯完全指南：一臺設(shè)備掉線時，集群如何繼續(xù)運轉(zhuǎn)
Exo 分布式 AI 集群容錯完全指南一臺設(shè)備掉線時集群如何繼續(xù)運轉(zhuǎn)【免費下載鏈接】exoRun frontier AI locally.項目地址: https://gitcode.com/GitHub_Trending/exo8/exo半夜集群里某臺機(jī)器突然斷電其余設(shè)備照常運轉(zhuǎn)。Exo 是一個用多臺家用設(shè)備搭建本地分布式 AI 集群的項目容錯與高可用從第一天就寫進(jìn)了它的架構(gòu)里。跟著一次故障的生命周期看看它如何扛過單點故障。故障發(fā)生前如何預(yù)防單點風(fēng)險跑大模型時沒人想把整個集群押在某個「指揮點」上。Exo 不預(yù)設(shè)永久主節(jié)點每個節(jié)點啟動時都默認(rèn)自己就是主節(jié)點隨后各自廣播狀態(tài)互相比較。選舉消息里帶著時鐘值、資歷、已處理命令數(shù)與候選會話四項信息比較順序固定同一組候選人在每臺機(jī)器上都會算出同一個贏家集群不需要額外協(xié)商就能收斂到唯一主節(jié)點。完整邏輯見選舉算法實現(xiàn)。主節(jié)點故障后如何自動切換有節(jié)點掉線、或有新設(shè)備加入時每個存活節(jié)點偵測到連接變化后時鐘加一并觸發(fā)新一輪選舉通常在 3 秒內(nèi)收斂。主節(jié)點切換因此不是「應(yīng)急預(yù)案」而是日常流程的一部分。舊主節(jié)點即使再沒回來集群也會自己組織出新的指揮點無需人介入。模型分片與放置如何避免把所有東西壓在一臺機(jī)器上調(diào)度模型時主節(jié)點先查看當(dāng)前拓?fù)涮舫鰞?nèi)存充足、彼此互聯(lián)的節(jié)點「環(huán)」再把模型權(quán)重切成分片放到這些節(jié)點上。評分邏輯優(yōu)先選擇已經(jīng)下載過該模型、空閑內(nèi)存更多的機(jī)器新任務(wù)不必重新下載權(quán)重。這套放置策略既是并行加速的來源也是容錯的根子單機(jī)承載的分片越少它倒下時的影響面就越小。故障發(fā)生瞬間心跳檢測與自動止血 心跳看門狗5 秒確認(rèn)一次進(jìn)程是否還活著真正加載模型、執(zhí)行推理的 runner 進(jìn)程由runner 監(jiān)督者看護(hù)它每 5 秒輪詢一次進(jìn)程是否存活。一旦發(fā)現(xiàn)死亡先記錄死因——退出碼、被哪個信號殺死、stderr 的最后幾行——再向集群上報「runner 失敗」事件。與此同時該 runner 上正在進(jìn)行的推理請求不會被掛起客戶端會收到一個明確的錯誤塊調(diào)用方立刻知道哪里出了問題。節(jié)點超時后如何從拓?fù)渲幸瞥簩用孢€記錄著每個節(jié)點的最后通信時間。一臺機(jī)器失聯(lián)超時后主節(jié)點會把它從拓?fù)淅镆瞥B同它的內(nèi)存、磁盤、網(wǎng)絡(luò)記錄一起清理并重算還有哪些節(jié)點組合可用。故障被確認(rèn)的那一刻起這個節(jié)點的「影子」就不再占據(jù)調(diào)度名額。故障處理中數(shù)據(jù)與任務(wù)如何不掉線模型權(quán)重存在磁盤上恢復(fù)不依賴單份副本模型權(quán)重的每一個分片都持久化在持有它的節(jié)點本地磁盤上。節(jié)點掉線后主節(jié)點在剩余節(jié)點上重新跑一遍放置流程。評分規(guī)則天然優(yōu)先選擇已持有權(quán)重的機(jī)器新實例只需從磁盤加載文件不必從頭重新下載。對于進(jìn)行中的請求客戶端會收到明確的失敗事件業(yè)務(wù)方可以選擇重試或換到其他可用實例。張量與流水線并行剩下的節(jié)點如何接住工作分片放置意味著并行張量并行下每臺機(jī)器負(fù)責(zé)不同的權(quán)重切片流水線并行下每臺機(jī)器承接不同的層段。一臺機(jī)器離線只影響它自己的那份分片其余集群滿負(fù)荷繼續(xù)工作。官方多機(jī)基準(zhǔn)測試也印證了這一點節(jié)點數(shù)增加后Exo 相對傳統(tǒng) TCP 方案的吞吐優(yōu)勢進(jìn)一步擴(kuò)大。故障之后如何持續(xù)盯住集群 ?控制面板如何一眼看清整個集群狀態(tài)網(wǎng)頁控制面板持續(xù)上報每個節(jié)點的資源占用、溫度與拓?fù)錉顟B(tài)并實時渲染。哪臺機(jī)器溫度在爬升、哪個節(jié)點剛重新上線、哪個實例正在加載模型不用翻日志一眼就能看清。異常如何留痕事件、日志與保活集群的每次狀態(tài)變化——節(jié)點加入、節(jié)點超時、runner 失敗——都以事件形式進(jìn)入中央狀態(tài)機(jī)形成可追溯的時間線監(jiān)督者還會把 runner 的 stderr 歸檔到日志方便事后復(fù)盤。流式 API 帶有 10 秒一次的保活心跳長連接不會在無人知曉時悄悄斷開。Exo 的容錯不是功能堆疊而是一條鏈?zhǔn)虑鞍扬L(fēng)險攤開事中快速止血事后把任務(wù)接回然后持續(xù)盯著。git clone https://gitcode.com/GitHub_Trending/exo8/exo無論你是第一次跑大模型、做分布式推理研究還是開發(fā)新模型你搭在家里的集群從此不怕「一臺機(jī)器倒下」?！久赓M下載鏈接】exoRun frontier AI locally.項目地址: https://gitcode.com/GitHub_Trending/exo8/exo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考