Vitess v18.0.6 補(bǔ)丁版本深度解析查詢計(jì)劃、VReplication 與穩(wěn)定性修復(fù)全指南【免費(fèi)下載鏈接】vitessVitess is a database clustering system for horizontal scaling of MySQL.項(xiàng)目地址: https://gitcode.com/gh_mirrors/vi/vitess本指南基于 Vitess 官方 v18.0.6 發(fā)布說明與變更日志系統(tǒng)梳理該補(bǔ)丁版本合并的 28 個(gè) Pull Request覆蓋查詢服務(wù)Query Serving執(zhí)行計(jì)劃修復(fù)、VReplication 工作流可靠性、VTTablet 模式拷貝、VTorc 超時(shí)防護(hù)與構(gòu)建鏈升級(jí)等核心改動(dòng)并結(jié)合倉庫源碼深入解析每類修復(fù)的底層原理。讀完本文你將掌握 v18.0.6 相對(duì) v18.0.5 的全部行為變化、每個(gè)修復(fù)背后的代碼路徑以及升級(jí)時(shí)需要注意的兼容點(diǎn)。版本概覽一個(gè)聚焦穩(wěn)定性與正確性的維護(hù)版本v18.0.6 是 Vitess 18.0 系列的第 6 個(gè)補(bǔ)丁版本。根據(jù) changelog/18.0/18.0.6/release_notes.md 的記錄該版本共合并28 個(gè) Pull Request主要貢獻(xiàn)者包括 GuptaManan100、arthurschreiber、shlono-noach、vitess-bot 等。完整變更條目見 changelog/18.0/18.0.6/changelog.md。從變更日志的分布看v18.0.6 的工作重心非常明確類別修復(fù)數(shù)量代表改動(dòng)Query Serving查詢服務(wù)6information_schema 路由、LIMITGROUP BY 優(yōu)化、Route 合并清理VReplication4VDiff show、Routing Rules、復(fù)制階段流重啟狀態(tài)、Reshard 無主分片VTTablet2schemacopy 排序規(guī)則、啟動(dòng)時(shí)跳過表統(tǒng)計(jì)加載VTorc1所有 RPC 調(diào)用上下文超時(shí)vtexplain1UNION 查詢 weight_string 處理Build/CI、依賴、測(cè)試等14Go 版本升級(jí)、DCO workflow、Mac 兼容等其中相當(dāng)一部分修復(fù)是針對(duì)查詢規(guī)劃器planner的正確性問題——這類問題在真實(shí)集群中往往表現(xiàn)為偶發(fā)的錯(cuò)誤查詢結(jié)果或計(jì)劃報(bào)錯(cuò)是維護(hù)版本中最值得關(guān)注的內(nèi)容。查詢服務(wù)Query Serving六項(xiàng)執(zhí)行計(jì)劃正確性修復(fù)查詢服務(wù)是 Vitess 的核心路徑v18.0.6 中絕大部分代碼改動(dòng)都集中于此覆蓋了信息模式路由、子查詢合并、聚合與排序等多個(gè)場(chǎng)景。information_schema 路由處理PR #15905修復(fù)了information_schema查詢的路由問題。information_schema是 MySQL 內(nèi)置的元數(shù)據(jù)庫Vitess 需要把針對(duì)它的查詢路由到正確的后端通常是未分片鍵空間或系統(tǒng)表處理邏輯。修復(fù)前某些包含information_schema的查詢可能被錯(cuò)誤路由導(dǎo)致結(jié)果缺失或報(bào)錯(cuò)。從源碼結(jié)構(gòu)看Vitess 在 go/vt/vtgate/planbuilder/operators/info_schema_planning.go 中專門維護(hù)了一套信息模式的規(guī)劃邏輯并在 go/vt/vtgate/engine/routing.go 中實(shí)現(xiàn)對(duì)應(yīng)的路由引擎v18.0.6 對(duì)該路徑的邊界情況做了修正。合并子查詢時(shí)移除 keyspacePR #16026修復(fù)了子查詢subquery合并過程中的 keyspace 殘留問題。當(dāng)規(guī)劃器把兩個(gè)子查詢合并為單一查詢計(jì)劃時(shí)如果子查詢?cè)緛碜圆煌?keyspace 的語義信息被錯(cuò)誤保留生成的 SQL 就會(huì)帶上多余的 keyspace 限定導(dǎo)致后端 MySQL 解析失敗。修復(fù)的關(guān)鍵是在合并階段主動(dòng)剝離不該保留的 keyspace 標(biāo)識(shí)。LIMIT 與 GROUP BY 的錯(cuò)誤優(yōu)化PR #16266修復(fù)了一個(gè)典型的規(guī)劃器優(yōu)化 bug當(dāng)查詢同時(shí)包含LIMIT和GROUP BY時(shí)規(guī)劃器可能將LIMIT錯(cuò)誤地下推到分組操作之前造成分組結(jié)果被截?cái)?、返回不完整的?shù)據(jù)。這類問題在分布式分片環(huán)境下尤為隱蔽因?yàn)槊總€(gè)分片各自執(zhí)行下推后的 SQL匯總后結(jié)果可能整體錯(cuò)誤。v18.0.6 修正了該優(yōu)化條件的判定邏輯確保LIMIT只能在語義安全的場(chǎng)景下下推。derived table派生表內(nèi) ORDER BY 處理PR #16358修復(fù)了派生表derived table / 子查詢 FROM 子句中的內(nèi)聯(lián)視圖內(nèi)部ORDER BY的處理。MySQL 語義下沒有LIMIT的派生表內(nèi)部ORDER BY通常可以被優(yōu)化掉但 Vitess 規(guī)劃器在合并派生表到外層計(jì)劃時(shí)需要正確判斷何時(shí)保留該排序語義否則可能產(chǎn)生錯(cuò)誤的排序結(jié)果。該修復(fù)完善了規(guī)劃器對(duì)派生表排序的識(shí)別邏輯。Route 合并中的 Join 謂詞清理PR #16388修復(fù)了路由合并route merging過程中 Join 謂詞清理的 bug。當(dāng)多個(gè)查詢分支可以合并到同一路由時(shí)規(guī)劃器需要清理冗余的 Join 條件若清理不徹底可能留下對(duì)不存在列的引用導(dǎo)致Unknown column之類的運(yùn)行時(shí)錯(cuò)誤?；貧w修復(fù)INSERT ... ON DUPLICATE KEY UPDATE 的 bind variablePR #15966屬于回歸修復(fù)類別修復(fù)了INSERT ... ON DUPLICATE KEY UPDATE語句中新增的列表參數(shù)未正確加入 bind variables map 的問題。該問題會(huì)導(dǎo)致帶VALUES(...)引用的寫操作在執(zhí)行時(shí)報(bào)參數(shù)缺失錯(cuò)誤。修復(fù)后在 go/vt/vtgate/planbuilder 的改寫流程中新增參數(shù)會(huì)被正確注冊(cè)到綁定變量映射中。測(cè)試配套更干凈的 plan 測(cè)試輸出配套的PR #15923優(yōu)化了 plan 測(cè)試plan tests的輸出格式使執(zhí)行計(jì)劃快照更易讀、更易對(duì)比。Vitess 的規(guī)劃器測(cè)試采用計(jì)劃快照對(duì)比模式golden file分布在 go/vt/vtgate/planbuilder/plan_test.go 等文件中輸出格式的穩(wěn)定直接影響這類測(cè)試的可維護(hù)性。VReplication四項(xiàng)可靠性修復(fù)VReplication 是 Vitess 實(shí)現(xiàn)在線遷移Reshard、MoveTables、VDiff的底層數(shù)據(jù)復(fù)制引擎v18.0.6 的修復(fù)集中在命令兼容與流狀態(tài)管理上。vtctldclient Apply Routing Rules 命令失效PR #16123修復(fù)了vtctldclient中ApplyShardRoutingRules、ApplyKeyspaceRoutingRules、ApplyRoutingRules等命令無法正常工作的問題。Routing Rules 用于控制鍵空間的路由關(guān)系例如從鍵空間遷移期間的路由重定向該命令在 vtctldclient 這一較新的客戶端工具中的實(shí)現(xiàn)此前存在缺陷v18.0.6 使其與 v18 系列的 Routing Rules 功能保持一致。相關(guān)命令定義位于 go/vt/vtctl/vtctl.go 的commandApplyShardRoutingRules等實(shí)現(xiàn)中。VDiff CLI show 命令 bugPR #16197修復(fù)了 VDiff CLI 的show子命令 bug。VDiff 用于對(duì)比兩個(gè)數(shù)據(jù)源之間的數(shù)據(jù)一致性其服務(wù)端實(shí)現(xiàn)位于 go/vt/vtctl/workflow/vdiff.goVDiffShow方法客戶端展示邏輯則通過BuildSummary從響應(yīng)構(gòu)建摘要。該修復(fù)保證了vtctldclient vdiff show能正確展示對(duì)比摘要與進(jìn)度。復(fù)制階段重啟流時(shí)的狀態(tài)設(shè)置PR #16221修復(fù)了 VReplication workflow 在copy 階段重啟流restart workflow streams時(shí)狀態(tài)設(shè)置不正確的問題。VReplication 工作流分為 copy全量與 replicate增量?jī)蓚€(gè)階段copy 階段重啟時(shí)若狀態(tài)未正確重置會(huì)導(dǎo)致數(shù)據(jù)重復(fù)拷貝或流停滯。該修復(fù)確保重啟后的流以正確的狀態(tài)續(xù)跑相關(guān)狀態(tài)機(jī)邏輯集中在 go/vt/vttablet/tabletmanager/vreplication 目錄下。Reshard 目標(biāo)分片無 primary 的處理PR #16290修復(fù)了 Reshard 場(chǎng)景下目標(biāo)分片target shard沒有 primary 時(shí)的處理。Vitess 的 Reshard 流程由resharder驅(qū)動(dòng)見 go/vt/wrangler/resharder.go 與 go/vt/vtctl/workflow/resharder.go此前當(dāng)目標(biāo)分片尚未選出 primary 時(shí)可能發(fā)生未預(yù)期的行為v18.0.6 對(duì)該場(chǎng)景做了妥善處理避免 workflow 進(jìn)入異常狀態(tài)。VTTabletschemacopy 排序規(guī)則與啟動(dòng)性能schemacopy 的排序規(guī)則collation問題PR #15859修復(fù)了schemacopyschema 拷貝對(duì)應(yīng)CopySchemaShard/CopySchemaShardFromShard命令中的排序規(guī)則問題。該命令用于把一個(gè)分片的表結(jié)構(gòu)拷貝到目標(biāo)分片實(shí)現(xiàn)位于 go/vt/wrangler/schema.go拷貝前通過schematools.CompareSchemas對(duì)比源與目標(biāo) schema若一致則提前返回存在差異時(shí)從源 primary 讀取GetSchemaRequest結(jié)果將 DDL 逐條applySQLShard到目標(biāo) primary并通過 binlog 傳播到副本最后再次對(duì)比 schema 校驗(yàn)拷貝結(jié)果除非--skip_verify。修復(fù)前當(dāng)源庫與目標(biāo)庫的默認(rèn)排序規(guī)則不同時(shí)schema 對(duì)比CompareSchemas會(huì)因排序規(guī)則差異產(chǎn)生誤報(bào)或漏報(bào)導(dǎo)致拷貝不完整或校驗(yàn)失敗。v18.0.6 修正了對(duì)比邏輯對(duì) collation 的處理。對(duì)應(yīng)的測(cè)試用例可見 go/vt/wrangler/testlib/copy_schema_shard_test.go。啟動(dòng)時(shí)不再加載 table statsPR #16099性能類讓vttablet在啟動(dòng)booting階段不再加載表統(tǒng)計(jì)信息table stats。此前 tablet 啟動(dòng)時(shí)會(huì)執(zhí)行統(tǒng)計(jì)加載在表數(shù)量很多的實(shí)例上會(huì)顯著拖慢啟動(dòng)速度v18.0.6 將其延后使得 tablet 能更快地進(jìn)入可服務(wù)狀態(tài)。該改動(dòng)屬于更快啟動(dòng)類優(yōu)化不會(huì)改變查詢語義。VTorc為所有 RPC 調(diào)用上下文加上超時(shí)PR #16104為 VTorcVitess 的故障轉(zhuǎn)移/拓?fù)涔芾斫M件中所有用于 RPC 調(diào)用的 context 增加了超時(shí)。VTorc 依賴 MySQL 拓?fù)浒l(fā)現(xiàn)與 RPC 探測(cè)來監(jiān)控集群健康如果某個(gè) RPC 調(diào)用掛起例如網(wǎng)絡(luò)分區(qū)或?qū)Χ藷o響應(yīng)此前可能長(zhǎng)時(shí)間阻塞發(fā)現(xiàn)循環(huán)。修復(fù)后在 go/vt/vtorc/logic/tablet_discovery.go、go/vt/vtorc/logic/keyspace_shard_discovery.go 等關(guān)鍵路徑中所有 RPC 都使用context.WithTimeout(ctx, topo.RemoteOperationTimeout)包裝保證探測(cè)操作在超時(shí)閾值內(nèi)結(jié)束避免 VTorc 的監(jiān)控與故障切換能力被慢調(diào)用拖垮。vtexplainUNION 查詢的 weight_string 處理PR #16156修復(fù)了vtexplain查詢計(jì)劃解釋工具無法正確處理帶weight_string結(jié)果的UNION查詢的問題。weight_string是 Vitess 在分片間做字符串排序/比較時(shí)使用的內(nèi)部函數(shù)用于保證跨分片排序正確性。修復(fù)前當(dāng) UNION 查詢的結(jié)果列包含weight_string時(shí)vtexplain 可能輸出異常計(jì)劃修復(fù)后其處理與真實(shí)查詢執(zhí)行路徑保持一致。從測(cè)試數(shù)據(jù)看vtexplain 的預(yù)期輸出中大量出現(xiàn)weight_string(...)見 go/vt/vtexplain/testdata/multi-output/selectsharded-output.txt例如select name, info, weight_string(info) from name_info order by name_info.info asc limit 10001 /* select * and order by varchar column */這體現(xiàn)了 vtexplain 對(duì)排序場(chǎng)景的忠實(shí)模擬——v18.0.6 讓 UNION 場(chǎng)景下這類內(nèi)部列的展示與計(jì)算保持一致。同批的PR #16166還修復(fù)了 vtexplain 單元測(cè)試的偶發(fā)不穩(wěn)定flakiness。構(gòu)建鏈與依賴Go 版本升級(jí)與 CI 完善v18.0.6 對(duì)構(gòu)建鏈路做了一次集中升級(jí)Go 版本升級(jí)連續(xù)兩次升級(jí)先是PR #16063將 Go 升級(jí)到go1.21.11隨后PR #16320再次升級(jí)到go1.21.12。這兩個(gè)版本屬于 Go 1.21 系列的維護(hù)版本主要包含標(biāo)準(zhǔn)庫與工具鏈的安全/穩(wěn)定性修復(fù)。倉庫根目錄的 go.mod 與 go.sum 反映了當(dāng)前依賴基線。DCO workflowPR #16055新增 DCODeveloper Certificate of Origin檢查 workflowPR #16090移除了此前的 DCO workaround完善了貢獻(xiàn)流程的自動(dòng)化校驗(yàn)。CI 修復(fù)PR #16331修復(fù)了 CI 中 xtrabackup 安裝失敗的問題PR #16345修復(fù)了 Docker 鏡像構(gòu)建中的install dependencies腳本涉及 docker/utils/install_dependencies.sh 相關(guān)流程。依賴更新PR #16117更新了 VTAdmin 前端依賴中的braces包npm 生態(tài)的安全相關(guān)修復(fù)web 前端位于 web/vtadmin。示例腳本PR #15914更新了 examples/local/env.sh 等示例腳本使其在 macOS 上運(yùn)行時(shí)不再報(bào)錯(cuò)。版本流程PR #15888在 v18.0.5 發(fā)布后將版本號(hào)提升為v18.0.6-SNAPSHOTPR #16444為 v18.0.6 執(zhí)行了代碼凍結(jié)Code Freeze這兩步是 Vitess 標(biāo)準(zhǔn)的發(fā)布流程動(dòng)作參見 tools/code_freeze.sh。測(cè)試穩(wěn)定性消除 flaky 測(cè)試除了功能修復(fù)v18.0.6 還針對(duì)測(cè)試穩(wěn)定性做了多處打磨PR #16419引入/完善了 Vitess tester workflowPR #16211修復(fù)了使用 vtcombogo/cmd/vtcombo的測(cè)試中的 flaky 問題PR #16166修復(fù)了 vtexplain 單元測(cè)試的 flakiness。這些改動(dòng)雖不直接影響生產(chǎn)行為但顯著提升了 CI 可靠性讓后續(xù)版本迭代中的回歸檢測(cè)更可信。升級(jí)建議與驗(yàn)證要點(diǎn)v18.0.6 屬于同大版本內(nèi)的補(bǔ)丁升級(jí)從 v18.0.5 升級(jí)無需 schema 或拓?fù)渥兏?。升?jí)時(shí)建議重點(diǎn)關(guān)注以下行為變化LIMIT GROUP BY 語義修正此前若依賴了錯(cuò)誤下推帶來的部分分組結(jié)果升級(jí)后查詢可能返回更完整的數(shù)據(jù)——請(qǐng)先在小流量灰度核對(duì)業(yè)務(wù)查詢結(jié)果是否符合 MySQL 原生語義。VReplication 流狀態(tài)修復(fù)若集群中有處于 copy 階段的工作流升級(jí)后重啟流的行為更符合預(yù)期建議對(duì)進(jìn)行中的 Reshard/MoveTables 工作流先執(zhí)行Workflow show觀察狀態(tài)。vttablet 啟動(dòng)更快表數(shù)量多的實(shí)例可明顯感知啟動(dòng)加速屬預(yù)期變化。VTorc 超時(shí)行為網(wǎng)絡(luò)抖動(dòng)場(chǎng)景下 VTorc 的 RPC 探測(cè)會(huì)更快超時(shí)并重試故障切換決策將更及時(shí)。驗(yàn)證方式方面可以借助倉庫自帶的測(cè)試體系go test ./go/vt/vtgate/planbuilder/...驗(yàn)證規(guī)劃器修復(fù)go test ./go/vt/wrangler/testlib/...驗(yàn)證 schemacopy 相關(guān)邏輯go test ./go/vt/vtexplain/...驗(yàn)證 UNION 與 weight_string 處理。若需本地快速體驗(yàn)可參考 examples/local/README.md 啟動(dòng)本地集群并使用vtctldclient執(zhí)行 VDiff、Routing Rules 等命令驗(yàn)證修復(fù)效果?！久赓M(fèi)下載鏈接】vitessVitess is a database clustering system for horizontal scaling of MySQL.項(xiàng)目地址: https://gitcode.com/gh_mirrors/vi/vitess創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考