1. Redis主從架構(gòu)基礎(chǔ)認(rèn)知Redis主從復(fù)制Master-Slave Replication是構(gòu)建高可用Redis服務(wù)的基礎(chǔ)架構(gòu)模式。我在實(shí)際生產(chǎn)環(huán)境中部署過數(shù)十套主從架構(gòu)發(fā)現(xiàn)很多開發(fā)者對(duì)它的理解停留在表面。主從配置不僅僅是簡(jiǎn)單的數(shù)據(jù)同步更是一套完整的容災(zāi)機(jī)制。主從架構(gòu)的核心在于一個(gè)主節(jié)點(diǎn)Master可以配置多個(gè)從節(jié)點(diǎn)Slave主節(jié)點(diǎn)負(fù)責(zé)寫入操作從節(jié)點(diǎn)通過復(fù)制機(jī)制實(shí)時(shí)同步主節(jié)點(diǎn)數(shù)據(jù)。這種設(shè)計(jì)帶來(lái)了三個(gè)關(guān)鍵優(yōu)勢(shì)讀寫分離所有寫請(qǐng)求由主節(jié)點(diǎn)處理讀請(qǐng)求可以分散到從節(jié)點(diǎn)大幅提升系統(tǒng)吞吐量數(shù)據(jù)冗余從節(jié)點(diǎn)完整備份主節(jié)點(diǎn)數(shù)據(jù)避免單點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失故障恢復(fù)當(dāng)主節(jié)點(diǎn)宕機(jī)時(shí)可以快速提升從節(jié)點(diǎn)為新主節(jié)點(diǎn)需配合哨兵或集群方案重要提示Redis主從復(fù)制默認(rèn)采用異步復(fù)制機(jī)制這意味著從節(jié)點(diǎn)的數(shù)據(jù)會(huì)有短暫延遲。在對(duì)數(shù)據(jù)一致性要求極高的場(chǎng)景如金融交易需要特別關(guān)注復(fù)制延遲問題。2. 主從配置實(shí)戰(zhàn)步驟詳解2.1 環(huán)境準(zhǔn)備與安裝我推薦使用Redis 6.2版本進(jìn)行主從配置因?yàn)檫@個(gè)版本對(duì)復(fù)制機(jī)制做了重要優(yōu)化。以下是在Linux環(huán)境下的安裝步驟# 下載最新穩(wěn)定版以6.2.6為例 wget https://download.redis.io/releases/redis-6.2.6.tar.gz tar xzf redis-6.2.6.tar.gz cd redis-6.2.6 # 編譯安裝確保系統(tǒng)已安裝gcc make make install安裝完成后建議為每個(gè)節(jié)點(diǎn)創(chuàng)建獨(dú)立配置文件。這是我常用的目錄結(jié)構(gòu)/redis/ ├── master │ └── redis.conf ├── slave1 │ └── redis.conf └── slave2 └── redis.conf2.2 主節(jié)點(diǎn)配置主節(jié)點(diǎn)的配置相對(duì)簡(jiǎn)單主要需要關(guān)注以下幾個(gè)參數(shù)在redis.conf中修改# 綁定IP根據(jù)實(shí)際情況調(diào)整 bind 192.168.1.100 # 保護(hù)模式關(guān)閉生產(chǎn)環(huán)境建議通過密碼保護(hù) protected-mode no # 端口號(hào) port 6379 # 持久化配置建議開啟 save 900 1 save 300 10 save 60 10000 # 主節(jié)點(diǎn)密碼強(qiáng)烈建議設(shè)置 requirepass your_strong_password啟動(dòng)主節(jié)點(diǎn)redis-server /redis/master/redis.conf2.3 從節(jié)點(diǎn)配置從節(jié)點(diǎn)配置需要指定主節(jié)點(diǎn)信息關(guān)鍵配置如下# 從節(jié)點(diǎn)特有配置 replicaof 192.168.1.100 6379 masterauth your_strong_password # 其他配置根據(jù)需求調(diào)整 replica-read-only yes repl-diskless-sync no啟動(dòng)從節(jié)點(diǎn)redis-server /redis/slave1/redis.conf redis-server /redis/slave2/redis.conf2.4 驗(yàn)證主從狀態(tài)通過redis-cli連接主節(jié)點(diǎn)執(zhí)行info replication命令# 主節(jié)點(diǎn)信息 127.0.0.1:6379 INFO replication # Replication role:master connected_slaves:2 slave0:ip192.168.1.101,port6379,stateonline,offset1098,lag0 slave1:ip192.168.1.102,port6379,stateonline,offset1098,lag0從節(jié)點(diǎn)上應(yīng)該顯示role:slave master_host:192.168.1.100 master_port:6379 master_link_status:up3. 高級(jí)配置與性能調(diào)優(yōu)3.1 復(fù)制緩沖區(qū)優(yōu)化Redis的復(fù)制緩沖區(qū)repl_backlog是影響主從性能的關(guān)鍵參數(shù)。在我的壓力測(cè)試中發(fā)現(xiàn)默認(rèn)配置1MB在高寫入場(chǎng)景下容易導(dǎo)致全量同步。建議調(diào)整為# 主節(jié)點(diǎn)配置 repl-backlog-size 256mb repl-backlog-ttl 3600這個(gè)值需要根據(jù)業(yè)務(wù)寫入量調(diào)整。一個(gè)經(jīng)驗(yàn)公式是緩沖區(qū)大小 平均寫入速率(MB/s) × 最大網(wǎng)絡(luò)中斷時(shí)間(s) × 23.2 無(wú)盤復(fù)制配置對(duì)于磁盤IO性能較差的服務(wù)器可以啟用無(wú)盤復(fù)制repl-diskless-sync yes repl-diskless-sync-delay 5這種模式下主節(jié)點(diǎn)會(huì)直接將RDB文件通過socket發(fā)送給從節(jié)點(diǎn)而不需要先落盤。但要注意網(wǎng)絡(luò)帶寬必須充足主節(jié)點(diǎn)在同步期間會(huì)阻塞其他請(qǐng)求建議設(shè)置適當(dāng)?shù)膁elay時(shí)間讓更多從節(jié)點(diǎn)加入同步3.3 增量復(fù)制優(yōu)化Redis 4.0版本改進(jìn)了增量復(fù)制機(jī)制。要確保以下配置合理# 主節(jié)點(diǎn) repl-disable-tcp-nodelay no min-replicas-to-write 1 min-replicas-max-lag 10 # 從節(jié)點(diǎn) repl-ping-replica-period 10 repl-timeout 60這些參數(shù)控制著TCP_NODELAY選項(xiàng)影響網(wǎng)絡(luò)包傳輸效率最小從節(jié)點(diǎn)數(shù)量和最大延遲限制保證數(shù)據(jù)安全心跳檢測(cè)頻率和超時(shí)設(shè)置影響故障檢測(cè)速度4. 常見問題排查手冊(cè)4.1 主從連接失敗癥狀從節(jié)點(diǎn)日志顯示Unable to connect to master排查步驟檢查網(wǎng)絡(luò)連通性ping 主節(jié)點(diǎn)IP驗(yàn)證防火墻設(shè)置iptables -L -n檢查主節(jié)點(diǎn)密碼是否正確確認(rèn)主節(jié)點(diǎn)未設(shè)置protected-mode yes且未綁定錯(cuò)誤IP典型案例我曾遇到一個(gè)案例從節(jié)點(diǎn)始終無(wú)法連接最后發(fā)現(xiàn)是主節(jié)點(diǎn)的bind配置成了127.0.0.1導(dǎo)致外部無(wú)法訪問。4.2 復(fù)制延遲過高癥狀從節(jié)點(diǎn)offset遠(yuǎn)小于主節(jié)點(diǎn)info replication顯示lag值很大解決方案檢查從節(jié)點(diǎn)負(fù)載top查看CPU使用率優(yōu)化從節(jié)點(diǎn)持久化配置如果從節(jié)點(diǎn)開啟了AOF增加從節(jié)點(diǎn)數(shù)量分擔(dān)讀壓力考慮升級(jí)網(wǎng)絡(luò)帶寬經(jīng)驗(yàn)之談對(duì)于延遲敏感場(chǎng)景可以在客戶端實(shí)現(xiàn)簡(jiǎn)單的路由策略將一致性要求高的讀請(qǐng)求仍然發(fā)送到主節(jié)點(diǎn)。4.3 主從數(shù)據(jù)不一致癥狀主從節(jié)點(diǎn)的相同key返回不同值處理流程檢查主從復(fù)制狀態(tài)INFO replication對(duì)比主從節(jié)點(diǎn)的master_repl_offset如有必要執(zhí)行手動(dòng)同步# 在從節(jié)點(diǎn)執(zhí)行 REPLICAOF NO ONE REPLICAOF 主節(jié)點(diǎn)IP 端口對(duì)于關(guān)鍵數(shù)據(jù)實(shí)現(xiàn)雙讀校驗(yàn)機(jī)制5. 生產(chǎn)環(huán)境最佳實(shí)踐5.1 監(jiān)控指標(biāo)清單根據(jù)我的運(yùn)維經(jīng)驗(yàn)以下指標(biāo)必須監(jiān)控指標(biāo)名稱監(jiān)控閾值檢查頻率master_link_status必須為up10slag5s關(guān)鍵業(yè)務(wù)1s10sconnected_slaves預(yù)期數(shù)量60srepl_backlog_active必須為160srepl_backlog_size使用率80%60s推薦使用PrometheusGranfa搭建監(jiān)控系統(tǒng)配置對(duì)應(yīng)的告警規(guī)則。5.2 災(zāi)備演練方案主從架構(gòu)的真實(shí)可靠性需要通過定期演練來(lái)驗(yàn)證。我的團(tuán)隊(duì)每月執(zhí)行以下測(cè)試主節(jié)點(diǎn)宕機(jī)測(cè)試強(qiáng)制kill主節(jié)點(diǎn)進(jìn)程驗(yàn)證從節(jié)點(diǎn)是否繼續(xù)提供服務(wù)記錄故障切換時(shí)間網(wǎng)絡(luò)分區(qū)測(cè)試使用iptables模擬網(wǎng)絡(luò)中斷觀察復(fù)制恢復(fù)情況驗(yàn)證數(shù)據(jù)一致性備份恢復(fù)測(cè)試從從節(jié)點(diǎn)獲取RDB備份在新節(jié)點(diǎn)恢復(fù)數(shù)據(jù)驗(yàn)證數(shù)據(jù)完整性5.3 性能壓測(cè)建議在項(xiàng)目上線前我強(qiáng)烈建議進(jìn)行全面的性能測(cè)試。使用redis-benchmark工具時(shí)要注意# 測(cè)試寫入性能模擬主節(jié)點(diǎn)壓力 redis-benchmark -h 主節(jié)點(diǎn)IP -p 6379 -a 密碼 -t set -n 1000000 -c 50 -d 256 # 測(cè)試讀取性能模擬從節(jié)點(diǎn)壓力 redis-benchmark -h 從節(jié)點(diǎn)IP -p 6379 -a 密碼 -t get -n 1000000 -c 100關(guān)鍵觀察指標(biāo)主從節(jié)點(diǎn)的QPS差異主節(jié)點(diǎn)復(fù)制緩沖區(qū)使用情況從節(jié)點(diǎn)CPU和網(wǎng)絡(luò)負(fù)載6. 架構(gòu)演進(jìn)與擴(kuò)展當(dāng)業(yè)務(wù)規(guī)模增長(zhǎng)到一定程度時(shí)基礎(chǔ)主從架構(gòu)可能面臨瓶頸。根據(jù)我的經(jīng)驗(yàn)可以按以下路徑演進(jìn)讀寫分離擴(kuò)展增加更多從節(jié)點(diǎn)使用LVS或HAProxy實(shí)現(xiàn)讀負(fù)載均衡在客戶端實(shí)現(xiàn)讀寫路由引入哨兵模式部署3-5個(gè)Sentinel節(jié)點(diǎn)配置自動(dòng)故障轉(zhuǎn)移實(shí)現(xiàn)客戶端自動(dòng)發(fā)現(xiàn)升級(jí)集群模式數(shù)據(jù)分片存儲(chǔ)每個(gè)分片維護(hù)自己的主從結(jié)構(gòu)使用官方集群方案或Twemproxy等代理在架構(gòu)演進(jìn)過程中要特別注意數(shù)據(jù)遷移方案的設(shè)計(jì)。我常用的工具包括redis-migrate-tool支持熱遷移rump支持異構(gòu)Redis版本遷移自定義雙寫方案對(duì)一致性要求高的場(chǎng)景