国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ADG同步性能優(yōu)化:從WAIT_FOR_LOG到standby redolog正確配置

ADG同步性能優(yōu)化:從WAIT_FOR_LOG到standby redolog正確配置 1. 項(xiàng)目背景與核心痛點(diǎn)為什么你的ADG總卡在WAIT_FOR_LOG先聊一個(gè)很多DBA都撞過的場(chǎng)景主庫業(yè)務(wù)量一上來ADG備庫的v$standby_log視圖里THREAD#組的狀態(tài)長期停在WAIT_FOR_LOG歸檔日志堆積如山主庫切換日志時(shí)備庫半天追不上甚至跑出GAP告警。這時(shí)候不少人第一反應(yīng)是“網(wǎng)絡(luò)帶寬不夠”或者“備庫磁盤太慢”吭哧吭哧調(diào)了半天網(wǎng)絡(luò)參數(shù)問題卻一點(diǎn)沒緩解。我早些年也干過類似的蠢事。有一次生產(chǎn)環(huán)境主庫頻繁log switch備庫延遲從幾十秒一路飆到四十分鐘查v$dataguard_stats看到transport lag不大但apply lag越拉越長。當(dāng)時(shí)第一直覺是備庫的DB_FILE_MULTIBLOCK_READ_COUNT或者PARALLEL_EXECUTION_MESSAGE_SIZE有問題調(diào)了一圈沒卵用。后來冷靜下來查了備庫的v$standby_log發(fā)現(xiàn)癥結(jié)根本不在這——備庫的standby redolog配置一塌糊涂組數(shù)不夠、大小不匹配MRP進(jìn)程大多數(shù)時(shí)間都在干等日志硬生生把ADG干成了“異步追趕模式”。這就是標(biāo)題里那個(gè)WAIT_FOR_LOG狀態(tài)的典型來源。ADG同步性能優(yōu)化很多時(shí)候拼的并不是網(wǎng)絡(luò)和硬件而是你有沒有把standby redolog這個(gè)最容易忽略的基礎(chǔ)配置搞對(duì)。這篇文章我會(huì)從standby redolog的底層機(jī)制講起把它的數(shù)量規(guī)劃、大小設(shè)計(jì)、狀態(tài)判斷、故障排查完整過一遍把我實(shí)際踩過的坑和驗(yàn)證過的優(yōu)化手段都寫出來。適合正在維護(hù)ADG環(huán)境的DBA、剛接手容災(zāi)項(xiàng)目的運(yùn)維同學(xué)以及那些被GAP告警搞得焦頭爛額的朋友們。2. 先把底層機(jī)制搞明白WAIT_FOR_LOG到底在等什么2.1 備庫日志應(yīng)用的基本鏈路要理解WAIT_FOR_LOG就得先清楚ADG備庫處理日志的完整鏈路。主庫每次log switch后LGWR或ARCH進(jìn)程把redo數(shù)據(jù)傳輸?shù)絺鋷靷鋷斓腞FSRemote File Server進(jìn)程負(fù)責(zé)接收然后寫入備庫的standby redolog或者直接寫歸檔日志。接下來MRPManaged Recovery Process從歸檔日志或者standby redolog里讀取redo記錄一層層應(yīng)用到數(shù)據(jù)文件。整個(gè)鏈條里備庫的MRP進(jìn)程是絕對(duì)的核心執(zhí)行者。MRP有兩種讀取模式從standby redolog直接讀取并應(yīng)用這種模式適合實(shí)時(shí)應(yīng)用REAL TIME APPLYredo一到備庫就能立刻被MRP消費(fèi)延遲最小。等待歸檔完成后從歸檔日志讀取通常是ARCHIVE_LAG_TARGET或者FAL機(jī)制觸發(fā)的備用路徑延遲會(huì)明顯更高。WAIT_FOR_LOG字面意思就是“MRP進(jìn)程正在等待新的redo數(shù)據(jù)到來”??此浦皇且粋€(gè)正常狀態(tài)但如果它長時(shí)間占據(jù)主導(dǎo)說明MRP大部分時(shí)間都在“歇著”真正干活的窗口很小apply lag自然居高不下。2.2 為什么會(huì)出現(xiàn)長時(shí)間WAIT_FOR_LOG從機(jī)制上看MRP等待日志的場(chǎng)景分為兩類一類是主庫確實(shí)沒有新日志產(chǎn)生這是健康的空閑等待另一類是主庫有日志產(chǎn)生但備庫因?yàn)榉N種原因一直拿不到、或者拿到了卻沒法立即應(yīng)用這種就是不健康的空轉(zhuǎn)。不健康空轉(zhuǎn)的常見原因我在實(shí)踐中總結(jié)成四個(gè)字供不應(yīng)求。具體來說standby redolog組數(shù)太少M(fèi)RP頻繁在“等待當(dāng)前組寫滿”和“等待下一組切換”之間來回橫跳。standby redolog大小和主庫redo不匹配備庫被迫頻繁切換每次切換都有額外開銷。備庫端的日志應(yīng)用速度跟不上主庫產(chǎn)生的速度典型瓶頸包括備庫IOPS、CPU、歸檔目錄所在的文件系統(tǒng)性能。備庫的STANDBY_FILE_MANAGEMENT設(shè)置不對(duì)導(dǎo)致日志應(yīng)用時(shí)陷入文件管理開銷。這里需要特別澄清一個(gè)誤區(qū)WAIT_FOR_LOG并不等于同步就在正常工作。同樣一個(gè)狀態(tài)名健康的空閑等待和病態(tài)的空轉(zhuǎn)等待表象一樣底層邏輯完全不同。判斷的關(guān)鍵就看主庫是不是在持續(xù)產(chǎn)生日志以及備庫是否有持續(xù)的RFS寫入行為。2.3 理解standby redolog在ADG中的角色很多從傳統(tǒng)Data Guard轉(zhuǎn)過來的DBA容易把standby redolog當(dāng)成“可選優(yōu)化項(xiàng)”覺得沒有它ADG也能跑。確實(shí)早期Data Guard確實(shí)可以不配standby redolog備庫只靠歸檔日志追進(jìn)度。但那是異步模式的舊世界了。在ADG環(huán)境中standby redolog幾乎可以說是一等公民。打個(gè)比方如果主庫redo是一輛輛駛來的集裝箱卡車那standby redolog就是備庫這邊的卸貨碼頭。沒有碼頭不配standby redolog卡車到了只能先停到遠(yuǎn)處停車場(chǎng)寫歸檔日志等MRP有空再去一趟一趟拉回來有了碼頭配好standby redolog卡車直接開進(jìn)碼頭卸貨MRP隨到隨取。你說哪個(gè)快而且standby redolog直接影響一個(gè)關(guān)鍵能力備庫實(shí)時(shí)應(yīng)用Real-Time Apply。只有配置了standby redologMRP才能做到邊收邊應(yīng)用否則就算你開了REAL TIME APPLY備庫也只能等歸檔完成后才動(dòng)手。3. 關(guān)鍵參數(shù)拆解standby redolog該怎么配才算“正確”3.1 組數(shù)規(guī)劃不是越多越好但要滿足切換需求關(guān)于standby redolog需要多少組Oracle官方文檔和大多數(shù)最佳實(shí)踐給的建議是“至少比主庫的redo log group多一組”。這個(gè)建議背后的邏輯其實(shí)是為了保證在極端切換場(chǎng)景下不出現(xiàn)寫堵塞。我解釋一下為什么需要“多一組”當(dāng)主庫某組redo寫滿準(zhǔn)備切換時(shí)RFS同時(shí)也可能正在往備庫的對(duì)應(yīng)standby redolog寫當(dāng)前日志。如果備庫只有和主庫數(shù)量相同的組那么當(dāng)主庫切換到下一組時(shí)備庫的上一組standby redolog可能正在被MRP讀取應(yīng)用此時(shí)這組還不能被RFS重用覆蓋于是RFS只能干等導(dǎo)致主庫的log switch也被拖慢甚至出現(xiàn)“主庫等備庫”的連鎖反應(yīng)。多出的一組好比是給系統(tǒng)多留了一個(gè)緩沖空位保證RFS寫當(dāng)前日志的那一組永遠(yuǎn)不會(huì)和MRP正在讀的那一組撞車。我自己在生產(chǎn)環(huán)境里一般會(huì)給備庫配置主庫組數(shù)2組的standby redolog留一點(diǎn)余量應(yīng)對(duì)突發(fā)切換。比如主庫4組redo備庫就建6組standby redolog。這樣即使主庫短時(shí)間內(nèi)連續(xù)多次切換備庫也始終能騰出空組給RFS寫。3.2 大小設(shè)計(jì)和主庫redo對(duì)齊是黃金法則standby redolog的大小設(shè)計(jì)很多人容易犯一個(gè)錯(cuò)隨手建一個(gè)固定大小比如全部256MB完全不管主庫redo有多大。我見過最典型的故障案例是主庫redo是2GB備庫standby redolog只有200MB結(jié)果RFS往備庫寫日志時(shí)頻繁觸發(fā)切換MRP根本來不及跟上apply lag一路暴漲。正確做法非常樸素讓備庫的standby redolog大小和主庫redo一致。這樣的好處在于主庫切換一次redo備庫正好也是切換一次standby redolog日志讀寫節(jié)奏完全同步不存在“這邊寫半組那邊就要切”的錯(cuò)位問題。當(dāng)然也有例外。如果主庫redo特別大比如8GB你又給備庫配了比較弱的存儲(chǔ)可以適當(dāng)縮小standby redolog大小讓備庫“少吃多餐”。但要注意小尺寸意味著更頻繁的日志切換會(huì)增加切換開銷需要權(quán)衡。3.3 文件分布不要把雞蛋放在一個(gè)籃子里standby redolog的文件存放位置同樣是一個(gè)容易被忽視但影響重大的配置點(diǎn)。我見過不少環(huán)境的standby redolog和datafile放在同一塊盤上甚至和歸檔日志放在同一個(gè)文件系統(tǒng)。起初看不出問題一旦主庫業(yè)務(wù)高峰來臨備庫同時(shí)要寫standby redolog、寫歸檔日志、還要讀數(shù)據(jù)文件做恢復(fù)所有IO請(qǐng)求全部擠在一塊磁盤上apply lag必然飆升。理想情況下standby redolog應(yīng)該放在獨(dú)立的、高性能的存儲(chǔ)路徑上至少也要和歸檔日志目錄分開。用ASM的話可以單獨(dú)規(guī)劃一個(gè)diskgroup放standby redolog。用文件系統(tǒng)的話最好放到單獨(dú)的裸設(shè)備或者SSD掛載點(diǎn)上。我還建議把同一個(gè)standby redolog組的兩個(gè)成員放到不同的物理磁盤上避免單盤故障導(dǎo)致整組不可用。這一點(diǎn)跟普通redolog的鏡像原則完全一致。3.4 添加standby redolog的具體操作以O(shè)racle 19c環(huán)境為例在備庫上添加standby redolog的標(biāo)準(zhǔn)做法如下。先查主庫redo狀態(tài)作為參照-- 主庫執(zhí)行 SELECT GROUP#, BYTES, STATUS FROM V$LOG ORDER BY GROUP#; SELECT GROUP#, BYTES, STATUS FROM V$LOG_HISTORY;然后在備庫上創(chuàng)建對(duì)應(yīng)的standby redolog-- 備庫執(zhí)行 ALTER DATABASE ADD STANDBY LOGFILE GROUP 10 (/u01/oradata/dgdb/stdredo10a.log, /u02/oradata/dgdb/stdredo10b.log) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 11 (/u01/oradata/dgdb/stdredo11a.log, /u02/oradata/dgdb/stdredo11b.log) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 12 (/u01/oradata/dgdb/stdredo12a.log, /u02/oradata/dgdb/stdredo12b.log) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 13 (/u01/oradata/dgdb/stdredo13a.log, /u02/oradata/dgdb/stdredo13b.log) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 14 (/u01/oradata/dgdb/stdredo14a.log, /u02/oradata/dgdb/stdredo14b.log) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 15 (/u01/oradata/dgdb/stdredo15a.log, /u02/oradata/dgdb/stdredo15b.log) SIZE 2G;注意幾點(diǎn)如果備庫使用了db_create_online_log_dest_n參數(shù)可以省略文件路徑直接用SIZE創(chuàng)建但為了可控性我建議顯式指定路徑。SIZE務(wù)必和主庫redo大小一致這是前面說的核心原則。如果你的備庫是Physical Standby且在MOUNT狀態(tài)直接執(zhí)行上述語句即可如果是OPEN狀態(tài)也可以在線添加不影響當(dāng)前同步。4. 實(shí)操過程實(shí)錄從配置到驗(yàn)證的一次完整優(yōu)化4.1 環(huán)境摸底動(dòng)手前先知道自己的家底在做任何優(yōu)化之前我會(huì)先花幾分鐘摸底環(huán)境把幾個(gè)關(guān)鍵視圖都掃一遍。這步看起來簡單但能幫你避免很多“瞎調(diào)”的彎路。主要是這幾個(gè)查詢-- 備庫查看standby redolog狀態(tài) SELECT GROUP#, THREAD#, SEQUENCE#, BYTES, USED, ARCHIVED, STATUS, FIRST_TIME, LAST_TIME FROM V$STANDBY_LOG; -- 備庫查看MRP進(jìn)程狀態(tài) SELECT PROCESS, STATUS, THREAD#, SEQUENCE#, BLOCK#, BLOCKS FROM V$MANAGED_STANDBY; -- 備庫查看同步延遲 SELECT NAME, VALUE, UNIT, TIME_COMPUTED FROM V$DATAGUARD_STATS WHERE NAME IN (transport lag, apply lag);重點(diǎn)看V$STANDBY_LOG的狀態(tài)列。正常情況下應(yīng)該有一組ACTIVE或CURRENT至少一組UNACTIVE可以隨時(shí)被覆蓋。如果看到所有組都處于ACTIVE狀態(tài)或者頻繁出現(xiàn)WRITING狀態(tài)卡住不動(dòng)就得好好排查了。把主庫redo信息拉出來做對(duì)比然后決定是否需要調(diào)整組大小或數(shù)量。4.2 模擬故障初始配置不當(dāng)?shù)奈:Ψ糯筮^程我之前在一個(gè)測(cè)試環(huán)境做過一次對(duì)照實(shí)驗(yàn)效果非常直觀這里分享給大家作為參考。測(cè)試環(huán)境是一臺(tái)兩節(jié)點(diǎn)的Data Guard物理備庫主庫redo是4組每組2GB。備庫初始配置了6組standby redolog但每組只有512MB。我用一個(gè)簡單的循環(huán)寫入模擬事務(wù)負(fù)載持續(xù)跑30分鐘觀察備庫狀態(tài)。結(jié)果前10分鐘就出問題了。由于standby redolog太小RFS寫日志的頻率比主庫redo切換頻繁得多MRP還沒把上一組的日志應(yīng)用完下一組又寫滿了。隨后V$STANDBY_LOG出現(xiàn)多組同時(shí)為ACTIVE的現(xiàn)象apply lag穩(wěn)步攀升10分鐘時(shí)已經(jīng)達(dá)到約5分鐘。到30分鐘時(shí)apply lag已經(jīng)漲到不可接受的20分鐘整個(gè)備庫實(shí)際上處于“持續(xù)追趕”模式。這個(gè)實(shí)驗(yàn)很好地說明了為什么“大小不匹配”會(huì)是頭號(hào)殺手——它直接打亂了RFS和MRP之間的協(xié)作節(jié)拍。4.3 調(diào)整配置按照正確規(guī)范重建standby redolog針對(duì)上述問題我按正確規(guī)范重建了standby redolog。步驟分三步走第一清理原來的小尺寸組-- 備庫執(zhí)行先確認(rèn)要?jiǎng)h除的組沒有被使用 ALTER DATABASE DROP STANDBY LOGFILE GROUP 10; ALTER DATABASE DROP STANDBY LOGFILE GROUP 11; -- 依此類推刪除所有不合適的組第二按照主庫redo大小重新創(chuàng)建2GB的組數(shù)量按“主庫組數(shù)2”來建ALTER DATABASE ADD STANDBY LOGFILE GROUP 10 (DATA, DG1) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 11 (DATA, DG1) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 12 (DATA, DG1) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 13 (DATA, DG1) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 14 (DATA, DG1) SIZE 2G; ALTER DATABASE ADD STANDBY LOGFILE GROUP 15 (DATA, DG1) SIZE 2G; -- 如果使用ASM建議把standby redolog單獨(dú)放一個(gè)diskgroup例如DGREDO ALTER DATABASE ADD STANDBY LOGFILE GROUP 10 (DGREDO) SIZE 2G;第三用前面提到的幾個(gè)查詢確認(rèn)新配置生效并檢查V$STANDBY_LOG狀態(tài)是否回到健康狀態(tài)。調(diào)整完成后我再次用同樣的負(fù)載跑了30分鐘。結(jié)果apply lag始終保持在秒級(jí)V$STANDBY_LOG里始終有一組UNACTIVE空位可以供RFS切換使用MRP進(jìn)程的STATUS顯示為APPLYING_LOG這才是ADG真正健康運(yùn)行的形態(tài)。4.4 性能驗(yàn)證優(yōu)化前后縱向?qū)Ρ葹榱俗尨蠹矣袀€(gè)直觀感受我把優(yōu)化前后的關(guān)鍵指標(biāo)整理成一張對(duì)比表指標(biāo)優(yōu)化前512MB/組優(yōu)化后2GB/組standby redolog組大小512MB2GB組數(shù)6組6組apply lag峰值20分鐘5秒MRP等待狀態(tài)WAIT_FOR_LOG長時(shí)間占優(yōu)APPLYING_LOG為主歸檔日志堆積有持續(xù)累積無能及時(shí)歸檔清空主庫log switch影響有延遲風(fēng)險(xiǎn)無明顯影響這個(gè)對(duì)比驗(yàn)證了一個(gè)核心結(jié)論在ADG同步性能優(yōu)化中standby redolog配置的正確性遠(yuǎn)遠(yuǎn)比加大帶寬、堆硬件重要得多。4.5 優(yōu)化后的日常監(jiān)控怎么判斷配置一直在“健康檔”配置完成不代表一勞永逸日常監(jiān)控仍然必不可少。我常用的監(jiān)控SQL有這幾條也都是網(wǎng)上各路Oracle老炮們總結(jié)出來的經(jīng)驗(yàn)實(shí)測(cè)很穩(wěn)-- 監(jiān)控standby redolog狀態(tài) SELECT GROUP#, STATUS, ARCHIVED, THREAD#, SEQUENCE# FROM V$STANDBY_LOG WHERE STATUS NOT IN (UNACTIVE, CURRENT); -- 監(jiān)控MRP進(jìn)程是否健康 SELECT PROCESS, STATUS, THREAD#, SEQUENCE#, BLOCK#, BLOCKS FROM V$MANAGED_STANDBY WHERE PROCESS LIKE MRP%; -- 監(jiān)控是否有歸檔GAP SELECT THREAD#, LOW_SEQUENCE#, HIGH_SEQUENCE# FROM V$ARCHIVE_GAP;如果V$ARCHIVE_GAP返回了記錄說明備庫已經(jīng)出現(xiàn)歸檔缺口需要盡快手動(dòng)補(bǔ)齊缺失的歸檔日志。熱詞里那個(gè)“adg顯示gap”大概率指的就是這里——V$ARCHIVE_GAP出現(xiàn)非空記錄或者V$DATAGUARD_STATS里的apply lag異常漲高。5. 常見問題速查表與獨(dú)家避坑經(jīng)驗(yàn)5.1 典型問題場(chǎng)景和排查方向我把自己和同行在ADG優(yōu)化中遇到的典型問題整理成一個(gè)速查表希望能幫大家少走彎路現(xiàn)象可能原因排查方法處理建議WAIT_FOR_LOG長時(shí)間占優(yōu)standby redolog數(shù)量不足查V$STANDBY_LOG狀態(tài)增加組數(shù)至少主庫組數(shù)1apply lag持續(xù)增長standby redolog大小太小對(duì)比主庫redo大小重建為與主庫redo一致的大小主庫log switch變慢備庫RFS寫日志阻塞查主庫alert日志、備庫RFS進(jìn)程檢查備庫存儲(chǔ)IO、網(wǎng)絡(luò)延遲V$ARCHIVE_GAP有記錄日志傳輸斷檔或備庫應(yīng)用太慢查V$ARCHIVE_GAP、V$DATAGUARD_STATS手動(dòng)補(bǔ)歸檔優(yōu)化應(yīng)用側(cè)配置備庫日志應(yīng)用突然變慢歸檔目錄所在磁盤IO瓶頸用iostat/dstat看磁盤利用率遷移歸檔日志到獨(dú)立磁盤或ASM多組standby redolog同時(shí)ACTIVE組數(shù)或大小配置與主庫不匹配查V$STANDBY_LOG調(diào)整組數(shù)和大小保證有空閑組5.2 我看過的幾次“經(jīng)典翻車”和對(duì)應(yīng)教訓(xùn)再分享幾個(gè)我親歷過的失敗案例每一個(gè)都是錢和時(shí)間買來的教訓(xùn)。第一個(gè)案例發(fā)生在某個(gè)業(yè)務(wù)大促前的容災(zāi)演練。開發(fā)同學(xué)在主庫跑了一套大數(shù)據(jù)清洗任務(wù)日志量猛增備庫V$DATAGUARD_STATS里的apply lag十分鐘內(nèi)漲到近一小時(shí)。當(dāng)時(shí)我查主庫網(wǎng)絡(luò)、帶寬、備庫CPU、內(nèi)存全部正常。后來才發(fā)現(xiàn)備庫的standby redolog是2組256MB而主庫redo是2GB。因?yàn)榇笮〔黄ヅ銻FS瘋狂切換MRP永遠(yuǎn)在追。這個(gè)教訓(xùn)讓我徹底明白了“大小對(duì)齊”是硬道理。第二個(gè)案例是備庫使用了存儲(chǔ)設(shè)備自帶的壓縮功能standby redolog寫在壓縮卷上。平時(shí)沒啥主庫一寫大事務(wù)RFS寫日志時(shí)壓縮CPU開銷飆升日志到達(dá)備庫的時(shí)間翻倍transport lag明明不大apply lag卻被拖高。雖然存儲(chǔ)壓縮的本意是省空間但在ADG這種對(duì)日志寫入時(shí)延高度敏感的場(chǎng)景里壓縮反而成了負(fù)優(yōu)化。后來我把standby redolog單獨(dú)放到非壓縮的卷上問題迎刃而解。第三個(gè)案例是備庫自動(dòng)刪除歸檔日志的腳本配置失誤。某個(gè)DBA為了省空間寫了個(gè)cron每小時(shí)刪掉3小時(shí)前的歸檔日志。正常情況下MRP早就應(yīng)用完了不會(huì)有什么影響。結(jié)果有一次主庫業(yè)務(wù)高峰MRP應(yīng)用速度跟不上3小時(shí)前的日志還沒應(yīng)用完就被刪了直接制造了一個(gè)巨大的GAP。最后只能全量重新同步備庫折騰了一整天才恢復(fù)。這個(gè)案例提醒我們歸檔日志保留策略必須給MRP留出足夠的緩沖余量不能只盯著磁盤空間。5.3 獨(dú)家避坑技巧我在日常維護(hù)中堅(jiān)持的幾條原則這幾條原則不算什么官方文檔里的大道理純粹是我自己在生產(chǎn)環(huán)境中反復(fù)驗(yàn)證后形成的肌肉記憶分享給大家參考第一永遠(yuǎn)不要通過“臨時(shí)加一組大的standby redolog”來解決問題。組大小不一致會(huì)帶來管理混亂而且下次調(diào)整時(shí)很容易遺漏。要么一次性統(tǒng)一要么干脆推倒重來。第二添加或刪除standby redolog時(shí)盡量在備庫處于較空閑時(shí)操作。雖然支持在線操作但如果正好趕上主庫大日志量備庫的RFS寫日志會(huì)被文件操作短暫阻塞可能引發(fā)不必要的log switch延遲。第三定期檢查V$STANDBY_LOG的空閑組數(shù)量。我每周會(huì)跑一次巡檢腳本重點(diǎn)關(guān)注STATUS為UNACTIVE的組數(shù)是否小于2。如果小于2說明緩沖余量已經(jīng)告急需要盡快介入。第四主庫redo大小調(diào)整時(shí)同步評(píng)估備庫standby redolog。很多企業(yè)會(huì)在主庫做redo resize優(yōu)化卻忘了同步改備庫的standby redolog結(jié)果主庫redo從512MB調(diào)到2GB備庫還停在512MB同步性能瞬間退化。這是一條非常容易踩的聯(lián)動(dòng)坑。6. 影響范圍分析正確配置standby redolog能帶來什么6.1 對(duì)同步延遲的直接改善這是最直觀的收益。正確配置后WAIT_FOR_LOG不再是病態(tài)的空轉(zhuǎn)MRP能持續(xù)處于APPLYING_LOG狀態(tài)apply lag可以被壓到秒級(jí)甚至亞秒級(jí)。我們實(shí)測(cè)中優(yōu)化前備庫apply lag經(jīng)常在5到30分鐘之間波動(dòng)優(yōu)化后穩(wěn)定在2到3秒以內(nèi)。對(duì)于金融、電商這類對(duì)RPO有嚴(yán)格要求的場(chǎng)景這個(gè)差距就是“容災(zāi)可用”和“容災(zāi)不可用”的區(qū)別。6.2 對(duì)主庫性能的間接保護(hù)很多人沒意識(shí)到備庫standby redolog配置不合理不僅影響備庫自身還可能反過來拖累主庫。當(dāng)RFS在備庫寫日志受阻時(shí)主庫的LGWR可能被迫等待備庫的ACK特別是SYNC模式導(dǎo)致主庫事務(wù)提交延遲上升。我在一個(gè)SYNC模式的ADG環(huán)境里就見過這種現(xiàn)象。備庫standby redolog偏小RFS頻繁切換主庫log file sync等待事件飆升業(yè)務(wù)側(cè)反映寫入變慢。把備庫standby redolog改大并增加組數(shù)后主庫log file sync等待立刻回落。ADG是雙向聯(lián)動(dòng)的備庫的配置直接影響主庫的健康度。6.3 對(duì)GAP和容災(zāi)演練的影響standby redolog配置正確后V$ARCHIVE_GAP的出現(xiàn)概率會(huì)顯著降低。因?yàn)镸RP始終在實(shí)時(shí)應(yīng)用主庫切換產(chǎn)生的新日志很快被備庫消費(fèi)歸檔日志的產(chǎn)生和刪除節(jié)奏也趨于平滑不太會(huì)因?yàn)閭鋷旆e壓太多未應(yīng)用日志而出現(xiàn)缺口。容災(zāi)演練的時(shí)候正確配置的收益更是肉眼可見。之前我們做一次主備切換演練從主庫SWITCHOVER到備庫接管業(yè)務(wù)全程只用了兩三分鐘備庫幾乎沒有丟任何日志。而配置不合理的時(shí)候同樣的演練可能要花十幾分鐘甚至更久中途還得處理歸檔補(bǔ)齊的麻煩事。6.4 對(duì)運(yùn)維成本的影響配置正確的ADG環(huán)境日常運(yùn)維會(huì)輕松很多。apply lag監(jiān)控不報(bào)警了歸檔日志堆積問題少了GAP告警也不再三天兩頭出現(xiàn)。省下來的精力可以投入到更重要的容量規(guī)劃和架構(gòu)優(yōu)化上。當(dāng)然正確配置只是第一步后續(xù)還需要持續(xù)的監(jiān)控和巡檢。但從投入產(chǎn)出比來看把standby redolog這個(gè)基礎(chǔ)打牢絕對(duì)是ADG運(yùn)維里性價(jià)比最高的一筆投資。7. 寫在最后的幾點(diǎn)實(shí)操感悟這些年在ADG環(huán)境上踩過的坑讓我對(duì)同步性能優(yōu)化有一個(gè)很深的體會(huì)大多數(shù)ADG性能問題都不是“高級(jí)技巧不夠”而是“基礎(chǔ)配置不達(dá)標(biāo)”。網(wǎng)絡(luò)再快、硬件再強(qiáng)如果standby redolog的組數(shù)、大小、分布不對(duì)所有流量都會(huì)堵在備庫這個(gè)“窄口”上。我自己現(xiàn)在接手任何一套ADG環(huán)境第一件事永遠(yuǎn)是先查V$STANDBY_LOG看組數(shù)和大小是否與主庫匹配再看有沒有足夠多的空閑組。這兩步只要達(dá)標(biāo)后面的同步性能優(yōu)化基本就成功了一半。如果這兩步不達(dá)標(biāo)就算你后面調(diào)再多的PARALLEL_EXECUTION_MESSAGE_SIZE、DB_FILE_MULTIBLOCK_READ_COUNT參數(shù)也都是在沙地上蓋樓。最后再分享一個(gè)小技巧如果你在備庫執(zhí)行ALTER DATABASE ADD STANDBY LOGFILE時(shí)報(bào)ORA-00314或者ORA-00315這類錯(cuò)誤多半是文件路徑下有殘留的舊日志文件。先把舊文件清掉或者在備份目錄確認(rèn)沒有活動(dòng)成員引用了同名文件再重新添加就能解決。這個(gè)坑很小但碰到的時(shí)候挺折騰人提前寫在這里供大家參考。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产乱子伦久久精品综合一区二区三| 精品国产乱码久久久影院| 天无日色综合| 欧美日韩国产电影| 亚洲欧美日韩免费电影| 蜜臀久久99精品久久久久久久久| 国产天天骚| 一区二区亚州激情久婷婷欧美| 欧美亚洲综合高清在线| 丁香久久| 日韩电影免费网站麻豆视频| 欧美老妇曰批的视频| 强上我不卡卡| 亚洲伊人久久综合97| 美女黄频a美女大全免费皮| 久久久9品一区二区三区| 欧美激情亚洲| 午夜福利成人免费视频| 久久久久久久性爱| 啊啊啊不要啊啊受不了了视频在线| 超碰在线1234区| 国产欧美岛国精品一区| 色情婷婷久久五月天| 亚洲污一污二| 亚洲一区二区三区播放在线| a人片中文字幕一区二区| 在线午夜成人无码视频| 中文字幕版| 国产一级特黄大片处女| 精品无码一二三四区| 内射老妇BBWX0C0CK| 久久国产视频性吧| 天天看天天干| 久久久婷| 国产91久久九九免费精品无码| 国产第11页| 超碰成人公开| 国产精品视频内谢女人| 亚洲日产专区婷婷| 久久久无码国精品无码三区三区| 久久大黄片| 黄色小说亚洲| 亚洲二区精品在线观看| 综合久久久久久久久91| 性91| 少妇蹲下买菜露大唇0| 超碰99在线观看| 国产 亚洲 一二三四| 亚洲色香| 国产精品网站www| 天天干一干| 青青草天天亲夜夜操网| 先锋激情∨在线视频播放| 欧美色图电影| 天天日天天干少妇日| 国产AV超爽| 99热婷婷一区二区三| 热久久九九热| 日韩午夜啪啪视频| 国产精品自拍欧美在线| 久久青青草原免费视频| 欧美色狠| 美欧色综合| 91丝袜美腿网站| 91色婷婷综合久久中文字幕二区| 国产福利在线视频网站| 国产对白刺激视频| 日韩精品中文字幕一| 久操免费在线| 天天视频网站黄| 首页中文字幕中文字幕免费| 久久‘黄片视频| 免费又黄又裸乳的视频| 色激情综合网站| 蜜臀99久久国产| 日产成人久久| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 女性91网站| 日本精品一区二区不卡| 少妇淫妇久久久久久久| 日日爱99| 免费?级毛片无码?∨蜜芽试看| 国产辣妈在线视频福利| 日本午夜久久电影| 天堂日本亚洲欧美| 97 国产一区| 亚洲脚交| 成人免费毛片| 无码精品久久| 91美女中出| 爆乳免费黄网站| 亚洲97p| 91欧美经典| 国产精品不卡av免费在线观看| 國產尤物AV尤物在線觀看 | 91夜色| 亚洲成人久久一区二区| 人人污日韩一区二区| 超碰视97中文| 亚洲中文一区二区三区| 99色色网| 九九久久久久久爱| 久久9精品| 操逼操逼逼操操逼91 | 亚洲精品尤物yw在线影院| 日本一级性爱| 欧美色图在线视频少妇| 欧美一级黄片免费播放| ai欧美亚洲小说| 亚洲天在线| 国产传媒午夜理伦精品| 夜夜高潮夜夜爽| 亚洲综人| 天天干,夜夜爽| 九九九九九九免费视频| 国产福利在线视频网站| 久久综合乱子伦国产免费| 久久99久久99精品天美传媒棢·纸:.| 无码区蜜乳| 97色伦欧美| 啪啪综合网| 亚洲精品久久久久久久久豆丁网| v91av| 人妻熟女av国产网站| 东京热99999| 老司机老司机午夜影院| 淫穴高潮色图| 91oumei| 啊啊啊慢点| 一区二区三区日韩欧美 | 2024黄色视频| 天堂伊人久久| 99热日本| 俺也射| 九九99精品| 一个人免费视频观看在线WWW| 九久9热| 一线黄色免费性爱片| 超碰在线1234区| 久久精品色欧美aⅴ一区二区| 999久久久久久久久| 国模一区二区三区| 九九aV| 亚洲欧美天堂| 亚洲欧洲日产国产综合网| 涩涩五月天| 国产大学生口爆吞精合集| 91超碰在线播放| 中文字幕加勒比海高清无码免费视频| 思思热一热婷婷热一热| 亚洲一区二区三区久久 亚洲一区二区| 18禁无码永久免费无限制| 乱码人妻一区二区三区| 骚人妻少妇视频| 久草毛片电影怡| 伊人久久国产免费观看视频| 日韩人妻少妇 一区二区三区| 国产高清视频无码在线| 一二三四视频中文字幕在线看| 无码二级三级| 97色诱| 日韩三四五区| 91美女在线视频| 99蜜桃臀亚洲成人在线观看| 亚洲伊人久久精品狠狠在线| 五月丁香在线| 五月天婷婷综合| 欧美另类综合久久| 一区二区三区视频在线观看免费| 久久草在线综合视频| 日本123区操B视频| 亚洲天堂电影精品一区| 中文字幕在线观看丝袜| 亚洲熟女乱综合一区二区三区| 色五月AV| 国产在线能看的你懂的| 无套内射人妻在线播放| 99久久久久久亚洲精品不卡| 大二网站亚洲| 干日本人少妇午夜寂寞影院| 91粉芽高清在线一区二区| 1024久久高清视频| 天天弄欧美| 欧美少妇一区二区三区| 蘋果手機免費看成人Av| 精品一级毛片在线观看| 性爱av在线免费观看| 成人AV素股で擦久久| 日韩天天本| 国产吹潮女在线观看| 神马久久久久久| 国产精品一二三在线看| 快点操死我| 91超碰在线观看| 国产精品不卡高清在线观看| 日韩性爱免费视频在线网站| 老女人碰碰在线碰碰视频| 久久久久99999| 亚洲无码一二三区| 亚洲国产成人福利在线观看| 日韩三级久久久| 日日AAvv| 国产人伦a片信息免费片| 中文字幕五区| 88在线一区二区三区| 亚洲欧美日韩综合在线尤物 | 久热精品在线| 97久久久久久久精| 日韩黄片影院| 四虎在线免费视频| 国产精品秘 福利姬在线观看| 91亚洲欧美综合高清在线| 久久久无码视频| 性久久| 精品久久視頻在线| 老熟妇一区二区三区| 五月天久久综合网| 美欧老女人97| 人人看人人插| 超碰碰小说97| 中文字幕av乱伦| 情色大香蕉| 丁香五月激情啪啪| 亚洲色图综合| 欧美天堂超碰97| 日韩亚洲精品一区二区| 91欧美少妇| 尹人大香蕉视频在线| 国产精品不卡高清在线观看| 乱老熟女一区二区三区| 亚洲少妇综合在线播放| 日本不卡一区二区三区| 午夜丁香婷婷| 免费国产电影一区二区| 国产97在线播放| 偷拍 精品另类 凸凹了四区| 8x福利精品第一福利视频导航| 国产精品3| 日韩在线76| 亚洲黄色a级片| 亚洲日韩精品久久久久一区壹牛| 日韩一卡二卡三卡| 人乳av| 久久噜| 日韩人妻少妇中文字幕| 国产一级作爱毛片| 好吊色综合| 日韩中文9| 中文字幕av久久爽Av| AV 少妇 人妻 偷拍| 蜜桃av综合网发布| 欧美强奸一区二区诱惑| 亚洲国产一级黄色视频| 久久久97| 91伊人久| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 国产乱人妻精品入口| 亚洲成人久久一区二区| 啪啪啪精品| 亚洲自拍小说| 九九热精品| 精品视频一区二区| www.av在线视频| 午夜激情成人在线观看| 国产黄色影片在线观看| 九久9精品| 国产视频人人网| 国产男女边吃边摸视频网站| 中文字幕一区二区三区字幕| 性爱视频免费网址| 久久久 国产精品| 99成人| 亚洲精品无码久久AV| 日本www操操操| 欧美刺激色黄片免费看| 日本福利社| 天天影视网综合少妇| 久久久久9久久久久| 神马久久啊啊| 国产精品不卡少妇白| yazhouzaixian| 久久精品店| 乱性AV| 国产在线激情| 香伊人在线| 乱伦av麻豆| 夜夜嗨一区二区| 亚洲91网站| 99久久久| 强奸乱伦Av网| 综合欧美日本三级| 蜜桃视频一区二区三区在线观看| 色综合久久夜色精品国产天堂| 亚洲欧美天堂在线| 狠狠躁AV| 国产精品人人爽人人做可爱福利| 啊啊啊com| 夜夜嗨免费视频| 国产又猛又粗又爽又黄| 日本肏逼视频在线观看| 吉田爱美AV在线| 骚逼自拍99| 台湾成人无码AV| 啊啊啊啊啊啊好湿好爽视频| 色综合一本| 日欧操屄| 男人天堂日日夜夜| 欧美三级中文字幕hd| 毛片麻豆91糖心精品毛情片| 国产亚洲精品农村妇女| 91精品免费| 91AV入口| 蜜臀久久99'精品久久久| 欧美专区日本专区| 久久久少妇诱惑精品视频| 欧美亚洲第一页| 狠狠爱夜夜干| 看看小穴| 国产精品久久久无码AV网站| 校园春色 亚洲| 91视频国品一二三区| 20cm女自慰在线日韩欧美| 午夜成人福利影视| AV污污污污| 东京热99999| 天天综合网AV91| 玖玖玖玖精品国产剧情| 亚州欧美在线| 日韩伦理久 久久 清纯| 日韩乱伦AⅤ| 青草伊人网| 青青草天天亲夜夜操网| 一起草三级AV电影在线观看 | 九月伊人中文字幕| 亚洲色婷婷综合久久一区二区三区| 97香蕉碰碰人妻国产欧美| 国产精品激情久久久久久久| 丰满少妇一区二区三区免费看| 久久亚洲影院一区二区| 天天日骚逼熟女| 三级片网站在线播放| 久久‘黄片视频| 国产黄色动态精品| 91精品人妻| 色情综合| 欧美超碰97| 亚洲综合九| 青青草乱入乱欲视频在线观看| 国产精品自产拍在线观看社区| 西西美女视频网| 亚欧精品久久久久久久久久久| av无码av无码专区| 无套内射人妻在线播放| 久久亚洲AV无码白度| 欧美黑人与女人91| 人妻91少妇| 狠狠爱夜夜干| 日韩射图| 青青免费在线视频一区| 久久久久免费少妇| 日韩无码操逼片| 亚洲Av诱惑| 五月丁香婷婷啪啪| 一本久道在线综合视频| 在线不欧美| 翘臀vidoes| 日韩av一级黄片| 乱欲视频| 欧美性暴力| 日韩无码服务区| 又黑又大又粗| 95人妻爽爽人人做人人澡| 蜜臀久久99精品久久久电影| 欧美碰碰综合色| 亚州色阁| 97超碰久| 亚洲综合图色在线| 欧美大香蕉97| 九九热免费在线国产视频伊人五月| 久久久久国产无av| 日本熟女不卡视频| 91精品人妻偷情| 亚洲人妻爽爽爽| 久久爽爽精品| 日韩欧美偷拍美女视频| 性性欧美| 久久久久国产| 激情小说亚洲视频| 大香蕉欧美国产日韩高潮| 操逼免费视频无码国产| 97aiaiai| 人妻性爱一区二区| 浓厚中出中文字幕在线| 日本性爰一道本| 超碰色男人操熟女| 国产黄色剧情影片麻豆免费播放| 天天色图| 久久人| 老女人91| 国产激情在线| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 色妺妺AⅤ| 久久久久久免费电影| 中文字幕人乱码中文字的预防方法 | 97在线观看免费视频| 亚洲精品国产拍免费91在线| 欧美性高潮在线| 91精品人妻一品二品三品| 清纯唯美综合| 国产欧美在线观看免费观看| 玖玖爱在线视频免费观看| 国产精品视频91久久| 操www| 熟妇色99| 操逼不卡中文字幕| 日韩久射综合| 久久伊人东京热| 亚洲欧洲无码一区夜| 老熟女91av| 久久久久久国产成人| 无码精品久久| 日韩综合无码色欲vv| 国产自产自拍| 色丁香久久| 啊嗯好大视频在线观看| 天天干人妻| 国产欧美后入| 色九久| 久久久亚洲熟妇熟女| 家庭乱伦国产精品| 国产精品一区二区a| 人人操人人操人人操人人操人人操人人人11.CM| 免费观看性欧美一级| av天堂手机版追回| 后入 亚洲 美女 射| 熟女人妇一区二区三区| 欧美视频在线第3页| 欧美少妇性乱| 91精片| 国产精品久久久久久久毛片1| 婷婷综合五月| 国产日韩人人| 狠狠色五月亚洲91| 免费一级性爱久久| 亚洲精品无码少妇久久| 九久久九精品视频| 97Ai亚洲| 国产超碰在线| 色妇91| 日产欧美电影一区二区三区| 啪啪一区| 欧美黑人日韩少妇色情| 日韩99999| 国产在线综合福利网站| 国产精品探花在线| 91xingse| 福利视频网站| 国产精品嫩草影院免费| 九九热免费视频| 欧美精品第四五页中文字幕在线观看| AV久日| 久久透逼视频| 午夜呻吟欧美| 亚洲欧美不卡线| 韩国一级婬片A片AAAAA| 91处女在线视频| 国产精品嫩草影院午夜两性| 97久久超碰| 97就爱干| 久久↗↗| 日韩欧美国产高清视频| 欧美日韩淫加| 正宗无毛一线天嫩逼| 久久性爱精品一区| 日han少妇无码| 沈阳熟女高潮对白视频| 91是天天| 新亚洲无码| 国产精品露脸在线观看| 99自拍B亚洲| 亚洲欧美天堂| 亚洲天堂另类美腿| a片久久久久久久久久久久 | 综合久久六月久久婷婷| 欧美日韩另类字幕中文| 可以在线观看AV的网站| 顶级少妇BT天堂| 中文字幕精品探花视频 | 国产老熟女| 国产深夜福利| 超碰午夜在线| 男女性感激情网站| 97欧美色| 91在线|亚| aa片毛片| 18禁久极品美女久久哦哟呀!| 国产精品不卡av免费在线观看| 午夜激情床戏激情| 6080YYY午夜理论片在线观看| 狠狠图片青青草 | 蜜乳av首页| 粉嫩av一区二区三区天美传媒 | 午夜视频久久久久一区| 亚州色阁| 综合婷婷| 亚洲自拍小说| 日韩av熟女一区二区三区成人| 免费少妇一区二区| 91麻豆天美国产| 天天看天天日| 老女人碰碰在线碰碰视频| 日本一区二区做爱的视频| 一区二区无码视频| 九九九久千久久激情蜜桃在线看| 在线岛| 婷婷20月天青娱乐| 91色五月俺来也| 黄片com.| 屁股久久久久久久久久| 1二区9| 激情综合久久| 超碰在线人人射| 北野未奈加勒比av| 最新中文字幕在线亚洲| 酒色综合网| 国产精品第二页| 熟女六十路| 69XX一中文字幕人妻91| 久久风骚城市| 六月丁操逼| 天堂种子在线www网资源| 欧美伊人电影| ai欧美亚洲小说| 97精品国产97久久久久久| 黄色片A级一区二区三区| 99只有精品| 久久亚洲精品成人av| 日本熟妇色熟妇在线视频播放| AV九九| 国产精品黑人一区二区三区| 麻豆尤物视频网| 欧美72网页| 日本熟妇一区二区三区| 牛黄色久午久| 精品少妇人妻av久久免费| 亚洲色人| 天美麻豆一区二区三区| 久久仑合| 夜夜爽妓女| 欧美亚洲丝袜人妻制服99| 日韩乱伦影音先锋| 久久av无码| 亚洲性少妇| 超碰97玖玖爱| 日韩欧美视频青青| 在线另类| 99热这里只有精品8| 欧美日韩国产高清在线一二三区 | 人妻少妇精品久久久久久久| 九九九国产精品| 91在线免费观看处女| 天美传媒一二三区永久网站| 日韩成人网址| 丁香五月天堂| 操婷婷逼| 制服乱伦| 亚洲操操操| 久色网| 91精品女厕偷拍视频| 26uuu最新| 精品蜜乳AV免费观看| 国产美女高潮| 日本孕妇一区二区视频操逼免费看 | 午夜免费视频1000| 久久国产免费激情视频| 操逼片国产| 国产av又色又爽又黄| 国产高清精品一区二区三区毛片 | 91高清无码下载| 国产区91柔拿会所技师| 婷婷干黄色| 97在线免费视频| 婷婷10月天青娱乐| 日产精品久久久一区二区| AV高清一区| 97天天弄| 中文字幕一二三av| 亚洲精品欧洲色| 大香蕉性欧美| 蜜臀中文字幕| A级毛片在线看免费| 日韩欧美性吧婷婷乱伦大香蕉| 午夜国产成人精品视频| 家庭乱伦麻豆| 秋霞午夜成人福利片片| 午夜激情成人在线观看| 免费又黄又裸乳的视频| 欧美人妻久久精品二区三区| 99热国产| 特级大荫道BBwBBwBBW| 目产99999久久999| 91欧美www| 一级性爱视频免费观看| 18禁的网站在线| 欧亚成人| 一区二区你上我| 青草香蕉网| 超碰在线日韩一区| 国产精品久久aV| 26uuu国产免费观看| 天天添天天干电影| 观看视频图片一区二区三区| 男女香蕉一区二区| 亚洲成人激情小说视频| 国产亚洲日韩在线三区黑人| 亚洲欧洲国产综合av| 97色冈| 日韩精品第3页| 国产精品无码论坛| http://qxhbdz.com| 色 婷97| 超碰在97| 欧美日韩国产成人高清| 色综合网1| 色嘟嘟人妻天堂网| 人人九九精| 亚洲 在线| 免费αⅴ在线观看| 嗯啊啊啊轻点视频| 97色欧洲| 日本操逼视频导航| 青苹果影院男人的天堂| 熟妇色99| 丁香婷婷啪啪| 尤物视频偷拍免费| 日韩免费看在线黄色片| 毛片中心9视频99| 精品丰满熟妇人妻一区| jk白丝没脱就开始啪啪| 97爱免费插| 久久9久久| 99re6国产精品99re| 亚欧操逼片在线观看 | 成人精品在线观看| 青青草一区二区三区四| 狠狠做深爱婷婷久久二区| 亚洲影院成人| 九九色图| 男人的天堂成人的社区| 99日免费视频中文字幕| 精品人妻一区二区三区在| 在线性黄高清免费视频| 丰满人妻一区| 成人麻豆av电影网站| 日韩乱码Av| 中文熟女五十乱码在线| 污色区网站| 色婷婷综合视频| 蜜桃久久一区| 亚洲成av人片色午夜乱码| 东北操逼| 国产呦精品一区二区三区下载| 91国产在线精品| 老女人综合| 国产女人高潮视频| 亚洲一区中文字幕| 中文字幕91页| 97欧美久久久久久久| 国产亲戚伦亲在线| 亚洲激情欧美色图| 久久婷色| 欧色性第一页| 91快色色色色色| 老鸭窝在线视频播放| 黄片qw| 超碰97久久观看| 亚洲成熟国产精品美女| 久久草视频污视频| 欧洲一级性爱视频在线观看| 欧美 日韩第一性色| 婷婷五月天av| 另类亚洲一区二区三区| 青青草视频在线观看一区二区| 亚洲影院成人| 国产精品宅男免费| 97在线青| 久热九九| 97亚洲综合在线| 日本91白丝| A片大香蕉在线| 日韩亚洲精品一区二区| 人妻天天爽| 另类视频在线| 少妇熟女1区2区3区| 天堂涩涩| 人妻在线视频| 亚洲色宗合| 日欧毛片久久| 国产日韩在线播放| 欧美狠狠干| 伊人991| 久久久久9999| 国产中文字幕在线点播| 色狠狠一区二区三区香蕉| 搞中出久久| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 能看的AV| 日韩三级伦理中文字幕| 亚洲色图第四色| 韩国轻伦国内自拍一区| 欧美Aⅴ| 啪啪啪男女亚洲中文字幕99| AV天堂男人的天堂| 新版天堂中文资源8在线| 亚洲欧美色图| 9久精品视频在线观看| 色久综合| Av手机版天堂网| 久草草一二三四区久久| 大稥蕉免费视频这里只有精品| 日日黄色三级网站| 中文字幕永久在线| 国产一区二区成人av在线播放| 日日干夜夜骑| 九九夜精品九九在线| 婷婷五月天激情小说| 人人贴人人摸| 国产精品电影大全| 麻豆一区二区三区精品| 爽爽淫人网| 久久久久国产精品片区无码直播| 十八禁视频一区二区| 搡老熟女国产1000部| 久久久久久久久久久久久久久性生活视频| 激情视屏国产乱伦强奸| 天天干人人乐| 久久99干一本高清| 国产精品在线网站| 国产传媒一区日韩| 天天操天天射青青草| 日韩成人免费电影| 久久美女福利是上海美女| 国产成年精品高清在线观看91| 91熟女视频| 欧美天天综合网版| 男同专区一区二区三区在线| 一本一道久久综合久久| 99999精品成人| 在线人妻熟女一区二区三区四区五区| 久久久爆乳翘臀一线天伦理视频| 精品亚洲国产成人AV制服丝袜| 亚洲国产奇米影视久久| 天天操天天干一区二区 | 玖色av| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 久久草大香蕉| 夂久色| 性色av婷婷久久一区二区点复制| 色牛牛AV| 日本人妻A片成人免费看片| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 中 文字幕一区二区三四 五 区日 日 骚 | 国产精品夜夜夜| 国产高清26uuu| 韩日色费| 三级色综合| 91精品人妻电影| 亚欧Av| 中文字幕 码精品视频网站| 337p大胆噜噜噜噜噜91Av| www.婷婷| 久久精品国产免费观看99| 亚洲色欲天天人妻无码系列专区| 在线视频免费播放一区| 五月天激情影院| 亚洲日韩成人性爱视频| 九九伊人网| 任我爽视频在线观看| 欧美暴力猛交| 超碰在线1234区| 色眯眯av| 欧美碰碰综合色| 国产在线激情| 狠狠操,使劲操| 91亚洲色人| 国产九九九九九九九九| 国产高清26uuu| 精品无码不卡视频| 色婷婷久久| 欧美九九爱| 欧洲精品久久| 亚洲怡春院| 96精品久久久久久久久| 国产精品原创巨作?v网站| 午夜精品久久久久久久99蜜桃一| 极品色社| 日本999精品| 亚洲午夜精品久久久中文影院| 亚洲色天| av网页一区二区三区| 亚洲色婷婷| 狠狠干综合| 黑人精品久久97| 精品久久久久成人码免| 91天天| 黄片在线免费在线观看| 精品少妇一区二区三区在线视频| 黑丝少妇麻豆| 97一区二区蜜臀| 欧美女同在线| 亚洲无码com| 在线播放中文字幕| 久久久9视频| 天天天天天天天天综合| 我想要 啊 啊 啊| 日韩免费大片一级播放| 欧美一级色| 伊人网在线视频| 超碰91在线| 中文字幕中文字幕一区二区| 久操黄色视频| 中日韩久久久免费看| 无码WWW免费视频网站| 蜜桃传媒一区二区亚洲| 高清无码人妻久久久一区二区三区aⅴ| 亚洲中文国际强奸字幕| 日韩欧视频| 丝袜剧情| 熟女一区二区三区| 操国产逼| 1024亚洲中文字幕久在线看片你懂的 | 亚洲丁香花色| 蜜臀av网址| 天天艹天天日| 青娱乐大香蕉| 欧美福利视频啊啊啊啊| 天综合网| av线电影| 成人免费看吃奶视频网站| 99热这里只有精| 91久热| ?亚洲伊人伊成久久人综合网| 99热 按摩 日韩| 欧美日韩大黄片| 久久偷拍人| 国产成人亚洲精品无| 人人操人人叉人人插人人| 久操网在线| 美欧色综合| 狠狠狠狠狠狠| 亚洲日韩欧美一区二区| 大香蕉五月天婷婷| 日韩人妻中文视频| 中文字幕在线第二页| 91爆操视频| 欧美激情一| 国产超碰| 亚洲97资源| 91爆操视频| 亚洲在钱| 91站街按摩店老熟女熟女| 天天综合网视频91| 99亚洲天堂| 94色色电影网| 伊人97色天使| 综合伊人激情| 吉田爱美AV在线| 国产乱伦亚洲| 婷婷精品久久av影视| 99热99色| 97在线视频观看| 91最新综合| 欧美日韩国产黄色片| 91青青在线视频| 亚洲欧美中文日韩视频中国语| 欧美日韩中文字幕不卡| 亚洲高潮少妇| 亚洲激情深爱文学小说网站| 伦伦成年午夜免费视频| 另类亚洲图色| 在线强奷到舒服的无码视频 | 精品日日人妻| 色综合美国| 久久 国产 无码| 日本一久是| 中文字幕高清20页视频| 四虎免费在线观看| 午夜精品久久久久久久99热影院| 26uuu国产日韩综合在线观看| 加勒比久久av| 日本久久久精品电影| 日韩大香蕉精品在线视频| 91热爆在线| 91精片| 超碰这里只有精品| 婷婷亚洲色| 国产亚洲日韩欧| 日日黄色三级网站| 日本操逼视频导航| 97超碰9| 午夜无码熟妇丰满人妻| 国产乱伦亚洲| 夜色综合| 久久綜合很很很| 成人短视频在线观看| 国产精品分类在线观看| 狠久久| 青青草日本中文字幕| 亚洲精美粉嫩嫩泬在线观看 | 久久综合精品一区二区三区| 日韩精品中文字幕二区| 日韩一区二区精彩视频| 床戏久久久av一区二区麻豆| 91久久国外网| 激情五月天丁香社区| 日韩一级性爱无码| 天天摸夜夜操视频| 国产自偷自拍一区| 嫩呦国产一区二区三区AV| 伊人网在线点播| 后入式视频国产自| 91久久久久免| 欧美综合区| 亚洲国产丝袜熟女av| 少好三P| 夜精品久无码| 中美日韩毛片| 极品五月天噜噜| 91色久| 口爆吞精在线观看| 日韩操p| 91香蕉国产尤物视频| 亚洲色图 图片| 久久9亚洲| wuyechaopeng| 丁香五月成人| 5252色欧美在线| 麻豆尤物视频网| 亚洲高清在线| 亚洲成人黄色在线观看| 欧洲色| 婷婷激情五月综合| 欧洲站一级二级三级h| 91激情网| 97色视频在线| 91蜜臀熟女| 午夜免费视频1000| 99∨VTV| 成人精品在线观看| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | juliaann精品熟女一区| 亚洲古典另类欧美在线| 性色生活片久久毛片婬片免费放女人一级毛片| 亚洲欧美变态| 精品丰满熟妇人妻一区| 亚洲熟妇A V黑人| 啊啊啊好大好深| 日日摸日日碰夜夜爽视频| julia国产在线| 国产99999| 欧美日韩天堂| 一区二区播放| 久久99精品国产| 精品久久九| 一级黄碟在线看| 欧美亚洲激情一二三| 欧美,亚洲,日韩,v,天堂,手机在线观看| 91女神在线视频| 亚洲欧洲日产国产综合网| 大香蕉综合久久| 97爱碰| 中日韩久久久免费看| 97网站在线观看| 久偷拍| 2026国产精品视频| 亚洲在饯| 天操天操夜操夜月月年年操操 | 亚洲码在线中文在线观看| 国产AV激情无码久久无码| 亚州操操穴网| 淫荡网址| 亚洲不卡av在线| 人人扣人人操| 99精品九九九九九九| 久久麻豆一区二区| 夜夜欢天天干| 天天舔九色婷婷| 精品传媒在线一区| 天天爱天天韩国日本牛牛牛牛| 日本Suv精品一区二区| 九九Av| A级国产欧美激情在线| 婷婷成人五月天| se吧提供91精品国产91久久久久久 | 久久精品99久久久久久| 欧美一区二区三区另类精品| 蜜臀一二三区| 大香蕉啪啪啪| 天天干18禁| 日韩激情视频| 亚洲欧美综合区自拍另类| 91色爽欧美| 国产在线视频二区| 亚洲综合草草| 亚洲 欧美 小说| 亚洲一区二区三区四区视频| 超碰91在线| 东京热熟女亚洲视频网站| 91人妻Pr| 欧美色图片| 久九干| 婷婷操逼| 午夜福利免费福利视频| 欧美爱爱97| 韩国嫰模上门援交视频| 国产AV毛片| 免费国产电影一区二区| 亚洲第一男人天堂| 亚洲自拍另类丝袜综合| 亚洲无码久久久久久久| 日本操逼视频在线| 超碰色老头| 久草综合网| 黑人中出21连凳花野真衣| 丰满的三级少妇欧美久久久| 嫩草美女久久| 99re这里只有精品9| 美女91在线| 91岛国动作片| 日1区2区3区2020| 九九人妻| 无码男人天堂| 精品一区二区麻豆| 婷婷三区| 桃色六月天| 台湾佬中文娱乐自偷自拍| 自拍丝袜美腿人妻| 草b在线| 超碰国产情侣自拍网| 国产极品久久久| 97国产天堂岛| av线电影| 欧美,亚洲,日韩,v,天堂,手机在线观看 | 国产精品熟女九色九色蜜臀| 亚州一区二区| 2017大香蕉| 国产精品福利资源在线尤物| 2017天天拍大香蕉| 久热一区二区| 亚洲色系另类精品国产| 日韩成人大片在线观看| 日本福利二区视频| 亚洲熟妇乱女区二区三区| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 三级特黄60分钟播放| 97色综合中文网| 亚欧美色图| 一区二区乱码福利| 日韩性爱小视频| 麻豆国产视频精品观看| 国产AV激情无码久久无码| 国产中文字幕曰本毛片| 在线观看av区| 你操综合| 国产亚洲精品美女| 神马久久69| 丰满人妻一区二区三区四区| 欧美人与动性人交a| 日韩精品黄片免费观看| av操操不卡| 少好三P| 欧美一级特黄淫片在线观看| 国产精品老师| 午夜福利久久久噜久噜久久综合| 玖色av| 国产精品熟女乱伦| 五月婷婷hd| 性爱网站一区二区| 高清国产av无码| 视频在线97| 欧美精品1区2区3区| 综合激情97| 国产一级内射高清视频| 国产又爽又黄| 国产精品久久久久久久久久久久久久久久 | 丁香五月激情五月| 91网站18禁| 免费在线黄片视频| 日本人妻天堂网站在线播放| 蜜臀一区二区三区在线| 草草影院在线视频| 伊人991| 日韩欧美大力操| 一区二区三区蜜桃成人撸久久东京热| 91久久国外网| 丁香六月啪啪| 欧美不在线| 91人妻人人妻| 一个人免费视频观看在线WWW| 久久肏大逼| 天天舔日美女视频| 人妻-91porn| 男人的天堂在线 | 嗯嗯啊啊的视频| 天天做日日爱夜夜爽| 精品少妇99| 人妻少妇色综合| 性色亚洲| 免费网站观看www在线观| 中文字幕在线免费观看 | 操逼操操操91| 亚洲天堂男人的天堂| 男人的天堂2018.| 久操频道免费在线呗看| 亚洲不卡AV在线| 日韩无码a片| 热热色国产一二区AV| 青青草亚洲一区| 久草视频在线视频在线视频在线观看| 综合情欲网| 九九九九九九九精品视频| 丰满人妻-区二区三区| 人夜夜精品网站香蕉嫩草| 亚欧成人综合影院| 日韩激情视频| 嗯啊啊啊轻点视频| 欧美v亚洲v日韩v最新在线二区 | 九九九九97| 884t在线| 综合伊人网12色| 蜜臀中文字幕| 蜜桃一区二区三区| 中文字幕加勒比海高清无码免费视频| 东北老女人的激情视频| 猛交交| 亚洲操人| 国内三级自拍小视频在线观看| 岛国片在线播放| 久久精品国产亚洲AV高清演员表| 国产捆绑一区| 亚洲无码视频免费在线观看网址!| 亚洲色电影在线| 亚洲欧洲激情卡通另类文学四射小说网站 | 91天天c| 蜜桃狠狠色伊人亚洲综合| 人妻在线大香蕉| 天美av在线观看| 91九色丨国产丨爆乳| 国产精品久久久777| 欧美在线伊人色| 黑人中出21连凳花野真衣| 综合亚洲情色| 九九热免费在线国产视频伊人五月| 久操综合在线| 九九九九九九九九九九九免费国产| 操逼操逼逼操操逼91 | 99re视频这里只有精品| 激情小说亚洲| 欧美性爱第一页久久| 激情婷婷丁香网|