国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Java短信SDK接入與生產(chǎn)加固實踐

Java短信SDK接入與生產(chǎn)加固實踐 1. 短信接口是整個系統(tǒng)里最不像技術問題的技術問題做 Java 后端的人遲早會碰上一件事產(chǎn)品經(jīng)理在需求評審上說就加一個驗證碼很簡單。然后你打開 SDK 文檔看著SendSmsRequest這個類心里想的是這不就三行代碼嗎。真正把 Java 版本的短信服務 SDK 接進去、上線跑上幾個月以后你會發(fā)現(xiàn)這條鏈路的代碼量確實很小但它牽扯的東西比很多核心業(yè)務模塊都多——涉及外部網(wǎng)絡、涉及錢、涉及用戶體驗而且出問題的時候往往是在半夜。這篇東西不打算復述官方文檔而是把我在多個項目里接 Java 短信 SDK 的完整路徑攤開從依賴引入、客戶端初始化、發(fā)送封裝到錯誤碼分層、冪等設計、限流降級和監(jiān)控埋點把每一步為什么這么做講清楚。先說清楚范圍。這里討論的短信服務 SDK 的 Java 版本指的是主流云服務商提供的那套 HTTP 客戶端封裝庫核心能力就三件事調用發(fā)送接口、解析返回結構、附帶簽名鑒權。它不是什么重量級中間件本質是一個帶重試和序列化的 HTTP 客戶端。但正因為本質簡單大多數(shù)人接的時候很隨意直接在主線程里new一個客戶端發(fā)送方法裸調返回值打印一下就完事。這種寫法在測試環(huán)境永遠不會出問題因為測試環(huán)境不會觸發(fā)流控、不會出現(xiàn)簽名不匹配、不會因為一條長短信被拆成三條計費。我見過一個挺典型的場景某公司的登錄模塊在活動期間被刷驗證碼單機 QPS 打滿短信接口開始返回觸發(fā)流控的錯誤碼業(yè)務代碼沒做任何判斷直接把異常吞掉用戶界面顯示驗證碼已發(fā)送實際上一條都沒發(fā)出去。排查的時候日志里全是同一句send failed沒有錯誤碼、沒有手機號脫敏后的追蹤 ID、沒有耗時統(tǒng)計只能靠猜。這個坑的根本原因不是短信 SDK 難用而是接入的時候把調用當成了集成。調用只要求你寫出一行能跑通的代碼集成要求你考慮失敗、重復、延遲、成本和可觀測性。1.1 為什么這條鏈路總在非工作時間暴露問題短信是典型的強外部依賴它跨越了你和運營商之間的整條鏈路你的應用 → SDK 的 HTTP 客戶端 → 云服務商網(wǎng)關 → 運營商通道 → 用戶手機。任何一段抖動都會以發(fā)送失敗或延遲到達的形式反映到你的業(yè)務層。而這條鏈路的穩(wěn)定性特點是平時很穩(wěn)波動很突然白天工作時段運營商通道資源相對寬松夜間批量任務和營銷短信集中下發(fā)通道壓力大系統(tǒng)級錯誤出現(xiàn)的概率明顯上升。更麻煩的是很多團隊把短信發(fā)送放在同步鏈路里。用戶點擊獲取驗證碼請求線程一直阻塞等待短信接口返回讀超時設成了默認值。一旦上游網(wǎng)關慢下來你的 Tomcat 線程池會以肉眼可見的速度被占滿然后整個登錄接口跟著掛掉——短信發(fā)不出去是小事把整個應用的線程資源拖死才是大事。我在一個項目里就吃過這個虧壓測的時候沒模擬短信接口超時上線后遇到一次網(wǎng)關抖動二十幾個線程卡在 read 上接口平均響應從 80ms 漲到 3 秒。所以這篇文章的第一個觀點很明確接短信 SDK 的第一步不是寫發(fā)送代碼而是想清楚它在你的系統(tǒng)拓撲里處于什么位置。它應該是可失敗、可降級、可異步、可觀測的邊緣依賴而不是一個同步阻塞的關鍵路徑節(jié)點。后面的所有章節(jié)無論是超時配置、異常映射還是限流降級都是圍繞這個定位展開的。1.2 三個反直覺的特性決定了代碼的寫法短信發(fā)送有三點和普通內部 RPC 調用完全不同的特性理解了這三點很多設計選擇就變得順理成章。第一它是有成本的。每發(fā)一條都計費長短信按條拆分計費。這意味著你不能像調內部服務那樣無腦重試一次網(wǎng)絡抖動觸發(fā)的盲目重試可能產(chǎn)生雙倍費用更糟糕的是用戶會收到兩條一模一樣的驗證碼體驗和風控都會出問題。第二它是不可撤回的。數(shù)據(jù)庫寫錯了可以改消息發(fā)錯了可以補償短信發(fā)出去就收不回來了。所以發(fā)送之前的校驗必須做足手機號格式、模板參數(shù)合法性、頻率限制、內容合規(guī)。所有這些校驗都應該在調用 SDK 之前完成把無效請求擋在外面既能省錢又能減少無效調用。第三它的返回結果不等于送達結果。發(fā)送接口返回成功只代表云服務商網(wǎng)關受理了這個請求不代表用戶手機收到了。真正的送達狀態(tài)要靠回執(zhí)上行/下行報告異步推回來。如果你的業(yè)務邏輯強依賴用戶一定收到那就得把回執(zhí)鏈路也接上這是很多項目遺漏的部分。2. 動手之前先把四個模型概念對齊憑證、簽名、模板、回執(zhí)很多人接 SDK 卡住不是因為 Java 代碼寫不出來而是因為沒搞明白短信服務的四個核心概念之間的關系。這四個東西在控制臺里分散在不同菜單在 SDK 里又分別對應不同的字段第一次接觸很容易混。概念控制臺里的位置SDK 字段是否必填常見誤解訪問憑證賬號安全/密鑰管理AccessKeyId / AccessKeySecret必填用主賬號密鑰圖省事簽名短信簽名管理SignName必填以為可以隨便填模板短信模板管理TemplateCode TemplateParam必填把整段內容當參數(shù)傳回執(zhí)消息回執(zhí)/事件訂閱回調地址可選以為返回 OK 就是送達2.1 憑證管理別用主賬號密鑰這是最容易埋雷的地方SDK 初始化需要一對密鑰通常叫 AccessKeyId 和 AccessKeySecret。我在不止一個項目里看到過有人直接拿主賬號密鑰寫進配置文件然后提交到了代碼倉庫。這個習慣的風險等級很高主賬號密鑰往往擁有全量權限一旦泄露損失的不只是短信費用。正確的做法是走子賬號RAM 用戶路線創(chuàng)建一個專用于短信服務的子賬號只授予短信發(fā)送相關的權限策略然后把這對密鑰注入到配置中心或環(huán)境變量里絕不進代碼倉庫。密鑰的存放位置我一般按環(huán)境區(qū)分開發(fā)環(huán)境用配置中心的加密配置項測試和生產(chǎn)用 KMS 或配置中心的加密能力容器化部署的話直接用 Secret 掛載成環(huán)境變量。有一個細節(jié)容易被忽略密鑰輪換。密鑰不是設一次就永遠不管的東西尤其是人員流動之后。我的做法是在配置里同時支持主密鑰和備用密鑰兩個字段SDK 客戶端初始化時優(yōu)先讀主密鑰發(fā)送返回鑒權類錯誤時自動切到備用密鑰并打告警。這樣輪換的時候可以先把新密鑰寫進備用位觀察一段時間無異常后再把主密鑰替換掉實現(xiàn)無停機切換。2.2 簽名與模板上線前的兩道審批別等到發(fā)布前才想起簽名是你發(fā)給用戶的那條短信開頭的【某某系統(tǒng)】模板是預先審核過的內容格式。這兩個東西都需要提前提交審核審核需要時間而且模板內容有明確的規(guī)范限制。我遇到過最尷尬的情況是功能開發(fā)完了聯(lián)調也過了發(fā)布前一天才發(fā)現(xiàn)模板還沒審核通過硬生生拖了兩天。模板的變量用占位符表示發(fā)送時通過 TemplateParam 傳一個 JSON 字符串。這里有兩個高頻錯誤。第一個是把整個短信內容塞進參數(shù)里比如傳{content:您的驗證碼是123456}這會被直接拒絕因為模板是固定的變量只能填內容片段。第二個是 JSON 轉義問題參數(shù)值里包含引號、反斜杠、中文特殊符號的時候手工拼 JSON 字符串極容易出錯一定要用 JSON 序列化庫生成不要用字符串拼接。提示驗證碼類模板的變量只放純數(shù)字不要放任何其他字符。營銷或通知類模板的變量內容也要避免出現(xiàn)可能觸發(fā)內容審核的詞否則會出現(xiàn)模板審核通過但發(fā)送時被攔截的情況。另外要提醒的是簽名的數(shù)量限制和命名規(guī)范。多數(shù)平臺對單個賬號下的簽名數(shù)量有上限簽名的名稱也有格式要求通常要求能體現(xiàn)業(yè)務歸屬。我的建議是按業(yè)務線劃分簽名而不是按項目劃分否則簽著簽著就超限了而且用戶手機上看到的簽名五花八門也不利于品牌統(tǒng)一。2.3 回執(zhí)發(fā)送成功和送達成功是兩回事發(fā)送接口返回的成功語義是請求已被受理。用戶手機有沒有收到取決于后續(xù)的通道投遞?;貓?zhí)機制就是把這個投遞結果異步推回給你通常是通過配置一個回調地址云服務商在狀態(tài)變化時 POST 過來?;貓?zhí)要不要接取決于業(yè)務對送達結果的敏感度。驗證碼場景一般不接用戶沒收到會自己點重發(fā)。但如果是重要的通知類短信比如訂單狀態(tài)變更、審批結果業(yè)務可能需要對未送達的號碼做二次觸達這時候回執(zhí)就必須接。接回執(zhí)有兩個工程上的注意點。第一回調接口必須做冪等同一條消息可能被推送多次。第二回調接口必須快速返回不要在回調里做耗時業(yè)務邏輯正確做法是把回調數(shù)據(jù)落庫或丟進消息隊列異步處理。第三回調接口要能防偽造多數(shù)平臺提供了簽名校驗機制這個校驗一定要開否則任何人都能往你的回調地址灌假數(shù)據(jù)。3. 第一行代碼依賴引入與客戶端初始化概念對齊了開始寫代碼。這一節(jié)講的是從零跑通第一條短信的完整路徑包括依賴、配置、初始化和調用以及那些文檔里不太強調但實際很關鍵的參數(shù)。3.1 依賴引入與版本選擇的取舍Java SDK 通常以 Maven 依賴的形式提供坐標以廠商官方文檔為準。引入的時候有一個常見糾結用最新版還是用穩(wěn)定版。我的經(jīng)驗是跟隨官方推薦版本不要自己升到最新。短信 SDK 的版本迭代經(jīng)常涉及底層 HTTP 客戶端的替換比如從某個 HTTP 庫換到另一個大版本升級可能帶來傳遞依賴沖突尤其是在你已經(jīng)引入了多個網(wǎng)絡庫的項目里。!-- 坐標以官方文檔為準這里僅示意結構 -- dependency groupIdcom.example.sms/groupId artifactIdsms-sdk-java/artifactId versionx.y.z/version exclusions !-- 如果項目已統(tǒng)一使用某 HTTP 客戶端可以排除 SDK 自帶的以減小包體 -- exclusion groupIdcom.example.http/groupId artifactIdhttp-client/artifactId /exclusion /exclusions /dependency排除傳遞依賴這件事要慎重SDK 內部如果直接調用了被排除庫的類運行時就會拋 NoClassDefFoundError。穩(wěn)妥的做法是先不排除用mvn dependency:tree看看有沒有版本沖突有沖突再針對性處理。我在一個老項目里就因為盲目排除了一個 JSON 庫導致 SDK 內部序列化參數(shù)時報錯排查了半天才發(fā)現(xiàn)是依賴被剝掉了。3.2 客戶端初始化超時和連接池是重點客戶端對象應該全局單例不要每次發(fā)送都 new 一個。SDK 內部維護著 HTTP 連接池頻繁創(chuàng)建銷毀客戶端等于放棄了連接復用在高并發(fā)下會顯著增加延遲和文件句柄占用。正確的做法是用 Spring 的Bean或者靜態(tài)單例持有它。Configuration public class SmsClientConfig { Value(${sms.access-key-id}) private String accessKeyId; Value(${sms.access-key-secret}) private String accessKeySecret; Value(${sms.endpoint}) private String endpoint; Bean(destroyMethod shutdown) public SmsClient smsClient() { ClientConfig config new ClientConfig() .setAccessKeyId(accessKeyId) .setAccessKeySecret(accessKeySecret) .setEndpoint(endpoint) // 連接超時建連階段建議 2-3 秒 .setConnectTimeoutMillis(3000) // 讀超時等響應的階段建議 5 秒左右 .setReadTimeoutMillis(5000) // 連接池上限按你的并發(fā)量估 .setMaxIdleConnections(50) .setMaxConnections(200) // 開啟自動重試要謹慎見下一節(jié) .setAutoRetry(false); return new SmsClient(config); } }這幾個參數(shù)值得展開說。連接超時設短一點因為建連失敗通常是網(wǎng)絡層面的問題等再久也沒用快速失敗對業(yè)務更友好。讀超時設長一點但也不能太長5 秒是個比較平衡的值——太短會誤殺正常但稍慢的請求太長會把調用線程拖住。連接池上限要根據(jù)你的實際并發(fā)估算假設峰值每秒 200 條每條平均耗時 200ms那么并發(fā)連接數(shù)大約是 200 × 0.2 40留兩倍余量設成 80 到 100 比較合適。setAutoRetry(false)這一項是我踩過坑之后的固定選擇。SDK 自帶的自動重試通常是針對網(wǎng)絡異常配置的但短信是外部副作用操作重試意味著可能重復發(fā)送。寧可自己在業(yè)務層做可控的重試也不要讓 SDK 在背后悄悄重試。后面第 5 章會講重試的正確邊界。3.3 跑通第一條短信與返回結構的解讀public SendResult send(String phone, String templateCode, String paramJson, String bizId) { SendSmsRequest request new SendSmsRequest() .setPhoneNumbers(phone) .setSignName(signName) .setTemplateCode(templateCode) .setTemplateParam(paramJson) // 業(yè)務流水號用于對賬和追蹤強烈建議傳 .setOutId(bizId); SendSmsResponse response smsClient.sendSms(request); return SendResult.builder() .requestId(response.getRequestId()) .bizId(response.getBizId()) .code(response.getCode()) .message(response.getMessage()) .build(); }返回結構里有四個字段值得關注。Code是業(yè)務狀態(tài)碼OK代表受理成功其余都是失敗具體錯誤碼見第 5 章。Message是描述信息給人看的不要用它做程序判斷。RequestId是本次請求的唯一標識出問題找云服務商排查時必須提供這個。BizId是這條短信在服務端的回執(zhí) ID接了回執(zhí)鏈路的話回執(zhí)推送里會帶上這個 ID用它來關聯(lián)發(fā)送記錄和送達結果。提示日志里一定要打 RequestId 和 BizId但手機號必須脫敏。常見做法是保留前三后四中間用星號替代或者干脆只打手機號的哈希值。手機號屬于敏感信息明文落盤在合規(guī)上是有問題的。4. 把裸調用封裝成可維護的發(fā)送服務直接調 SDK 的代碼寫起來最快但三個月后維護起來最痛苦。我見過的所有短信相關的事故復盤里幾乎都有一條共性發(fā)送邏輯散落在各個業(yè)務模塊每個地方對返回碼的處理方式都不一樣有的判斷了有的沒判斷有的判斷了但把錯誤吞掉了。所以第二步是把發(fā)送能力收攏成一個服務層。4.1 校驗前置把無效請求擋在調用之前調用 SDK 之前應該做一輪完整的本地校驗包括手機號格式、模板參數(shù)、頻率限制、黑名單。這些校驗的意義不只是防止報錯更重要的是省錢——每一次無效調用都是白花花的費用。手機號校驗我一般分兩層。第一層是格式層用正則判斷位數(shù)和號段這個成本極低。第二層是歸一化去掉空格、橫線、加號前綴、國家碼前綴統(tǒng)一成純數(shù)字格式。我遇到過用戶從通訊錄復制號碼帶上了不可見字符導致發(fā)送失敗日志里看起來號碼一模一樣實際上是編碼不同。歸一化的時候順手把這類字符過濾掉。private static final Pattern CN_MOBILE Pattern.compile(^1[3-9]\\d{9}$); private String normalize(String raw) { if (raw null) return null; String s raw.replaceAll([\\s\\-()], ) .replaceAll(\\u00A0, ) // 不換行空格 .replaceAll(\\uFEFF, ); // BOM if (s.startsWith(86) s.length() 13) { s s.substring(2); } return CN_MOBILE.matcher(s).matches() ? s : null; }模板參數(shù)的校驗同樣重要。驗證碼類的參數(shù)必須是純數(shù)字長度和模板里定義的位數(shù)一致通知類的參數(shù)要檢查長度因為參數(shù)過長會導致短信被拆成多條長短信費用翻倍用戶體驗也差。我一般會在服務層設一個參數(shù)總長度的硬上限超過直接拒絕并打日志這樣可以及時發(fā)現(xiàn)調用方傳了異常內容。4.2 異常映射把三種失敗區(qū)分開SDK 調用可能產(chǎn)生三類失敗這三類的處理方式完全不同混在一起處理是很多 bug 的根源。第一類是業(yè)務校驗失敗比如手機號非法、模板不存在、簽名不匹配、余額不足。這類失敗重試也沒用必須把明確的錯誤原因反饋給調用方讓它去修正參數(shù)或提示用戶。第二類是觸發(fā)流控也就是短時間內發(fā)送頻率超限。這類失敗是有可能自愈的等一會兒再發(fā)可能就成功了但絕不能立刻重試立刻重試只會讓情況更糟。第三類是系統(tǒng)級失敗包括網(wǎng)絡超時、服務端 5xx、網(wǎng)關異常。這類失敗是唯一值得重試的類別但必須有次數(shù)上限和退避策略。public enum SmsErrorType { BIZ_ERROR, // 參數(shù)/配置問題不重試 RATE_LIMITED, // 流控延遲后再試 SYSTEM_ERROR, // 網(wǎng)絡/服務端問題可有限重試 UNKNOWN } public SmsErrorType classify(String code) { if (code null) return SmsErrorType.UNKNOWN; if (OK.equalsIgnoreCase(code)) return SmsErrorType.UNKNOWN; if (code.startsWith(isv.)) { // 業(yè)務側錯誤多數(shù)不可重試 return code.toLowerCase().contains(limit) ? SmsErrorType.RATE_LIMITED : SmsErrorType.BIZ_ERROR; } if (code.startsWith(isp.)) { return SmsErrorType.SYSTEM_ERROR; } return SmsErrorType.UNKNOWN; }把錯誤分類邏輯獨立出來好處是后續(xù)所有調用方都復用同一套判斷不會出現(xiàn)有的地方重試有的地方不重試。這個分類方法建議配單元測試把每個錯誤碼對應的分類固定下來將來錯誤碼有新增時至少能保證已有邏輯不被改壞。4.3 發(fā)送結果對象給上層一個穩(wěn)定的契約不要讓業(yè)務層直接接觸 SDK 的 Response 對象。這有兩層原因一是 SDK 對象字段多、含義雜業(yè)務層用不上二是將來換服務商的時候如果業(yè)務層到處引用了 SDK 類型遷移成本會非常高。我通常定義這樣一個結果對象public class SendResult { private boolean success; // 是否成功受理 private String requestId; // 請求追蹤 ID private String bizId; // 回執(zhí)關聯(lián) ID private SmsErrorType errorType; // 錯誤分類 private String errorCode; // 原始錯誤碼 private String errorMessage; // 原始錯誤描述 private long costMillis; // 本次調用耗時 }這個對象里我特意加了耗時字段。短信接口的響應時間分布很有參考價值正常情況下 P99 應該在幾百毫秒內如果某段時間整體拉長了往往意味著上游網(wǎng)關在承壓是個早期預警信號。把耗時打進日志配合日志平臺做聚合比事后追查要省事得多。5. 錯誤碼逐個拆從返回字符串到可執(zhí)行動作錯誤碼是短信集成里信息密度最高的部分。文檔里通常給了一張大表但實際做的時候真正重要的不是背下來而是知道每個錯誤碼背后應該采取什么動作。這一節(jié)按我實際遇到的頻率排個序。5.1 高頻錯誤碼與處置動作對照錯誤碼示意含義觸發(fā)原因處置動作OK受理成功正常記錄 bizId等待回執(zhí)isv.MOBILE_NUMBER_ILLEGAL號碼非法格式錯誤、空號段不重試提示用戶檢查isv.SMS_TEMPLATE_ILLEGAL模板不合法模板 ID 錯、未審核、已下線不重試告警檢查配置isv.SMS_SIGNATURE_ILLEGAL簽名不合法簽名未審核或拼寫不一致不重試告警isv.BUSINESS_LIMIT_CONTROL觸發(fā)流控單號碼或全局頻率超限延遲重試檢查限流配置isv.AMOUNT_NOT_ENOUGH余額不足賬戶欠費不重試立即告警到人isp.SYSTEM_ERROR服務端異常上游系統(tǒng)抖動有限次重試這張表里最值得說的是BUSINESS_LIMIT_CONTROL和AMOUNT_NOT_ENOUGH。流控錯誤的坑在于它有可能是單號碼級別的也可能是全局級別的返回的錯誤碼是同一個但處理方式完全不同。判斷方法很簡單如果同一時刻所有號碼都失敗那就是全局流控需要檢查自己的賬號配額和發(fā)送速率如果只有某一個號碼反復失敗那就是針對這個號碼的頻控。我的做法是在限流邏輯里對號碼維度單獨計數(shù)發(fā)送失敗時先查本地計數(shù)能快速定位是哪一類。余額不足這個錯誤是最容易造成靜默失敗的。因為它是業(yè)務錯誤很多代碼邏輯會把它歸到不重試的類別里然后打一行日志就結束了。結果就是賬戶欠費三天所有驗證碼都發(fā)不出去直到有用戶投訴才被發(fā)現(xiàn)。我的建議是余額不足、簽名非法、模板非法這三個錯誤碼必須觸發(fā)即時告警通過釘釘、企業(yè)微信或者郵件推到值班人而不是只寫日志。5.2 排查一條發(fā)送失敗的正確順序線上反饋收不到驗證碼的時候很多人的第一反應是去翻應用日志但更高效的做法是從外往里查。第一步看發(fā)送接口的返回碼。這是最快的一步直接決定問題在上游還是在下游。如果返回碼不是 OK按上表處置基本十分鐘內能定位。如果返回 OK說明請求已經(jīng)被受理問題在投遞環(huán)節(jié)繼續(xù)下一步。第二步用 RequestId 或 BizId 去服務商控制臺查發(fā)送記錄。控制臺能看到這條短信的完整狀態(tài)流轉已提交、已發(fā)送、已送達、發(fā)送失敗。如果控制臺顯示發(fā)送成功但用戶說沒收到那問題在終端側可能是手機號輸錯了、手機裝了攔截軟件、或者用戶手機欠費停機。第三步如果控制臺顯示發(fā)送失敗且原因是空號或停機這就是業(yè)務數(shù)據(jù)問題需要在注冊或下單環(huán)節(jié)加強對號碼有效性的校驗。這個順序看起來簡單但實際排查的時候經(jīng)常被跳過。我見過有同事直接從檢查代碼邏輯開始查查了兩個小時最后發(fā)現(xiàn)是模板被下線了返回碼早就寫清楚了。5.3 重試的邊界到底在哪重試的設計有三條原則每一條都是踩坑換來的。第一只對系統(tǒng)級錯誤重試。業(yè)務錯誤重試是純粹的浪費還會放大日志噪音。流控錯誤可以重試但必須延遲而且要區(qū)分是單號碼頻控還是全局頻控——單號碼頻控重試沒有意義用戶等一會兒自己會點重發(fā)。第二重試次數(shù)必須有硬上限。我一般設 2 次最多 3 次。每次重試間隔用指數(shù)退避比如 200ms、600ms、1.8s??偤臅r控制在讀超時的兩倍以內避免線程被長時間占用。第三重試必須有冪等保護。這一條最容易被忽略。如果第一次請求實際上已經(jīng)成功只是響應在網(wǎng)絡中丟失了你的重試會導致用戶收到兩條短信。解決辦法是給每次業(yè)務發(fā)送分配一個唯一的 OutId并且在下游做去重——但短信服務端一般不會基于 OutId 去重所以更實際的做法是在應用層做重試之前先查一下本地發(fā)送記錄如果這條業(yè)務流水已經(jīng)標記為成功就不再重試。public SendResult sendWithRetry(SmsCommand cmd) { SendResult last null; long backoff 200L; for (int i 0; i MAX_RETRY; i) { last doSend(cmd); if (last.isSuccess()) return last; if (last.getErrorType() ! SmsErrorType.SYSTEM_ERROR) return last; if (i MAX_RETRY) break; sleepQuietly(backoff); backoff * 3; } return last; }6. 生產(chǎn)加固冪等、限流、異步、降級跑通了、封裝了、錯誤碼也處理了代碼看起來沒問題了。但在真實流量下還差四道加固。這一節(jié)講的是從能用到敢在大促期間用的距離。6.1 冪等設計從業(yè)務流水號到發(fā)送記錄冪等的核心是給每一次用戶意圖分配一個唯一的業(yè)務標識然后保證同一個標識只會真正觸發(fā)一次發(fā)送。這個標識通常由業(yè)務側生成比如登錄驗證碼 用戶 ID 時間窗口的組合哈希或者直接用一個全局唯一的請求 ID。落地方式是在發(fā)送前先查一次記錄表發(fā)送成功后寫入記錄。這張表要能支撐高頻寫入字段包括業(yè)務標識、手機號哈希、模板碼、狀態(tài)、RequestId、BizId、創(chuàng)建時間。狀態(tài)分為發(fā)送中、成功、失敗發(fā)送中的記錄要設過期時間避免因為進程崩潰導致記錄一直卡在中間狀態(tài)。這里有個細節(jié)值得注意狀態(tài)表不能用手機號做唯一鍵要用業(yè)務標識做唯一鍵。因為同一個手機號在不同業(yè)務場景下發(fā)送是允許的比如一分鐘內既能收到登錄驗證碼又能收到支付驗證碼用手機號做唯一鍵會誤殺。6.2 限流三層限流缺一不可短信的限流要做三層少一層都可能出問題。第一層是賬號級限流防止整體用量超過配額導致被平臺限速。這一層通常用令牌桶實現(xiàn)速率按你的套餐額度和業(yè)務峰值設置。第二層是場景級限流登錄驗證碼、注冊驗證碼、通知類短信分別設置不同的速率上限。這樣即使某一類場景被刷也不會影響其他場景。這層是防止單點故障擴散的關鍵。第三層是用戶級限流同一個手機號在時間窗口內的發(fā)送次數(shù)限制這層既是成本控制也是風控。常見的規(guī)則是同號碼 1 分鐘內最多 1 條1 小時內最多 5 條24 小時內最多 10 條。// 用戶級限流示意用本地緩存或 Redis 計數(shù)器都行 public boolean allowSend(String phone) { String keyMinute sms:min: md5(phone); String keyHour sms:hour: md5(phone); String keyDay sms:day: md5(phone); if (counter.get(keyMinute) 1) return false; if (counter.get(keyHour) 5) return false; if (counter.get(keyDay) 10) return false; counter.incrementAll(keyMinute, keyHour, keyDay); return true; }用 Redis 做計數(shù)器的時候要注意過期時間的設置以及原子性。用INCR加EXPIRE兩步操作會有競態(tài)推薦用 Lua 腳本或者帶過期參數(shù)的原子命令。6.3 異步化把發(fā)送從用戶請求線程里挪出去這個改造對用戶體驗的提升是最直接的。原來的流程是用戶點發(fā)送驗證碼請求線程同步調用短信接口用戶要等接口返回才能看到已發(fā)送提示。改造后變成請求線程只做校驗、限流、生成任務、投遞到線程池或消息隊列立刻返回后臺消費者實際調用 SDK 發(fā)送。異步化之后短信接口的抖動就不會傳導到用戶請求上了。但異步也帶來了新的問題發(fā)送失敗怎么辦答案是把發(fā)送記錄的狀態(tài)維護好失敗時按策略重試或標記失敗用戶點重新發(fā)送的時候能看到真實狀態(tài)。線程池的配置要單獨隔離不要和業(yè)務的公共線程池混用。核心線程數(shù)按發(fā)送峰值估算隊列要有界拒絕策略用 CallerRuns 或者直接丟棄并打日志——絕不能用無界隊列那等于把內存當緩沖出問題是遲早的。6.4 降級與多通道容災單一服務商總有不可用的時候尤其是大促期間。降級方案有兩個層次。輕量級的做法是配置降級開關當短信發(fā)送失敗率超過閾值比如連續(xù) 1 分鐘失敗率超過 30%自動切換到降級模式驗證碼場景改為純語音播報或者干脆在頁面上給出明確提示短信通道繁忙請稍后再試避免用戶在那里干等。重量級的做法是雙服務商容災同時接入兩家的 SDK主通道失敗時自動切到備用通道。這個方案的工程成本不低因為兩家的模板、簽名都要各自申請返回碼體系也不同需要做一層統(tǒng)一的抽象。但對短信強依賴的業(yè)務來說這是必要的投入。實現(xiàn)上可以定義一個SmsProvider接口兩個實現(xiàn)類分別包裝兩家的 SDK用一個路由策略決定走哪個通道。7. 驗證碼之外批量通知、可觀測性與成本接完主鏈路剩下的是一些容易被忽略但影響很大的工程細節(jié)。這一節(jié)講三塊批量發(fā)送的正確姿勢、監(jiān)控指標怎么設計、成本怎么摳。7.1 批量發(fā)送不要用循環(huán)單發(fā)通知類短信經(jīng)常是批量場景比如給一批用戶發(fā)活動通知。最常見的錯誤寫法是 for 循環(huán)調用單發(fā)接口一千個用戶就是一千次 HTTP 請求耗時不說還容易觸發(fā)賬號級流控。SDK 一般提供了批量發(fā)送接口支持一次傳入多個號碼用逗號分隔但要注意三個限制。第一單次批量有號碼數(shù)量上限通常是幾百到一千個超過要自己分批。第二批量發(fā)送的模板參數(shù)是共享的如果每個用戶的內容不同就不能用批量接口只能在應用層并發(fā)單發(fā)。第三批量接口的返回是全成功或全失敗不提供逐個號碼的結果需要單獨查詢。所以實際做法是內容相同的場景用批量接口分批調用每批之間加一點間隔避免瞬時壓力內容不同的場景用單發(fā)但要控制并發(fā)度用一個固定大小的線程池或者信號量限流不要把下游打爆。7.2 監(jiān)控指標四個必須埋的點短信鏈路的監(jiān)控我一般埋四組指標缺一不可。第一組是發(fā)送量與成功率按場景、按模板、按小時聚合。成功率突然下跌是最直接的問題信號。第二組是錯誤碼分布尤其要關注幾個高危錯誤碼的出現(xiàn)次數(shù)余額不足、簽名非法、模板非法。這三個指標應該配置成零容忍告警出現(xiàn)一次就通知到人。第三組是調用耗時分布重點看 P95 和 P99。耗時的突然拉長往往預示著上游網(wǎng)關承壓是故障的早期信號。第四組是被限流攔截的請求數(shù)包括平臺側返回的流控錯誤和本地限流攔截的數(shù)量。本地攔截數(shù)量突增通常意味著有人在刷驗證碼需要聯(lián)動風控。這幾個指標用 Micrometer 埋點接到 Prometheus 上看板就行成本很低但收益很大。我的經(jīng)驗是有了這四組指標絕大多數(shù)短信問題都能在用戶投訴之前被發(fā)現(xiàn)。7.3 成本控制長短信和無效號碼是最大的兩個坑短信成本有兩塊很容易失控。第一塊是長短信。一條普通短信的計費長度是 70 字含簽名超過 70 字會按長短信拆分每 67 字計一條費。如果你的模板參數(shù)里塞了 URL 或者長段文字很容易把一條變成三條成本直接翻三倍。控制方法是在模板設計階段就把內容控制在 70 字以內參數(shù)只放必要信息URL 用短鏈。第二塊是無效號碼??仗?、停機、錯號發(fā)出去照樣計費所以號碼有效性校驗很關鍵。除了本地格式校驗還可以接號碼檢測能力把明顯無效的號碼在入庫階段就過濾掉。另外對發(fā)送返回號碼非法的記錄做定期統(tǒng)計如果某個業(yè)務線的非法率異常高說明上游數(shù)據(jù)源有問題需要從源頭治理。第三塊是重發(fā)。用戶頻繁點重新發(fā)送會顯著增加成本前端應該做按鍵倒計時后端要做頻控兜底。這兩道防線都必須在只靠前端是不夠的接口可以被直接調用。提示成本監(jiān)控建議做成日報把每日發(fā)送量、失敗量、拆分率、活躍號碼數(shù)做成趨勢圖。成本異常往往不是一天漲上去的而是慢慢爬坡日報能讓你在一周內發(fā)現(xiàn)異常而不是一個月后發(fā)現(xiàn)賬單翻倍。8. 我在這條鏈路上交過的兩次學費第一次是把發(fā)送放在了事務里。當時的實現(xiàn)是注冊接口里先插用戶表再發(fā)驗證碼兩個操作在一個Transactional方法里。短信發(fā)送失敗拋異常事務回滾用戶注冊失敗這看起來合理實際上非常糟糕短信已經(jīng)發(fā)出去了但數(shù)據(jù)庫回滾了用戶收到驗證碼卻無法完成注冊重新注冊又會收到第二條。這個設計錯誤的本質是把外部副作用和本地事務混在一起。正確做法是把發(fā)短信挪到事務提交之后用TransactionSynchronizationManager的 afterCommit 回調或者事務事件監(jiān)聽。第二次是被短信回執(zhí)坑了。當時以為發(fā)送返回 OK 就萬事大吉沒有接回執(zhí)結果在一次通道故障中大量短信顯示發(fā)送成功但用戶普遍反映沒收到。事后追溯才發(fā)現(xiàn)那段時間該通道的下行投遞大面積失敗控制臺里有一堆已提交未送達的記錄但我們沒有任何告警。接了回執(zhí)之后這種情況就能通過提交成功但回執(zhí)失敗率上升及時發(fā)現(xiàn)。如果現(xiàn)在讓我重新接一遍我會按這樣的順序做先理清場景和模板把簽名和模板提前審核然后搭好服務層把校驗、錯誤分類、結果對象、冪等和限流一次性做進去接著配置監(jiān)控和告警確保余額、簽名、模板三類問題能第一時間知道最后才是異步化和多通道容災這些優(yōu)化項。順序很重要因為前兩步是地基后面所有優(yōu)化都建立在它們之上。至于代碼本身有多簡單其實不重要——難的一直都不是那幾行調用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久精品网| 亚洲色图自拍| 日韩激情啪啪啪| 国产三级中文字幕粉嫩 | 久草精品视频| 国产乱青青草久久| 中文字幕 一区二区 亚洲无码| 成年人黄色小视频网站| 婷婷久热| 青娱乐亚洲自拍| 欧美综合第一页| 天美传媒在线一区| 日韩亚洲美女一区久久| 打av高清| 婷婷五月天补不补| 久久老子无码午夜伦不卡| 家庭乱伦麻豆| 综合久久97| 99re这里只有| 97碰碰色| 色噜噜国产精品视频一区二区| 亚洲人精品午夜不卡| 精品十三区| 另类综合另类| 热久久精品| 情侣开房子拍 日韩无码 女的很漂亮| 欧美日韩操逼嗦吊| 五月天社区| 国产AV久久野战精品| 免费A片三p视频| 成年人黄色| 春色91| 9 1超碰九色| 青青草在线视频欧美| 色穴精品| 天天色怡春院| 精品国产乱码久久久久久久久久毛片| 一本久久久精品| 人妻中文字幕日韩电影| 曰本人妻人人澡人人夹| 无码人妻丰满热妇又大又粗| 人妻-91porn| 美女黄频a美女大全免费皮| 久久无码电影| 99久久九九| 这里只有精品视频在线| www.色婷婷.com| 亚洲九月丁香| 99精品在线观看| 九热视频| 亚洲不卡不卡中文字幕不卡 | 色阁阁AV综合网| 日韩久久艹| 日韩丨制服丨中文|在线| 老司机午夜福利视频一区二区| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 精品国产99| 97色色,97综合| 蜜臀久久精品久久久久视频| 国际精品久久久| 亚洲高清欧美总合| 97超碰人人模人人拍人人| 国产精品成人AV片免费看网站| 欧美亚洲综合高清在线| 日韩精品电影| 久久亚洲一区女同性恋中文字幕| 蜜乳中文字幕a在线| 在线人人人人人人精品超| 婷婷久久网| 91九久| laoshunv91| 天天天干977| 天天看天天干| 日韩亚洲美女一区久久| 丝袜高跟澳门91视频| 无码二级三级| 91精品久久久| 老熟女中文字幕高清| 久久97精品久久久久久久不卡| 丁香五六月啪啪| 操逼操逼逼操操逼91| 99热在线播放| 91色人| 超碰97久久| 免费av大片| 天天爽爽爽爽| 国产精品另类| 秋霞一级视频在线观看免费| 男人下部插入女人下部| 操一对老熟妇爽上天视频| 国产区日韩区在线观看| 少妇超碰在线| 北野未奈加勒比av| 精品人妻免费观看| 成人夜夜爽| 超碰国产情侣自拍网| 婷婷伊人一区| 欧美96交| 国产成人自拍视频视频| 丁香激情五月天| 丝袜美腿射精91| 久久一二三四| 99九九精品| 二对二中文字幕。| 亚洲骚逼少妇| 国产AV激情无码久久无码| 夜夜爽爽爽| silk lablo在线观看一区二区| 97神马久久| 久久精品毛片免费不卡| 美女黄页| 男人的天堂VA在线| 日韩无码操逼片| 情色AV电影| 99久久久无码精品国产人| 亚洲 欧美 手机在线观看| 色性综合| 蜜臀99久| 91色综| 精品成人久久久人人亚洲| 大香蕉一区二区在线观看.| 一区二区娱乐网站| q2午夜理论片夜色av| 日韩有码 一区二区三区| 亚洲高清无码免费观看视频| 成人一级二级| 91小视频| 久久9精品| 婷婷综合激情| 97在线免费看视频| 91黑丝在线播放| 国产999精品久久久| 八人操人人摸人人看| 天天操人人操骚逼网站| 大香焦A片| 日韩资源网| 26uuu欧美日韩| 成人在线永久| 夜夜影视四色| 中文字幕乱妇免费视频| 大香蕉久操| 超碰在线免费一区二区三区| 久久综合五月天| 国产精品在线免费| 国产传媒1234区| 深夜福利黄片| 精品视频专区| www成人啪啪18秘 免费| 无码九九| 五月婷婷啪啪| 搞中出久久| 亚洲男人的天堂AV| 八人操人人摸人人看| 亚洲成人妻日韩在线| 老外又粗又长一晚做五次| 久久中出在线| 色婷婷九月天天综合| 久久成人午夜狠狠| 嗯嗯,啊啊,国产精品| 亚洲97成人在线观看| 蘋果手機免費看成人Av| 99久久综合网| 不卡中文字幕aⅴ在线| 熟女91网| 天天亚洲综合| 狠狠爱综合| 久久97精品久久久久久久不卡| 久悠悠av| 中国一区二区亚洲人妻| 襙一襙| 欧洲小说色图视频另类| 亚洲精品色| 日韩欧美性爱电影在线观看| 亚洲青青草| 激情五月天色播| 2024年最新色情网站在线观看| 1204av韩国| 亚洲免费人妻在| 亚洲欧美清纯| 欧美天堂第二区| 丁香五月天激情| www.色吧5.com| 搡老女人老91妇女熟女| 蜜色网色哟哟| 九九性视频| 操逼逼一区视频| 亚洲欧美另类图片| 人澡逼| 人人手机欧洲亚洲国产人妻| 青娱乐 成人娱乐在线| 亚洲熟女性高潮久久久| 亚洲欧美色图小说| 淫荡网址| 亚洲成成熟女人综合一区二区| 亚洲熟妇熟在线电影视频| 五月丁香婷婷色| 91快色色色色色| 凹凸视频在线一区二区| 青草伊人网| 国产精品天干天干综合网麻豆| 精品少妇后入一区二区三区四区人妻巨乳| 日韩无码黄色片| 国产欧美日本亚洲精品| 久久九色| 一级人妻性爱视频| 国产二区三区免费视频| 97超碰超碰| 情色大香蕉| 欧美激情一| 人妻在线大香蕉| 97玖玖人妻| av婷婷色网| 久无码| 色婷婷五月天| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 91丝袜视频在线观看| 日本一级特级毛片视频| 嫩草一区二区在线观看| 久久、1234| 天天干美少妇一区| 人妻嗯啊啊在线播放| 亚洲无码AV九九九| 国产1769在线| 婬女免费一二三区A片| 久热无码| 天天插天天插| 亚洲五月丁香花狠狠干一区二区三区| 日韩免费看黄片| 亚洲一区二区三区欧美日韩| 激情丁香五月| 婷婷五月色| 97精品国产97久久久久久| 亚州色图第三区| 大香蕉男女超碰精品在线| 人妻嗯啊啊在线播放| 婷婷导航| 久久超碰久| 欧美高清性猛交| 精品免费1| 性欧美另类高清| 免费看欧美美女黄色大片| 国产网站在线播放| 亚洲高清在线| 国产精品一二三免费网站| 黄色乱论网站| 欧美国产一区二区三区麻豆传媒| 我要色综合网站| 国产97视频| 日韩激情电影中文字幕| 日韩人妻一二三区视频| 天天插天天射| 欧美体内射精| 中文字幕乱亚洲美女精品一区| 3PAV乱伦视频| 人人干人人操人人..com| 成人免费不卡在线视频| 天美国产三级传媒| 99色骚| 欧洲站一级二级三级h| 天天影视综合色| 青娱乐老司机视频| 大香蕉碰碰| 天天干天天操天天拍| 大香蕉日亚洲日本亚大| 日韩福利综合一区| 欧美极度丰满熟妇hd| 欧美婷婷五月天| 久久亚洲熟妇在线视频| 成人性交午夜免费片| 日韩免费a级毛片无码a∨| 一区操逼日比视频| 亚洲国产剧情少妇激情| 亚洲欧美激情小说| 370p日韩欧美亚洲精品| 狠狠干,狠狠操| 人人澡综合涩| 天天综合91入口| 黄色大片免费在线| 啊…啊…操我用力操我| 亚洲色图 图片| 94色色电影网| 污电影在线观看| 伊人国产成人av网站| 啪一啪免费视频| 99啪啪视频| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 亚洲 欧美 精品专区 极品| 国产 无码 一区二区| 91亚洲精品青草| 久久久久久99999国产精品| 日本操逼aaaaa| 伊色综合天堂色97| 日韩十八禁| 午夜免费福利视频一区| 日韩中文9| 日本乱人伦片中文三区| 黄色AV影视| 2020中文字幕在线| 熟妇操花| 玖色av| 草草影院最新网址| 日韩中文字幕2020| 日本精品高清一二区一本到| 日本久久999| 在线毛片片免费观看| 六月婷激情福利天堂69| 97综合激情| 精品久久人妻成人网| 夜色97| AV网站高清无码在线观看| 欧中日成人免费影视| 天天操夜夜操| 日韩精品第3页| 免费福利视频中文字幕| 在线黄色污污网站| 天堂中文日本在线观看| 99久久免费看精品国产一区| 亚洲图片偷拍视频区| 美女骚尻视频| 日韩去日本高清在| 日本二三四区| 亚洲人成色9999精品久久 | 欧美国产视频| 欧美日本中字另类在线| KK色在线影院| 久视频在线观看| 免费a v| 人人搡人人肉久久精品| 人人插人人摸人人| 78精品在线| 啊啊啊好舒服好爽啊啊啊视频| 浓厚中出中文字幕在线| 大香蕉日韩| 亚洲欧洲偷拍一区| 69少妇一区二区| 大香交| 99婷婷| 免费人成毛片乱码| 91爱看| 自慰白浆在线观看| 熟妇xxxxx性春色| 爱妻综合网| 五月丁香激情综合网| 欧差乱伦二三| 欧美姓爱综合网| 蜜桃精久三区| 国产高潮AA片免费看| 干少妇视频| 日本一天色道久久久精品视频| 中文字幕一区二区韩| 综合久久97| 制服中出中文人人精品| 超碰在线91| 天天狠操| 屁股久久久久久| 日韩精品99久久久久久中文字幕 | 九九RE视频在线精品| 国产毛片片精品天天看视频| 亚洲成人久久一区二区| 中文字幕国产在线天堂| 久久久内射良家| 欧美色偷拍| 五月天黄色激情视频| 欧美懂色综合网| 亚洲素人综合| 亚热日本熟女| 久久伊人在线五区| 国产理论视频在线播放| 日韩99精品视频综合区| 无遮挡男女激烈动态图| 色五月av| www.人人摸在线视频| 欧美精品丝袜久久久中文字幕| 乱伦3P视频| 性色AV蜜色av色欲av| 97网站在线观看 | 精品视频在线观看精品| 少妇贴图| 久操免费视频| 人妻美腿丝袜日韩| 97视频www| 中文字幕亚洲欧美在线不卡| 天天日日夜夜| 操久久久久久| 日本天天操| 精品人妻中文字幕4399| 天天操夜夜操狠很操| 国产家庭乱伦表演| 中文字幕在线观看网址| 97国产|免费| 日韩人妻精品| 久久久内射良家| 天美传媒AV国产在线| 好吊色一区| 久久理论字幕视频| 日韩乱码Av| 欧美精品第3页| 欧美性爱另类综合| 丁香六月天| 婷婷色婷婷| 国产精品国产拍高清AV| 99热这里只有精品99| 狠狠爱综合| 日本在线视频导航| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 大黄片做爱的大的| 国产欧美日韩一区二区三区| 高潮的A片激情扒开一区| 91制服丝袜中文字幕| 偷拍精品一区二区三区| 无码直播久久久| 久久精品久久九九精品| A V视频日本| hd成人一区二区在线| 日本一区二区不卡精品| 亚洲午夜福利在线影院| 久久亚洲av成人无码国产| 日本福利二区视频| 91婷婷伊人狠人| 色噜噜狠狠色综合日日| 国产乱弄免费在线视频。 | 91精品人妻一区二区三区蜜桃| 99夜夜操| 极品销魂美女一区二区| 无码聚合| 夜夜爽爽爽| 97青青操视频| 玖玖超碰熟| 91情色| 欧美一区二区三区互相| 91干熟女| 91女人的网站| 后入精品| jizz啪啪| 夜夜一区二区| 久久精品高清无码一区| 中文久久久| 思思性爱| 日本999精品视频| 人妻熟女一区二区| 富女玩鸭子一级毛片| 国产农村一一级特黄毛片| 久久久影院| 欧美精品三区| 日韩性爱长视频免费| 欧美人妻久久精品二区三区| 亚洲色偷偷色噜噜狠狠99网| 国产99999久久精品| 日日干日日摸| 91久久99久久91熟女精品| 日韩超碰精品综合| 欧美亚洲首页| 女人喷水视频在线观看| 97国产精品国| 99re视频在线播放青草| 国产精品视频麻豆入口| 一区二区三区网站日日骚| 91美女视频直播| 综合网天天| 亚洲无吗在线视频| 激情露脸爱| 亚洲淫乱骚妇AV| 日本精品性生活久久久| 欧美成年人性爱视频免费观看| 亚洲乱码尤物193YW| 日韩免费性爱视频在线观看| www.AV有限公司一区| 最新制服中文第一页| 人人看人人摸人人色| 欧美性区| 久久久久九九九九| 色九月| 丰满熟妇大乳做爰| 亚洲精品啪视频| 青青草国产盗摄一二三区| 91中文字幕| 99精品在线播放| 啊啊啊好舒服视频| 色色丁香| 日韩成人小视频| 91干熟女| 五月天日日操夜夜操| 亚洲欧美人妻| 国产超碰国产97| 欧美色就是色| 99色婷婷中文字幕乱色| 人妻81p| 97精品视频免费| 青青草公开在线免费不卡视频| 精品视频免费在线一区| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 不卡啪啪视频| 青青草影视蜜久久| 色色色热| 亚洲风情在线观看| 久久久工口| 91国产操逼视频| 亚洲成人精品久久久| 亚洲A曰本VA欧美VA视频| 嗯嗯嗯,草死我| 操逼无码操逼| 欲色影视综合吧| 久九九九| 99RE在线视频精品,这里只有精品| 亚洲欧美精品国产一区二区| 亚洲吊色| 国内毛片婷婷六月色| 一区二区三区四区在线不卡| 91狠狠色丁香婷婷综合久久| 熟女人妻精品一区二区视频| 狠狠五月天| 男人天堂欧美| 熟妇xxxxx性春色| 1000午夜黄色| 思思热在线| 亚洲成人黄色在线观看| 亚洲情色综合网| 国产色呦呦| 亚洲欧美999| 欧美 综合| WWW黄片COM| 天天看天天日| 国产91丝袜在线播放蜜月| 亚洲夜夜欢无码一区二区 | 91N欧美| 国产精品 久久久精品一牛| 欧美综合777| 国产在线76页| 人妻乱仑一区二区三区| 亚洲久久久久| 男人成人黄色视频在线观看免费下载| 九九aV| 日韩Va亚洲va欧美Ⅴa久久| 日本布卡一区二三区| 日本女厕偷拍| 五月婷婷六月天| 日韩精品在线视频在线观看| 欧美色图第一页| 99热 按摩 日韩| 激情综合五月婷婷| 国产欧美日韩在线不卡第一页| 人人操欧美风骚| 五月天亚洲网| WWW.加勒比人妻一区不卡.com| 99热精品在线| 国产精品一区午夜福利| 最新亚洲黄色免费电影 | 免费看久久久性性| 国产精品久久久久无码A√| 中文字幕制服诱惑| 色九色久| 日本超碰色精品| 午夜呻吟欧美| 日韩人体偷拍| 亚州操操穴网| 日本人体九九九九九九| 欧美毛片在线网| 亚洲图片欧美在线视频| 超碰成人免费| 岛国片在线观看视频亚洲| 最近的最新的中文字幕视频| 偷拍自拍在线视频观看| 91天堂色男人的天堂| 2017人人操,人人摸| 日韩成人无码| 一区AV| 久久国产精品一区二区| 丰满人妻-区二区三区免费看| 中文字幕色AV| 色噜噜人妻av中文字幕| 人人摸人人舔一区二区| 欧美,亚洲,日韩,v,天堂,手机在线观看| 精品亚洲俞拍视频一区| 亚洲 图片 欧美 色图| 午夜人妻精品综合在线| 四虎AV在线观看| 95人妻爽爽人人做人人澡| 亚洲日韩精品在线播放| 超碰99在线观看| 超碰人妻在线| 91视频国品一二三区| 性爱乱伦网址| 男人天堂婷婷五月天校园春色| 国产亚洲一黄| 吻戏激情性巴克| 超碰三级秋霞| 婷婷久久久| 午夜情侣自拍网站| 色欲人妻一区二区在线| 天堂亚洲精品久久老牛| 中文字幕av一区二区三区人妻少妇| 97情超碰色| 91青青草| 日韩av免费一级电影| 郑州宾馆老熟女露脸啪啪| 亚洲中文字母在线播放| 插日本熟女视频| 久久一二三四五六七八九区区区| 91在线美女| 10000部十八禁看电影| 无码人妻系列少妇| 亚洲影视综合| 福利社区午夜一区二区| 99成人| av亚洲天堂资源网站| 97免费视频在线观看视频| 在线洲亚线| 尤物网站91| 久久一级无码精品毛片6| 久久婷婷影院| 99色视频| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 亚洲视频小说| 2017天天透天天通天天擦| 神马久久午夜| 国产精品久久久无码AV网站| 开心五月天激情网| 加勒比伊人影院| 精品一级| 亚洲导航深夜福利| 69精品人人人人| 黄色交缠性感爆操91国产精品免费一区二区三区| 手机在线大香蕉| 26uuu性| 男人兔费天堂| h色99999| 狠狠久久手机视频精品| 欧美综合骚| 少妇精品久久久八区九区| 探花精品 一区二区| 欧美系列在线一区二区| 成人女人国产| 丰满人妻一区二区三区免费| 国产一区二区三区精品观看啪| 一本正道久久熟女| 九九热精品| 中国zzijzzijzzwww精品| 欧美黑人XXXⅩ高潮交| 午夜操操操| 久久久亚洲Av| 麻豆天美传媒在线视频天堂| 精品国产乱码久久久久久网站入口| 国产探花精品在线| 啊啊啊啊啊在线视频| 日韩精品在线放| 天天色综合图片| 亚洲欧美综合图片| 亚洲黄网在哪免费看| 国产精品久久久久久久久久久久久久久久久久| 久久超碰天天| 色色色欧美| 久久久久久中文| 日本一区二区做爱的视频| 日韩欧美丝袜诱惑| 豆花视频操逼网址 | 欧美人人曰人人操人人射射| 丰满少妇一区二区三区专区| 青青草在线视频美女| 夜夜操老骚逼视频网站| 国模精品一区二区三区苹果色戒| 人妻丝袜无 码视频专区| 国产乱人妻精品入口| 欧美黄页| 偷拍 精品 另类 四区| 久久人妻熟女一区二区| 26uuu国产| 一区二区三区一亚洲中文字幕、综合区灬 | 欧美性爱第一区| 天堂精品小草| 密乳AV免费观看| 蜜桃久久精品一区二区三区| 人妻中文字幕精品无码| 国产吹潮女在线观看| 色爱三区| 欧美中日韩XXXX| 九九热超碰| 国产精品第一页国产大屁股视频免费区| 操操啪| 久久亚洲中文字幕视频| 久插综合| 日本熟妇人妻中出视频| 黄色交缠性感爆操91国产精品免费一区二区三区| 在线人人人人人人精品超| 天天干1区2区在线| 久久久久久久久久久久久9999| 中文字幕三四区| 色五月第四色| 国产精品自拍欧美在线| 91亚洲图片| 久操精品网| 亚洲国产成人7777| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 丝袜 亚洲 偷拍| 思思久热在线精品66| 日韩啪啪啪视频| 在线可观看的黄色网址| 精品日日人妻| 色综合久久夜色精品国产天堂| 麻豆啪啪啪视频| 99999精品| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 免费视频a级毛片免费视频| 人人妻人人玩人人澡人人爽| 亚洲情色在线| 操人妻丝袜高跟| 人妻一区视频| 天天色欧美| 欧美少妇高潮久久91| 久久久九九网站| 免费AV中文网在线观看| 噜噜噜亚洲精品| 国产在线76页| 2021久久国产综合精品青草| 亚洲天天操| 黄久在线| 免费成人在线熟妇网| 九月丁香婷婷| 久久社区一区二区三区| 少妇久久久久| 久草成人影片| 私色综合网| 久久五月婷| 天堂俺去俺来也www久久婷婷| 国产精品一区二区三区四区五区| 神马久久69| 你操综合| 狠狠激情综合狠狠操中文字幕| 欧美日韩大香蕉| 亚洲欧美清纯| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 1人人看人人摸人人操| www欧美91| 色哟哟av| 天天亚洲综合| 蜜臀人妻少妇久久在线观看| 99久热| 手机在线看片免费人成视频| AV一区观看| 色婷婷国产精品一区在线观看| 欧美劲爆第一页| 蜜桃午夜视频一区二区| 九九九九九精品十六| 国产美脚女优尤物在线观看| 发朗少妇买婬全视频中文| 日逼国产| 色乱二区| 一区二区三区免费岛国片| 热久久国产| 强奸乱伦 亚洲一区| 天天爱综合网| 色香91| 9久久久久久| 五月天AV资源| 九九九不卡| 久久久999国产| 欧美啪啪天堂| 国产97亚洲| 超碰九7免费| 欧美天天弄| 精品视频一二三中文| 特色a在线上| 黄片qw| 激情抓乳插进去啪啪啪日韩 | 亚洲天堂另类小说男人| 一道本东京热加勒比一区二区三区| 亚洲射综合网| 欧美日本天堂| 中文日韩欧美熟| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场 | 欧美性爱日韩高清| 精品国产91av一区二区三区| 欧美精品成人在线播放| 国产精品蜜乳AV| 中文字幕av乱伦| www.超碰在线| av优播| 97综合日韩| 精品美女人人干| 青青草公开在线免费不卡视频| 亚洲色图第四色| 国产精品网址| 一个色导综合| 亚洲午夜福利视频| 伊人影院中文字幕| 欧美黑人性猛交91| 亚洲宗合网| 精品十八在线观看| 亚洲一区二区三区春色| 美女极品一区二区三区| 欧美十八禁导航成人| 久久乐| 久久爽爽精品| 9I1性色影院| 69XX一中文字幕人妻91| 亚洲欧美色图小说| 丝袜美腿诱惑亚洲欧美视频在线观看 | 亚洲AV不卡在线观看尤物| 中文字幕伊人| 91内射| 围产精品一区二区三区视频播放| 九九久久精品| se,,,亚洲欧美| 国产精彩女在线观看视频| 日日躁夜夜躁狠狠躁超爽| 亚洲人妻中文在线视频| 五月综合久久| 久操网在线| 啊啊啊啊啊好多水| 国产精品女久久久久av爽| 久久人妻丝袜一区二区三| 日本久久久精品电影| 人人性爱视频免费| 欧美日韩国产三级黄色| 欧美色棕合| 国产人人干| 亚洲天堂在线怕怕视频| 五月天婷婷久久| 久久久久久久久久久久久久久久9| 中文字幕乱妇免费视频| 911粉嫩人妻| 1二区9| 少妇综合网| 国模少妇一区二区三区| 欧美综合在线91| 女人与公拘交酡2020视频| 超碰在线成人| 99re6国产精品99re| 影音先锋每日最新资源在线观看| 亚洲中文字幕久久人妻| 成人网欧美风情| 91美女小视频| 色狠狠色| 国产中午字一暮区| 国产v片在线免费观看| 天天综合日韩网| 超碰在线日韩一区| 午夜福利精品| 超碰在线97国产| 国产精品亚洲色婷婷久久久| 日韩国产品视频中文字| 日韩性爱一级片| 这里只有精品视频| 97伊人| 韩国一级婬片A片AAAAA| 九九九偷拍| 手机看片1025| 九九九九九九九九九九九蜜桃| 国产日逼视频| 久久久久七视频| 精品欧美А∨无码黑人大荫蒂 | 在线 制服丝袜中出 人妻| 欧美影音在线| 国产亚洲精品久久久久小| 久久久久9久久久久| 九九九久久久| 日韩情色视频| 天天欧美| 伊人色综合超碰| 百度百度日本操逼| 日本三级日本三级三级人妇四虎| 久久97| 夜草欧美| 久草网站免费在线观看| 久色99999| 日本高清一区二区在线| 大香蕉99999| 玖玖综合.com| 日韩电影在线观看网址| 蜜奶av| w w w.久久精品| 福利天堂| 亚洲操逼视频网站| 春色91| 日韩人妻操B| 中文字幕奈奈美被公侵犯| 亚洲97p| 精品毛片久久久精品毛片| 日本不卡中文| 久久九九一区二区三区成人| 麻豆国产视频精品观看| 亚洲国内精品成人不卡| 色情综合| 青草综合| 日影院久久婷婷夜夜网| 蜜臀AV网站| 中文字幕精品码亚洲| 亚州 综合 色图| 性做久久久久久免费观看软件| 亚洲色图A| 亚洲一二三四区机械| 国产精品内射婷婷一级二| 91精品免费| 亚洲日韩一区电影| 青青青国产手线观看视频2| 中出789在线视频| 久久精彩免费视频| 国产无码高清操逼视频| 色综合 加勒比| 啊好大好舒服| 亚洲1区| 无码丰满熟妇一区二区浪潮AV| 欧美综色欧| 日韩二三区| 亚洲少妇色| 丰满人妻无码一区二区三区| 国产综合久久久麻桃个| 精品久久青青草| 屁屁影院一区二区三区国产| 久热在线精品免费观看| 日本熟妇人妻一区二区三区| 大香蕉国产中文自拍| 狠狠综合网| 国产麻豆福利av在线播放| 翔田千里A片一区二区| 国产精品69久久久久久久| 日本九九久久99播| 欧亚综合一卡二卡中文字幕| 激情国产乱伦Av| 色综合加勒比| 无码视频一区二区| 麻豆av一区二区三区| 在线视频日韩欧美国产| 思思视频免费看网站| 超碰 国产熟女精品一区| 天天天天天天天天综合| 国产日本熟女顶级一区二区三区视频 | 亚洲 欧美 日韩 国产一区二区 | 国产国产亚洲一二三久久| 国产视频大全| 久久嫩草国产成人一区| 97色色网| 亚洲欧美国产日本一区二区三区| 黄片免费看黄片免费看| 亚洲国产欧美一区二区潘金莲| 久操免费在线| 天天欲望网| 97在线视频网站| 亚洲性刺激| 97久久国产亚洲精品超碰热| 国产精品色| 9999亚洲电影| 日韩啪啪啪视频| 激情亚洲天堂| 91强在线播放| 歐美性天天| 精品96久久| 日本精品九九九| 中国熟女网站| 目产99999久久999| 日日干男人的天堂| 中字一区| 欧美色图97| 亚州Av天美传媒| 超碰天天去日穴| 美女爽到高潮91| 人妻丰满熟妇av无码区蜜桃| 九九九九九九免费视频| 人妻丰满熟妇av无码区蜜桃| 久久久久深夜无码| 中日韩久久久免费看| 免费97视频| 九99久久| 久久噜噜噜精品国产亚洲综合| 四虎国产成人精品免费一女五男| 97这里都是精品| 大香蕉伊在线久草麻豆天堂故事| 玖玖资源中文字幕制服丝袜| 精品一区二区三区四区女| 九九在线视频| 中文字幕88av在线| www.AV有限公司一区| 亚洲色图自拍| 国产精品久久久久久久久久久久久久吹| 国产免费内射视频| 日日夜夜精品视频| 久9无限国产| 天天操人人操狠狠插| 久久这里是精品| 加勒比在线视频一区二区三区| 五月天激情国产综合婷婷婷| 久久久久精| 国产成自自拍在线观看| 久久超碰大香蕉| 婷婷精品国产欧美精品亚洲人人爽| 97网站在线观看| 中日韩久久久免费看| 欧美激情专区| 激情 欧美 亚洲 小说| 操逼视频色| 亚洲天堂无码| 婷婷色一区| 97天天插| 九月伊人中文字幕| 人妻丰满熟妇一区二区三| h在线看免费版在线看| AND人妻系列| 亚洲精品黑丝| 成人无码在线超碰网| 亚洲蜜桃V妇女| 日本 免费 一区二区三区 久久香蕉| 色原狠狠天天天| 午夜性生活av免费在线看| 欧美的性爱网站免费| 99热这里| 五月开心久久AV官网| 亚洲影视综合| 久久xxxx| 亚洲 欧美 综合 91| 黄片qw| 东京热激情视频一二三区| 国产AV天美传媒一区二区三区 | 老司机久久| 婷婷色香伊人| 97啪啪| 超碰97最新人妻| 日本欧美不卡| 99久在线精品99re8热| 亚州久久9| 精品黄色电影| 天天爽天天| 色偷偷人人玩人人舔人人操人人摸人人爽| 超碰人妻久久| 性吧在线视频| 五月天亚洲网| 久久黄片国产一区二区| 任我爽视频在线观看| 欧美色吧综合| 欧美一级久久久丰满| AV在线资源| 亚欧高清| 婷婷色一区| 久久久亚洲熟妇熟女| 亚洲色诱惑| 区自美91| 国产精品熟女乱伦| 天天激色| 九九碰九九爱97超碰| 翘臀vidoes| 欧色网址| 国语精品内射在线观看| 97超碰免费生活| 乱伦一区二区三区‘| 天天色综合图片| 蜜臀99久久| 天天爽天天爽| 精品女同一区二区三区| 91丨熟女丨丰满熟女| 精品人妻一区二区三区视频| 一区二区三区成人高清视频| 99天天超碰| 美国日韩黄片| 欧洲精品在线播放| 国产午夜福利专区综合| 嗯嗯嗯嗯啊啊啊好紧好大| 黑人免费福利视频| 欧美日韩国产中文超碰| 亚洲视频精选| 91色黑人少妇| 另类图片欧美激情综合| 久热久一区二区三区| 国产精品原创巨作?v网站| 久久水蜜臀亚洲AV无码精品| 一级做受视频免费是看美女| 久久国模av| 日韩国产不卡在线视频| 九九九综合精品| 日本不卡高清视频| 一区二区视频你懂的| 加勒比在线观看一区二区| 日本九九久久99| 亚洲精品一区二区三区在线播放| 成人青青草原伊人| 熟女人妻av在线资源,黄色的资源| 91一区二匹| 91日产欧美| 久久九九国产精品| 裸体美女久久久| 日本黄色天堂| 欧美黄色片在线播放| 午夜福利合集| 天天影视色香色欲| 亚洲天堂AV在线播放| 玖玖爱伊人玖玖爱| www.久久99| 日韩性爱啪啪视频| 韩日精品福利视频一区不卡在线免| 夜嗨影院| 精品人妻av区天天看片| 久久99草| 国产热RE99久久6国产精品首| 91bbbbbb| 久久宗合亚洲| 午夜大香蕉| 秋霞午夜成人福利片片| 色五月AV在线| 久久久久久久一级黄色打同平台| 中文字幕一区电影在线观看| 国产91丝袜 在线播放| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 精品无码一区二区| 影音先锋中文字幕日本好一区二区| 97超碰9| 欧美亚洲性爱一区二区| 中日高清无码操逼视频| 97香蕉网| 五月天久久人妻| 久久最新视频免费观看| 亚洲熟女av日韩熟女| A级毛片在线看免费| 中文字幕国产| 天天看片天天爽| 囯产操逼片| 天天视频黄| 91高潮| 伊人在线大香蕉视频久久| 美腿丝袜高跟网免费视频免费视频| 最近的最新的中文字幕视频| 午夜啪啪片| 天天色粽合合合合合合合| 亚洲97成人在线观看| 欧美亚洲首页| 中文字幕AV片| 亚洲 欧美 中文 日韩超碰| 日本一区二区不卡精品| 91精品国产91久久青草| 亚洲风情综合网| 日日夜夜草草草| 久久久蜜桃一区二区三区| 人人摸人人干人人拍97| 欧美日韩插逼视频| 农村少妇久久久久久久| 国偷自 一区二区| 99操| 国产99 中文字幕日韩小视频| 性爱视频啪啪啪啪| 日韩三级在线观看网站| 97亚洲在线| 男人的天堂2000| 亚洲视频小说| 国产夫妻一区二区| 日韩女优在线| 99热精品在线| 太久视频| 丰满人妻无码一区二区三区| 欧美国产精品久久九九| 91综合色噜噜| 97欧美综合| 人妻少妇久久中文| 欧美性Fer办公室秘书| 美女诱惑在线一区| www. 男人天堂成人在线| 亚洲精品欧洲精品| 欧美大码在线视频| 深爱激情五月天| 九九人人操| 亚洲天堂人妻一区二区| 这里有精品| 丁香五月av| A久久| 免费看欧美美女黄色大片|