国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产亚洲精品自在线亚洲情侣| 情色av电影| 亚洲 欧美 日韩另类 麻豆| 在线国产探花| 色哟哟 日韩精品| 日本中文字幕高跟| 久久久久9| 欧美一区二区三区四区综合| 成人草草视频| 亚洲淫色网中文| av无码精品久久久久| 亚洲日韩电影| 国内一区二区三区| 精品国产乱码久久久兰草影视| 国产在线精品偷| 亚洲美女av无码| 久久久九九| www.一本大99| 91伊人大香蕉| 特污免视频| 国产乱码精品一区二区三区四川| 搡老女人老91妇女老熟女| 高清肉丝中文无码| 综合97亚洲| 精品少妇后入一区二区三区四区人妻巨乳| 亚洲精品尤物yw在线影院| 欧美偷| 日韩99神马视频播放| 国产精品老师| 看日韩操逼| 免费精品国偷自产在线在线| 91无码精品| 亚州中文字幕超碰97| caorenqi shipin| 丁香六月东京热| 日本性感人妻91| 一区二区三区一亚洲中文字幕、综合区灬 | 交换娇妻呻吟声不停中文字幕| 国产怡红院在线| 欧美乱妇狂野欧美在线视频| 97欧美精品综合| 亚洲,日韩,欧美,成人播放| 另类图片欧美激情综合| 又大又大又大又粗爽高潮观看 | 国产精品自在自拍视频| 99热只有这里有精品| 26uuu性物| 久久超碰国产一区二区三区| 中文视频在线观看| 色欲Av人妻精品一区二| 操碰97| 熟妇色99| 97综合久久| 最近二区三区视频大全| 日本不卡在线二区三区| 91 丝袜在线播放| 男人亚洲天堂| 国产黄色视频久久| 精品无码不卡视频| 在线无码操| 日本性爱网址| 国产原创自拍| 亚洲男人的天堂一区二区| 亚州操操穴网| 亚洲综合性网址| 夜夜操中文字幕| 精品美女少妇一区二区三区| 人妻丝袜肏逼| 777超碰| 91美女视频| 另类图片欧美激情综合| 99热99在线播放激情| 亚洲精品第一| 熟妇熟女亚洲天堂网| 六九九九| 超碰这里只有精品| 色综合av综合久久| 色色色欧美| 国产伦精品一区二区三区在线观 | 欧美91在线+|+欧美| 成人日韩中文字幕| 久操在97| 天天久久| 精品亚洲国产成人av网站| 日韩性爱播放| 久操网在线| 久久精品女同亚洲女同13| 亚洲欧美清纯| 国产色呦呦| 丝袜六区| 国产午夜福利合集| 国产探花日韩援交| 99爱在线视频| 97超碰总站| 欧美激情专区| 99色综合| 人人妻人人爽一区二区三区| 天天操天天舔| 国产肏屁眼视频| 五月天AV资源| 正在播放国产精品一区| 熟妇在线视频一区二区| 后入式999| 久久夜夜| 91亚洲精品青草| 五月天九九日国产精品一区二区三区| 成人五月天丁香激情综合| 操高情无码| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 成熟熟女国产精品一区二区 | 欧美亚洲丝袜人妻制服99| 欧亚久久偷拍视频| 国产伦精品| 亚洲黄网在哪免费看| 青娱乐导航AV| 中文字幕丰满子伦无码专区在线视频最新 | 久久岛国| 婷婷五月激情综合| 精品国产乱码久久久| 亚洲欧美自拍偷拍| 精彩视频日韩| 97无码视频在线播放| 日韩成人性爱电影在线播放| 蜜臀久久99精品久久久久久成人小说| 国产91精品福利在线| 躁躁日曰躁2020| 少妇淫妇久久久久久久| 综合婷婷| 狠狠爱夜夜| 99热国产| 亚洲图片视频小说| 五月天婷婷综合| 暴力av在线| 极品美女福利在线观看| 亚洲的天堂网| www.av在线观看| 欧美亚洲高清不卡| 亚洲一区中文精品| 欧美国产有色电影| 五月天丁香婷婷综合网站| 97超碰热线| 日本操逼视频免费| 色五月婷婷在线| henhen91| 色鬼在线综合| 国产高清无码一区三区二区| 长久操视频| 偷窥自拍A片| 26uuu性物| 亚洲激情天堂网| 国产精品视频一区二区三区八戒| 男人的天堂色偷偷青青草视频婷婷网| 欧美一二三级精品在线| 亚洲综合图色在线| 亚洲乱码尤物193YW| 啊啊啊啊啊啊啊在线| 日韩精品一区二区三区色欲| 超碰97网站| 欧美中文字幕男人天堂久久精品| 日本成人在线不卡一区二区三区| 国产精品。| 国产99久久99热这里只有精品15| 草草草视频| 无码99| 久操操AV电影| 精品乱码在线观看| 偷拍欧美激情| 欧美日韩国产黄色片| 久久视频少妇美女| 亚洲午夜AV| 丁香色狠狠色综合久久小说| 啊啊啊啊,啊啊好多水 | 日韩大香蕉精品在线视频| 91小视频| 丁香色狠狠色综合久久小说| 日比av无码| 伊人大香蕉在线| 成人色女网| 色嗨嗨在线| 婷婷丁香人妻 | 久久日韩肥臀| 一区二区三区四区姦女| 男人天堂2019亚洲| 国产精品欧美日韩久久| 国产极品粉嫩馒头一线天av| 亚洲玖玖爱| 小情侣高清国产在线视频| 久久久久久久唑| 久久久免费懂色| 国产乱码久久| 丁香五月自拍| 殴美在线AⅤ| 国产一级内射高清视频 | 性在久久久久久| 日本一级特级毛片视频| 9精品久久久久| 蜜臀AV成人精品蜜臀AV久久| 中文字幕视频2区| 九九亚洲| 天天操天天插| 亚洲中文字幕网| 亚洲成aⅴ人片不卡无码| 伊人九九九| 嗯嗯啊啊好大好爽| 色诱avtt| 嗯阿好爽好紧| 亚洲欧美九九九| 日本三级久| 久久性爱城| 神马久久久久久伦理片| 日韩在线一区高清在线| 偷拍亚洲熟女视频播放| 搡老女人911熟妇老熟女| 四方色播| 啊啊啊啊啊啊好多水| 欧美综合色综合| 顶级丝袜熟女一区二区三区| 亚洲天堂五月天国产| 熟女精品日韩一区二区三区| 亚洲97网站| 日日日色色色色色| 国产亚热在线久久| 亚洲高清男人天堂| 美女网站黄页| 伊人嫩草| 9Ⅰ超碰| 久久久四区| 蜜桃精品视频一区二区三区| 日本99视频| 中文字幕人妻资源在线| 日韩电影在线观看网址| 精品国产三级av韩国在线| 少妇久久久久久久久| 51一区二区三区| 欧美激色| 国语精品对白| 伊人操| 黄色成年| 国产精品免费久久久久久久久久| 神马久久久久久久久| 日本三级一区二区 在线| 激情文学88| 襙一襙| 亚洲,日韩,欧美,成人播放| 久久中文字幕不卡人妻| 亚州熟女乱伦| 国产精品一区二区三区,亚洲综合| 亚洲一级性爱视频免费看| 国产黄片在线免费观看| 大香蕉久| 久久久不卡区一区二区三区久久久| 亚洲AV免费在线观看| 性色国产东北露脸精品视频| 超碰亚洲欧美日韩无| 小草精彩毛片| 超碰97资源网亚洲| 久久久久久99AV无码免费网站| 日婷婷| 色播五月婷婷| 国产精品嫩草久久久久| 99热精品在线| 蜜臀无码一区二区| 超碰精品日韩欧美国产| 国产精品一二三在线看| 99热免费| 夜夜国产一区| 亚洲在线欧美| 国产精品久久久鸭无码的功能| 大香蕉AV丝袜| 中文字幕在线观| 丁香六月东京热| 91色狼| 午夜高清成人在线视频| 中文日韩欧美熟| 激情抓乳插进去啪啪啪日韩| 99re9这里只有精品| 色图四区| 国产日韩美女小穴视频网站不卡| 91精品久久久久五月天精品| 精品视频97| 国产精品直播在线观看直播| 美女尤物福利视频| 免费试看60秒| 亚洲综合另类欧美久久久| 伊人超碰97| 长长久久88视频| 中文字幕第23区| 亚州免费啪啪视频| 超碰97首页| 无码高清少妇久久| 操淫穴亚洲五月丁香| 国产操操日韩三级黄| 999 久久久| 在线观看AV片| 亚洲综合20p| 日本丝袜美腿人妻九九| 五十路三级片| 伊人骚琪琪亚洲天堂网站| 91精品国产综合久久久蜜臀| 91性高朝久久久久久久久| 欧美日韩大陆黑人少妇99| 在线色导航| 操逼1区| 一区二区无码视频| 夜夜狼人妻| 最新中文字幕精品在线| 欧美综色欧| 蜜伊人色综合97| 色色毛片| 欧美综合色,www| 婷婷尹人大香蕉免费| 激情 欧美 亚洲 小说| 久久久久婷婷精品av电影| 亚洲男人天堂2019| 国产超碰人人操| 亚洲一区二区三区在线激情| 中出在线视频| 日日做夜狠狠爱欧美黑人| 色色色99| 一级人妻性爱视频| 超碰91在线| 九久久精品| 国产二区三区免费视频| 嗯嗯啊啊啊好爽| 色男人色天堂东京热| 久久99国产综合精品女同| 99久久精品国产高潮| 欧洲性爱无码区| 午夜在线播放| 人人妻人人玩人人澡人人爽| 少妇熟女一区二区三区| 高颜值美女口爆高潮浪叫| 黄色小说亚洲| 久久精品72| 韩国久久97| 天天影视网综合少妇| 欧美日韩黄片精品在线| 国产成人99久久亚洲综合| 久久久精品网站| 五十路熟女人妻一区二区在线观看 | 国产精品亚洲一级av第二区| 人人爽人人精品乱人伦AV| 成人老鸭窝人人在线视频| 欧美疯狂做爰xxxx| 色婷婷五月天| 天天综合网一91网| 香蕉一区二区三区在线视频| 蜜桃臀 后入 一区 二区 三区 在线| 激情五月综合网| 花野真衣| 品亲网欧美品亲网| 精品一国2| 天操天操夜操夜月操月年年操操| 色婷婷A V一二三四区麻豆综合| 超碰偷拍| 大屁股人妻女教师撅着屁股| 粉嫩粉嫩一区性色AV片| 91狠婷| 日韩丝袜高跟制服在线观看| 精品少妇人妻一区二区三区| 欧美婷婷| 我中文字幕6区| 黄色工厂这里只有精品| av最新免费中文字幕| 免费一级欧美片片线观看| 青青青操| 麻豆一区二区AV天美| 亚洲春色欧美激情自拍| 玖玖色综合| 久久綜合很很很| 2017天天操| 亚洲日韩成人性爱视频| 超碰夫妻97| 亚洲综合婷婷| 久久久草草精品| 秋霞一级A片黄色视频| 婷婷尹人大香蕉免费| 天海翼久久| 国产美女自拍AV| 欧美综合97www| 91精品丝袜久久久久久| 人妻少妇久久| 日韩乱中文 | 亚洲熟妇A V黑人| 日本韩欧美在线播放a| 中文字幕久久精视频久久大全| 精品国产网站| 天天干天天舔| 日日黄色三级网站| 天天操天天干一区二区| 9长久久精品| 台湾成人无码AV| 亚州操操穴网| 人人 操人人 操人人| 三上制服丝AV| 中文字幕91页| 伊人亚洲综合| 无遮挡h肉动漫在线观看| 亚洲久草AV色图| 日本三级黄页| 欧美一二三级精品在线| 国产精品国产| av中文在线| 男女一进一出视频久久| 色呦色呦色精品| 五月丁香久久| 性爱免费视频成人| 久久久久久久91| 亚洲精品天天影视综合网 | 色欲色香天天天综合网www-亚洲综合国| 午夜福利一区二区影院| 亚洲精品国产拍免费91在线| 色综合色欲色综合色综合色综合| 亚洲一二三四区| 91精品久久久久久77777| 狠狠干婷婷| www亚洲免费| 国语精品对白| 亚洲日韩欧美一区二区| 97香焦色区| 国产精品香蕉热久久新品| 日少妇视频| 啊啊啊啊,啊啊好多水 | 四虎视频在线观看| 亚洲综合色男人网| 啪啪综合网| 成人免费福利在线观看| 婷婷av在线中文字幕| 91精品丝袜久久久久久| 国产精品高朝久久久久久久| 亚州综合AⅤ| 东北夫妻性偷拍| 色色综合网站| 超碰人人草| 另类一区| 成人午夜无码视频| www.zbzhongsen.com| 色色色色日本| 99青青草国产视频| 亚洲情色91| 岛国精品视频在线观看 | 久热婷婷| 超碰亚洲欧美日韩无| www.久久| 老女人日韩美91| 久久久不能久久久久| 九九天堂| 夜夜嗨绯色| 韩日精品福利视频一区不卡在线免| 久久精精区一区二区一蜜桃一区二区| 开心婷婷五月| 91色五月俺来也| 久久精品人妻一区二区| 骚妻少妇精品性色无码四色A V| 熟女露脸激情自拍视频| 精品欧美乱码久| 亚洲一区日韩精品中文字幕| 情趣丝袜无码操逼视频| 中文字幕性感少妇av| 欧美拳交在线播放| 新怡红院| 97露脸精品丝袜| 大鸡巴久久久| 亚洲丁香花色| 素人一区二区三区日韩| 超碰97人妻免费在线| AV麻豆免费一区| 久操免费观看| 78久久久| 91亚洲欧洲| 成人免费看吃奶视频网站| 97福利视频| 大乔未久88一区| 中文操逼字幕| 99久久com免费视频′| 91精品国产长腿丝袜美女| 天天色图| 亚洲另类久操网| 亚洲黄色AV电影| 蜜臀AV网站| 日韩av色图| 亚洲A曰本VA欧美VA视频| 日韩有码一区三区| 亚洲人妻精品一区二区| 国产精品交换一区二区| 美女好片色日本| 色婷婷丁香五月| 欧日韩一二三f区| 激情五月天社区| av影院十区| www.色五月| 中文区中文字幕免费看| 精品久久視頻在线| 久久久性| 97 九色| 国产隔壁老王影院在线| A男人的天堂| 亚洲欧美自拍偷拍| 一级黄碟| 久久久夜夜嗨免费视频| 天天亚洲| 一区二区三区日韩欧美| 人人妻人人爽 97人人看碰人免费公开视频| 九九久久首页| 一区二区三区国产在线播放| 精品无吗久久| 欧美一级久久久久久久大片动画| 天天操美美| www.色婷婷色综合| 88xx成人精品视频| 久艹99| 九九热视频在线观看| 久久久久久久久一区二区三区| 婷婷五月影院| 综合免费无码中文| 97色碰| 4虎在线视频| 96久久科窝| 玖玖资源综合在线视频| 中文字幕久久婷婷丁香五月天| 人妻少妇三级| 99热啪啪| 欧美爱三级日韩久久| AV色五月天| 超碰97起碰| 乱伦a片视频| 蜜臀久久99精品久久久久久成人小说 | 欧洲色综合| 麻豆天美制片厂网站视频| 色婷婷五月综合激情中文字幕| 精品国产av一区二区三区四区入口| 天天操天天7| 综合干干干av久久久综合网| 婷婷五月天激情四射| 国产日韩精品无码去免费专区国产| 就去色综合| 中文字幕诱惑制服人妻丝袜美丝袜美| 一区,二区,三区网站| 91在线无码精品秘 软件| 日韩黄片视频试看| 国产亚洲精品一区二区三区| 亚洲色图图片| 日本欧美不卡| 青青青青青手机视频| 欧美最大综合网| 日日做夜狠狠爱欧美黑人| 一本正道久久熟女| 色呦呦、国产精品| 国产不卡片| 又大又白奶子| 欧美激情总合网| 五月婷婷激情网| 九九色逼| 丁香五月婷婷基地| 激情五月婷婷综合| 色色色999| 亚洲高清在线| 日韩一区二区精品视频| 大奶啊啊好爽| 另类综合另类| 美女97超碰| 久久av色| 精品中文日韩字幕视频| 九一性生活免费视频| SUV一区二区在线看| 极品粉嫩少妇视频| 亚洲熟女乱综合一区二区三区 | 久久人妻视频| 五月丁香婷婷色| 人人操AV| 久久色一区| 亚洲激情 欧美色图| 男人的天堂色偷偷青青草视频婷婷网| 国产精品欧美激在线| 99在线观看无大码| 91处女在线视频| 欧美 日韩第一性色| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 中亚精品极乱| 91丝袜美腿网站| 韩国女主播青草在线| 九九九九免费高| 国模91| 超碰久超碰久| 69XX一中文字幕人妻91| 91精品微拍福利| 久久精品中文字幕无码l| 国产精品久久伊人| 超碰 97国产熟女| 四虎视频在线观看| 东京男人天堂| 日本中文熟女视频| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 一级AAA片一区二区三区| 精品人妻一区二区三区日产| 人妻二区| 国产夫妻性生活视频| 香蕉视频精品亚洲一区二区三区在线播| 亚洲色欧美| 日韩人妻一二三区视频| 婷婷五月天成人网| 手机久操欧美综合色码| 国产97av| 免费精品人妻一区二区三| 丁香五月久久| 欧美色图 人妻| 加勒比综合88| 亚洲少妇综合在线播放| 熟妇高潮一区二区免费视频| 91无摭挡| 无码直播久久久| 五月香婷婷| 粉嫩小泬久久久一区二区| 天堂性色| 一区三区啪啪| 国产精品suv一区| 亚洲毛片基地专区| 91干熟女| 97就爱干| 成 人片 黄色大片| 欧美一区二区情色| 偷拍盗拍亚洲色图图片| 欧美日韩国内不卡| 国产亚洲精品美女| 国产午夜在线观看视频| 亚洲色图超碰在线| 素人伊尹大香蕉免费下载视频| av在线播放国产一区| 久久久久13| 新91视频.cmp| 日本精品不卡一二三区| 韩日精品福利视频一区不卡在线免| 99re这里只有精品9| 婷婷久久大香蕉| 亚洲欧美综合网站| 久久精品毛片免费不卡| 久操在97| 亚洲色图尤物视频| 亚洲影院小综合| 91无码西班牙视频在线| 理论久久婷婷网 8| 天天综合中文字幕 91| 九九性爱网| 骚日日av| 国产免费永久精品无码| 欧成人在线| 日本123区操B视频| 久久黄黄黄| 九九香蕉网| 亚洲深夜福利| 色香色香欲天天天影视综合网| 亚洲色图日韩丝袜制服一区二区五月在线| 竹菊影视国产一区二区| 亚洲有薄码区久久在线一区| 日韩免费性爱视频在线观看| 亚洲清纯综合| 污啪啪啪视频| 懂色Av| 日han少妇无码| 伊人丁香五月婷婷| 午夜AV污污污| 色色色色电影网| 天天天肏屄肏屄肏屄欧美欧美| 色九月| 熟妇乱伦一区二区| 二级久久网| 一级特级aaaa毛片免费观看| 超碰97网址| 无码精品久久久天天影视| 嗯嗯啊啊亚欧精品| 超97在线精品视频| 99999亚洲另类| 一本一道人妻久久一区二区三区| 懂色Av| 天天日天天操VV| 青草av在线| 日韩成年人性爱视频| 91在线色| 久久婷婷热| 91免费看一区二区三区| 蜜桃丰满熟妇av无码区不卡| 97av在线视频| 欧美一级美片在线观看免费| 日韩人人精品| 精品网站9999| 国产精品视频白浆免费| 四虎在线观看视频| 国产1727欧美| 天天综合精品| 日韩丝袜二区| 成人精品无码| 人人操人人精品影片| 九九毛片这里只有精品| 午夜福利精品| 国产精品久久久啊| 国产精品毛片| 97色欧州| 国产农村妇女一区二区| 中文字幕一区二区韩| 精品少妇999| 天天天操天天天爱| 69av一区二区三区| 大香蕉伊人75| 色悠久久久av| 中文字幕乱碼在线| www.99视频| 一线黄色免费性爱片| 欧美97超碰| 91美女视频电影| 这里是精品| 中文字幕性感少妇av| 毛片久久| 久久国产精品m码| asc国产精品| 欧美一区二区成人一卡| 亚洲欧洲美腿丝袜| 五月激情综合网| 精品毛片久久久精品毛片| 久久精品 六十路 熟女 欧美| 天堂亚洲精品| 日韩 女同 综合| 91成人在线| 18一区二区三区| 色色99| 女人爽到高潮潮喷18禁网站| 亚洲精美粉嫩嫩泬在线观看| 人妻偷拍一区二区三区| 欧美人体性爱互联网第一页婷婷日本| 综合亚洲网| 高清孕妇孕交 交孕妇| 伊人991| 91性生活久久久| 91黑丝少妇| 99中出在线| 精品一区二区三区蜜桃臀赵总 | 激情五月天校园春色网| 99抽插| 九九十八精品| 亚洲另类色图片| 国产视频一区二区三区久久亚洲天堂| 蜜臀久久99精品久久久老,,| 人妻嗯啊啊在线播放| 五月天大香蕉| 亚洲黑丝在线| 好湿好紧好爽 视频| 91原创在线观看| 素人美腿视频网站| 青苹果影院男人的天堂| 久久亚洲不卡一区二区三区| 神马午夜久久久| 超碰人妻中文在线| 日韩无码久久熟女一级片| 2019午夜福利视频| 日韩AV噜噜噜一区二区三区四区| 91成人亚洲色图| 亚洲操操| 玖色AV| 天天日日日射| 东北女人操比视频| 97 国产精品| 97超碰9| 久久久性| 国产三级多多影院2022国产AA一级毛片无码 | 天美传媒婬乱在| 17c嫩草51久久91嫩草| 成人无码在线视频网站| 国精精品无码一二三区水多多| 亚洲无码久久久久久久| 欧美99| 欧美色图天堂网m| 色偷综合| 91爱啪| 欧美1区二区三区公司 | 精品视频久久区| 欧美熟妇色| 日本人体九九九九九九| 入口操逼网站| 国产9熟妇视频网站| 天天干电影| 精品无码久久久久久国产浪潮| 三级网色| 91亚洲精品青草| 国产性爱欧美性爱在线| 97久操| 久久精品 六十路 熟女 欧美| 日韩卡一卡二卡三在线| 色色99| 亚洲欧美日韩国产丝袜自拍中文| 美欧色综合| av在线观看不卡网站| 婷婷色五月激情| 久久久国产精品人妻丝袜| 后入福利| 日本精品网站在线中文| 久久久久婷婷| 天堂在线一区二区| 中国特猛少妇色xxx| 日本操色导航| 极品五月天噜噜| 亚洲人综合| 极品销魂美女一区二区| 色五月婷婷色| 色偷综合| 黄色片A级一区二区三区| 婷婷伊人网| 国产少妇高潮| 丁香婷婷五月| 天天干天天干天天干| 国产精品国产| 眼镜人妻101.com| 国产精品一二三免费网站| 日韩 欧美 国产 麻豆| 嗯嗯嗯嗯啊啊啊好紧好大| 欧美玖玖爱免费玖玖| 免费αV在线视频| 电影69乱码96| 亚洲综合伊人无码久久| 在线观看岛国有码| 久久一二三四五六七八九区区| 青娱乐啪啪视频| 色五月激情网| 色综合 加勒比| 久久精品国产亚洲AV嘿嘿| 亚州再线| 国产极品粉嫩馒头一线天av| 日本高清电影欧美色图| 风韵犹存大大大大香蕉 | 素人美腿视频网站| 久久久一区二区三区四区五区| 中文字幕一区日韩精| 天美麻豆黄色录像| 亚洲高清国产理伦片| 亚洲黄色网址| 色欲蜜臀AV| 天堂资源站| 中国zzijzzijzzwww精品| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚 | 国产高清视频无码在线| 人妻出轨一区二区三区| 91被操| 97色色国产视频| 中国一级操逼视频| 色悠久久久av| 日韩av不卡在线观看| 97精品网站| 国产动漫操逼视频| 天天综合色图| 一二三四日本视频高清| 大象AV在线| 久草资源在线视频官方总站日韩丝袜美腿| 无遮挡男女激烈动态图| 欧美另类自拍| AV免费在线播放一区| 热热色综合网| 久久久久久午夜男人的天堂| 国产深夜福利| 欧美页片| 国产吞精a级片激情电影| 99精品九九九九九九| 久久天天性久久伊人| 操逼视频国产无套| 久久亚码| 色婷视频| 日本成a人v网站在线观看| 国产精品suv一区| 在线观看日韩av不卡| 青草一区二区| 啊啊啊啊二区好大| 国产精品青草综合久久| 久操视频在线观看| 精品人妻一区二区三区视频| 日韩黄色成人性爱| 亚洲影院成人| 台湾佬中文娱乐网久久久久久久久久com | 韩国女主播青草在线| 国产成人无码高清| 亚洲在线| 亚州大图综合色图| 亚洲……91| 牛牛久久国产精品视频一二三| 一级啊性爱在线视频| 国产久久久久久| 9久精品视频在线观看| 色综合色| 一区二区三区探花在线观看| 久久久精精精| 在线观看视频91| 色婷婷丁香五月| 一区二区三区探花在线观看| 狠狠爱大香蕉| 欧美第二页午夜| 91久久久久久久久久久| 午夜福利免费福利视频| 欧美天天射| 懂色av中文字幕一区二区三区天美| 天天色综合图片| 1禁看欧美黄片免费看| 麻豆久久精品亚洲精品88| 在线免费试看60秒| 亚洲图片欧美制度| 日本欧美成人片AAAA| 日韩欧美中文日韩欧美色| 日本操逼视频免费| 传媒在线观看一区二区三区| 热久久99999| 久久免费老司机精品| 第一高清av中文字幕| 亚洲国产奇米影视久久| 试看日韩黄片| 欧美97超碰| 99在线精品观看视频中文| 九一精品牛牛一区二区| 婷婷三区| 久久色人体 | 91偷拍欧美亚洲| 天天操夜夜操| 超碰人人草| 成人三级片无码| 国产女乱淫真高清免费视频| 俺去啦俺来也久久综合| 神马久久久久久| 熟女91网站| 风间由美日韩欧美久久| 天操天操夜操夜月月年年操操| 人妻在线大香蕉| 国产AV天美| 亚洲免费日韩在线一区二区| 国产成人资源| 中文字暮97| 97天天摸天天碰| 婷婷六月色| 99精品久久| 天天综合精品| 嗯嗯啊中文字幕| 天天日夜夜| 好吊妞转入那个网| 大香蕉伊人色偷偷在线| 一区二区日韩欧美久久| 91操操| 3571色综合一区二区二区| 色色五月天婷婷| 激情网五月天| 91色艳| 久久久久9久久久久| 96AV久久久| 中文字幕天天操| 嗯嗯啊啊好大好爽| 成人精品水蜜桃久久久久久久| 本道在线| 999国产精品999久久久久久| 麻豆AV一区二区天美传媒| 免费视频一二三区| 国产精品人妻无码久久久老鸭窝| 国产美女在线精品免费看| 香伊人在线| 青青操综合网| 久操热| 奸色色 男人天堂 天天射| 免費人妻夜夜爽天天爽爽一区| 久久亚洲天天做| 欧美天堂亚洲电影院一区在线播放| 内射卯月麻衣| 东京热,男人的天堂| 一区二区三| 岛国在线免费视频| 日本一区二区不卡精品| 超碰国产在线| 欧美日韩理论一区| 日韩精品大香蕉伊人在线| 88在线一区二区三区| 美女久久久久久久久久久| 国产 日韩,欧美 自拍| 一区二区三区成人高清视频| 亚洲国产日韩欧美熟妇在线| 欧美综合站| 日欧毛片久久| 欧美日韩中文字幕不卡| 国产成人91一区二区三区| 欧美十八禁导航成人| 高清无码网址| 欧美aⅴ99久久黑人专区| 国产夫妻性生活视频| 狠狠操狠狠操操| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 97亚洲国产| 亚洲欧美成人网站AAA| 亚洲啪啪视频一区二区| 婷婷久草一区二区三区| 99色日| 美女诱惑久久| 加勒比久久综合网高清| 亚洲色堂免费视频| 久久国产精品视频| 强奸乱伦免费网站| www.色五月| 大香蕉之青青草原| 又粗又长又大国产不卡| 色香色欲天天综合网天天来吧 | 三级日本一区二区三区| 超碰在线人妻| 色色色色色色色色综合| 亚洲97在线| 静品嫩模一区二区| 日本超碰97日韩精品人妻| 免费视频一二三区| 在线观看国产黄色| 欧美色图成人网一区二区| 综合网91| 丁香五月激情综合| 亚洲色棕合| 日本无码1| 一级黄碟在线观看| 日本视频在线中文字幕| 天天插天天插| 日日摸日日弄日日拍| 在线一道啪| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 色女网日韩| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 香蕉免费一区二区三区不读| av亚欧| 亚洲色图久久成人| 久久内射| 久青草影院| 极品人妻少妇综合| 最新国产精品久久精品| 天天综合网合集91| 一区二区三区成人高清视频| 少妇69中文| 国产又色又粗又黄又爽| 91扒丝袜综合在线| 国产91影院| 天天淫人人妻日日色| 中文字幕99999| 亚洲情色91| 神马久久久久久久| 天天看天天综合成人网| 97超碰色| 色狠狠综合噜一二三区| 熟女探花啪啪| 亚洲人在线成线成人| 2024黄色视频| 99re3这里只有精品| 免费成人自拍视频在线| 91女网站| 超碰97人人cao| 欧亚第一综合网| 日韩亚洲中文有码视频| 91少妇香蕉久久精品| 97在线精品观看视频| 青青伊人加勒比海| 免费作爱一级视频| 人妖欧美一区二区| 一区二区 韩日AV| 永久免费观看的毛片的网站| 超碰色中文| 日本成人A片免费看| 五月天欧美色图| 婷婷激情四射| dy888午夜老子影视达达兔| 在线综合 亚洲 欧美中文字幕 | 成人小说视频在线精品欧美| 天美欧美国产| blacked精品一区国产| 人妻无码一区二区三区久久99| 免费看久久久性性| 春色91| 亚洲AO在线| 天天干人人干天天日97| 精品妇操一区二区三区| 99操碰| 免费人成毛片乱码| 91欧美综合在线| www.婷婷| 亚洲乱色熟女一区| 老司机福利社视频在线观看| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 日韩电影天堂视频二区三区| 日韩成人精品视频自拍| 97 国产精品| 91老司机在线视频免费观看 | 亚洲AV高潮| 五月天黄色激情视频| 性一级黄色录像片网站导航 | 污污汅18禁网站在线永久免费观看 | 蜜臀在线看片| 青娱乐 成人娱乐在线| 一牛影视成人片免费| 亚洲欧美清纯| 韩日精品福利视频一区不卡在线免| 中文字幕jul-617人妻熟女| 日韩欧美福利视频看看| 天天综合网亚洲综合网| 一区二区三区四区五区高清无码永久视频 | 1024手机看片欧美日韩| 五月色综合| 免费精品中文字幕| 另类图片天天影视| 亚州欧美总和| 青青草在线视频人人想人人上| 国产超碰人人爽人人做| 人人看黄色视频| 国产亚洲99久久精品| 九九色影院| 三级日本一区二区三区| 啊啊啊轻点在线观看| 国产婷婷一区| 色色丁香| 黄片com.| 亚洲无码国产探花在线观看| 男人天堂毛片| 中文字幕人乱码中文字的预防方法| 天天爽天天操| 91小视频| 久久五十路熟女人妻| 日韩亚洲欧美中文字幕| 99这里只有精品| 日韩资源网| 97超碰热线| 国产黄a三级三级三级av在线看| 能直接看AV的网站| 激情抓乳插进去啪啪啪日韩 | 狠综合网| 男人的天堂2018.| 日韩欧美视频青青| 激情色播| 超碰免费人人| www.国产高潮精品| xxx0国产在线播放| 国产一进一出视频网站| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 国产综合在线视频网站| 蜜臀久久99精品久久久久久-DVD原版全| 成人情色综合网| 婷婷五月天色网| 老色鬼成人精品视频下载大在线观看| 91精品婷婷国产综合久久竹菊| 欧美内射少妇| 91在线视频免费中出| 欧美日韩国产传媒在线精品| 日韩一级二级| 97色冈| 国产四虎在线| 美女久久久久久久| 欧美熟妇操操视频| 国产超碰在线一区| 五十路熟女工口| 欧美人妻中出| 四虎在线免费视频| 综合色久欲| 日韩内| 亚洲久久久久| 97超碰磁| www.av在线视频| 欧美成人黄网色网站| 日欧操屄视频| 午夜精品久久久久久久男人的天堂| 91N欧美| 在线 亚洲 网爆 自拍| 免费网色网站|