国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91黑人狂躁丰满熟妇| 成人自拍三级在线观看| 韩国一级AAA| 人人操AV| 超碰在线一区二区三区| 亚洲操人| 人妻在线大香蕉| 999精品乱码| 欧美性爱伊人| 亚洲九区| 亚洲第一页综合在线| 在线中文字幕| 一级免费啪啪片| 日韩少妇无吗| 每日更新AV| 91 综合 色| 无码高清操逼网址| 91在线/欧洲| 手机在线免费看的av| 久久精品小视频| 欧美日韩人妻精品一区二区三区| 色官网色综合| 中文字幕无码不卡啪啪| 亚洲成人网站在线观看| 久久亚洲天堂| 国产亚洲禁久一区二区| AV男人天堂网| 日韩不卡毛片Av免费高清| 青青青青草av在线观看| 日韩福利综合一区| 大香蕉欧美伊| 天天做日日做| 日韩欧美加勒比| 日韩人体偷拍| 国产91亚洲精品一区二区三区| 91国产精品在线看| 少妇色欲综合网2| 国产一区二区成人av在线播放| 2001天天操| 久久青娱乐| 久久久五月天| 中文字幕一区二区免费在线| 亚洲精品人伦一区二区| 日本岛国黄色网址| 久久精品熟女亚洲AV麻豆软件| 丁香六月婷| 日本不卡中文| 欧美色图在线视频少妇| 综合 欧美 亚洲 日本| 国产偷人妻精品一区二区在线| 男女猛烈无遮掩视频免费软件| 老熟女熟妇| 日韩精品国产一区二区| 偷拍导航视频网站| 2025亚洲男人天堂| 天天操天天干一区二区 | 午夜福利在线合集| 毛片99-全集电影手机免费观看完整-B029AV| 91久久精品中文字幕| 久久影视二区三区行押| 噜噜吧,噜噜色,噜噜| 中文字幕三四五区| 综合国产97| 嫩草一区二区在线观看| 天天影视综合色| 伊人综合色网| 一级AV性爱| 黑人精品久久97| 亚洲精品成人| 国产操逼逼网| 日产操逼| 欧美狠狠狠| 亚洲国产综合久久天堂| 嫖老熟女A片一二三区| 97亚洲在线| 欧美 亚洲 另类 综合| 熟女六十路| 欧美淫乱视频| 精品一久久久| 亚洲不卡AV在线| 中国一级操逼视频| 人人看人人插| 日本精品五区| 麻豆a'v电影| 69AV女优男人的天堂| 美國A片| 97人人色| 色网在线| 欧美成人精品一区二区三区| 色情五月综合婷婷| 人人人人插| 久久午夜色播影院免费高清| 亚洲乱熟女一区二区| 啊啊啊好舒服好爽啊啊啊视频| 成人性爱电影网| 级做a爱无码性色永久免费| 亚洲成人av电影在线| 五月婷婷青青草娱乐伊人| 大香蕉天天看妹子| 五月天婷婷基地| 欧美97在线观看| 国产福利影视| 久久av成人无码免费| 91无遮挡| 麻豆91熟妇人妻中文字幕茄子 | 中文字幕一区二区三区字幕| 啊啊啊好想要| 91色香| 欧美在线|亚洲| 五十路熟女工口 | 内射中出日韩在线观看视频| 国产精品白虎| 丝袜熟女2P| www五月| 福利在线黄片| 国产树林里野战在线看| 伊人影院综合是一个与深夜成人在线 | 色婷婷九月天天综合| 夜夜骑夜夜操| 亚洲影视高清第一页| 日本中文字幕熟妇| 91热色| 老司机午夜福利视频一区二区| 欧美性,亚州色| 91美女在线精品视频| 国产做?爰片久久毛片?片美国| 国产精品一级片在线看| 大稥蕉免费视频这里只有精品| 性色av婷婷久久一区二区点复制| 无码免费精品高清| 久久美女福利是上海美女| 女人被男人桶爽视频网站| 97操| 美国日韩黄片| 中文字幕一区二区免费在线| 国产Aα| 欧美一区二区观看在线| 天天插天天操| 麻豆久久视频在线地址| 久久久久9久久久久| 91青视频| 清清草影| 色约约一区=区三区| 欧美日产国产在线成人第一区| 日韩激情无码影院| 国产亚州精品美女久久久免费| 亚洲成人av电影在线| 亚洲超碰AV| 大伊香蕉在线视频免费| 红杏大香蕉| 久久精品视频久久久| 色婷婷久久| 久久久啊啊| 嗯嗯啊啊好疼| 婷婷久久久精品| 日少妇视频| 成人自拍三级在线观看| 国产亚洲禁久一区二区| 97精品国产97久久久久久免费| 久久九七| 啊啊啊好大好深| 国产粉嫩蜜臀av一区二区三区| 欧美天天综合网| 亚洲色系另类精品国产| 屌逼麻豆| 日韩少妇在线视频| 欧美91精品国产自产| 亚洲 一区二区 自拍| 欧美色五月| 青青伊人久久| 九九九九热| 国产操逼逼网| 青青草久久一区网| 无码不卡亚洲成?人片| 免费啪啪一级视频| 亚洲天天影视综合网| 91美女视频直播| 大学生口爆吞精| 久久婷婷色| 少妇专区一二三四五| 亚洲深夜福利| 老司机老司机午夜影院| 久久嫩草国产成人一区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 欧美一区二区三区日韩| 久久久婷婷| www.91视频网| 日本123区操B视频| 污污污8888| 成人久久久| A片 AV一级在线播放观看免费 | 亚洲97精品| 偷拍三区| 97视频900| 国产特级毛片AAAAAA高潮流水 | www.久久| 亚州五月| 亚洲欧洲综合成人av一区| 亚洲综合另类| 综合久久99亚洲人妻中文在线| 一级人妻性爱视频| 亚州色交| 天天躁日日躁AAAAXXXX国产 | 天天草夜夜草高潮片| 嗯……啊…嗯嗯…啊…好舒服| 91精品国产91久久久久久久久久久久| 超碰免费人妻人人| 欧美亚洲AN| 天天看天天日天天操| AV天堂丝袜| 亚洲国产成人综合碰碰三级经典| 夜夜中出国产| 国产亚洲深夜激情| 一级黄碟在线观看| 国产在线视频二区| 97在线观看免费| 国产精品欧美日韩久久| 日日玩天天干| 亚洲成人碰碰| 中文字幕丰满人妻日本| 北京美女一区二区| 91爆操视频| 天天拍天| 婷婷五月花| 91狠狠综合久久| 亚洲精品无码成人久久久99| 9997se| 婷婷伊人网| 夜夜高潮夜夜爽夜夜爱爱一区 | 精品久久久久久AV无码| 97色色国产视频| 久久一区二区高清免费| 日本三级韩国三级美三级91| 人妻在线中出视频| 五月天婷精品激情| 国产精品不卡av免费在线观看| 色婷久久| 日本伦乱九九九综合| 黑人中出21连凳花野真衣| 亚洲系列第一页| 亚洲中文字幕av| 国产激情综合五月久久| 国产精品黑人一区二区三区| 1000午夜黄色| 九九综合久久| 永久免费发布性爱网| 啊啊啊啊,啊啊好多水| 久久激情视频| 深夜国产一区二区三区在线看| 密臀成人视频久久久| 丝袜夫妻自拍| A片三级无码| 精品999999| 久操网在线| 激情网五月天| 国产精品久久久无码AV网站| 麻豆三极片| 欧美玖玖爱免费玖玖| 五月婷久久| 国产一级舔足在线观看| 密臀成人视频久久久| 毛片视频白嫩| 大香樵伊人网| 久久毛卡| 日韩精品字幕| 九九九九九精品| 亚洲精品一卡二卡三卡福利视频网站| 色香阁在线| 久久久久久精品免费看A级| 蜜臀久久99精品久久久久久-DVD| 久操| 极品粉嫩少妇视频| 国产一级久久久| 天天躁日日躁AAA片李宗瑞| 国产亚洲深夜激情| 极品色综合| 美女网站黄页| 国产精品电| 麻豆AV96熟妇人妻| 嗯嗯嗯啊啊啊在线免费观看| 六月色婷婷| 园内精品自拍视频在线播放| 欧亚日韩一区在线| 91亚洲影视| 日韩欧美蜜桃精品久久中文字幕久久| 久热久操| 亚洲国产剧情少妇激情| 调教熟妇 久久久久久| 熟女六十路| 人人艹亚洲| 国产精品久久久久久高清无码免费看| 97天堂| 78m啪啪啪| 精品久久久一本一道| 麻豆国产成人精品| 中文字幕加勒比海高清无码免费视频| 热天堂一区二区| 六十路日本| 午夜福利视频在线一区| 亚洲日韩国产欧美综合v| 国产在线强奸视频| 欧美精品成人在线播放| 亚洲成aⅴ人片不卡无码| 国产剧情在线| 好吊色综合| 中文操逼字幕| 国产一区二区三区高清视频| 人妻性爱一区二区| 人人摸.人人色| 在线观看无码三级少妇| 伊人久久大香大香线蕉中文| 免费在线观看AV无码网站| 老熟妇一区二区三区…| 日本综合久久| 东京热男人的天堂网| 色五月婷婷五月天| 色月天AV导航| 国产AV人人 夜夜人人澡| 人人超碰在线观看黄| 国产农村妇女精品一二区| 女人天堂AV五区在线| 91美腿丝袜在线观看| 成人网欧美风情| 日日天天久久啊啊aaa| 第45页一区二区| 国产AV人人 夜夜人人澡| 夜精品久无码| 97欧美综合网| 中文字幕,人妻,日韩| 丝袜美腿制服人妻二区中文字幕| 欧亚性爱视频免费看| 99色在线| 又摸又舔在线观看网站| 欧美丝袜亚洲| 国产一区二区三区视频在线看| 99久久精品无码一区二区| 国产丝袜美女在线一区| 免费公开人人操| 日韩少妇一区二区三区| 97玖玖人妻| 青青草啪啪网| 少妇三p| 丰满美女一级毛片在线播放| 色婷婷五月综合激情中文字幕| 五月丁香网站| 噜噜噜亚洲精品| 玖玖久久久| 亚州综合网| 国产精品成人无码a v毛片| 精品一二三区久久AAA片| 久久精精区一区二区一蜜桃一区二区| av麻豆啪啪| 99福利社| 天天搞在线综合网| 极品五月天噜噜| 樱花草社区www中国| 91欧美情色| 欧美日韩*字幕一区| 欧美一级黄色免费专区| 五月天激情影院| 日日干夜夜操视频h| 男人的天堂kva| 国产家庭乱伦表演| 国产欧美第五页| 91久久国外网| 香伊人在线| 亚洲天堂,男人| 久操影视| 日韩激情毛片一级久久久| 嗯嗯啊啊视频在线看| 日本东京热大香蕉a片| 亚洲天天更新| 欧美亚洲中文字幕| 99爱爱| 操B视频日韩无码| 夜夜操狠狠操| 青青草啪啪网| 在线播放成人高清免费视频| 长长久久88视频| 懂色av中文字幕| 国产精品永久免费10000| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 免费?级毛片无码?∨蜜芽试看| 一块操欧美性爱| 碰超人人在线一区二区三区| 不卡av在线中文字幕| 午夜欧美J进J出白浆流出久久久| 一起草高清无码| 欧美国产精品| 粉嫩AV一区夜夜嗨| 欧美一区二区三区另类精品| 99精品伊人| 一级片视频啪啪| 极品尤物在线观看| 91精品操美女| 成人三级片无码| 97久久国产精品| 黄色AAAAA欧美| 91操人视频| 96国产精品| 亚洲天堂中文字| 青青草啪啪网| 在线精品福利免费播放| 综合九九| 丁香六月婷| 欧美色图20P| 精品性爱无码在线播放| 青青草一区二区高清无码视频| 亚洲黄色影视| 狠狠久久手机视频精品| 麻豆国产第一| 在线欧美69V免费观看视频| 狠狠爱AV| 国产精品久久伊人| 色五月AV| 久久综合女优| 国产探花精品在线| 精人妻一区二区三区| 丁香五月久久| 中文字幕在线免费观看2| 日韩少妇丰满亚洲| 久久av一级av少妇av高潮| 色九九九九九九| 曰韩无码777| 神马久久久久| 欧美玖玖爱免费玖玖| 国语av最新自产拍在线观看| 超碰在线一区二区三区| 欧美色女人| 久草视频制服诱惑| 国产精品无码av嫩草| 蜜桃臀AV在线| 久久久久久大| 可以在线观看AV的网站| 亚洲综合在线第一页| 久久av网| 欧美性爱在线无码| 久久久久久99AV无码免费网站| 伊人久久亚洲中文字幕不卡| 夂久色| 中文字幕日韩专区精品系列| 91爱做| 麻豆久久视频在线地址| 无码精品久久| 91欧美亚洲| 亚洲男人天堂2016| 91熟女熟妇视频网站| 色欲三区| 94色色电影网| 精品综合久久久久久97| 好淫网一二三视区| 综合欧美日本三级| 国产精品视频自拍在线| 男女啊啊啊啊啊| 精品亚洲俞拍视频一区| 色婷婷丁香五月| 国产毛片久久久久久久| 亚洲91色| 久久精品国产97欧美精品亚洲 | 一级婬片120分钟试看| 极品少妇久久久| 操B久久| 91人妻超碰| 国产极品一区二区三区三州| 精品综合久久久久久五月天| 超碰碰97资源站| 日欧毛片久久| 加勒比综合九九99视频在线播放| 婷婷六月色开| av一区二区三区 中文| 啪啪啪精品| 国产精品网址| 欧美激情区| 97资源站久久| 智利AV在线网| 激情综合网一盗摄| 精品久久久中文字幕不| 国产日本熟女顶级一区二区三区视频 | 一区二区三区免费视频入口| 欧美色干| 白嫩91在线亚洲| 青青操视频在线| 欧美精品91| 91嫩草欧美| 婷婷国产精品九区| 欧美日韩性感| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 岛园激情| 成人性爱电影一区二区| 国产AV无码AV| 国产免费一区在线观看| 国产麻豆一级精品视频| 欧美系列在线一区二区| 无码视频黄色网战| 久久久久9999| 口爆综合网| 蜜臀少妇一区二区| 欧亚综合一卡二卡中文字幕| 久久伊人在线五区| 美女91在线观看| 青青草成人视频在线观看二区| 超碰人妻久久人妻中文97| 国产激情片在线观看| 欧美成人性爱视频大全| 大香蕉人妻| 国产精品女同| 中文字幕版| 欧色性第一页| 久久久三区二区一区| 9999久久久久| 精品国产乱码久久久久久蜜臀| 欧美日韩欧美| 亚洲一区在线观看欧洲| 精品无码久久久久久国产浪潮| 九九综合久久中文字幕| 人妻中文字幕日韩电影| 久久五月天婷婷| 人妻嗯啊啊在线播放| 后入 亚洲 美女 射| 欧美欲色| 91丝袜在线视频| 亚洲伊人青青草| 伊人麻豆传媒| 久久精品—区二区三区内射| 操死我了嗯嗯嗯| 强被迫伦姧在线观看无码网站| 自拍二页| 欧洲亚洲人人爽爽视频| 国产suv一区二区三区6| 天美91| 亚洲婷婷丁香在线| 日本不卡高清视频| 免费看日产一区二区三区| 丰满欧美少妇| 99九九久久| 97久久国产精品| 亚洲欧美色图片| 久久久久亚洲三级电影| 五月丁香成人网| 日本免费不卡二区| 中文字幕免费看| 亚州一区二区| 激情国产乱伦Av| 乱人伦 国语对白:视频直接看| 中文有码第五页| 美女91网址| 日韩福利电影网| 亚欧日韩成人| 97硬碰| 丝袜美腿丝袜| 日本性爰一道本| 久久精彩视频| 久久女同性恋一二区| 国产400孕妇孕交群| 2019久久久久久久久福利| 国产按摩一区二区三区| 久久人妻无码毛片A片麻豆| 亚洲风情在线观看| 亚洲黄网在哪免费看| 熟女在线视频| 久久69| 日亚韩精品视频二区三| 青青草成人视频在线观看二区| 欧美综合色,www| 精品无码久久久久久国产浪潮| 久久久久成人蜜桃精品| 一本一道久久综合久久| 欧美黑人精品一区二区| 欧洲精品在线播放| 熟女人妻一区二区三区免费看| 日韩av在线播放不卡| 国模不卡一本二本三电影| 青青在线视频日韩欧美| www.久久99| 可乐操亚洲蜜911| av日韩国产一区二区| 中文字幕天天天天天| 亚洲综合首页| 激情五月综合网| 久艹免费| 色五月激情综合网| 美腿丝袜偷拍亚洲欧美| 熟女激情综合网| 中文字幕老熟妇黄色视频| 中文字幕成人乱码熟女精品国50| 亚洲少妇综合在线播放| 大香蕉92| 黄色片,com| 磁力99AV| 日韩精品在线视频在线观看| 亚洲美欧999| 中英熟女操女| 九九热精品视频在线观看| 综合熟妇一区二区三区| 一线黄色免费性爱片| 国产激情在线观看| 五月丁香久久| 国产一区在线播放| 色av中文字| yiqicaoav| 殴美日韩m| 五月婷婷六月丁香网址| 欧美日韩国产电影| 夜夜性| 日韩精品.久久精品.AV女优.天美传媒| 91青青| 人人色人人射人人妻| 日韩福利电影网| 青青草啪啪网| 日韩色欲久久一二三四区| 蜜臀在线看片| 婷婷在线精品| 一级性爱视频免费观看 | 亚洲色图 欧美热图 清纯唯美 另类自拍 | 熟妇一区,二区,三区。| 97人人干人人操| 97超碰欧美手机| 99re这里只有精品中心播放| A片大香蕉在线| 美日韩一二三区| 超碰人人在线| 一级性爱视频免费观看 | 久无码| 天天操天天射天天日| 欧美高潮| 成人三级片无码| 97啪啪| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 久久久久久AⅤ无码免费肉站| 欧美性爱超碰97| 超碰97资源大奶| 久精品无码av一区二免费国产在线观看 | 日本成人A片免费看| 国产精品一区二区麻豆| 欧美久久九九| 久久无码电影| 探花视频免费观看国产专区| 国内一区二区三区| 精品久久久av| 欧美一级黄片免费播放| 在线播放成人高清免费视频| 一二三四区电影| 成人精品视频一区二区| 午夜.DJ高清在线观看免费7 | 一区二区三区日韩欧美| 国产树林里野战在线看| 日韩av电影成人在线| 成人九九| 蜜屁Av| 歐美一級亂黃99在綫精品| 日韩人妻 中文字幕| 九九九九热| 日韩精品系列| 精品无码人妻一区二区免费蜜桃| 丁香五月成人| 乱伦熟女区| 亚洲日韩精品久久久久一区壹牛 | 亚洲最大的黄色电影网站。| 五月天激情视频| 人人操人人摸人人看人人干| 亚洲欧美校园| 一二三四区操操Av| 夜夜狠狠躁日日躁色视频| 98一区二区精品| av国产无码| 欧美日韩国产中文精品字幕自在自线| 使劲用力艹少妇视频一区二区 | 日日骚精品视频| 欧美色图天堂网m| 日本色婷婷| 日韩激情啪啪啪| 大屁股人妻女教师撅着屁股| 超碰人妻97| 久久久久久加勒比| 亚洲激情欧美色图| 啊啊啊啊,啊啊好多水| 亚洲色资源| 亚爽爽爽爽爽爽爽爽| 欧美日韩夜夜| 久久久999日本大片| 婷婷五月天福利| 长长久久88视频| 婷婷丁香成人| 日本 欧美 国产一区| caoni国产亚洲av| 欧美性爱第一区| 久久午夜鲁丝片| 国产美女在线精品免费看| 国产91丝袜 在线播放| 97在线欧| 我想要啊 啊 啊| 超碰在线1234区| 美国三级日本三级久久99| 综合色久欲| 久久久成人免费av电影| 久久熟女嫩草成人片免费| 免费草草草草草视频| 久操视频在线| 欧美97免费| 天天日天天干少妇日| 亚洲深夜福利| 日本人妻最新在线中| 肏逼视频日本| 黑人白女精品一区| 91艹B视频| 日韩一级片| 日本三级久| 九九伊人网| 超碰激情808| 双插在线| 欧美一区二区三熟女剧情| 亚洲精品乱码久久久久久蜜桃麻豆 | 九色精品视频导航1| 黄色免费网页无码| 99久久婷婷国产综合| 好吊色在线观看| 日欧美色| 久9久9久9久9久9久9| 国产白丝AV| 一个国产在线综合网站| h无码动漫在线观看| 激情五月婷婷综合| 青青爽| 狠狠做深爱婷婷久久二区| 日本孕妇孕交| 亚洲色图欧美激情| 亚洲国产欧美一区二区潘金莲 | 老熟女乱伦片| 亚洲成人美女无吗| 青草视频在线看看看看看看看看看| 后入人妻一区| 蜜桃臀一区二区三区久久| 99热在线观看| 鸡巴插逼视频| 超碰国产情侣自拍网| 91操人| 欧美夜夜草视频| 91成人久久| 国产视频一区二区三区久久亚洲天堂| 小骚逼被操的爽不爽| 智利AV在线网| 久久亚洲中文字幕视频| 精品国产91内射久久| 亚洲精品成人| 中文字幕人妻色偷偷久久皮 | 全球成人中文在线| 国产精品天美传媒| 日韩精品人妻中文字幕久久久| 国产精品久久久久久久久久二区三区| 日韩成人性日韩成人性爱视频在线免费观看 | 超碰到97情色| 欧美巨大性舒爽顶到了| 狠狠干狠狠色| 曰本熟女视频| 欧成人精品H无码| 激情综合网五月婷婷五月天| 99国产精品免费| 9Ⅰ超碰| ?亚洲伊人伊成久久人综合网| 日本天天人人狠狠在线日美女 | 夂久色| 性欧美另类高清| 五月天婷婷社区| 草草影院最新网址| 狠狠图片青青草| 超碰97网站| 能看的av| 天天搞欧美| 亚洲最大AV网| 天天天天做夜夜夜夜做| 国产精品一区二区久久精品| 嗯啊不要啊在线 | 有码人妻系列| se..亚洲欧美| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴| 人人噜夜夜操| 蜜乳av一区二区| 欧美 亚洲 大香| 91AV入口| ,国产乱人伦精品一区二区三区| 美欧色综合| 国产成人精品日本亚洲语言| 欧美亚洲清纯| 精品亚洲国产成人AV制服丝袜| 久久99草| 日逼国产| 69丨亚洲丨精品丨入口免费播放| xxx0国产在线播放| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 亚洲影视综合网| 9精品久久久久| www.av在线观看| 很狠操| 无码聚合| 天天爱综合网| 国产一区在线免费播放| 欧美日本不卡| 蜜臀操逼黄色视频操的好爽| 偷拍五区| 果冻国产精品麻豆成人av| 91精品免费| 青娱乐国产精品| 久操影视| 黄aaaaaaaaaaaaaaaaaa色网站| 亚州欧美综合| 久久东京国产精品视频| 青青草原av| 欧洲天天在线| 美国日韩黄片| 日日骚 av| 国产av激情无码久久天堂| 一区二区三区四区久久视1| 免费少妇一区二区| 超碰久久网| 国产91会所女技师在线观看| 久久九精品| 蜜桃无码AV一区二区| 蜜桃AV天堂| 91粉芽高清在线一区二区| 性综合网| 亚洲宗合电影| 天堂无码精品国产久| 日逼97| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 天天综合~91| 丁香五月成人| 免费成人自拍视频在线| 加勒比综合九九99视频在线播放| 精品国产丝袜一区二区三区乱码| 欧洲一区二区三区四区在线观看| 韩国一级婬片A片AAAAA| 欧美色图20p| 国产精品乱人伊人网| 一级日本牲交大片好爽在线看| 欧美最大综合网| 一本道综合色图| 久久久久久亚洲Av无码| 亚洲97网站| 91在线美女| 亚洲国产精品有声| 色噜噜狠狠色综无码久久| 亚洲天天艹| av天堂天堂av日韩| 欧美激情1区| 亚洲AV无码久久精品蜜桃小说| 欧美性爱一级操| 东京热毛片177b2viP| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 伊人久操| 久久久久九九九九| 91AV天美在线视频| 91美女中出| 在线无码网站| 亚洲日韩美女丝袜美腿人妻视频| 少妇500双飞99| 国产成人亚洲精品无码古代早漏男| 国产亚热在线久久| 欧美v日韩v亚洲v最新在线| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 亚洲激情四射| 家庭乱伦国产| 99无码| 色69大色97香蕉| 少妇同性| 大香蕉免费中文| 伊人网综合在线视频| 美女久久久| 中文字幕免费在线观看| 男生女生啊啊啊啊| 精品一区二区啪啪啪| 韩三级a视频在线观看| 在线亚洲欧美| 大逼色网站| 国产视频小说| 天天亚洲综合| 亚洲中文字幕97久久精品少妇| 思思热er精品视频| 日韩在线欧美精品一区二区| 四虎影视 亚洲无码| 国产诱惑| 精品国产国产AV| 日韩在线视频1234| 丁香五月激情综合| 丰满岳乱妇一区二区三区| 思思热在线视频在线| 久久久久久久9| 国产综合久| nuu12国产麻豆精品| 天天干1区2区在线| 九九九九精品一区| 欧美视频激情久久久久久| 精彩视频日韩| 操人妻少妇中文| 色色丁香| 九九综合久久| 婷婷久久综合久| 国产精品熟女乱伦| 黑人无码一区二区| 国产精品黄色三级av| 亚洲性爱免费电影| 最新岛国大片| 亚洲AV成人无码一二三久久| PMv在线观看| 男女性无套 免费九一| 日韩一级二级三级免费看完整版| 超碰欧美97资源| 精品人妻久久久| 欧美性性性| 天天做天天爱| 91成人18| 熟女探花啪啪| 亚洲一区中文精品| 中文色综合| 久久av一级av少妇av高潮 | 国产十八禁视频| 午夜福利在线合集| 97超色| K8久久久久| 91超碰在线观看| 97在线免费看视频| 久久久久久97| 视频国产成人精品日本亚洲18| 久久久97| 久久欲| 强奸乱伦AV一天堂网| 国产精品久久久无码AV网站| 午夜福利视频在线一区| 久久东京国产精品视频| 中文字幕在线24| 久久9精品视频| 日日骚 av| 91超碰碰在线| 九九久久国产精品怡红院| 日韩大香蕉AV影片| 啊啊啊在线观看| 精品无码久久久久久国产浪潮| 国产区91柔拿会所技师| 国产毛片精品一区二区色欲黄A片| 国内精品999| 国产av热热色| 欧洲色综合| 免费观看日本操逼视频| 亚洲小电影免费涩涩成人在线高清| 日韩欧美成人性爱在线| 日本三级日本三级99| 国产久久久9999| 免费超碰97久久| 日日骚一区二区三区| 国产午夜精品在线观看| 天天躁日日躁xxxxx| 99热9| 欧美成人国产精品| 啪啪自拍九九综合| 三级激情网站| 色情综合网| 久操在97| 亚洲性天堂| 黄片www.| 伊人久久国产免费观看视频| 96精品一区| 久操电影| 韩国一级做A片免费的| 久jiu久神马影院| 国产精品第一页国产大屁股视频免费区i| 亚洲天堂电影网99999| 91久久九九精品国产综合| AAA久久| 大香蕉宅男伊人| 久久风骚城市| 东北丰满熟女国产一区 | 香蕉人欧美综合| 国产小视频91| 欧美黄片视频在线观看免费| 久久久久国产精品片区无码直播 | 精品无码久久久久久久杏吧| 九月丁香综合网| 蜜臀精品1区2区| 婷婷国产精品一区二区| 草草电影院| 成人精品在线观看| 中文久久96| 大香蕉乱级| 大香交伊人网| 我爱操| 欧美一二三级精品在线| 久久久999网站| 999国产精品999久久久久久| 操逼无码一区| 伊人久久大香蕉线AV五月天| 超碰97丝袜| 操逼国产免费| 国产精品久久久久久久久久久久久久久久| 久操免费在线| 欧美丰满熟妇XXXX性ppX人交| 欧美色图 人妻| 精品无码欧美三级| 亚洲 综合 欧美| 国产精品乱码久久久久| 九九99精品| 夜夜精品视频一区二区| 九色精品视频导航1| 男女91| 男人在线天堂| 嗯嗯嗯好爽| 欧美加勒比| 五月婷婷影院| 国产精品乱码久久久| 久久精彩视频| 国产午夜精品一区二区三区牛牛| 大香蕉一线视频| 91无码人妻| 亚洲1区2区三区高清中文字幕| 青青草日本中文字幕| 欧美日韩在线视频网站| 色妹子A V| 91熟女视频| 久久大香蕉手机高清| 蜜臀99久久精品久久久久久| AA丁香综合激情| 精品少妇99| 天天日天天爽| 久久久久久久唑| 91精品国产综合久久久蜜臀| 91久久青青草原精品| 97午夜剧场日韩| 日韩免费簧片| 97天天弄| 妺妺跟我一起洗澡没忍住| 久草电影网| 午夜免费视频1000| 激情小说亚洲| 97色诱| 日韩性爱小视频在线观看| 亚洲玖玖爱| 92福利社视频| 91在线视频国产网站| 美女淫穴| 91粉嫩萝控精品福利网站_精品影音先锋国 | 激情第四色| 热99这里有精品综合久久| 中文字幕片| AAAAAAAAA黄片| 色99久草| 大香蕉免| 无码WWW免费视频网站| 高清无码学生妹高潮| 殴美牲| 亚洲另类小说卡通动漫| 国产美女91| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧美另类自拍 | 欧美色青| 亚洲AV无码久久精品蜜桃小说| 国产福利影视| 日本综合色图| 亚洲第91页| 色色色色综合网| 久久亚洲AV无码白度| 91久久国产综合精品| 97人人模人人爽人人| 免费精品无码一级毛片牛牛影视 | 久久久久亚洲AV无码专区少妇| 少好三P| 97人人爱人人做人人乐| 日韩AV无码中文一区二区| 一区二区三区麻豆| 无码视频一区二区| 熟女乱伦二区| 国产乱伦亚洲色图高清无码| 人妻第一页| 蜜臀久久久| 香蕉综合网| 免费观看网黄| 欧美人妖内射| www被窝色com| 天天影视综合网欧美精品| A V视频日本| 九九九九久久久久| 欧美亚洲20p| 少妇一线天久久久久久| 国产啊v在线免费播放| 天天综合网~91| 亚洲天堂日本| 久久婷婷一区二| 亚洲精品人妻在线| 色男人色天堂东京热| 天天操av懂色| 日本福利二区视频| 99这里只有精品国产| 久草电影网| 亚洲AV不卡在线观看尤物| 亚洲五月丁香花狠狠干一区二区三区 | 久久久久久999| 国产精品高朝久久久久久久| n1038 一二三区| 综合熟女| 日本精品高清一二区一本到| 97超碰久久| 97干97色| 果冻传媒A片麻豆熟妇人妻| 色网1| 色欲人妻一区二区在线| 99久久九九| 91人妻尻屄视频| 欧美综合娱乐久久| 国产精品无码成人精品| 国产精品扒开腿做爽爽爽视频| 日韩精品影视| 青青欧洲黑| 激情欧美日韩女同久久| 久久久99久9| 91丨国产丨白浆| 艹我哪美一区无码| 激情五月天丁香| 欧美精品999| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 国模私拍一区二区三区神乳| 日本久久久久久久久久| 精品丰满熟妇人妻一区| 97视频在线观看网站| 美女诱惑在线一区| 中文字幕-区二区三区四区视频中国| 旡码电影特区| 9久久精品| 大香樵伊人网| 欧美九9 9 9| 五月丁香久久| 性爱视频久久| 在线观看综合精品亚洲| 99操逼| 色五月首页| 人人操AV| 国产成人亚洲精品自产在线| 免费综合亚洲中文| 99热这里只有精| 亚洲一区二区麻豆影院| 长长久久88视频| 狠狠操夜夜操蜜桃视频三区| 加勒比大香蕉视频在线| 日本三级日本三级99| www.婷婷| 大香蕉碰| 久久久9视频| 一区二区三区在线资源| 天色综合网| 1204av韩国| 精人妻无码一区二区三区伊人直播 | 热热色综合网| 欧美亚洲清纯| 久久精品高清无码一区| 人妻久久| 激情综合网激情综合| 91P0RNY大屁股人妻| 在线色导航| 99爱爱| 99999久久久久9国产精品| 极品少妇99| 搡老女人老91妇女熟女| 精品久久久久成人码免| 不卡二三区人妻少妇|