国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速 直接進(jìn)入正題。AOSP構(gòu)建這話題說實(shí)話每次提起來都讓人又愛又恨。愛的是安卓開源生態(tài)給了我們無限折騰的空間恨的是每次全量編譯動(dòng)不動(dòng)三四十分鐘起步改一行代碼驗(yàn)證一下又得等十分鐘一整天的時(shí)間就這么被切碎在進(jìn)度條里。我在團(tuán)隊(duì)里負(fù)責(zé)系統(tǒng)構(gòu)建維護(hù)接手那陣子最大的感受就是大家都在默默等編譯然后假裝自己很忙實(shí)際上效率黑洞已經(jīng)吃掉了半天工時(shí)。這篇文章我不打算堆概念就把自己實(shí)際壓構(gòu)建時(shí)間、降編譯成本的經(jīng)驗(yàn)拆開講包括怎么定位瓶頸、怎么配環(huán)境、怎么用緩存、怎么處理增量構(gòu)建里那些反直覺的坑以及想上分布式構(gòu)建的話從哪兒入手最穩(wěn)妥。標(biāo)題里說的最新技術(shù)報(bào)告其實(shí)是我整理的一份構(gòu)建性能分析清單和調(diào)優(yōu)參數(shù)對(duì)照表文末我會(huì)把獲取方式放出來免費(fèi)領(lǐng)不需要你轉(zhuǎn)發(fā)集贊純粹覺得這些東西值得擴(kuò)散。1. 先搞清楚時(shí)間都去哪了構(gòu)建鏈路的分段剖析優(yōu)化一件事之前第一步永遠(yuǎn)是量化。很多同學(xué)一上來就調(diào)-j參數(shù)、加ccache其實(shí)是在沒看清瓶頸的情況下盲目使勁。AOSP構(gòu)建看著是一個(gè)大命令實(shí)際上內(nèi)部是串行加并行混合的多階段流水線每個(gè)階段的開銷特征完全不同盲調(diào)只能碰運(yùn)氣。1.1 AOSP構(gòu)建過程到底分幾個(gè)階段整個(gè)構(gòu)建從源頭到產(chǎn)物大致走這么幾段第一步是配置解析。Soong讀取所有Android.bp和Android.mk文件解析模塊定義、依賴關(guān)系生成Ninja構(gòu)建規(guī)則。這個(gè)階段是單線程主吃的是CPU單核性能項(xiàng)目越大解析越慢。第二步是Ninja構(gòu)建圖加載。Soong輸出的build.ninja文件往往有幾百萬行級(jí)別的規(guī)則Ninja啟動(dòng)時(shí)要把這張圖全部加載進(jìn)內(nèi)存這個(gè)階段吃內(nèi)存和大文件IO磁盤速度直接決定啟動(dòng)耗時(shí)。第三步是任務(wù)調(diào)度與執(zhí)行。Ninja根據(jù)依賴圖把幾十萬個(gè)編譯任務(wù)分發(fā)到各并行進(jìn)程這里頭C/C、Rust、Java、資源打包、proto編譯、文檔生成混合在一起各自吃不同的資源。第四步是鏡像打包與簽名。所有模塊編完以后target_files打包、system/vendor/boot各個(gè)分區(qū)鏡像生成、簽名校驗(yàn)、AVB哈希計(jì)算這階段是IO密集型加少量計(jì)算密集型。我最早踩的坑就是拿time只看總耗時(shí)然后對(duì)著總耗時(shí)瞎猜。后來把ninja -t stats打開一跑才發(fā)現(xiàn)配置解析和Ninja圖加載這兩個(gè)階段加起來占了全量構(gòu)建的15%以上而這部分恰恰是加多少核都提速不了的。1.2 用數(shù)據(jù)定位瓶頸而不是靠感覺AOSP內(nèi)置的構(gòu)建統(tǒng)計(jì)工具不多但夠用。我常用的排查鏈路是這樣全量構(gòu)建跑一遍注意記錄總時(shí)間。然后單獨(dú)跑一次m nothing這個(gè)命令不做真實(shí)編譯只重新解析配置并加載Ninja圖它的耗時(shí)就是構(gòu)建圖處理的固定開銷。接著跑ninja -t stats這個(gè)命令會(huì)告訴你整個(gè)執(zhí)行期間各任務(wù)的累計(jì)時(shí)間和數(shù)量分布。舉個(gè)例子我優(yōu)化前跑m nothing耗時(shí)接近兩分半說明光配置解析加圖加載就要150秒。當(dāng)時(shí)我第一反應(yīng)是關(guān)掉不必要的product配置把沒用的模塊從PRODUCT_PACKAGES里摘掉同時(shí)把一些極少用到的Android.bp做條件編譯隔離結(jié)果m nothing直接降到50秒內(nèi)。這一步不動(dòng)任何編譯參數(shù)光靠瘦身就省了兩分鐘。至于執(zhí)行階段ninja -t stats會(huì)按任務(wù)類型給出累計(jì)耗時(shí)。我這里列一個(gè)常見分布方便你對(duì)號(hào)入座任務(wù)類型典型占比資源特征C/C 編譯40%-60%CPU密集多核并行收益大Rust 編譯5%-15%CPU密集增量較快Java/Kotlin 編譯10%-20%內(nèi)存密集容易OOM鏈接5%-10%單線程居多吃內(nèi)存帶寬資源處理/打包5%-10%IO密集走文件系統(tǒng)proto/AIDL生成3%-8%混合任務(wù)量大但單個(gè)快如果你的項(xiàng)目C/C編譯占比過半那優(yōu)化的主戰(zhàn)場(chǎng)就是并行度和緩存。如果Java編譯占比異常高得檢查是不是每次都全量重編了。如果資源處理占比高就該看磁盤IO了。2. 主機(jī)環(huán)境配置的取舍CPU、內(nèi)存、磁盤與系統(tǒng)參數(shù)AOSP構(gòu)建本質(zhì)上是一場(chǎng)資源換時(shí)間的游戲但資源怎么花、花在哪里面有很多門道。我見過有人用128核服務(wù)器編AOSP結(jié)果還沒16核筆記本快的問題幾乎都出在內(nèi)存和磁盤上。2.1 CPU核心數(shù)與內(nèi)存的匹配關(guān)系并行度不是越高越好。AOSP默認(rèn)的-j參數(shù)會(huì)根據(jù)核數(shù)自適應(yīng)但每個(gè)編譯進(jìn)程平均要吃1GB到2GB內(nèi)存。如果你32核卻只有32GB內(nèi)存開滿并行很容易觸發(fā)OOM內(nèi)核開始swap之后整個(gè)構(gòu)建反而比少開幾個(gè)核更慢。我的經(jīng)驗(yàn)值是這樣內(nèi)存GB數(shù)除以1.5再跟CPU核數(shù)取較小值大概就是這臺(tái)機(jī)器比較穩(wěn)的-j上限。比如64GB內(nèi)存配32核穩(wěn)妥的并行數(shù)是min(32, 64/1.5)約等于42但實(shí)際跑的時(shí)候還要留出2GB到4GB給Soong解析和Ninja圖加載所以建議直接設(shè)-j40。另一個(gè)隱藏坑是內(nèi)存頻率和通道數(shù)。鏈接階段尤其是lld鏈接大型可執(zhí)行文件極度依賴內(nèi)存帶寬。雙通道DDR4和四通道DDR5的差距在鏈接階段能差出一倍時(shí)間。如果你有升級(jí)硬件的預(yù)算優(yōu)先保證內(nèi)存通道數(shù)而不是盲目沖CPU核數(shù)。2.2 out目錄放哪SSD、NVMe還是內(nèi)存盤AOSP的out/目錄是IO壓力最集中的地方。編譯產(chǎn)物、中間文件、鏡像生成全在這。用機(jī)械硬盤編AOSP基本是災(zāi)難建議直接排除這個(gè)選項(xiàng)。SATA SSD可用但會(huì)發(fā)現(xiàn)大量小文件讀寫場(chǎng)景下比如資源打包和proto生成依然有瓶頸。NVMe SSD是目前的甜點(diǎn)選擇PCIe 3.0以上型號(hào)能把小文件隨機(jī)讀寫的延遲壓得很低。再往上就是tmpfs把out/掛到內(nèi)存盤上。這個(gè)方案對(duì)構(gòu)建提速效果極猛IO密集任務(wù)幾乎零延遲。但代價(jià)是內(nèi)存被out目錄吃掉了大半而且掉電即失。我試過用/dev/shm掛out目錄跑小型target的增量構(gòu)建速度快得離譜但全量構(gòu)建時(shí)內(nèi)存根本扛不住。所以我的建議是有256GB以上內(nèi)存的機(jī)器可以開一個(gè)128GB的tmpfs掛out/跑增量驗(yàn)證內(nèi)存不足的老老實(shí)實(shí)用NVMe。另外文件系統(tǒng)格式也要注意。ext4是默認(rèn)選擇但開啟inline_data和lazy_itable_init掛載選項(xiàng)后小文件創(chuàng)建效率有明顯提升。如果你用f2fs隨機(jī)寫入表現(xiàn)會(huì)更好。還有個(gè)大坑是不要跨文件系統(tǒng)軟鏈out目錄有些構(gòu)建腳本對(duì)符號(hào)鏈接的解析有毛病容易整出詭異錯(cuò)誤。2.3 值得一提的內(nèi)核參數(shù)和編譯鏡像選擇內(nèi)存壓力大的機(jī)器建議檢查vm.swappiness。默認(rèn)值60意味著系統(tǒng)會(huì)在內(nèi)存還剩很多的時(shí)候就開始換頁對(duì)構(gòu)建這種內(nèi)存瞬時(shí)尖峰高的負(fù)載很不利。我通常設(shè)成10讓內(nèi)核盡量多扛一會(huì)再動(dòng)swap。vm.overcommit_memory也值得關(guān)注。AOSP的Java編譯進(jìn)程會(huì)一次性申請(qǐng)大塊虛擬內(nèi)存如果系統(tǒng)拒絕overcommit可能導(dǎo)致編譯進(jìn)程直接崩。設(shè)成1可以避免這類問題但要留意這會(huì)增加OOM風(fēng)險(xiǎn)最好配合swap分區(qū)分一個(gè)足夠大的回退空間。編譯鏡像選擇上AOSP官方推薦Ubuntu LTS但不是越新越好。我踩過坑新版Ubuntu自帶的GCC版本過高和AOSP預(yù)編譯的工具鏈在某些頭文件解析上有兼容問題。目前我主力環(huán)境還是Ubuntu 22.04配合AOSP官方文檔驗(yàn)證過的JDK版本最省心。別在生產(chǎn)構(gòu)建機(jī)上亂升級(jí)系統(tǒng)構(gòu)建環(huán)境穩(wěn)定比什么都重要。3. ccache配置最便宜也最容易配錯(cuò)的提速手段如果你只能做一項(xiàng)優(yōu)化那就配ccache。它能把C/C編譯的重復(fù)勞動(dòng)直接抹掉尤其是全量構(gòu)建之后的第二次構(gòu)建命中率高的時(shí)候壓縮一半時(shí)間都正常。但ccache不是裝完就完事配置不當(dāng)反而會(huì)引入各種詭異問題。3.1 ccache在AOSP中的正確打開方式AOSP自帶ccache預(yù)編譯版本路徑在prebuilts/ccache/不需要自己安裝。但默認(rèn)不啟用需要手動(dòng)設(shè)置環(huán)境變量export USE_CCACHE1 export CCACHE_DIR/path/to/ccache prebuilts/ccache/ccache -M 50G-M參數(shù)是緩存容量上限。這個(gè)值取決于你常編的模塊規(guī)模。只編單個(gè)模塊20G夠用經(jīng)常全量構(gòu)建建議50G到100G。緩存太小會(huì)導(dǎo)致舊條目頻繁被逐出命中率上不去白忙一場(chǎng)。最好把這幾個(gè)命令寫進(jìn)~/.bashrc或者構(gòu)建腳本里否則每次新開終端都忘了設(shè)。我見過有人配置了半天發(fā)現(xiàn)沒生效就是環(huán)境變量沒持久化。3.2 命中率怎么查以及典型數(shù)值參考構(gòu)建跑完以后執(zhí)行ccache -s能看到命中率、緩存大小、未命中原因統(tǒng)計(jì)。一個(gè)健康的緩存狀態(tài)第二次全量構(gòu)建的命中率應(yīng)該在70%以上增量構(gòu)建命中率能到90%以上。如果命中率異常低優(yōu)先查這幾種情況編譯器路徑變化。如果你手動(dòng)切換了clang版本、或者構(gòu)建腳本動(dòng)態(tài)設(shè)置了CC/CXX變量ccache會(huì)因編譯器二進(jìn)制不同而失配。排查方法是在ccache -s里看Compiler version mismatch計(jì)數(shù)。源碼路徑變化。ccache默認(rèn)把絕對(duì)路徑作為緩存key的一部分。如果你把源碼目錄從/home/aosp挪到/data/build/aosp等于緩存全部失效。這個(gè)看Cant find source file計(jì)數(shù)能確定。預(yù)處理輸出變化。頭文件里的時(shí)間戳、__DATE__這類宏會(huì)讓預(yù)處理結(jié)果每次都不同ccache只能被迫存新條目。項(xiàng)目里如果有第三方庫自帶這種不確定性建議在Android.bp里關(guān)掉相關(guān)宏或者統(tǒng)一時(shí)間戳。3.3 多用戶共享緩存與CI場(chǎng)景的實(shí)戰(zhàn)經(jīng)驗(yàn)團(tuán)隊(duì)開發(fā)場(chǎng)景下每個(gè)開發(fā)者各自維護(hù)一份ccache很浪費(fèi)。讓所有人的緩存指向同一個(gè)NFS目錄效果接近分布式緩存且配置極其簡(jiǎn)單。但共享緩存有幾個(gè)坑得避開。第一是權(quán)限NFS共享目錄要確保所有用戶可寫且umask不能太嚴(yán)格否則緩存文件寫不進(jìn)去ccache會(huì)靜默降級(jí)為不緩存。第二是目錄鎖老版本ccache在并發(fā)寫同一個(gè)緩存目錄時(shí)會(huì)有鎖競(jìng)爭(zhēng)多用戶同時(shí)構(gòu)建時(shí)反而變慢。建議升級(jí)到ccache 4.x以上并發(fā)控制好很多。第三是網(wǎng)絡(luò)穩(wěn)定性NFS抖動(dòng)一次構(gòu)建進(jìn)程可能直接卡死CI環(huán)境里特別致命。我的實(shí)際配置是內(nèi)網(wǎng)一臺(tái)存儲(chǔ)服務(wù)器開NFS緩存目錄設(shè)100GCI節(jié)點(diǎn)和開發(fā)機(jī)構(gòu)掛載到同一個(gè)CCACHE_DIR。實(shí)測(cè)下來一個(gè)團(tuán)隊(duì)五個(gè)人同時(shí)構(gòu)建緩存命中率依舊能維持在60%左右每個(gè)人節(jié)省的編譯時(shí)間非??捎^。4. 增量構(gòu)建的意外重編級(jí)聯(lián)依賴和隱式全量增量構(gòu)建本該是效率神器但在AOSP里經(jīng)常出現(xiàn)一個(gè)現(xiàn)象明明只改了一個(gè)Java文件結(jié)果重編了上千個(gè)模塊。這背后是依賴圖和構(gòu)建緩存機(jī)制的耦合問題理解了才能有效規(guī)避。4.1 為什么改一行代碼會(huì)觸發(fā)大規(guī)模重編AOSP的構(gòu)建系統(tǒng)是基于Ninja的Ninja只認(rèn)依賴關(guān)系。當(dāng)某個(gè)頭文件被改動(dòng)所有#include了它的源文件都會(huì)被標(biāo)記為過期。問題出在AOSP源碼里大量頭文件層層包含一個(gè)底層頭文件稍微動(dòng)一下上層幾千個(gè)源文件全得重編。典型的例子是修改了system/core底層的某個(gè)通用頭文件整個(gè)framework層的C代碼幾乎都要重編。這個(gè)不算bug是C/C的預(yù)處理器模型決定的但可以通過合理的頭文件隔離來減小爆炸半徑。另一個(gè)容易被忽視的是靜態(tài)庫依賴。AOSP里很多模塊以靜態(tài)庫形式被多個(gè)可執(zhí)行文件依賴。改動(dòng)一個(gè)靜態(tài)庫的接口所有依賴它的可執(zhí)行文件都要重鏈鏈接又是單線程的時(shí)間開銷極大。我在項(xiàng)目里強(qiáng)制要求對(duì)外接口盡量穩(wěn)定改動(dòng)時(shí)優(yōu)先在這些庫內(nèi)部消化實(shí)現(xiàn)避免動(dòng)頭文件。4.2 避免假增量的操作細(xì)節(jié)增量構(gòu)建最大的敵人是clean。make clean會(huì)把out目錄整體清空相當(dāng)于放棄所有緩存。很多解法是能不clean就不clean。但構(gòu)建目錄有時(shí)候會(huì)臟掉Ninja報(bào)錯(cuò)說規(guī)則變了或文件沖突很多人第一反應(yīng)就是clean。我先試一個(gè)溫和方案rm -rf out/soong把Soong的中間狀態(tài)清掉讓構(gòu)建系統(tǒng)重新解析配置多數(shù)依賴規(guī)則損壞的問題都能解決。再不行才考慮rm -rf out。還有一個(gè)細(xì)節(jié)很多人不知道直接執(zhí)行m不帶目標(biāo)名有時(shí)候會(huì)觸發(fā)比預(yù)期更多的構(gòu)建量。原因是構(gòu)建系統(tǒng)會(huì)默認(rèn)編譯當(dāng)前product配置下所有模塊。如果只是想驗(yàn)證某個(gè)模塊用m 模塊名指定目標(biāo)或者更精細(xì)一點(diǎn)進(jìn)到模塊目錄下執(zhí)行m這樣Ninja會(huì)以當(dāng)前目錄作為默認(rèn)目標(biāo)只構(gòu)建相關(guān)模塊。4.3 API變更和文檔生成導(dǎo)致的隱性全量構(gòu)建這可能是最容易被忽略的增量陷阱。AOSP里有一類特殊target比如api-stubs、system-api-stubs、test-api-stubs它們根據(jù)源碼接口自動(dòng)生成API描述文件。每當(dāng)接口變更這些target會(huì)重跑一旦生成的結(jié)果和預(yù)設(shè)的API基線文件不一致構(gòu)建就會(huì)報(bào)錯(cuò)或者聯(lián)動(dòng)重編很多依賴模塊。文檔生成是另一個(gè)隱性全量源。droidcore包含了很多文檔target比如docs-combined-*它們依賴大量模塊的中間產(chǎn)物跑起來極其耗時(shí)。如果構(gòu)建命令里帶了-k或者指定了比較全的target集合很容易把文檔構(gòu)建也捎帶上。我在實(shí)踐中把CI的構(gòu)建命令拆成了兩段日常提交只跑m 模塊只有打Release包時(shí)才跑完整droidcore。這一個(gè)小小的改變讓CI的日常構(gòu)建時(shí)間從45分鐘降到了7分鐘以內(nèi)。5. 分布式構(gòu)建和遠(yuǎn)程緩存的落地路線很多人一聽分布式構(gòu)建就激動(dòng)覺得可以把幾十臺(tái)機(jī)器的CPU擰成一股繩。但AOSP這套構(gòu)建系統(tǒng)對(duì)分布式的支持并不友好盲目折騰大概率是浪費(fèi)時(shí)間。我更建議按遠(yuǎn)程緩存 → 并行調(diào)度 → 真正的分布式執(zhí)行這個(gè)梯度去演進(jìn)。5.1 先上遠(yuǎn)程緩存共享ccache和構(gòu)建產(chǎn)物緩存AOSP構(gòu)建中多個(gè)模塊的編譯產(chǎn)物在規(guī)則不變、輸入不變的前提下是等同的。如果把產(chǎn)物緩存放內(nèi)網(wǎng)共享就相當(dāng)于做了遠(yuǎn)程緩存。這個(gè)方案不需要改構(gòu)建系統(tǒng)實(shí)現(xiàn)成本極低。實(shí)際操作中除了前面提的共享ccache還有一個(gè)更粗粒度的產(chǎn)物緩存思路把整個(gè)out/target/product/device目錄定期同步到內(nèi)網(wǎng)服務(wù)器新機(jī)器或CI節(jié)點(diǎn)首次構(gòu)建時(shí)直接拉取快照跳過全量編譯。這個(gè)方案在分支切換不頻繁的團(tuán)隊(duì)里效果很好我的一個(gè)項(xiàng)目就是用rsync同步產(chǎn)物目錄新同事拉完快照再增量構(gòu)建省掉了第一次全量編譯的40分鐘。5.2 并行調(diào)度把單機(jī)多target拆到多臺(tái)機(jī)器如果多臺(tái)機(jī)器都連著同一個(gè)源碼鏡像和產(chǎn)物共享目錄可以手動(dòng)把構(gòu)建任務(wù)拆開。比如把多臺(tái)機(jī)器的-j參數(shù)降半各自跑不同的模塊集合然后匯總。這個(gè)方案沒有任何構(gòu)建系統(tǒng)層面的支持全靠人肉編排只建議在特定場(chǎng)景用比如需要同時(shí)出多個(gè)product變體每臺(tái)機(jī)器各編一個(gè)最后統(tǒng)一收集。我在實(shí)際中就這么干過一臺(tái)機(jī)器跑user版本另一臺(tái)跑userdebug版本時(shí)間直接減半。但如果你想著手做真正的remote execution也就是把單個(gè)編譯任務(wù)分發(fā)到遠(yuǎn)程執(zhí)行AOSP本身沒有原生的RBE支持需要借助外掛工具鏈復(fù)雜度會(huì)指數(shù)級(jí)上升。5.3 更現(xiàn)實(shí)的方案構(gòu)建集群化和流水線編排對(duì)于中小團(tuán)隊(duì)我并不推薦直接上RBE。我更推薦先把構(gòu)建流程標(biāo)準(zhǔn)化統(tǒng)一構(gòu)建命令、統(tǒng)一環(huán)境鏡像、統(tǒng)一產(chǎn)物輸出位置然后用流水線工具把構(gòu)建任務(wù)編排起來。這樣即便每臺(tái)機(jī)器是單機(jī)構(gòu)建整個(gè)團(tuán)隊(duì)的構(gòu)建吞吐量也能通過并行流水線提上來。比如一個(gè)版本發(fā)布流程包含全量構(gòu)建、單模塊增量構(gòu)建、文檔構(gòu)建、鏡像打包。這四個(gè)任務(wù)互相獨(dú)立完全可以拆成四類流水線任務(wù)分發(fā)到不同節(jié)點(diǎn)。我實(shí)際做下來這套編排比單機(jī)串行節(jié)省了約60%的整體交付時(shí)間而且邊界清晰、出問題好定位。等到團(tuán)隊(duì)規(guī)模大了單機(jī)構(gòu)建時(shí)長真的成了瓶頸再考慮用Bazel遷移加RBE的方案。但這是大工程沒幾個(gè)團(tuán)隊(duì)能承受遷移成本大多數(shù)情況下游刃有余的產(chǎn)物緩存加流水線編排已經(jīng)夠用。6. 構(gòu)建失敗排查的實(shí)戰(zhàn)鏈路從報(bào)錯(cuò)信息到根因定位構(gòu)建優(yōu)化的另一個(gè)側(cè)面是排錯(cuò)效率。構(gòu)建失敗一次少則浪費(fèi)幾分鐘多則卡一下午。我見過太多人對(duì)著終端輸出迷茫或者一遇報(bào)錯(cuò)就clean重來結(jié)果問題依舊。這里分享一套我自己總結(jié)的排查思路專門對(duì)付AOSP這類復(fù)雜構(gòu)建系統(tǒng)。6.1 報(bào)錯(cuò)信息的正確讀取方式AOSP構(gòu)建輸出極其冗長。直接翻終端滾屏是最低效的方式。正確的做法是讓日志落盤再定向檢索。推薦的做法m -j40 21 | tee build.log然后構(gòu)建結(jié)束后用關(guān)鍵詞過濾grep -E error:|FAILED:|ninja: build stopped build.logFAILED:后面的內(nèi)容是定位關(guān)鍵。Ninja會(huì)告訴我們具體哪個(gè)target失敗以及失敗的命令是什么。比這更詳細(xì)的信息在對(duì)應(yīng)模塊的編譯日志里路徑通常在out/soong/.intermediates/下對(duì)應(yīng)模塊的子目錄找到.log后綴文件里面有完整編譯命令和編譯器原話。6.2 編譯錯(cuò)誤、鏈接錯(cuò)誤、資源錯(cuò)誤的分類處理錯(cuò)誤類型不同處理方式天差地別。編譯錯(cuò)誤一般是代碼問題頭文件找不到、語法錯(cuò)誤、依賴缺失。這類問題直接定位到具體文件和行號(hào)修代碼即可。偶爾出現(xiàn)的情況是頭文件被改動(dòng)破壞了引用關(guān)系需要回溯誰動(dòng)了那個(gè)頭文件。鏈接錯(cuò)誤的特征是undefined reference或duplicate symbol。前者通常是缺少依賴庫檢查Android.bp里的shared_libs或static_libs有沒有把需要的庫加進(jìn)去。后者則是兩個(gè)庫導(dǎo)出了同名符號(hào)要么引入命名空間隔離要么在依賴?yán)锾蕹貜?fù)庫。我遇到過最隱蔽的一種不同模塊編譯時(shí)用了不同的宏定義導(dǎo)致同一個(gè)頭文件里符號(hào)在不同編譯單元下簽名不一致鏈接階段才爆炸。資源打包錯(cuò)誤多在AAPT2階段錯(cuò)誤信息會(huì)直接指向資源文件路徑和具體的資源名沖突。常見的坑是新增資源時(shí)命名與其他模塊重疊或者values里的類型定義沖突。AAPT2的緩存偶爾也會(huì)臟掉如果確認(rèn)代碼沒問題清一下out/soong/.intermediates下對(duì)應(yīng)模塊的緩存再重試。6.3 增量構(gòu)建失敗后的安全恢復(fù)姿勢(shì)最忌諱的就是無腦clean。一旦clean之前的構(gòu)建緩存全部作廢下一次構(gòu)建時(shí)間直接回到全量級(jí)別。我的恢復(fù)流程按輕重緩急排列先確認(rèn)是不是偶發(fā)資源競(jìng)爭(zhēng)導(dǎo)致的失敗。檢查上次構(gòu)建是否在內(nèi)存吃緊或磁盤寫滿狀態(tài)下運(yùn)行如果是先清理磁盤釋放空間再重跑一次經(jīng)常就能過。然后試rm -rf out/soong讓構(gòu)建系統(tǒng)重新解析配置。這一步能覆蓋大多數(shù)依賴規(guī)則損壞的場(chǎng)景同時(shí)保留已有編譯產(chǎn)物。再不行定位到失敗模塊單獨(dú)刪除該模塊的中間產(chǎn)物目錄。目錄路徑在out/soong/.intermediates/模塊路徑刪完重跑m 模塊系統(tǒng)會(huì)重建該模塊的過期產(chǎn)物。最后才考慮make clean而且要提前評(píng)估后果。在時(shí)間緊的情況下我會(huì)先把ccache臨時(shí)設(shè)到最大至少讓C/C部分能借緩存回血而不是完全從零開始。6.4 一個(gè)典型的鏈接失敗排查實(shí)例有一次我遇到libart鏈接反復(fù)失敗報(bào)錯(cuò)是undefined reference to art::Thread::Current()。單看這行很多人會(huì)去翻Thread類的定義但我先檢查了Android.bp改動(dòng)記錄發(fā)現(xiàn)同事把libart里的一個(gè)宏定義改名了而依賴libart的另一個(gè)庫還按舊宏名走導(dǎo)致生成的頭文件里Thread::Current()被條件編譯裁掉。整個(gè)排查過程大概20分鐘如果當(dāng)時(shí)直接clean全量編譯至少40分鐘起步還未必能定位根因。這類經(jīng)驗(yàn)告訴我凡是鏈接錯(cuò)誤先查依賴方和被依賴方的宏配置是否對(duì)齊再動(dòng)手重編。7. 構(gòu)建調(diào)優(yōu)方案選型時(shí)我踩過的坑和最終建議這部分算是我個(gè)人經(jīng)驗(yàn)的沉淀。優(yōu)化AOSP構(gòu)建效率的路徑很多但踩過坑以后才知道哪些投入產(chǎn)出比最高哪些是花架子。先說結(jié)論環(huán)境層面NVMe固態(tài)加足夠內(nèi)存是底線ccache必須配增量構(gòu)建的target選擇一定要講規(guī)矩方案層面產(chǎn)物緩存比分布式執(zhí)行性價(jià)比高得多先別碰RBE。我見過最虧的做法是花重金升級(jí)到極高核數(shù)的CPU結(jié)果內(nèi)存和磁盤沒跟上編譯速度不升反降。也見過一遇構(gòu)建失敗就clean把ccache的收益全浪費(fèi)掉的團(tuán)隊(duì)。構(gòu)建調(diào)優(yōu)本質(zhì)上是個(gè)系統(tǒng)性工程每個(gè)環(huán)節(jié)的短板都會(huì)成為瓶頸而補(bǔ)齊短板時(shí)又要注意不引入新的瓶頸。最終我的推薦清單如下磁盤NVMe 1TB以上避免機(jī)械盤和SATA盤內(nèi)存至少64GB128GB更從容內(nèi)存頻率優(yōu)先ccache大小按50G起步多用戶共享增量構(gòu)建明確m 模塊避免無腦全量CI編排日常單模塊增量發(fā)版時(shí)才全量排查流程日志落盤、分級(jí)處理、避免無腦clean產(chǎn)物緩存內(nèi)網(wǎng)共享快照降低新環(huán)境首次構(gòu)建成本這套組合建起來以后我這邊團(tuán)隊(duì)的全量構(gòu)建時(shí)間從40分鐘壓縮到20分鐘左右增量構(gòu)建常規(guī)在3分鐘內(nèi)日常開發(fā)基本不用再盯著進(jìn)度條發(fā)呆。如果需要那份構(gòu)建性能分析報(bào)告和調(diào)優(yōu)參數(shù)對(duì)照表直接內(nèi)網(wǎng)找我拿或者評(píng)論區(qū)留下聯(lián)系方式就行。里面包含了我優(yōu)化過程中的詳細(xì)數(shù)據(jù)和每項(xiàng)調(diào)整的前后對(duì)比對(duì)正在做構(gòu)建效率治理的團(tuán)隊(duì)?wèi)?yīng)該會(huì)很有參考價(jià)值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩久久三区| www.91视频网| 丁香五月天堂网| 国产精品美女久久久久久网站| 天堂麻豆天美| 国产成人网址| 色综合av男人天堂| 久久精品国产AV一区二区三区| 97超色| 免费观看欧美日韩操逼视频| 黄色高清无码无码破解免费暗网| 成人性爱免费播放| 清纯唯美综合| 色哟哟精品1精品2| 久久久久久91香蕉国产| 91伊人影视综合| 一区二区偷拍拍视频| 精品人妻中文字幕4399| 久久成人国产精品| 久久精品一区二区一8| AV在线播放网址| 免费看污网址| 九九九九日本| 少妇一区二区三区在线观看| 色av中文字| 色综合婷婷| 日本熟女中文字幕一区| www.yeyecao| 色哟哟 日韩精品| 影音先锋国产精品| 无码又爽又硬又激情免费视频| 色就色综合| 欧美人与动性人交a| 国产精品操| 久久免费9| 欧美熟女逼久久久久久| 九九九九九九视频| 欧亚韩国999| 1二区9| 久久久久久久久九九久孕交| 亚洲瓯美色图| 天天α片| 久啪| 91亚.色| 亚洲图片91| 999综合网| 国产一区二区免费福利片| 超碰97人妻免费在线| 欧美一区二区男人天堂| 收看日本人日bb| 天天视频网站黄| 国产午夜福利专区综合| 8050无码八戒| 婷婷久草一区二区三区| www.高清无码诱惑一区.com| 伊人991| 亚洲s色图| 久久机热| 中文字幕一区二区在线日韩精品| 秋霞蝌科网日本一区| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | av婷婷色网| 欧美有码亚洲中文字幕一区二区三区四区| n1038 一二三区| 午夜精品久久久久| 亚洲高清在线se| 久久九九精品一区二区| 一区二区高清视频| 久草免费福利在线播放| 91狠狠综合久久久久久| 中国黄色特级精品一区二区三区片| www久久精品| 亚洲天天更新| 欧美成人精品A片免费一区99| 久久婷婷国产一区二区色| 日本天天人人狠狠在线日美女| 人人超碰在线观看黄| 狠狠爱AV| 久久精品一区二区一8| 欧美极度丰满熟妇hd| 亚洲影视综合网| 亚洲美女30b| 91欧美性| 少妇一级婬片免费放一级a性色.| 久久婷综合| 91原创在线观看| 久操影视| 国产日韩精品人妻久久久久色欲网站| 久久e6只有精品| 91快色色色色色| 婷婷在线视频| 97在线欧| 国产精品黄色三级av| 男人天堂2012| 女人久久久| 在线看的av| 欧美亚涩| 国产精品白丝| 99精品无码| 亚洲天天影视色综合| 伊人天天久久动态图| 国产情侣自拍在线播放| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 久久久久久亚洲精品不卡人乳| 区一二区日韩亚洲乱码av电影| 国际精品久久久| 国产操逼视频在线观看| 欧美天天综合站| 日本精品一级二级三级| 99久久com免费视频′| 婷婷九月丁香| 狼人久草| 欧美色91| 91久久久久久| 亚洲狠狠入| 精品伊人久久久大香线蕉小说| 天天天天做夜夜夜夜做| 亚洲免费成人在线高清无码视频| 色香综合天天影视综合 | 国产精品夜夜| 亚洲性综合9| 91热热色| 特污免视频| 99婷婷一区二区| 人人天天欧洲| 九九热久久99精品re| 国产天天骚| 国产拍偷精品网站| 欧亚久久偷拍视频| av在线免费一区二区| 色网在线| 操逼逼无码| 天天干人人乐| 九九九综合精品| 久这精品中文在线观看视频| 日韩三级久久久| 欧美日韩中文字幕人妻| 骚货人妻偷情自拍在线视频| 久久久久亚洲三级电影| 999 久久久| 午夜精品五区| 久久亚洲日韩熟女精品| 91蜜臀熟女| 校园春色综合网| 色老汉色| 无套内射性感少妇视频| 91制服丝袜中文字幕| 九九九综合精品| 久久日韩精品一区二区| 久久精品视频一区三区小泽玛利亚| 日韩综合成人免费视频| 天美麻花大全视频| 98久久| 中文字幕91综合| 亚洲精品三区在线观看| 亚洲区 欧美区| 人妻激情偷乱视频一区二区三区| 日韩综合无码色欲vv| 超碰97久久国| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 青娱乐久久艹| 国产高清精品一区二区三区毛片 | 骚人妻少妇视频| 99爱爱| 思思热一热婷婷热一热| 天天干2区3区| 欧亚在线视频| 日韩成人性日韩成人性爱视频在线免费观看| 性色avv| 国产人伦a片信息免费片| 高清无码学生妹高潮| 爆乳免费黄网站| 久久久久亚洲Aⅴ无码| 南澳成人一级片在线播放| 熟啊v色欧美热| 国产成人自拍视频在线| 五月丁香六月综合缴清无码| 色网色网色网色网色网色| 亚洲综合图色在线| 黄色不卡视频| 97玖玖人妻| 色噜噜综合网| 成年人性爱日韩| 啊啊啊啊啊啊在线观看| 国语av最新自产拍在线观看| 人人潮人人摸| WWW啪啪的com| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 无码人妻丰满热妇又大又粗| 啪啪资源网| 亚洲精品一二三四区| 嗯嗯啊啊视频在线看| 人人操人人插人www| 日本东京热加勒比久久| 97免费在线| 99热| 亚洲精品a人片在线观看视| 国产女同视频在线播放| 91网九色蝌蚪操熟女| 久久99九九九九6666免费观看软件| 污污污8888| 色999人与兽| 亚洲天堂综合AV| AV综合中文字幕干| 久久综合婷婷| 亚洲少妇色| 一色网男人的天堂| 日日夜夜骚| 国产嫩草精品A88AV在线| 婷婷丁香五月综合| 江都AV在线| 中文字幕日产av人| 日韩天堂av电影在线观看| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 91天堂| 美女91网| 国产精品视频91久久| 夜夜骑夜夜操| 一个色导综合| 看一级特黄a大一片| 免费的很黄很污的全部视频| h4610国产人妻| 操日韩第| 色香色欲天天综合网天天来吧| 留下AⅤ黄色片| 欧美十八禁在线看| 亚洲国产精品久久久久久久久久| 95精品在线| 青青草十区九区爱夜| 国产精品久久久777| 97一本大道亚洲一区| 日本精品一区二区三| 美女黄色91| 日本综合色图| 啪啪啪精品视频| 男女一级A片大黄,一进一出| 欧美另类色| 日本男人插女人的逼黄色| 亚洲drav色图| 精品人妻一区二区三区鲁大师| 色呦呦国产精品免费看| 男人a天堂手机在线版| 九九色热| 国产JDAV无码视频在线观看| 亚洲91在线播放影院| 日本道久久综合色色| 亚洲AV无码天美传媒一区| 日韩久久超碰色| 久久久久亚洲一区女同性恋中文字幕| 久久久亚洲熟妇资源| 国产黄色剧情影片麻豆免费播放| 成人性爱视频在线看| 91人妻Pr| 国产精品视频在线播放| 亚洲欧美另类小说| 国产精品免费视频人成| 人妻无码后入| 试看60秒 爽| 久久精品欧美一区二区三区不卡| 能看的AV| 国产精品乱码久久久久久| 男人天堂2017| 91美女中出| 大香蕉之青青草原| 少妇综合| 亚洲男人天堂2019| 香港久久久| 在线A日本| 嗯嗯啊中文字幕| 青草影院内射高潮| 亚洲AV噜噜狠狠网址蜜桃动漫| 精品少妇一区二区三区免费观看| 粉嫩av一区二区三区四季| 亚洲人天堂| 国产强奸超碰AV| 久久国99999| 青草一区二区| 久久婷色| 大茄子熟女AV导航| 最新中文字幕在线亚洲| 久久偷拍人| 在线观看中文字幕| 亚洲欧美精品一区天堂久久 | 久操| 日韩激情啪啪| 亚洲国产福利视频| 一个人免费HD91视频| 国内操逼视频二区| 97国产高清视频在线观看| 天天综合网91入口| 欧美成年人性爱视频免费观看| 视频二区美腿丝袜制服人妻欧美| 加勒比aⅴ| 强免费黄色网址| 欧美熟女丝袜| 九九探花视频在线观看| 91亚洲影视| 二色av| 国产精品白丝AV| 色情乱伦AV| 中文无线日韩一区| 九九探花视频在线观看| 韩日欧亚a级| 天天做天天爽| av影片在线观看不卡| 日韩另类色图| 亚洲一区日韩精品中文字幕| 欧美日韩大陆黑人少妇99| 日日操免费视频| 自拍视频大全亚洲专媒视频/一区二区三区| 欧洲性爱无码区| 亚洲情色1区| 中国农村熟妇毛片视频| 操逼999| 亚洲精品成人激情在线| 久九九九| 欧美一区二区三区成人性生活| 成人亚欧免费视频| 91制服丝袜中文字幕| 九九久久一区二区三区| 波多野结衣一级视频| 91天射| 中日高清无码操逼视频| 国产强奸乱伦第1页| 亚洲综合另类欧美久久久| 日韩偷拍一区二区三区| 9ⅰ久久久天天| 欧美顶级黄片AAAAA在线免费看| 97在线视频免费看| 欧美日韩婷婷中文| 丁香五月天啪啪| 一级AV性爱| 熟女熟妇一区二区三区视频| 综合网欧美在线| 手机午夜电影神马久久| 97人人夜| 伊人色综合欧美| 99热这里只有精| 亚洲中文字幕在线视频一区二区| 99蜜桃臀久久久欧美精品网站| 久久男女激情视频网站| 一级乱伦网站| 日韩有码专区| 91艹| 97免费免费视频网| 大香蕉宗合网在线| 探花激情视频| 国产一进一出视频网站| 在线观看亚洲成人精品| 偷拍导航视频网站| 97超视频在线观看| sss视频华人在线| 日韩精品黄片免费观看| 天天干天天舔| 久久久久久性爱免费视频| 今日头条成人一区二区三区四虎精品| 激情网五月天| 国产做?爰片久久毛片?片美国| 国产一区二区二区按摩精品啪视频| 日韩不卡网操逼中文字幕日韩| 天天日老熟妇| 欧美日韩第一页| 思思热久久成人| 风月影院十八禁| 国产日韩中文字幕欧美| 激情欧美日韩女同久久| 国产精品国产自产拍高清AV| 女色视频社区| 日本 欧美 亚中文字幕| 亚洲国产日韩欧美熟妇在线| 性久久| 国产粉嫩蜜臀av一区二区三区| 2020天天色综合| 很很很很操| 久久仑合| 2019天天操天天爽天天拍| 亚欧精品久久久久久久久久久| 亚洲欧美日韩夜夜| 嫖老熟女A片一二三区| blacked精品一区国产| 精品三级在线专区| a片自拍直播视频| 丝袜亚洲综合| 五月婷亚洲精品天堂| 一区二区三区四区理论片| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 高清不卡一二三区视频......| 亚洲操操操| 欧美极度丰满熟妇hd| 亚洲AV无码国产精品久久久久 | 婷婷另类小说| 狠操91,com| 日本熟妇精品九九| 99久在线精品99re8| 欧美亚洲清纯| 97碰碰色| 色吧5亚洲| 黄色视频60分钟| 欧美性暴力猛交XXXX| 久久国色天香香蕉| 亚洲自拍一区夜夜操| 欧美日韩国产电影| 久久人妻无码毛片A片麻豆| 人妻素股| 国产精品农村妇女| 天天躁日日躁狠狠躁| 国产主播福利| 国产亚洲精品玖玖玖在线观看| 青青草天天亲夜夜操网| 日本有码久久| 欧美精品,四区。五区| 久久精品国产97欧美精品亚洲 | 成人性生活高清视频在线播放| 精品一区二区三区国产| 日本三级一区二区 在线| 不卡一区二区日本视频| 色婷婷影院| 欧美色997| 内射中国少妇高清视频免费视频 | 黄片免费看黄片免费看| 久久久999日本大片| 熟女自慰久久久| 久久r精品| 丝袜美腿av女优在线| 国产精品白丝在线播放| 天天操天天舔| 日韩99999色| 国产精品久久久久久久久久二区三区| 国产精品播放| 久久久久亚洲Aⅴ无码| 天天操天天干一区二区 | 男人天堂网址| 国产精品一区av在线| 欧美成va视频网站| 丝袜综合| 日本精品五区| 日本在线激情一区二区三区 | 天天网综合| 亚洲日韩精品一区视频在线| 私色综合网| daxiangjiao你懂的| 9Ⅰ老熟女| 亚洲性爱无码乱伦av| 婷婷三区| 99久久久无码国产精品性啊聊| 伊人久操| 欧美亚州色的图| 91狠狠综合| 五月天丁香网| 国产吹潮女在线观看| 日本操逼aaaaa| 国产成人网址| 成人情色综合网| 一级片在线观看高清无码| 翘臀vidoes| 一本色道人妻久久| 无码自拍SM| 足交视频老司机| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 夜夜免费视频| 国产精品视频麻豆入口| 殴美日韩m| 97色伦97色伦国产欧美| 女人妻一区| 999999精品| 操91| 91亚洲在线| 一色网男人的天堂| 精品九九九九九九| 欧美日韩高潮喷水91| 97伊人| 天天爽天天爽| 欧美组图日韩亚洲中文字幕| 亚洲欧洲小说图片视频| 亚洲国产精品成人久久蜜臀| 97亚洲综合电影| 天天综合~91| 91色黑人少妇| 欧美激情另类一区二区| 色超碰综合| 国产极品99热在线播放69| 日本天天干天天搞一区| 国产h片在线观看视频| 亚洲精品人伦一区二区| 六月激情婷婷| 九九草| 免费的av网| 热久久国产| 久草精品一区| 伊人久久婷婷| 亚洲欧美综合| 91爱做| 秋霞欧美性爰视频| 久久黄人人爽视频| 综合干干干av久久久综合网| 萌白酱自拍视频| 国产尤物在线三区| 精品99999久久久久久| 亚洲欧洲日本精品中文a∨| 久久婷婷亚洲欧| 性爱1区| 久久久一区二区三区四区五区| a男人的天堂| 美国一区二区三区视频| 美女十八禁| 久久久9品一区二区三区| 天天激情综合站| 欧美日韩制服| 狠狠躁天天躁日日躁| 日韩免费性爱视频在线观看| 东北少妇高潮zzzz| 亚洲91综合| 国产精品一二三免费网站| 国产男女边吃边摸视频网站| 女人香蕉久久毛毛片精品| 久久色激情一区二区三区| 免费观看国产小粉嫩喷水精品午| 999国产精品999久久久久久| 狠插 制服 自拍| 超碰99热| 太久视频| 一个人免费视频观看在线WWW| 久久久国产护士丝袜美腿一| 91成人国产综合久久精品蜜月| 9久久精品| 国产欧美精选自拍一区| 69天堂| 密臀成人视频久久久| 亚洲色欲一区二区三区| 日日日日日| 欧美专区日本专区| 亚洲国产精品9999在线观看| 亲子敌伦对白在线播放| 国产伊人精品在线| 综合激情一一91| 欧美午夜色妇色鬼| 天堂蜜桃无码视频一区二区| 成片免费播放| 手机在线观看不卡无码av| 日本αv| 精品黄色电影| 久久久555| 欧美在线第五页| 精品96久久| 丝袜喷水在线| 偷拍欧美激情| 美女啊啊啊啊pc| 久久思思热| 久久99综合| 一级性爱aaaa| 精品伊人久久久大香线蕉小说| jk白丝没脱就开始啪啪| 91深夜夜| 婷婷去俺也去六月色| 亚欧毛片基地国产毛片基地| 99久久国产精品免费高潮| 97超碰欧美中文字幕| 日日骚网站| 日韩欧美中文字幕搭讪巨乳美人妻视频| 一摸二插三插| 天天久久久久久| 日本97久久| 欲色综合| 91美女网站| 17c嫩草51久久91嫩草| 日韩无码极品| 国产亚洲精品一区二区三区| 亚洲欧洲日本精品中文a∨| 欧美十八禁视频| 8x福利精品第一福利视频导航| 国产一区二区三区白丝| 操逼www.| 国产成人www免费人成看片| 久操不卡视频| 久操大香蕉手机视频在线看 | 久久久久久中文| 欧美人妖内射| 青春草莓视频在线观看网址| 日韩熟女操逼| 免费A V在线播放| 超碰一区二区| 久久久无码精品人妻二区| 久操频道免费在线呗看| 精品午夜福利导航| 国产强奸91| 亚欧Av| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 久久综合亚洲色1080p| 乱伦av.com| 五月丁香在线| 欧美色天堂网在线视频| 欧美,日韩,中文,另类| 中国熟妇| 一级黄色视频网| 欧美在线干| 18一区二区三区| 成人欧美日超碰| 青青青在线高清视频在线一二三四区| 26uuu最新| 18禁超污无遮挡无码免费网| 天天综合亚在线| 久久亚洲色图中文字幕| 国产精品播放| 国产熟女完整版中字| 免费夜夜爱黄色视频毛片| 青青草十区九区爱夜| 97网站在线观看| 欧美人与动性人交a| 亚洲欧洲网站免费观看| 亚洲综合小视频小说在线观看| 婷婷五月天色网| 中文字幕精品一区二| 岛国激情视频软件| 密乳无码| 四虎在线免费视频| 中文字幕99999| 亚洲欧洲综合av在线| 久操精品网| 91亚洲影院综合| 九九热精品视频六| 国产一级特黄大片处女| 精品国产嫩穴视频| 一区二区三区一亚洲中文字幕、综合区灬 | 精品国产乱码久久久久久日本公司| 男人天堂导航| 乱欲一区二区| 91国产大片| 天天日夜干| 99re国产中文字幕| 国产成人啪一区二区| 国产精品久久久久久久AV大片| 天天干,夜夜爽| 中文字幕av一区二区三区人妻少妇| 欧美日韩*字幕一区| 猛交交| 中文字幕乱妇免费视频| 久草福利在线资源站| 色天堂综合| 中文字幕在线免费观看2| 97人人干| 麻豆 美女 丝袜 人妻 中文| 日本福利二区视频| 欧美综合色综合| 亚洲av影音先锋| 亚洲第91页| 岛国在线免费视频| 日韩午夜国产| 韩国一级婬片A片无码天美| www.一本大99| 久久久久亚洲熟妇熟女| 密臀在线免费观看| 久热在线精品免费观看| 大香蕉欧美伊| 亚洲一区二区久久久久| 亚热日本熟女| av在线一区二区三区| 亚洲日韩久久精品一区| 日本一本道A级黄色毛片试看60分钟| 亚洲人妖网| 亚洲一卡2卡3卡4卡乱码网站 | 99热伊人| 色婷婷一区二区三区久久| http://qxhbdz.com| 狠狠婷婷亚洲中文综合久久| 亚洲欧洲精品成人| 大香蕉强奸乱伦| 欧美黑人168页欧美黑人167| a在线观看| 日躁天天爽爽| 综合激情97 | 国产精品色哟哟| 国产精品美女在线一区| 一二区在线观看视频| 亚洲日韩一区电影| 操啊国产| 春色综合免费| 无码欧美有限公司| 色天使亚洲综合在线观看| 欧洲精品欧洲精品| 任你爽视频| 小说区 图片区色 综合区| 久久久久亚洲一区女同性恋中文字幕| 亚洲美女色图| 一级免费啪啪片| 欧美色女人| 99久热精品99re6热| 人人射人人操人人摸| 五十路熟女人妻一区二区在线观看 | 久久免费老司机精品| 国产综合在线视频网站| 另类老少妇| 国产视频一区二区在线| AV网站高清无码在线观看| 国产精品成人午夜福利| 久久久久元码视频| 91粉芽高清在线一区二区| 国产丝袜欧美在线视频| 啪啪啪男女亚洲中文字幕99| 九九夜精品九九在线| 国产女性无套 免费观看| 成人国产视频在线观看| 97国产精品久久久久| 暖暖精品二区三区观看| 亚洲砖码砖专无区2023| 国产福利精品98视频| 亚洲激情深爱文学小说网站| 欧美色图中文字幕| 九九热精品视频在线观看| 成人性爱AV在线免费观看| 超碰色大香蕉| 欧洲自拍色图gif在线| 国语人妻精彩刺激| 亚洲国产欧美中文永久| 岛国毛片在线观看免费| 国产传媒日韩欧美| 国产精品久久泡妞网站| 丝袜狂射91| 91欧美美女日韩国产婷婷| 欧美日韩丝袜| 日本一级一级一级一级| 久久AV无码网址| av强奸乱轮| 成人午夜高潮av猛片| 精品人妻一区二区免费看| 伦理日韩国产久久| 久久99精品国产| 综合亚洲情色| 亚洲男人的天堂一区二区| 人妻少妇久久久| 色婷婷五月综合激情中文字幕| 操操操日本的逼| 天天狠操| 99久久久无码精品国产人| 亚洲乱码精品一区二区| 屁股久久久久久| 天美传媒婬乱在| 青青草好吊色| 色噜噜国产精品视频一区二区| 骚货操死你| 色色97爱| 欧美日韩中文字幕人妻| 欧美92| 国产精品噜噜噜日日日| 青青草公开在线免费不卡视频| 久久久91福利姬| 道久久五香丁月婷婷激情综合| 成人无码在线超碰网| 国产一国产一级毛片古装| 无码78| 国产精品九九九| 久久久97| 国产成久久综合片| 北约熟女超碰| 人人射人人操人人摸| 91呆哥人妻| 99色在线| 麻豆久久久久久久久丝袜| AV老汉| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 91人妻丝袜无码| 黄色高清久久无码依人| 91天美传媒在线| 黄页网站成人免费| 人妻少妇精品视频一区二区三区| 97欧美| 亚洲精品白浆高清久久久久久| 乱伦图av| 超碰av在线| 啊啊啊啊啊在线观看网址 | 欧色综合| 啊啊啊啊啊啊啊啊要喷了| 亚洲AV永久无码精品成人调教| 日韩精品午夜操呦呦不卡影院| 亚洲91色| 美女操逼福利视频| 中文字幕啊啊啊在线观看视频| 日本不卡高清免v欧美日韩在线观看| 激情亚洲天堂| 超碰在线综合97| 91激情| 日本www操操操| 久久草草欧美精品| 精品人妻一区二区乱码一区二区| 少妇精品久久久八区九区| 日韩啪啪视频| 人妻一区视频| 素人播放一区| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 高清无码一区二区三区| 大香蕉久| 欧美色图下一页| 青娱乐啪啪视频| 国产中文精品一区二区在线观看| 婷婷激情五月| 亚洲鸥美色图| 你懂的在线观看区国产| 人人摸人人舔一区二区| 精品午夜福利| 天天做日日爱夜夜爽| 国产日韩精品一区二区三区| 九九九九97| 精品国模无码| 婷婷色婷婷| 影音资源男人日韩| www.亚洲成人一区| 91蜜臀熟女| 清纯唯美综合亚洲| 国产不卡免费在线视频| 欧美一二三区四五区| 少妇天堂| 亚洲欧洲国产综合av| 伊人久久大香线综合无码| 亚洲人妻精品一区二区| 亚洲蜜桃V妇女| 久久婷婷亚洲欧| 私人尤物在线精品不卡| 狠狠久久亚洲欧美专区| 中文字幕精品三级久久久| 国产亚洲精品A在线观看下载| 婷婷月色| 天堂综合网| 婷婷亚洲综合| 91色综合激情| 九九九热| 久久久久久久少妇| 天天综合网日韩| 九九综合久久| 超碰久超碰久| 激情丁香五月婷婷| 另类欧美综合| 2020国产精品| 超碰超碰超碰超碰的大鸡吧操黑丝袜| www国产天美久久久| av麻豆啪啪| www.91逼逼.com| 九九九影院| 不卡一区二区日本视频| 欧美性爱网97| 啪啪资源网| 欧美色图在线视频少妇| 中文字幕狠狠玩| 麻豆传媒一区二区在线观看| 韩国成人精品久久久免费看| 欧美日韩97在线| 国产女生在线| 日韩欧美三级| 熟女精品一区二区三区| 欧美少妇色图| 91美腿丝袜在线观看| 一二三区操逼国产91| 熟啊v色欧美热| 人妻丰满熟妇一区二区三| 蜜臀人妻少妇久久在线观看| 69少妇一区二区| 青青欧洲黑| 久久亚洲精品成人av| 美女黄色91| 人妻啊啊人妻啊啊| se吧提供国产乱老熟视频胖女人| 日韩久久艹| a天堂视频| 香蕉精品二区二区| 亚洲情色一区三区| 丰满岳乱妇一区二区三区| 99色在线| 男人亚洲91首页在线| 亚洲精品国语在线播放| www.男人天堂| 婷婷激情五月综合| 国产精品分类在线观看| 国产精品久久久九九九| 日本熟女中文| 黄片免费日韩| 欧美亚洲综合999| 狠狠久久亚洲欧美专区| 午夜福利一区二区影院| 97国产综合欧美| 色综合一区二区三巨| 正在播放国产精品一区| 亚洲天堂电影网99999| 人妻夜夜爽天天爽麻豆三区网站| 午夜AV人气不卡| 日韩精品 欧美激情| 久久九七| 人人九九精| 亚洲91极品| 日本视频一区二区三区| 97亚洲中文| 91国内外在线| 天天干一区二区| 日韩亚洲Av人人夜夜澡人人爽| 超碰95| 综合97久久| 熟妇亚洲一区二区三区| 国产亚洲精品自在线亚洲情侣| 999精品国产高清一区二区| 9精品久久久久| 人人噜夜夜操| 欧美内射少妇| 99在线免费视频| 嗯啊抽插大香蕉网页| 91综合中文字幕| 99久在线精品99re8| n1038 一二三区| 久久男人的天堂国产| 女人被添高潮免费视频| 亚洲?V无码专区在线电影| 97AV在线观看| 97中文字幕一区| 天堂网 主播 亚洲| 久久久久久久久久久久久久久乱码| 日本 欧美 国产一区| 不卡一区二区日本视频| 日韩熟女操逼| 久草加勒比一区在线| 欧美亚洲首页| 欧美洲精品一级| 国产亚洲精品美女| 秋霞男人网| 欧中日成人免费影视| 极品五月天噜噜| 91九色首页| 久久久久国产无av| 日韩,欧美,中文在线| 欧美精品日韩久久久九| 国内精品久久人妻性色av| 97天堂| 亚洲欧美情色| 日韩一二三区| 国产传媒av天美传媒在线| 国产精品乱码久久久久久久久| 激情久久日韩精品中文字幕麻豆| 六月婷婷一区二区三区| 精品人妻一区春色| 涩涩久久精品| 久久久男人的天堂| 久久久久久久六六| 欧洲精品区| 91黑丝操| 国产精品伦理| 国产免费小视频| 大香久久| 神马久久久久久久| 秋霞色色影院| 久久在线观看免费视频| 欧美黄色手机在线观看| 日韩中文字幕视频| 琪琪精品免费一区二区三区| 先锋色眉乱伦资源| 免费毛片在线播放| 99久久久99久久91熟女| 欧美日韩丝袜| 怡红院怡春院| 美欧老女人97| 997色在线| 欧色网址| 丁香婷婷五月| 成人性爱av.com| 操逼逼无码| 日韩啪啪啪啪啪| 丝袜喷水在线| 校园春色亚洲无码| 91麻豆天美国产欧美高潮| 91亚洲综合在线| 日韩精品在线视频,日韩精品……| 丁香五六月啪啪| 亚洲AV秘 精品久久老牛影视| 亚洲图片偷拍视频区| 夜夜操二区| 久久久婷| 欧美色蜜桃97| 国产精品不卡高清在线观看| 人干人人人操人人摸| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 国产视频三区四区| 一区二区视频你懂的| 人妻少妇无码| 欧美真人抽搐一进一出gif | 欧亚韩国999| 精品久| 国产一级特黄大片处女| 国产成人网站在线观看| 麻豆精品久久久久久久| 亚洲男人天堂2016| 99re久久| 多毛小伙内射老太婆| 婷婷色导航| 久久伊人青青草| 婷婷激情四射| 伊人五月天激情| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 91视频综合网| 国产精品婬乱一级毛片彝族| 超91综合网| 国产九九九九九九| 中国操逼无码| 五月婷婷激情| 人妻激情在线视频| 视频一区二区免费在线| 日欧操屄视频| 日韩电影天堂视频一区二区| 本道综合精品| 人妻精品一区二区在线| 97人人爱人人做人人乐| BBBBB97COM| 加勒比久久综合网高清| 4141514逼喷水三级片| 久热网| 51一区二区三区| 亚洲熟妇丝袜在线观看| 91亚洲网站| 俺去俺来也在线www| 精品然女一区二区| 97这里只有精品| 国内毛片无码一级毛片| 91n免费处女| 免费啪啪av| 国产精品乱人伊人网| 97超碰9| 熟女突然公开看18禁影片 | 国产400孕妇孕交群| 中字乱伦AV| 玖玖超碰熟| 一线黄色免费性爱片| 天天天乱色综合全| 新亚洲无码| 97免费在线视频在线观看| 中国和日本人色哪个不下载能放| 探花熟女,姿勢到位,體驗感也到位| 麻豆精品A片免费观看| 亚洲中文字幕在现观看| 亚洲少妇色| 夜夜爽夜夜操| 五月天婷婷影院| 五月天婷婷社区| 午夜丁香| 情色图区| 丁香五月婷婷五月| 老熟女阿 国产91| 亚洲天堂 视频你懂的| 情色五月天就去干| 国产福利av精彩对白| 日本亚欧爱爱| 亚洲欧洲综合视频在线| 精品国产乱码久久久影院| 婷婷亚洲五月***久久| 国产精品乱码久久久、久久| 欧美激情中文字幕另类小说| 久久久久久免费电影| 久久久 国产精品| 熟人人妻少妇精品久久| 亚洲久热| 啊啊啊啊网站| 99操| 日本操逼视频导航| 天天热精品| 久草婷婷| 日本操逼无码| 试看福利| 亚洲第一无码播放立川理惠| 理论久久婷婷网8| 青青草视频这里只有精品| 无码高清操逼| jiujiujiujingpin| 国产成人自拍视频在线| 国产精品久久久久久久久久久久久久| 国产11页| 51久久夜色精品国产麻豆| 中国黄色特级精品一区二区三区片| 福利在线黄片| 97超碰超碰| 欧美少妇高潮久久91| AAA久久| 69精品少妇一区二区三区蜜桃| 国产精品扒开腿做爽爽爽视频| 天堂v无码免费视频| 精品国产99999| 日韩亚洲美女一区久久| av爱爱爱| 91美女视频。| 蜜臀精品1区2区| 性爱乱伦一区| 亚洲男人天堂av| 狠狠躁天天躁日日躁| 色噜噜婷婷| 收看日本人日bb| 日本道人妻久久久在线不卡色视频| 亚码激情| 国产久久av| 99热这里只有精品18| 久草男人天堂| 2020视频1区2区3区| av最新免费中文字幕| 亚州性色| 综合性视频99| 少妇同性| 日本色婷婷| 日本无码1| 免费国产视频| 蜜桃臀久久| 男人干美女| 无码又爽又硬又激情免费视频| 精品无码久久久久久国产浪潮| 久久久91| 另类成人首页一区| 有码免费观看| 激情婷婷丁香| 岛国视频免费在线观看| 国产精品福利资源在线尤物| 91青青| 人妻素股| 久久超碰亚洲人| 婷婷在线视频| 强奸乱伦日韩AV| 国产亚洲深夜激情| 亚洲欧美日韩激情不卡| 99蜜月精品久久| 日韩ab网| 国产精品久久久蜜臀| 9久超碰| 色婷婷电影| 在线性黄高清免费视频| av无线看| 国产黄色剧情影片麻豆免费播放| 欧美高清91| 97视频免费在线| 激情人妻另类| 熟妇精品juliaannAV| 亚洲AO在线| 日韩美女久久一区二区三区| 婷婷五月天成人| 日韩性爱视频免费在线| 无码高清专| 精品v日韩欧美国产| 免费人成在线观看网站品爱网| 亚洲国产一级黄色视频| 97在线观看| 东京热男人的天堂| 91亚洲人| 国产成人久久精品蜜臀| 欧美九九九九九| 亚洲综合九九| 男人天堂欧美| 青青在线视频日韩欧美| 亚洲欧美首页| 亚洲超碰97| 四虎精品永久在线播放| a级免费在线观看| 国产免费黄色一级大片| 亚洲欧美成人网站AAA| 国产偷拍网站| 黄人人操人人操| 99国产在线 精品 视频| 日本一级婬片试看三分钟| 日韩卡一卡二卡三在线| 乱论91| 九色视频91| 午夜免费视频1000| 亚州少妇| 欧美高潮在线|