国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux設(shè)備驅(qū)動(dòng)工程師入門:從字符設(shè)備到設(shè)備樹的完整路徑

Linux設(shè)備驅(qū)動(dòng)工程師入門:從字符設(shè)備到設(shè)備樹的完整路徑 角色定得挺準(zhǔn)——設(shè)備驅(qū)動(dòng)工程師在不少人眼里確實(shí)帶著一層“神秘濾鏡”一來是平時(shí)很少直接接觸二來是薪資普遍不錯(cuò)網(wǎng)上還總有人說“沒個(gè)五年十年寫不了驅(qū)動(dòng)”。我在嵌入式Linux這個(gè)圈子里混了十來年從應(yīng)用層一路折騰到內(nèi)核態(tài)今天就把這層窗戶紙捅破。你可以把這篇內(nèi)容當(dāng)成一份完整的職業(yè)觀察筆記也可以當(dāng)成一份入門地圖我會(huì)把Linux設(shè)備驅(qū)動(dòng)工程師的真實(shí)工作內(nèi)容、核心技術(shù)棧、職業(yè)發(fā)展和入行路徑一次性講透包括我自己踩過的坑和復(fù)盤出來的經(jīng)驗(yàn)。無論你是在校學(xué)生、做應(yīng)用開發(fā)想轉(zhuǎn)內(nèi)核方向的老兵還是剛跳進(jìn)嵌入式行業(yè)的新人這篇都值得耐心讀完。1. “神秘感”是從哪來的這個(gè)崗位到底在做什么1.1 外界誤讀和真實(shí)工作場景的差距一提起設(shè)備驅(qū)動(dòng)工程師很多人的第一反應(yīng)是“寫底層的很厲害但是不知道他每天具體在干嘛”。實(shí)際上這個(gè)崗位的工作范圍非常清晰讓操作系統(tǒng)能正確控制某一塊硬件。以手機(jī)為例屏幕、攝像頭、觸摸屏、Wi-Fi模塊、傳感器、電池管理芯片每一類硬件都需要對應(yīng)的驅(qū)動(dòng)代碼操作系統(tǒng)才能調(diào)用它們干活。我一直覺得“神秘”這個(gè)印象主要來自三個(gè)原因第一驅(qū)動(dòng)代碼跑在內(nèi)核態(tài)普通應(yīng)用開發(fā)者一輩子可能都碰不到內(nèi)核源碼第二驅(qū)動(dòng)開發(fā)依賴具體硬件沒有開發(fā)板或者對應(yīng)的芯片文檔光看代碼很難建立實(shí)感第三內(nèi)核態(tài)出問題表現(xiàn)形式往往是系統(tǒng)崩潰、重啟、死機(jī)沒有應(yīng)用層那種清晰的報(bào)錯(cuò)堆棧排錯(cuò)難度看起來很高。但真實(shí)的工作場景其實(shí)沒那么玄乎。我日常做的事情大致可以分成五塊讀芯片手冊、看內(nèi)核現(xiàn)有框架、寫驅(qū)動(dòng)代碼、調(diào)試硬件交互、配合應(yīng)用層調(diào)接口。芯片手冊是最核心的輸入比如你要寫一個(gè)I2C溫濕度傳感器的驅(qū)動(dòng)第一步不是打開編輯器寫代碼而是把芯片的datasheet翻出來搞清楚寄存器地址、I2C從機(jī)地址、數(shù)據(jù)格式、轉(zhuǎn)換公式然后去找內(nèi)核現(xiàn)成的i2c_driver框架按規(guī)矩實(shí)現(xiàn)probe、remove、讀寫函數(shù)。1.2 為什么高薪高在哪里高薪這個(gè)問題我可以直接給結(jié)論這個(gè)崗位薪資高本質(zhì)上是供需關(guān)系和進(jìn)入門檻共同決定的。供給少是因?yàn)閮?nèi)核開發(fā)的學(xué)習(xí)曲線確實(shí)陡峭光是把Linux內(nèi)核的進(jìn)程調(diào)度、內(nèi)存管理、中斷系統(tǒng)、并發(fā)機(jī)制搞清楚就需要不短的時(shí)間需求多是因?yàn)楝F(xiàn)在的設(shè)備智能化程度越來越高從手機(jī)、汽車、路由器到醫(yī)療設(shè)備、工業(yè)控制器只要跑Linux系統(tǒng)就需要有人維護(hù)和編寫驅(qū)動(dòng)。另外還有一個(gè)容易被忽視的原因驅(qū)動(dòng)工程師承擔(dān)的責(zé)任邊界是模糊的。硬件工程師可以把鍋推給驅(qū)動(dòng)說你軟件沒配好應(yīng)用工程師也可以把鍋推給驅(qū)動(dòng)說我的數(shù)據(jù)一直讀不對。最后的定位環(huán)節(jié)往往是驅(qū)動(dòng)工程師拿邏輯分析儀、示波器一根線一根線地排查。這種“兜底”能力加上內(nèi)核態(tài)開發(fā)本身對系統(tǒng)穩(wěn)定性要求的嚴(yán)苛程度自然推高了崗位價(jià)值。這幾年我觀察到的一線薪酬區(qū)間是應(yīng)屆生如果能拿出像樣的內(nèi)核學(xué)習(xí)項(xiàng)目起步基本高于普通應(yīng)用開發(fā)三到五年經(jīng)驗(yàn)、能獨(dú)立負(fù)責(zé)一個(gè)SoC平臺(tái)bring-up的工程師在一線城市的薪資非常有競爭力如果你還能搞定音頻、Camera、網(wǎng)絡(luò)這類復(fù)雜度更高的子系統(tǒng)薪資天花板還能繼續(xù)往上走。1.3 這個(gè)崗位的真正門檻不是寫代碼而是讀懂約束寫驅(qū)動(dòng)代碼本身不復(fù)雜真正的門檻是讀懂硬件的約束。硬件不是軟件一些在應(yīng)用開發(fā)里完全不需要考慮的物理問題在這里必須時(shí)刻記在心里。比如寄存器寫入之后不是立刻生效的可能需要等待幾個(gè)時(shí)鐘周期某些寄存器是只讀的你不能想當(dāng)然地往里面寫值某些硬件模塊有嚴(yán)格的時(shí)序要求你在驅(qū)動(dòng)里加一個(gè)調(diào)試printk都可能破壞時(shí)序?qū)е略O(shè)備莫名其妙工作異常。這也是為什么我一直強(qiáng)調(diào)做驅(qū)動(dòng)開發(fā)耐心和細(xì)致比聰明更重要。聰明的頭腦能幫你快速理解框架但能不能沉下心來把200頁的芯片手冊啃完能不能一根信號一根信號地對照時(shí)序圖決定了你能在這個(gè)領(lǐng)域走多深。2. 最核心的入門骨架Linux字符設(shè)備驅(qū)動(dòng)框架拆解2.1 為什么從字符設(shè)備入手關(guān)于Linux設(shè)備驅(qū)動(dòng)網(wǎng)絡(luò)上被搜得最多的一個(gè)詞就是“字符設(shè)備驅(qū)動(dòng)框架”。這完全合理如果你對驅(qū)動(dòng)開發(fā)完全沒有概念字符設(shè)備就是最好的切入口。字符設(shè)備的典型特征是數(shù)據(jù)按字節(jié)流順序讀寫沒有固定大小的塊結(jié)構(gòu)。鍵盤、鼠標(biāo)、串口、溫度傳感器、LED燈全都是典型的字符設(shè)備。我見過不少新人一上來就想寫網(wǎng)絡(luò)驅(qū)動(dòng)或者USB驅(qū)動(dòng)我的建議是先打住。字符設(shè)備驅(qū)動(dòng)框架雖然簡單但它覆蓋了驅(qū)動(dòng)開發(fā)的完整生命周期模塊加載、設(shè)備注冊、文件操作接口實(shí)現(xiàn)、數(shù)據(jù)讀寫、模塊卸載。這個(gè)流程走通了你再看platform bus、PCI、USB、V4L2這些復(fù)雜的子系統(tǒng)會(huì)發(fā)現(xiàn)它們的核心骨架并沒有變只是掛接的總線和協(xié)議復(fù)雜了。2.2 框架里每個(gè)環(huán)節(jié)背后的“為什么”先看一個(gè)最精簡的字符設(shè)備驅(qū)動(dòng)骨架然后我再逐行拆解每個(gè)環(huán)節(jié)的用意。#include linux/module.h #include linux/fs.h #include linux/cdev.h #include linux/device.h #include linux/uaccess.h #define DEVICE_NAME mydemo #define CLASS_NAME mydemo_class static dev_t dev_num; static struct cdev my_cdev; static struct class *my_class; static struct device *my_device; static int demo_open(struct inode *inode, struct file *filp) { pr_info(mydemo: open called\n); return 0; } static ssize_t demo_read(struct file *filp, char __user *buf, size_t count, loff_t *offset) { char kernel_buf[64] hello from kernel\n; size_t len strlen(kernel_buf); int ret; if (count len) return -EINVAL; ret copy_to_user(buf, kernel_buf, len); if (ret) return -EFAULT; return len; } static ssize_t demo_write(struct file *filp, const char __user *buf, size_t count, loff_t *offset) { char kernel_buf[128]; int ret; if (count sizeof(kernel_buf)) return -EINVAL; ret copy_from_user(kernel_buf, buf, count); if (ret) return -EFAULT; kernel_buf[count] \0; pr_info(mydemo: received %s\n, kernel_buf); return count; } static int demo_release(struct inode *inode, struct file *filp) { pr_info(mydemo: release called\n); return 0; } static struct file_operations fops { .owner THIS_MODULE, .open demo_open, .read demo_read, .write demo_write, .release demo_release, }; static int __init demo_init(void) { int ret; ret alloc_chrdev_region(dev_num, 0, 1, DEVICE_NAME); if (ret 0) { pr_err(mydemo: failed to alloc region\n); return ret; } cdev_init(my_cdev, fops); my_cdev.owner THIS_MODULE; ret cdev_add(my_cdev, dev_num, 1); if (ret 0) { pr_err(mydemo: failed to add cdev\n); goto err_unregister; } my_class class_create(CLASS_NAME); if (IS_ERR(my_class)) { ret PTR_ERR(my_class); goto err_cdev_del; } my_device device_create(my_class, NULL, dev_num, NULL, DEVICE_NAME); if (IS_ERR(my_device)) { ret PTR_ERR(my_device); goto err_class_destroy; } pr_info(mydemo: init success, major %d minor %d\n, MAJOR(dev_num), MINOR(dev_num)); return 0; err_class_destroy: class_destroy(my_class); err_cdev_del: cdev_del(my_cdev); err_unregister: unregister_chrdev_region(dev_num, 1); return ret; } static void __exit demo_exit(void) { device_destroy(my_class, dev_num); class_destroy(my_class); cdev_del(my_cdev); unregister_chrdev_region(dev_num, 1); pr_info(mydemo: exit\n); } module_init(demo_init); module_exit(demo_exit); MODULE_LICENSE(GPL); MODULE_AUTHOR(Your Name); MODULE_DESCRIPTION(A simple character device driver demo);這個(gè)例子看起來代碼量不大每一行都至少對應(yīng)一個(gè)內(nèi)核機(jī)制。alloc_chrdev_region的作用是向內(nèi)核申請一個(gè)未使用的設(shè)備號設(shè)備號由主設(shè)備號和次設(shè)備號組成。主設(shè)備號用來關(guān)聯(lián)驅(qū)動(dòng)次設(shè)備號用來區(qū)分同一個(gè)驅(qū)動(dòng)下的不同設(shè)備。這里選擇動(dòng)態(tài)分配而不是寫死主設(shè)備號原則很簡單避免和系統(tǒng)已有的設(shè)備號沖突。cdev_init和cdev_add是把我們的file_operations結(jié)構(gòu)體注冊進(jìn)內(nèi)核的字符設(shè)備層。注冊成功之后用戶在應(yīng)用層打開/dev/mydemo這個(gè)節(jié)點(diǎn)內(nèi)核就能根據(jù)設(shè)備號找到對應(yīng)的cdev進(jìn)而找到我們實(shí)現(xiàn)的demo_open、demo_read這些函數(shù)。class和device的創(chuàng)建容易被新手當(dāng)成“可有可無的儀式感”其實(shí)非常關(guān)鍵。class_create之后再用device_create內(nèi)核會(huì)自動(dòng)在/sys/class/下生成設(shè)備信息并且讓設(shè)備節(jié)點(diǎn)在udev的配合下自動(dòng)出現(xiàn)在/dev/目錄里。沒有這一步你就只能手動(dòng)mknod創(chuàng)建設(shè)備節(jié)點(diǎn)節(jié)點(diǎn)號一旦對不上應(yīng)用層打不開設(shè)備調(diào)試體驗(yàn)極差。2.3 最容易被新手忽略的承上啟下問題框架寫完了怎么驗(yàn)證你需要在開發(fā)板上或者虛擬機(jī)里用make編譯這個(gè)模塊用內(nèi)核源碼目錄下的Makefile做外部模塊編譯然后依次執(zhí)行sudo insmod mydemo.ko lsmod | grep mydemo ls -l /dev/mydemo echo hello /dev/mydemo cat /dev/mydemo sudo rmmod mydemoecho和cat分別觸發(fā)write和read路徑如果一切正常read會(huì)返回hello from kernelwrite的字符串也會(huì)通過pr_info打印到內(nèi)核日志里用dmesg就能看到。很多人在這一步碰到的問題是編譯報(bào)錯(cuò)找不到linux/module.h。這通常是因?yàn)闆]有把內(nèi)核頭文件裝好或者編譯時(shí)KDIR指向了當(dāng)前系統(tǒng)的運(yùn)行內(nèi)核而不是有完整源碼的目錄。這里有個(gè)我自己常用的配置思路如果是開發(fā)板就在板子的Linux源碼目錄下建一個(gè)驅(qū)動(dòng)子目錄用內(nèi)核的obj-m機(jī)制來編譯如果是虛擬機(jī)裝好linux-headers-$(uname -r)再編譯基本能規(guī)避90%以上的頭文件問題。3. 從字符設(shè)備到真實(shí)項(xiàng)目繞過設(shè)備樹這一關(guān)不現(xiàn)實(shí)3.1 設(shè)備樹到底解決的是什么問題如果你搜“l(fā)inux設(shè)備驅(qū)動(dòng)”幾乎一定會(huì)碰到“設(shè)備樹”Device Tree, DTS這個(gè)詞這也是當(dāng)前嵌入式Linux驅(qū)動(dòng)開發(fā)繞不過去的核心概念。網(wǎng)上關(guān)于設(shè)備樹的討論很多但真正能把它講清楚的不多。我個(gè)人的理解方式是設(shè)備樹是嵌入式世界里硬件資源的登記冊。傳統(tǒng)的PC平臺(tái)硬件資源基本是標(biāo)準(zhǔn)的、固定的內(nèi)核啟動(dòng)時(shí)可以通過PCI總線枚舉和ACPI表來發(fā)現(xiàn)硬件但嵌入式平臺(tái)的硬件情況千差萬別同樣是i.MX6ULL芯片A廠商的板子GPIO1_IO03接的是一顆LEDB廠商的板子GPIO1_IO03接的卻可能是一顆按鍵。內(nèi)核如果寫死某個(gè)GPIO是LED換一塊板子就廢了。設(shè)備樹的作用就是把“哪顆引腳接了什么東西”這樣的信息從內(nèi)核源碼中抽離出來變成可以被bootloader加載、可以被內(nèi)核解析的數(shù)據(jù)描述。設(shè)備樹文件.dts編譯后生成.dtbbootloader啟動(dòng)內(nèi)核時(shí)把.dtb傳給內(nèi)核內(nèi)核通過解析設(shè)備樹來知道當(dāng)前板子上有哪些設(shè)備、寄存器地址是什么、中斷號是多少、引腳配置怎樣然后創(chuàng)建對應(yīng)的platform_device最終觸發(fā)我們驅(qū)動(dòng)里的probe函數(shù)。3.2 probe函數(shù)的匹配邏輯和常見翻車點(diǎn)一個(gè)platform驅(qū)動(dòng)核心入口不再是init函數(shù)里主動(dòng)注冊設(shè)備而是靠設(shè)備樹里的compatible字符串和驅(qū)動(dòng)里的of_match_table進(jìn)行匹配。以我手頭一個(gè)GPIO LED的驅(qū)動(dòng)為例設(shè)備樹節(jié)點(diǎn)可能是這樣的myled { compatible mycompany,myled; gpio-led gpio1 3 GPIO_ACTIVE_HIGH; };驅(qū)動(dòng)側(cè)的關(guān)鍵代碼是static const struct of_device_id myled_of_match[] { { .compatible mycompany,myled }, {} }; MODULE_DEVICE_TABLE(of, myled_of_match); static struct platform_driver myled_driver { .probe myled_probe, .remove myled_remove, .driver { .name myled, .of_match_table myled_of_match, }, }; module_platform_driver(myled_driver);這里最常見的翻車場景有兩個(gè)。第一設(shè)備樹里compatible寫的是mycompany,myled驅(qū)動(dòng)里匹配表卻寫成了mycompany,my-led一個(gè)連字符之差probe函數(shù)永遠(yuǎn)不被調(diào)用第二修改設(shè)備樹源碼之后沒有重新編譯生成.dtb并更新到boot分區(qū)bootloader加載的還是老版本設(shè)備樹你調(diào)試一天都找不到原因。我在實(shí)際項(xiàng)目中排查過很多次這類問題經(jīng)驗(yàn)是先讀/sys/firmware/devicetree/base/目錄看內(nèi)核解析到的設(shè)備樹內(nèi)容是不是你修改后的版本再查/sys/bus/platform/devices/下有沒有生成對應(yīng)的設(shè)備節(jié)點(diǎn)最后看內(nèi)核日志里是否打印了platform myled: Driver myled requests probe deferral這類提示。按照這個(gè)鏈路排查基本能快速定位是設(shè)備樹沒生效、還是驅(qū)動(dòng)匹配失敗。3.3 怎樣讀設(shè)備樹又不被繞暈初學(xué)設(shè)備樹你會(huì)看到一大堆reg、interrupts、clocks、pinctrl屬性。我的建議是不要試圖一把抓全先把最常用的幾個(gè)搞懂compatible負(fù)責(zé)匹配驅(qū)動(dòng)reg負(fù)責(zé)描述寄存器地址和長度interrupts負(fù)責(zé)中斷號gpio相關(guān)屬性負(fù)責(zé)引腳操作clocks負(fù)責(zé)時(shí)鐘關(guān)聯(lián)。等你能讀懂一份簡單的i.MX或者全志平臺(tái)設(shè)備樹時(shí)再去看內(nèi)核的Documentation/devicetree/bindings/目錄那里面有每個(gè)設(shè)備類型對應(yīng)的bindings文檔是官方欽定的設(shè)備樹屬性說明。遇到不熟悉的IP對應(yīng)的bindings文檔一定要看屬性名寫錯(cuò)一個(gè)字符驅(qū)動(dòng)probe都可能失敗。4. 內(nèi)核態(tài)和用戶態(tài)的邊界數(shù)據(jù)交互是驅(qū)動(dòng)開發(fā)的命門4.1 copy_to_user和copy_from_user不是隨便用的寫字符設(shè)備驅(qū)動(dòng)時(shí)你一定會(huì)用到copy_to_user和copy_from_user。為什么不能直接用memcpy呢原因有兩點(diǎn)。第一用戶態(tài)指針是虛擬地址內(nèi)核態(tài)不能假設(shè)它指向的物理內(nèi)存一定可訪問第二內(nèi)核必須保證安全性不能因?yàn)橛脩魝魅胍粋€(gè)野指針就讓內(nèi)核崩潰。copy_to_user和copy_from_user內(nèi)部會(huì)做地址合法性檢查并且根據(jù)當(dāng)前進(jìn)程的頁表來完成用戶態(tài)和內(nèi)核態(tài)之間的數(shù)據(jù)拷貝。如果拷貝失敗會(huì)返回未拷貝完成的字節(jié)數(shù)。我在代碼里會(huì)刻意檢查這個(gè)返回值一旦非零直接返回-EFAULT給應(yīng)用層讓應(yīng)用層知道是地址傳錯(cuò)了還是緩沖區(qū)太小。4.2 為什么需要ioctl它在實(shí)際項(xiàng)目中怎么用在應(yīng)用開發(fā)里你調(diào)用read和write就能完成大部分?jǐn)?shù)據(jù)交互但到了驅(qū)動(dòng)開發(fā)很多操作無法用“讀”或“寫”來抽象。比如你想讓串口驅(qū)動(dòng)修改波特率讓攝像頭驅(qū)動(dòng)切換分辨率讓LED驅(qū)動(dòng)改變閃爍模式這時(shí)候就需要ioctl。它本質(zhì)上是一個(gè)命令分發(fā)器通過不同的cmd告訴驅(qū)動(dòng)“我要做什么”。一個(gè)簡單的LED驅(qū)動(dòng)我通常會(huì)這樣定義命令#define MYLED_MAGIC L #define MYLED_SET_ON _IO(MYLED_MAGIC, 1) #define MYLED_SET_OFF _IO(MYLED_MAGIC, 2) #define MYLED_GET_STATE _IOR(MYLED_MAGIC, 3, int)然后在file_operations里實(shí)現(xiàn).unlocked_ioctl。用戶態(tài)通過ioctl(fd, MYLED_SET_ON)來點(diǎn)亮LED。需要注意的是現(xiàn)代內(nèi)核里一般用unlocked_ioctl而老的ioctl字段已經(jīng)被移除了。做驅(qū)動(dòng)開發(fā)時(shí)如果抄到老代碼編譯報(bào)錯(cuò)不要慌把.ioctl改成.unlocked_ioctl往往就好了。4.3 mmap高吞吐場景下的終極方案如果驅(qū)動(dòng)和應(yīng)用層之間需要頻繁傳遞大量數(shù)據(jù)比如攝像頭采集的幀數(shù)據(jù)、GPU處理后的圖像數(shù)據(jù)用read/write拷貝來拷貝去性能是不行的。這時(shí)候可以用mmap讓用戶態(tài)進(jìn)程直接把設(shè)備的物理內(nèi)存映射到自己的虛擬地址空間省掉內(nèi)核態(tài)的中間拷貝。我在實(shí)際項(xiàng)目里用mmap做過圖像傳感器數(shù)據(jù)采集吞吐量確實(shí)提升明顯但它也引入了新的復(fù)雜度。最典型的問題是緩存一致性CPU和設(shè)備DMA同時(shí)對同一塊內(nèi)存操作時(shí)可能會(huì)出現(xiàn)數(shù)據(jù)不一致。你需要搞清楚是否要調(diào)用dma_alloc_coherent分配一致內(nèi)存或者用dma_map_single配合適當(dāng)?shù)耐浇涌趤砭S護(hù)cache。這塊知識(shí)點(diǎn)比較深入新手階段可以先了解mmap能解決什么問題、引入什么代價(jià)等真正做視頻方向時(shí)再深入。5. 并發(fā)、中斷和時(shí)間驅(qū)動(dòng)工程師真正燒腦的三座山5.1 并發(fā)場景比應(yīng)用開發(fā)殘酷得多應(yīng)用開發(fā)里用多線程處理并發(fā)加把鎖基本能解決大部分問題驅(qū)動(dòng)開發(fā)里并發(fā)可能來自進(jìn)程上下文、中斷上下文、多核CPU同時(shí)訪問還有底半部機(jī)制tasklet、workqueue、軟中斷。任何一條路徑上對共享數(shù)據(jù)的非原子訪問都可能引起競態(tài)條件。踩過坑之后我才理解驅(qū)動(dòng)里加鎖的第一原則不是“所有地方都加”而是“明確每個(gè)共享數(shù)據(jù)的保護(hù)責(zé)任”。自旋鎖適合臨界區(qū)很短、不能在持有鎖時(shí)睡眠的場景互斥鎖適合臨界區(qū)較長、允許睡眠的場景。如果在自旋鎖里調(diào)用了一個(gè)可能睡眠的函數(shù)比如kmalloc時(shí)用了GFP_KERNEL系統(tǒng)可能會(huì)在持鎖期間被調(diào)度出去死鎖就是大概率的事情。5.2 中斷上下文里不能做的那些事中斷處理是驅(qū)動(dòng)開發(fā)中另一個(gè)容易翻車的領(lǐng)域。硬件觸發(fā)中斷后CPU會(huì)跳到中斷處理函數(shù)此時(shí)系統(tǒng)處于中斷上下文很多常規(guī)操作是被禁止的。比如你不能直接調(diào)用會(huì)睡眠的函數(shù)wait_event、mutex_lock至少要避免不能訪問用戶空間甚至獲取某些鎖也要特別小心。正確的套路是頂半部加底半部上半部handler里只做最緊急的事比如讀取硬件狀態(tài)寄存器、清除中斷標(biāo)志、把數(shù)據(jù)放入緩沖區(qū)然后觸發(fā)底半部底半部里再處理真正耗時(shí)的操作比如數(shù)據(jù)解析、喚醒等待隊(duì)列。常用的底半部機(jī)制有tasklet、workqueue和threaded IRQ。我的習(xí)慣是能用request_threaded_irq就用中斷線程化主中斷處理函數(shù)里只做標(biāo)記和確認(rèn)其余工作全部丟給線程簡單清晰也不容易出問題。5.3 時(shí)間感知和延時(shí)操作驅(qū)動(dòng)工程師必須對時(shí)間敏感。硬件操作里經(jīng)常需要微秒級延時(shí)比如傳感器上電后要等10ms才能開始I2C通信寄存器寫完后要等100微秒才能讀狀態(tài)。在內(nèi)核態(tài)不同精度的延時(shí)函數(shù)適用場景完全不同我按自己的經(jīng)驗(yàn)整理了一個(gè)參考表函數(shù)精度適用場景注意事項(xiàng)udelay微秒級忙等待不可睡眠時(shí)用長延時(shí)浪費(fèi)CPU小于10us建議用它mdelay毫秒級基于udelay封裝不推薦用于長延時(shí)的輪詢場景usleep_range微秒到毫秒允許睡眠的上下文比udelay省電推薦在進(jìn)程上下文用msleep毫秒級允許睡眠實(shí)際睡眠時(shí)間可能比請求值長schedule_timeout任意讓出CPU直到超時(shí)常用于等待特定條件踩過的坑是在中斷上下文誤用usleep_range。它其實(shí)會(huì)調(diào)度睡眠中斷上下文里一調(diào)用系統(tǒng)直接報(bào)BUG: sleeping function called from invalid context。看到這個(gè)報(bào)錯(cuò)先檢查你的調(diào)用點(diǎn)是不是在中斷里。5.4 大規(guī)模并發(fā)調(diào)試的笨辦法和巧辦法內(nèi)核并發(fā)問題復(fù)現(xiàn)困難調(diào)試更困難。我的經(jīng)驗(yàn)是按這個(gè)順序來先靠代碼審查把每個(gè)共享變量的訪問路徑列出來畫出可能發(fā)生競態(tài)的組合這一步能解決七成問題再用lockdep檢測死鎖開機(jī)參數(shù)里加lockdep如果代碼存在鎖序問題內(nèi)核會(huì)打印詳細(xì)的死鎖報(bào)告最后才是我個(gè)人最喜歡的bpf工具在開發(fā)板上用bpftrace掛到特定的內(nèi)核函數(shù)上統(tǒng)計(jì)鎖等待時(shí)間、臨界區(qū)執(zhí)行時(shí)間比盲目加printk高效得多。6. 驅(qū)動(dòng)開發(fā)的支撐生態(tài)調(diào)試工具與真實(shí)項(xiàng)目工作流6.1 沒有示波器和邏輯分析儀你寸步難行很多人寫驅(qū)動(dòng)把精力全部放在代碼上忽略了硬件調(diào)試工具的重要性。我的觀點(diǎn)是驅(qū)動(dòng)工程師的必備裝備不只是鍵盤還有邏輯分析儀和示波器。調(diào)I2C設(shè)備時(shí)邏輯分析儀能直接抓出SDA和SCL上的波形對照芯片手冊的時(shí)序圖一眼就能看出是不是地址錯(cuò)了、ACK位丟了調(diào)UART時(shí)波形能告訴你波特率是否匹配。kernelside的軟件調(diào)試手段當(dāng)然也重要。dmesg看內(nèi)核日志/proc和/sys接口看運(yùn)行時(shí)狀態(tài)ftrace追蹤函數(shù)調(diào)用棧printk雖然笨但好用。不過我真心的建議是屬性調(diào)試信息不要直接丟在release版本里可以用pr_debug加動(dòng)態(tài)調(diào)試開關(guān)看日志時(shí)通過/sys/kernel/debug/dynamic_debug/按模塊開啟這樣既保留了排查能力又不拖累線上性能。6.2 一個(gè)真實(shí)的驅(qū)動(dòng)開發(fā)迭代過程我把一個(gè)典型的驅(qū)動(dòng)開發(fā)任務(wù)拆成六個(gè)階段方便你對照自己的工作流有沒有遺漏。階段一拿到硬件和芯片手冊先做“靜態(tài)資料分析”把寄存器、中斷、引腳定義列成清單搞清楚這個(gè)設(shè)備在內(nèi)核里屬于哪一類子系統(tǒng)有沒有現(xiàn)成的驅(qū)動(dòng)框架可以復(fù)用。階段二搭好最小驗(yàn)證環(huán)境確認(rèn)開發(fā)板能啟動(dòng)系統(tǒng)能加載HelloWorld模塊串口和網(wǎng)絡(luò)調(diào)試通道都可用。階段三實(shí)現(xiàn)設(shè)備樹節(jié)點(diǎn)和probe函數(shù)先不急著做業(yè)務(wù)功能只驗(yàn)證“驅(qū)動(dòng)能被正確綁定到設(shè)備”。階段四實(shí)現(xiàn)基礎(chǔ)讀寫接口用簡單的read/write把寄存器讀出來驗(yàn)證硬件寄存器映射是否正確。階段五補(bǔ)齊中斷、并發(fā)、數(shù)據(jù)交互等完整邏輯這階段最耗時(shí)也是問題的高發(fā)期。階段六穩(wěn)定性測試和優(yōu)化連續(xù)運(yùn)行、并發(fā)壓力、異?;謴?fù)這些都要覆蓋。6.3 沒有開發(fā)板也能學(xué)嗎模擬環(huán)境是起步利器看到這里如果你還沒有任何硬件但想開始學(xué)驅(qū)動(dòng)完全可以從虛擬環(huán)境起步。QEMU可以模擬一個(gè)完整的ARM開發(fā)板很多開源項(xiàng)目分配了可以運(yùn)行的“virt”機(jī)器你可以在純軟件的Ubuntu主機(jī)上編譯內(nèi)核、加載模塊、創(chuàng)建設(shè)備節(jié)點(diǎn)、用應(yīng)用層程序調(diào)用底層驅(qū)動(dòng)。嵌入式Linux社區(qū)也提供了很多現(xiàn)成的QEMU鏡像自帶內(nèi)核源碼、工具鏈和文件系統(tǒng)你只要按文檔跑起來就能完成字符設(shè)備驅(qū)動(dòng)、中斷驅(qū)動(dòng)甚至簡單的gpio模擬。我個(gè)人當(dāng)年還用過另一種組合在虛擬機(jī)里跑一個(gè)老版本內(nèi)核的發(fā)行版比如Ubuntu 20.04自己下載對應(yīng)內(nèi)核源碼重新編譯然后用qemu-system-x86_64加載這個(gè)新內(nèi)核在里面做驅(qū)動(dòng)實(shí)驗(yàn)。雖然不如真實(shí)開發(fā)板來得直觀但用來理解框架和API綽綽有余。7. 入行路徑與面試考察點(diǎn)從我面試和被面試的經(jīng)驗(yàn)說起7.1 想從應(yīng)用開發(fā)轉(zhuǎn)驅(qū)動(dòng)需要補(bǔ)哪些課經(jīng)常有人問我現(xiàn)在做Linux應(yīng)用開發(fā)轉(zhuǎn)驅(qū)動(dòng)方向需要準(zhǔn)備什么我的建議是從三個(gè)方面入手。C語言要重新按內(nèi)核風(fēng)格來練。內(nèi)核用的是C89風(fēng)格、GNU擴(kuò)展不能依賴各種庫函數(shù)不能隨便用printf很多操作要自己操作鏈表和哈希表。建議先精讀Linux內(nèi)核源碼里的include/linux/list.h把鏈表操作練熟。操作系統(tǒng)基礎(chǔ)要補(bǔ)充到內(nèi)核級進(jìn)程調(diào)度、內(nèi)存管理、中斷機(jī)制這些不能只停留在概念上要能結(jié)合源碼說出實(shí)現(xiàn)。硬件知識(shí)要補(bǔ)起來至少能看懂芯片手冊理解GPIO、I2C、SPI這些接口的基本時(shí)序。7.2 面試官到底在面試什么面試時(shí)很多候選人的簡歷寫得很漂亮項(xiàng)目經(jīng)歷里堆了各種技術(shù)名詞但一問細(xì)節(jié)就露餡。設(shè)備驅(qū)動(dòng)方向的面試我個(gè)人關(guān)注的點(diǎn)通常有這幾個(gè)第一內(nèi)核模塊的加載和卸載流程是什么module_init的機(jī)制你怎么理解第二字符設(shè)備驅(qū)動(dòng)注冊需要哪些步驟設(shè)備號怎么分配第三中斷上下文中哪些事情不能做第四自旋鎖和互斥鎖的區(qū)別什么場景用哪個(gè)第五設(shè)備樹的作用和匹配流程。此外我會(huì)故意問一些“看起來簡單但需要真懂”的問題比如printk能用在中斷上下文嗎copy_to_user失敗返回什么這些問題不是考背概念而是看你能不能基于底層原理做出正確判斷。7.3 長期成長路徑從驅(qū)動(dòng)工程師到系統(tǒng)級工程師設(shè)備驅(qū)動(dòng)這個(gè)崗位長期發(fā)展路線其實(shí)很寬。你可以往某個(gè)垂直子系統(tǒng)方向深耕比如成為音頻系統(tǒng)工程師、Camera系統(tǒng)工程師、網(wǎng)絡(luò)驅(qū)動(dòng)專家也可以從驅(qū)動(dòng)拓展到整個(gè)內(nèi)核子系統(tǒng)往內(nèi)核內(nèi)存管理、調(diào)度器方向發(fā)展還可以往系統(tǒng)級架構(gòu)走涵蓋bootloader、內(nèi)核裁剪、文件系統(tǒng)、功耗優(yōu)化、安全啟動(dòng)成為真正能hold住整個(gè)系統(tǒng)的系統(tǒng)級工程師。我自己比較強(qiáng)烈的感受是驅(qū)動(dòng)開發(fā)給的技術(shù)視野是整個(gè)Linux系統(tǒng)中比較獨(dú)特的一種——因?yàn)閺挠布拇嫫鞯絻?nèi)核框架到應(yīng)用接口要全鏈路理清持續(xù)做幾年之后你對“一個(gè)數(shù)據(jù)從硬件到用戶態(tài)到底經(jīng)歷了什么”會(huì)有非常清晰的認(rèn)知。這份“底層連接感”是驅(qū)動(dòng)工程師最值錢的長期資產(chǎn)。8. 寫在最后破除“神秘感”后這個(gè)方向值不值得投入設(shè)備驅(qū)動(dòng)工程師再神秘拆開來看也只是“通過內(nèi)核代碼讓硬件正確工作”的工程師。它高薪的原因并不神秘門檻不低、責(zé)任不小、供給有限。如果你正在思考要不要入這一行我想給你幾條非常實(shí)際的經(jīng)驗(yàn)。第一不要被“內(nèi)核很可怕”嚇退。Linux內(nèi)核源碼看似龐大但你不需要全部掌握。你只需要先吃透一條主線比如“字符設(shè)備怎么從應(yīng)用層到驅(qū)動(dòng)再到硬件”然后沿著這條線不斷向縱深擴(kuò)展內(nèi)核對你就不再是一團(tuán)迷霧。第二一定要買一塊開發(fā)板不用太貴正點(diǎn)原子或者野火的入門級板子就夠用了。有硬件在手上你才能真正把驅(qū)動(dòng)代碼跑起來才能真正理解中斷的實(shí)時(shí)性和設(shè)備的物理行為。第三保持寫筆記的習(xí)慣。驅(qū)動(dòng)力開發(fā)中各種宏定義、匹配規(guī)則、報(bào)錯(cuò)格式都不是一錘子買賣能記住的我這么多年下來遇到不明報(bào)錯(cuò)時(shí)翻自己筆記的次數(shù)遠(yuǎn)多于重新查代碼的次數(shù)。如果你正在找工作我會(huì)建議把“至少自己動(dòng)手寫一個(gè)完整驅(qū)動(dòng)項(xiàng)目”作為底線。這個(gè)項(xiàng)目不一定要多復(fù)雜但一定要完整——從設(shè)備樹節(jié)點(diǎn)到驅(qū)動(dòng)代碼到應(yīng)用層測試程序全套跑通。面試官看到這樣的項(xiàng)目基本能確認(rèn)你不是只搬運(yùn)過示例代碼的人。驅(qū)動(dòng)開發(fā)這條路前期確實(shí)燒腦但熬過那個(gè)“什么都連不上、什么都不知道為什么”的階段之后你會(huì)獲得一種極強(qiáng)的掌控感。那種你能清楚地知道系統(tǒng)每一層在干什么、每一個(gè)硬件行為背后邏輯的感覺是這份職業(yè)最迷人的地方。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲小电影免费涩涩成人在线高清 | 国产91 丝袜在线播放 | 欧美色宗合| 九九成人精品| 日本久操视频| 91狠狠色丁香婷婷综合久久| 乱伦日本色图AⅤ| 96麻豆精品一区二区三区| 亚洲欧美另类少妇精品| 2017大香蕉国产精品久久| 精品人人插人人操| 强奸乱伦大香蕉| 国产成人五月天丁香花| 超碰午夜| 欧美国产一区二区三区麻豆传媒| 中文啪啪视频| 欧美精品人妻视频| 床上啊啊啊一区二区三区| AV不卡在线| 亚洲天天操| 亚洲精品97久久中文字幕| 国产精品久久久777| 蜜臀少妇一区二区| 婷婷导航| 国产精品久久久久999| 在线视频97| 97在线公开视频| 亚洲AV性爱电影| 丰满人妻一区二区三区| JuliaAnnXXX888| 91老熟女老女人国产老太| 欧美制服网站美腿丝袜| Julia在线播放亚洲久久| 午夜黄色免费在线观看| Blackedraw视频一区二区| 成人av在线播放| 亚洲精品99999| 欧美瑟综合| 欧美人妻另类在线| 天天影视91看看| 日日做夜狠狠爱欧美黑人| 天天影视激情欧美| 国产精品乱码久久久久久久久久久久| 欧美激情色婷婷花野真衣一区二区| 韩国一区二区精品亚洲| 精品亚洲俞拍视频一区| 天美欧美国产| 欧美92| 久草电影网| 懂色av中文字幕一区二区三区天美| 亚洲男人的天堂网| 国产又长又大又粗的视频| 99操逼| 黑人综合网| 家庭乱伦麻豆| AAA久久| 亚洲91极品| 91天射| 亚洲国产成人7777| 美女视频尤物网在线看| 岛国在线一区二区三区| 97人妻色| 婷婷另类小说| 国产激情在线| 免费精品无码一级毛片牛牛影视| 久久久久久久九九九九九九| 超碰人人色| 吻戏激情性巴克| 蜜桃视频一区二区三区在线观看| 久久一区二区加油站| 日韩精品人妻中文字幕不卡乱码| 好吊色综合| 极品欧美一区二区三区| 天天肏夜夜肏| 偷拍超碰| 久久久久99精品成人片蜜臀| 免费一级黄色录像影片| 一区二区三区一亚洲中文字幕、综合区灬| 99热在线观看| 国产偷拍自拍在线视频| 成人在线视频二区| 日日躁天天躁狠狠躁| 国产一国产一级毛片古装| 黄片免费视频2019| 成人婷婷丁香| 久久婷婷苹果| 青草青草久热| 91成人在线| 东京热91| 亚洲无吗在线视频| 免费的av网| 青青草在线视频播放器| 中文字幕一二区二三区人妻专区| 亚洲天堂,男人| 黄久在线| 精品国产91av一区二区三区 | 丰满人妻无码一区二区三区| 欧美日韩高潮喷水91| 欧美大干日韩| 操婢日韩| 日少妇亚洲版| 欧美天天| 97九色人妻| 国产日韩中文字幕欧美| 99精品在线观看| 超碰在线成人电影| 天天色综亚洲91污| 日欧毛片久久| 91性高朝久久久久久久久| 26uuu欧美| 久热大香蕉网站| 国产亚洲精品精AV.| 啪啪啪综合网| 97日韩欧美亚洲| 欧美性生活免费网| 91爱看| 日B操| 久久久一级| 久久后入制服| 亚洲国产欧美中文永久| 亚洲高清欧美总合| 女人的久久久| 亚洲天天综合| 国产免费大片| 免费?级毛片无码?∨蜜芽试看| 国产又粗又又黄又猛| 亚洲少妇视频| 久久久久免费少妇| 东北少妇高潮zzzz| 欧美美女在线高潮999| 日韩兔费看黄片| 天天影视色香色欲| 亚洲电影中字一区二区| 99热精品国产| 五月综合婷婷久久网站| 都市久久精品激情亚洲| 色婷婷日韩精品一区二区三区| 亚洲AV无码成人精品久久| 夜色97| 人妻乱仑一区二区三区| 九九久久久| 青青草视频导航官网| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲啪AⅤ永久无码| 嗯……啊…嗯嗯…啊…好舒服| av网站国产主播在线| 精品久久99| 亚洲国产精品9999在线观看| 人人操人人射人人干| 美女国产一区二区久久| 婷婷五月天激情四射| 亚洲色图欧美色图制服丝袜| 亚洲色 国产 欧美 日韩| 日韩淫色网| 桃花色涩综合影院| 亚洲麻豆av一区二区| 亚91亚洲网| 久久精品国产亚洲AV无码电影| 久久精品超碰| 亚洲成人ab| 97超碰逼| 开心五月婷婷激情| 日韩一区二区精彩视频| 激情另类激情| 久久一本大香蕉| 91精品国产高清久久久久久,亚洲成人 | 日本不卡三级网在线播放| 芊芊操逼视频无码| 少妇淫妇久久久久久久| 人妻激情在线视频| 欧美激情视频一区二区三区不卡| 麻豆国产96在线| 欧亚无码视频| 亚洲国产97在线精品一区| 国产天天骚| 激情久久av一区av二区av| 免费视频一二三区| 91制服丝袜| 久久鲁夜| 91女神在线视频| 福利在线观看一区二区| 久久久久九九九| 秋霞网无码| 美女91色黄18| 日日日日做夜夜夜夜做无码97| h在线看免费版在线看| 不卡av在线中文字幕| 欧美超碰在线| 好爽免费视频| 亚洲综合影院| 性色A∨91| 蜜臀久久99精品久久久久久成人小说| 加勒比五月天| 夜夜嗨一区二区三区三州加勒比| 亚洲情色在线| 60秒免费小视频| 欧美九九99久久精品| 神马久久久久久| 殴美性天天| 天天干人妻| 男人天堂网址| 欧美综合亚洲综合| 超碰美国| 亚洲一区中文字幕| 欧美成人精品A片免费一区99| 久久久久久亚洲精品中文字幕人妻| 美女午夜福利免费视频| 97人妻免费中文字幕| 亚洲伊人久久综合97| 青青操国产夫妻| 18精品一二区| 欧美精品黑人猛交高潮| 久久久久久久9| 高清无码91| 99少妇内射| 天天日天天干天天摸天天操| 亚洲色阁| 日本操逼无码| 囯戸精品高潮呻吟旡码| 一区二区三区黄片免费观看| 色5月婷婷| 九九久久99| www.久久99| 五月天激情婷婷| 偷拍 精品另类 凸凹了四区| 天天日日舔舔| 亚洲资源网| 亚洲人精品久久久| 精品欧美乱码久| 好色综合| 午夜寂寞欧美| 日韩草久视频| 亚洲涩图欧美| 麻豆精品一区二区三区四区免费观看| 中国操逼无码| 日本免费亚洲欧美| 欧美性色综合网| 97超碰在线资源网站| 很狠操| 欧美高清16| 影音先锋每日最新资源在线观看| 亚洲女毛多水多21P| AV大香蕉| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 嗯啊不要在线| 日本东京热大香蕉a片| 久久久精品中文字幕麻豆| 久久线上视频免费看| 亚洲不卡三级手机播放| 搡老人老9丨女老熟人| 蜜桃成人1区2区3区| 日韩丝袜高跟制服在线观看| 91精品人妻一区二区三区蜜桃| 操啊国产| 日韩人妻无码专区| 激情五月天校园春色网| 999综合网| 国产性久久久| 国产黄a三级三级三级av在线看| 加勒比av中文| 色综合加勒比| 99re国产中文字幕| 亚洲精品黑丝| 日本中文字幕不卡视频| 欧美另类色图片| www. 男人天堂成人在线| 亚洲色图欧美激情| 极品色www影院| 日韩av熟女一区二区三区成人| 国产九九九九九九| 91东京热男人的天堂| 五月香婷婷| 天天情欲宗合网| 黄视频免费| 99热在线播放| 大但人体久久久久| 亚洲成熟国产精品美女| 操b网站亚洲无码| 精品免费视频国产一区| 色av中文字| 成人开心网在线视频| 无码区蜜乳| 99久久这里只有精品| 日天天九九天堂666| 国产精品嫩草影院免费| 91 丝袜在线观看| 亚洲一级性爱视频免费看| 91在线综合网| 亚洲欧洲日本精品中文a∨| 女人天堂AV五区在线| 天天影视亚洲| 日本天天人人狠狠在线日美女 | 亚洲www91| 欧美Ⅴ性爱| 久久一区无码| 人妻9117c| 亚洲。日韩。欧美| 日本免费人成视频播放120秒| 97色涩| 久久riav中文精品| 人妻熟妇一区二区三区| 免费视频a级毛片免费视频| 中文字幕av一区二区三区人妻少妇| 青椒国产97在线熟女| 1204金沙人妻懂旧版免费| 欧美偷拍区| 欧美久久人妻少妇一区二区| 懂色天天爱天天日天天射天天澡| 久久久免费懂色| 性在久久久久久| 九九人妻| 色蜜AV| 麻豆天美传媒毛片| 亚洲综合骚逼| renqi久久久久久久久久久久| 亚洲一区二区av| 久久精品人体AV| 人人模人人看| 97在线观视频免费观看| 激情五月天色色网| 色激情综合网站| 中国黑人三级片网站上区| 日本操逼视频导航| 99av| 视频在线中文字幕| 欧美国产日韩清纯唯美| 日韩极品无码B| 偷拍亚洲情色| 麻豆黄色五月天| 在线观看免费视频国产| 久久男人的天堂| 亚洲一区二区 麻豆传媒| 欧亚性爱啪啪| 免费精品无码一级毛片牛牛影视 | 亚洲无码日韩电影| 亚洲男人的天堂网| 日日夜夜狠狠| 大黄片做爱的大的| 久久精品无码专区| 欧美激情久久久久| 亚洲av在线免费观看| av强奸乱轮| 凌辱美少妇久久aV| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 人妻熟女一区二区| 97色五月天完| 激情五月婷婷综合| 手机在线播放国产福利| 久久91| 99福利社| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | AAA久久| 1769国内精品视频| 国产97在线 | 亚洲| 60秒免费视频| 欲射影视| 麻豆婷婷成人一二三| 婷婷色色网| 久久av成人无码免费| av网站在线看| 日本大香蕉综合网| 欧美亚洲在线| 天美传媒精品一区二区三区| 色偷偷人人玩人人舔人人操人人摸人人爽| 香一区二区三区| 欧美成人精品A片免费一区99| 日韩亚洲中文有码视频| 免费av高清无码| 私人尤物在线精品不卡| 亚洲风情在线观看| 一区二区三区看视频| 美女骚尻视频| 2020天天色综合| 校园春色宗合网| 国产中文福利| 今日头条成人一区二区三区四虎精品| 大香蕉 222| 另类综合另类| 欧美色图亚洲色图成人在在线| 99性爱视频| 99热久| 亚洲人妻av| 国产精品亚洲免费| 一级黄色影片| 97超碰美国| 亚洲 中文 女同| 99自拍B亚洲 | 是还免费视频1727我| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 亚洲精品无码久久AV| 性饥渴少妇av无码毛片| 黄色一区二区秘书性感| 日韩激情啪啪| 色婷五月| 97久久精品亚洲中六字幕| 嗯嗯,啊啊,国产精品| 成年男人的天堂| 青青草视频在线观看一区二区| 欧美色九九九| 韩国国产欧美情侣视频在线| 人人澡人人澡人人| 青草一区二区| 性饥渴少妇av无码毛片| aaaa少妇高潮大片| 日韩另类色图| 人人摸人人干| 97超碰国产亚洲精品| 久99在线免费观看视频| 测评在线观看AV| 肏逼福利网站| 久久婷婷色| 天天操女人| 欧洲一区二区三区免费| 日韩综合第八区国产精品| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 综合97| 成人av影院在线观看| 中国国国产一级特黄毛片| 久久婷婷精品| 欧美97视频| 麻豆熟妇乱妇熟色A片在线看| 国产91影院| 国产三级中文有码在线视频| 台湾佬激情综合| 天堂涩涩| 福利视频香蕉免费一区二区在线| 一区三区啪啪| 制服少妇欧美| 男人的天堂 在线一区| 日逼视频日本| AV一二区| 久久久偷拍| 国产日逼视频| 色狠狠综合噜一二三区| 国产精品另类一区大香蕉| 久久伊人最新网址视频| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 97色婷| 五月婷婷影院| www.男人天堂| yaouchengrenav| 操逼逼无码| 人人澡综合涩| 啊啊啊好多水| 婷婷五月天激情小说| 亚洲Av噜噜一区二区三区妖精| 67914在线兔费成人视频| 黄色香蕉视频网站一区| 男人天堂2019亚洲| 好湿好紧视频| 国产综合永久精品日韩鬼片| www.高清无码诱惑一区.com| 91色图| 99啪啪| 大香蕉性欧美| 噜噜噜无码AV一级一级久久影院| 美女91av| 嗯啊抽插大香蕉网页| 色第一页| 亚洲网站一区二区在线| 九九热九九热| 亚洲?V高清一区二区三区尤物| 伊人色综合网电影| 天天热精品| 日本一级婬片试看三分钟| 婷婷三区| 国产黄色剧情影片麻豆免费播放| 九九热男人天堂| 先锋女优在线观看视频| 五月婷婷丁香六月| 久久精品无码专区| 天天日少妇逼AV| 大香蕉懂9| 色色操| 亚洲资源站| 亚洲天堂,男人| 人妻精品一区二区| 欧美精品在线观看| AA级电影三区| 97超碰精品成| 久色网| 女生久久网| 久操黄色视频| 国产日韩精品suv| 夜夜操夜夜爽夜夜高潮| 蜜臀AV秘一区翔田千里| 夜色97| 91女优在线观看 | 天天性射网| 欧美特大黄一级片片免费| 久久久天美| 久久这里只精品99re66图| 色噜噜日韩精品| 天美精品av| 高清有码一区二区| 国产熟妇一区二区| 久草免费福利在线播放| 美女黄码视频午夜| 久操视频资源站公开| 亚州欧美综合| 91爽啪| 成人资源中文字幕在线观看| 欧美亚洲玖玖玖| 91看黄片| 老鸭窝日丰县女人| 东京日日夜夜| 三级特黄60分钟播放| 97精品视频在线播放| 人妻久久久久久久久久久久久久久| 一级一性爱免费视频| 国产亚洲精品美女| 亚洲色五月| 亚欧免费| 亚洲精品97久久| 日韩资源网| 婷婷亚洲中文字幕在线| 日本一区二区成人在线| 东京热一区二区中文字幕| 97视频在线视频| 91蜜臀熟女| 91成人久久| 国产捆绑一区| 91天天综合在线| 久久九九一区二区三区成人| 五月天激情国产综合婷婷婷| 国产欧美日韩精品中文| 国产AAAAAABBBBB| 亚洲天堂资源在线| 日本加勒比无码专区一二三| 久久男人网| 欧美激情五月天| 久久久无码av精| 精品亚洲成人免费在线| 偷拍盗拍亚洲色图图片| 中文字幕乱偷人妻久久艾草网| 五月天开心网| 国产超碰国产97| 99日视频在线免费| 亚洲综合贴图91| 亚洲精品一区二区三区新线路| 熟女六十路| 粉嫩粉嫩一区性色AV片| 八戒无码国产午夜福利| 国产 日韩 欧美一区| 精品无av| 伊人久久亚洲色欲综合网站 | 九九九九热| 九九九九热只有精品| 无码人妻系列少妇| 美女干逼2| 蜜臀久久在线视频| 中国黑人三级片网站上区| 青青草在线成人视频| 男人兔费天堂| 亚洲国产精品久久久久婷婷青年| 国产11页| 大香蕉在线视频15| 日韩影片中文字幕一区二区三区| 久操九九九九| 超碰 另类 欧美| 欧美图片色综合| 久久综合精品一区二区三区| 亚洲 se图 欧美电影| 激情图片伦理国产一区二区日韩| 国产suv精品一区二区四| 91精品国产综合久久久蜜臀| 九久久九精品视频| 91成人18| 人人看黄色视频| 日韩欧美大片免费高清啪啪| 国内精品a| 亚洲成人无码影院| 日韩免费性爱视频在线观看| 开心激情婷婷| 欧美日韩免费专区在线| 91老熟女老女人国产老太| 欧美亚洲高清不卡| …中文字幕亚洲乱,97人妻无码费视…| 人澡逼| 秘书高跟黑色丝袜国产91在线| 偷拍导航视频网站| 天天看夜夜看日日干| 成人无码在线超碰网| 久干9操| 可以免费观看的AV| 亚洲一区二区三区麻豆传媒| 夜夜操一区二区| 亚洲色欧| 亚洲人成网站7777| 丝袜美腿制服人妻二区中文字幕| 色五月丁香五月| 97操97色| 亚洲少妇免费视频\| 婷婷国产精品一区二区| 69av一区二区三区| 在线啊v一区| 91老司机在线视频免费观看| 色悠久久久av| 精品国产乱码久久久久久蜜臀| 国产在线视频二区| 欧洲色| 福利天堂| 国产女人视频三四五区| 黄色AAAAA欧美| 好吊妞转入那个网| 日本超碰色精品| 久久国产乱子伦精品免费女,网站| 俄罗斯一区二区视频在线观看 | 0755午夜福利视频| 日日噜噜夜夜狠狠视频无| 国产农村一一级特黄毛片| 999久久久久久久精| 国模91| 乱抡国产91| 天天日天天爽| 舔舔啊| 国产乱色国产精品免费视| 色婷婷成人| 97精选久久| 日本中文字幕不卡视频| 亚洲中文字幕97久久精品少妇| 热久日综合| 中文字幕欧美丝袜07资源| 激情啪啪拍91| 东京热精品97综合网| 天天色图| 无码免费一区二区三区啪啪| 爱丝福利| 国产精品自在线发布| 夜夜嗷嗷一区二区| 美女天天干| 日韩情色视频| 国产400孕妇孕交群| 亚洲国产精品无石码久久| 日韩无码视频黄色| 日韩欧美性爱电影在线观看| 啊啊啊啊好多水| 大香蕉丝袜一级片| 97色综合中文网| 久湿久久| 清清草影| 精久久久91| 爆乳免费黄网站| 亚洲精品美女久久久久久久久| 国产精品午夜福利亚洲综合网| 人妻少妇精品无码专区二区密桃| 色男人色天堂东京热| 日韩人妻少妇中文字幕| 2010男人的天堂| 五月天婷婷小说| 日韩啪啪视频| 伊人91| 六六久久日韩不卡| 婷婷五月天影院| 天天日少妇逼AV| 欧美少妇一区二区三区| 91色黑人少妇| 欧美欲色| 少妇专区一二三四五| 天天天天天天天天综合| 夜夜 中文视频rt| 国产免费一区| 欧美激情精品| 20cm女自慰在线日韩欧美| 色欲久久久久综合网| 一本久道在线综合视频| 久久久麻豆精品| 亚洲中文字幕97久久精品少妇| 啪啪啪大香蕉| 亚洲色 国产 欧美 日韩| 成人性爱电影一区二区| 婷婷久草一区二区三区| 91九九九小逼| 日韩本不卡视频在线观看 | 美女高潮国产高清| 日韩在线地址一| 婷婷五月天成人| 天美精品一区二区三区四区在线观看| 综合激情一一91| 欧美亚洲| 91操碰| 精品一二三区女同| 亚洲麻豆av一区二区| 日韩欧美午夜视频在线| 欧美一区二区三区大综合| 亚洲AV色图一区| 久久性爱视频99| 欧美性爱在线无码| 天天天天天超碰| 欧美综合自拍| 久久久婷| 九九久精品| 日韩激情电影中文字幕| 大香蕉一线视频| 大香蕉乱级| 操操啪| 亚洲少妇综合| 日韩欧美字幕亚洲一区二区| 亚州色图狠狠干| 无遮挡男女激烈动态图| 超碰79人人乐| 精品78| 欧美丝袜激情| 亚洲激情在线观看一区| 快点操死我| 日婷婷| 精品一区二区三区四区外站| 国产乱伦亚洲| 亚洲诱惑天堂| 九九RE视频在线精品| 夜夜高潮夜夜爽夜夜爱爱一区| 国产黄色av大片网站| 死我十八禁| 精品色色| 北约熟女超碰| 青青久日| 四月丁香婷婷| 久久99久久99精品免视看婷婷| 国产蜜臀精品一区免费尤物| 色图综合网| 91强在线播放| 五月天婷婷基地| 欧美成人一级麻豆| 男人天堂 天天射| 国内外色色色色色成人视频| 啊啊啊啊网站| 国产视频大全| 美女露胸露屁股| 成人日韩3| 大香蕉中文201| 欧洲乱码视频| 欧美乱色| 天堂8在线新版官网| 亚洲欧洲成人在线电影| 亚洲精品97p| 亚洲棕合电彰| 久操黄色视频| 亚洲天堂,男人| 偷看洗澡一二三区美女| 黄色香蕉视频网站一区| 亚州色综合| 人妻丰满熟妇av无码区蜜桃| 中文乱码99| 亚州操操穴网| 好吊妞转入那个网| 91操人| 性爱av在线免费观看| 操操逼操操逼操操逼逼| 国产 日韩,欧美 自拍| 78m啪啪啪| 97K超碰在线| www.91视频网| 日韩人人精品| 欧美综色欧| 亚洲色图8| 亚洲中文一区二区三区| 丝袜亚洲91| 久久精品国产精品亚洲艾通辽熟妇 | 秋霞一区二区三区四区五区六区七区| 亚洲一区二区三区久久 亚洲一区二区| 在线性黄高清免费视频| 91动漫操逼视频| 99热91| 亚洲国产一区二区三区在线 | 熟妇色99| 国产在线视频午夜精华在| 亚洲九九九| 午夜福利一区二区影院| 99久久精品无码一区二区| 亚洲第2页| 99热综合| 熟女精品一区二区在线观看| 一区二区三区在线日韩影院观看| 天天操天天7| 美欧色综合| heyZO天然素人无码AⅤ专区| 人人透人人操| 精品人妻一区二区三区-国产| 伊人国产视频| 69一区二区三区 | 97爱啪| 99亚洲国产精品色一区二区三区| 婷婷丁香五月天综合东京热| 欧洲无码一区二区| 91蜜桃传媒精品久久久一区二区| 久久精品一区二区三区四区五区| 久久人人舔人人爽舔人人av片| 国产精品色色| 久射吧| 一区二区三区探花在线观看| 久操99| 人妻一区二区三区熟女| 日韩av一级黄片| 欧亚第一综合网| 日本精品五区| 欧美色棕合| 91 丝袜在线播放| 五月天色图| 南澳成人一级片在线播放| 377p欧洲日本亚洲大胆| 嗯嗯啊啊好疼| 日韩精品一区二区日韩| 国产AV天美| 日韩欧美成人综合在线| 国产人妻一区二区三区欧美毛片| 中文字幕高清精品一区| AV一二区| 人人摸人人干人人拍97| 亚洲亚洲亚洲天堂天堂| 亚洲成A∨人影院在线欢看| 69丨亚洲丨精品丨入口免费播放| 亚洲精品尤物yw在线影院| 伊人玖玖网| 色五月亚洲| 成人性爱全视频观看| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 亚洲宗合电影| 无码最新| 男人天堂毛片| 五月丁香色综合| 乱伦一二三| 亚洲视频一二区| 成人免费在线网站| 国产精品一区二区三区在线| 狠狠干综合| 国产又猛又粗又爽又黄| 久久9精品网站| 亚洲激情网一二三四区| 91伊人久| 超碰99在线| 亚洲日韩欧美一区二区| 五月婷婷综合激情| 久久精品毛片免费不卡| 久久久青青草| 久久视频,这里只有精品 | 精品人妻一区二区三区在线视频不卡| 偷拍亚洲高清图片| 精品-91人妻子系列| 日本十八禁免费看污网站| 91亚洲综合在线| 涩涩久久精品| 久久999久| 毛片中心9视频99| 9久热| 中国国国产一级特黄毛片| 久久欲| 尹人免费观看视频在线| 97精| 日少妇视频| 久久久啊啊啊| 中文字幕av片| 国产免费一区| 欧美综合亚洲| 亚洲天堂另类| 粉嫩av一区二区三区天美传媒| 色爽——AV| 综合激情一一91| 午夜AV污污污| www男人天堂| 3P丝袜熟女 色综合| 日韩欧美中文字幕搭讪巨乳美人妻视频| 91在线丝袜视频| 日韩97视频| 蜜桃网熟妇| 日韩97P| Av手机版天堂网| 午夜AV人气不卡| aaaa少妇高潮大片| 婷婷丁香五月激情啪啪| 6080yy午夜理论三级一区二区三区无码| www久久99| 99九九久久| 色悠久久久av| 久久久久久久精| 亚洲国产欧美一区二区潘金莲| 99精品视频在线观看免费| 成人性爱高清视频免费看| 五月丁香综合激情| 最新精品久久蜜桃 | 亚洲欧美综合网站| 久久久免费高清中文视频| 男女国产精品| 免费看黄视频亚洲网站| 懂色AV一区二区三区| 97爱b| 欧美黄业| www.久久99| 久久少妇人妻| 五月天久久综合网| 狠狠色综合网| 青娱乐手机日韩在线视频| 亚洲图片91| 欧美黄色片AAAAA| 97精品97| 免费看黄片现成| 日韩精品.久久精品.AV女优.天美传媒| 精品久久九| 人人做,人人操,人人摸| 亚洲色色色| 蜜臀久久99精品久久久久久| 图片区小说区| 少妇内射视频| 约操熟妇| 91在线国产后入风骚翘臀美女素人| 国产精品不卡一区二区三区av| 99热综合| 尤物网站91| 欧美日本久久精品一区| 精品无码久久久久久久久果冻糖心| 综合欧美日韩在线观看| 青青青草原| 97色色视频| 久久黄人人爽视频| 丁香五月天婷婷姐| 免费少妇一区二区| 久久久久国产| www.av在线观看| 欧美九九九| 久久久9品一区二区三区| 自拍偷拍国产欧美日韩韩| 久久久久密臀视频| 丁香五月自拍| 人人看黄色视频| 日本一级不卡一二区| 色色五月丁香| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲欧美日韩偷拍色图| 国产欧美美女免费观看视频| 一个人免费视频观看在线WWW| 神马久久久久久久久久| 中国一区二区亚洲人妻| 九九九九九精品| 美骚妇av高清在线| 免费视频a级毛片免费视频| 国产h小视频在线观看免费| 色香在线| 91久久国产综合久久| 国产午夜无码片在线观看影视| 天天拍夜夜| 制服诱惑亚洲一区二区三区在线观看| 自慰白浆在线观看| 日本三级A片网站com| 伊人麻豆传媒| 无码人妻毛片丰满熟妇精品区| 亚洲精品蜜桃久久久一区二区三区| 最新三级网址| 无码免费在线观看黄色片| 怡春院久久| 黑人粗大V S日韩女优视频| 91精品国产91熟女| 日本A级视频| 性色av网站| 三四中文字幕| 日韩 成人 有码| 歐美一級亂黃99在綫精品| 一级性爱aaaa| 日韩精品亚洲专区在线影视| 老熟女乱子伦中文字幕一区二区| 久久精品| 天天看夜夜看日日干| 亚洲 欧美 精品专区 极品| 热热色91| 翔田千里爆乳巨臀无码| 日本在线观看网址| 亚洲无码超碰免费| 久久透逼视频| 中文字幕日韩人妻视频一区二区三区| 亚洲色欧美| WWW操逼| 久久久久人妻二区精品叶可怜| 国产中文字幕在线点播| 日韩免费大片一级播放| 秋霞蝌科网日本一区| 日韩女模中文造逼| 国产天美欧美| 欧美玖玖爱免费玖玖| 蜜臀va69| 日韩极品无码B| www欧美性爱| 天天干2区3区| 91熟女少妇| 欧美色网| 强奸乱伦动态污图免费| 青青国产精品在线| 五月开心久久AV官网| 99少妇内射| 国产欧美日韩一区二区三区| 亚洲综合在线视频| 中文字幕久久精品一区| 好属操| 日韩AV一起草| 超碰碰激情97+久| 99re这里只有精品9| 日韩AV熟女乱伦| 自拍视频大全亚洲专媒视频/一区二区三区| 日本黄色天堂| 免费a级毛片av无码久久精品中文字幕| 91麻豆va国产精品| 91精品国久久久久久无码| 日本人妻最新在线中| 精品国产精品一区二区| 亚洲熟久久| 国产家庭乱伦性爱视频| 青青青青草av在线观看| 麻豆天美制片厂网站视频| 日日躁天天躁狠狠躁| 美女极品一区二区三区| 欧美日本天堂| 午夜福利国产欧美日韩夜夜| 亚洲精品一区二区三区新线路| 欧美成人贴图| 国产精品熟女乱伦| 少妇高潮一区二区三区在线| 黄色免费网页无码| 亚洲人妻久久久| 九九九精品成人免费视频小说| 另类视频在线| 日本欧美一区二区三区视频麻豆| 91精品电影18| 日本国产欧美一区三区二区 | 丝袜性亚洲| 在线人人人人人人精品超 | 最好看的中文字幕在线2018| 99精品久久久久久久婷婷蜜桃| 亚洲精品欧美专业| 伊人网在线点播| 男人的天堂一区三区| 日韩精品大香蕉伊人在线| 测评在线观看AV| 一级AAA片一区二区三区| av橘色网站| 艹少妇网站| 97欧美色资源| 国内毛片无遮挡国产| 久久理论字幕视频| 99中文字幕| 国产玖玖| 亚洲资源站| 97人人干| 亚洲色电影在线| 人人爱操| 国产精品夜夜| 屌色在线97视频| 美女9118禁| 伊人AAA| K8久久久久| 色婷婷99| 日本综合色图| 在线女人91| 久草尤物| 国产亚洲色婷婷99精品91| 欧美日韩国产另类综合| 60秒免费小视频| 色黄色美女大长腿午夜视频| 97精品久久久久中文字幕| 高清成年美女黄网站免费大全 | 精品对白久久不卡| 日本超碰在线国产一区| 伊人操| 在线综合 亚洲 欧美中文字幕| 天天射天天| 97一区二区三区视频| 欧美日韩香蕉| 97色欧洲| 久久久久精| 69XX一中文字幕人妻91| 久久久久久久国产| 欧美日韩一区二区三区四区蜜桃| 加勒比性爱成人在线| 日韩在线观看中文字幕视频| 欧美 色 亚洲| 久久25| 国产操操日韩三级黄| 90后后入| 91AV老熟女视频| 欧美日韩不卡a片| 欧日韩一二三f区| 97超碰国产精品| 久久久精品中文字幕爱豆| 中国的操老妇女| 天天爱天天操| 久久精品 六十路 熟女 欧美| 激情黄色五月天| 色五月婷婷麻豆在| 亚洲无线码欧洲精品区别| 2020中文字幕在线| 玖玖97综合| 国产精品激情久久久久久久| 久久九九97| 久久久性爱视频| 色99视频| 95自拍视频在线观看| 国产人妻久久精品一区二区三区| 嗯嗯嗯不要不要免费视频| 久久久无码av精| 免费观看日本操逼视频| 天综合网欧美| 久久极品一区二区| 精品亚洲国产成人精品| 蜜臀99久久| 日韩丨制服丨中文|在线| 亚洲综合春色| 伊人女女资源在线观看| 2024年最新色情网站在线观看 | 久肏视频字幕| 日韩无码服务区| 性色avv| 亚洲精品中文字幕一区在线视频| 啊啊啊想要| 97超碰欧美手机在线| 爱干爱射网啊啊啊| 九九碰九九爱97| 亚洲色图欧美色图日韩色图| 96久久久久| 无码精品啪啪啪一区二区三区三州| 九久9热| 思思99热| 国内精品久久久久影院亚洲| 99这里只有精品国产| 日韩精品人妻一区二区| 久久国产999| 国产又大又粗又长视频在线| 伊人久久88国产女| 日韩中文字幕视频在线观看| 午夜无遮挡男女啪啪视频| 亚洲国产成人精品女人久久久| 青青草在线视频美女| 99蜜桃臀久久久欧美精品网站| 日本一二区免费| 91粉芽高清在线一区二区| 国产AV超爽| 久久精品国产亚洲AV成人直播| 天天色黄色影院天天操| 乱操乱伦AV| www.av家庭乱伦| 爱爱啊啊啊| 日韩少妇无码| 97天天操| 久久超碰日韩精品| julia国产在线 | 乱伦a片视频| 看免费的黄片| 久久这里只精品免费福利| 亚洲中文字幕在现观看| 日少妇视频| 久久久四区| 91国模| 97欧美精品| 超碰97久久| 精品人妻中文字幕高清| 国产h小视频在线观看免费| 人妻铁牛TV| 亚州综合| 在线亚洲 欧美 日本专区| 熟女乱3伦999| www.99色| 人人操人人插人www| 日韩欧美综合激情| 人人干人人操人人..com| 牛牛aV|