国产成人欧美一区二区三区vr_久久国产精品人人爽人人爽_国产精品永久免费播放_肉欲啪啪a∨无码精品一区二区_国产超短裙jk丝袜在线_亚洲AV片高清资源在线观看_国模无码一区二区三区久久_国产成年人未进视频_中文字幕无码精品夜_一区二区三区在线视频免费看_亚洲成AV人片在线观看网址_日本激情视频高清综合久久_亚洲午夜视频福利_国内大量揄拍人妻精品視_久久国产精品福利二区三区

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

開(kāi)放可復(fù)現(xiàn)研究全流程:從數(shù)據(jù)管理到環(huán)境鎖定的工程實(shí)踐

開(kāi)放可復(fù)現(xiàn)研究全流程:從數(shù)據(jù)管理到環(huán)境鎖定的工程實(shí)踐 1. 項(xiàng)目緣起OpenResearch 到底是什么第一次接觸到 OpenResearch 這個(gè)想法時(shí)我正在經(jīng)歷一次典型的“學(xué)術(shù)內(nèi)耗”同一份問(wèn)卷數(shù)據(jù)換個(gè)人分析結(jié)論能完全對(duì)不上同一個(gè)實(shí)驗(yàn)換臺(tái)機(jī)器跑結(jié)果圖表就變了樣。最讓人挫敗的是當(dāng)我試圖去復(fù)現(xiàn)別人論文里的關(guān)鍵圖表時(shí)發(fā)現(xiàn)對(duì)方連原始數(shù)據(jù)都沒(méi)公開(kāi)只在附錄里留了一句“數(shù)據(jù)可向作者索取”。而真發(fā)郵件過(guò)去十有八九石沉大海。后來(lái)我索性給自己定了一條規(guī)矩以后做任何研究項(xiàng)目不管大小都必須按照一套“開(kāi)放”的標(biāo)準(zhǔn)來(lái)執(zhí)行。這套標(biāo)準(zhǔn)不是簡(jiǎn)單地“把文件傳到網(wǎng)上”而是從立項(xiàng)、數(shù)據(jù)采集、分析、寫(xiě)作到發(fā)布的完整鏈路里都采用可公開(kāi)、可復(fù)現(xiàn)、可協(xié)作的方式。我把這套工作流命名為 OpenResearch。這篇文章就是想系統(tǒng)性聊聊我這個(gè)項(xiàng)目從零搭起來(lái)的過(guò)程包括工具選型、坑點(diǎn)規(guī)避和完整實(shí)操流程希望能給同樣在研究領(lǐng)域掙扎的朋友一個(gè)可以直接照搬的參考。OpenResearch 不是一個(gè)軟件也不是某個(gè)平臺(tái)而是一套研究流程的標(biāo)準(zhǔn)化方案。它解決的核心問(wèn)題有三個(gè)第一研究成果難以復(fù)現(xiàn)導(dǎo)致結(jié)論可信度被打折扣第二研究者之間協(xié)作低效文件傳來(lái)傳去版本亂成一團(tuán)第三知識(shí)被封閉在付費(fèi)墻和格式壁壘里其他人很難在此基礎(chǔ)上繼續(xù)推進(jìn)。如果你是一個(gè)研究生、高校老師、獨(dú)立研究者或者只是需要做大量數(shù)據(jù)分析和報(bào)告的企業(yè)員工這套方法論都值得花兩小時(shí)了解一下。2. 整體設(shè)計(jì)與方案選型2.1 傳統(tǒng)研究流程的痛點(diǎn)在哪里在做 OpenResearch 之前我先把傳統(tǒng)的研究流程拆開(kāi)看了個(gè)遍。一個(gè)標(biāo)準(zhǔn)的定量研究項(xiàng)目通常包含五個(gè)環(huán)節(jié)選題與文獻(xiàn)回顧、研究設(shè)計(jì)與預(yù)注冊(cè)、數(shù)據(jù)采集、統(tǒng)計(jì)分析、論文寫(xiě)作與發(fā)布。每個(gè)環(huán)節(jié)都有自己的痛點(diǎn)。文獻(xiàn)回顧階段最典型的問(wèn)題是“找不到、下不到、理不清”。很多數(shù)據(jù)庫(kù)要付費(fèi)訂閱學(xué)校沒(méi)買(mǎi)你就只能干瞪眼。就算拿到了 PDF幾十篇文獻(xiàn)存得亂七八糟看過(guò)的重點(diǎn)散落在不同批注里寫(xiě)綜述時(shí)又得從頭翻一遍。數(shù)據(jù)采集階段Excel 表格滿(mǎn)天飛不同人填寫(xiě)的格式五花八門(mén)日期字段有斜杠有橫杠文本變量有中文有英文光是清洗就能耗掉一個(gè)禮拜。統(tǒng)計(jì)分析階段更麻煩模型跑完了但沒(méi)保存代碼或者代碼路徑寫(xiě)死了本機(jī)的絕對(duì)地址換臺(tái)電腦直接報(bào)錯(cuò)。至于寫(xiě)作發(fā)布版本管理永遠(yuǎn)是災(zāi)難論文終稿最終稿_最終版2.docx 這種文件名字我相信每個(gè)寫(xiě)過(guò)論文的人都不陌生。這些痛點(diǎn)有一個(gè)共同根源整個(gè)流程是“封閉的”。封閉在個(gè)人電腦里、封閉在 Word 文檔里、封閉在某個(gè)人的記憶里。一旦中間某個(gè)環(huán)節(jié)斷掉后面的驗(yàn)證、復(fù)用、協(xié)作就全都無(wú)從談起。2.2 開(kāi)放原則怎么落地我在設(shè)計(jì) OpenResearch 時(shí)給自己定下五個(gè)基本原則這五個(gè)原則是整個(gè)項(xiàng)目的靈魂??蓮?fù)現(xiàn)是一切的核心。別人拿到你的代碼和數(shù)據(jù)跑出來(lái)的結(jié)果必須和你論文里的一致。這意味著代碼必須腳本化不能有“手動(dòng)在對(duì)話(huà)框里點(diǎn)幾下”的隱藏步驟數(shù)據(jù)必須用開(kāi)放格式保存不能是 SPSS 專(zhuān)屬的 .sav 或者 Excel 里的宏文件分析環(huán)境必須固定依賴(lài)包的版本號(hào)清清楚楚寫(xiě)在配置里。透明度是第二原則。所有研究決定包括為什么剔除某些異常值、為什么選擇這個(gè)模型而不是那個(gè)模型都應(yīng)該留下記錄。最好的方式是把分析日志一并公開(kāi)哪怕是“今天發(fā)現(xiàn)模型不收斂換了對(duì)數(shù)變換”這種碎碎念對(duì)后來(lái)人都有參考價(jià)值。第三是版本化。研究過(guò)程中的一切材料從選題筆記到最終論文都應(yīng)該納入版本控制。這不只是為了防止文件丟失更重要的是讓每個(gè)階段的演進(jìn)都有跡可循。審稿人說(shuō)“你這里為什么要換方法”你可以直接翻出歷史記錄給他看。第四是協(xié)作友好。流程設(shè)計(jì)必須讓多個(gè)協(xié)作者能并行工作而不沖突。這需要把任務(wù)拆成模塊明確接口和命名規(guī)則而不是所有人都在同一個(gè)文檔里擠來(lái)擠去。第五是開(kāi)放性發(fā)布。成果不僅僅是一篇論文還應(yīng)該包括原始數(shù)據(jù)、分析代碼、中間產(chǎn)物、交互式圖表全部打包放到公開(kāi)倉(cāng)庫(kù)里讓整個(gè)研究過(guò)程暴露在陽(yáng)光下。2.3 基于這套思路的工具鏈概覽有了原則接下來(lái)就是選工具。我選型的時(shí)候只堅(jiān)持一條標(biāo)準(zhǔn)工具本身必須開(kāi)源或免費(fèi)文件格式必須開(kāi)放這樣任何協(xié)作者不需要額外付費(fèi)就能加入。最終確定的工具鏈如下環(huán)節(jié)工具選擇選擇原因版本控制Git GitLab/Gitea分布式版本控制是協(xié)作的地基文獻(xiàn)管理Zotero開(kāi)源免費(fèi)存儲(chǔ)格式開(kāi)放支持標(biāo)記與引用數(shù)據(jù)存儲(chǔ)CSV Parquet開(kāi)放格式任何工具都能讀避免專(zhuān)利綁架分析環(huán)境R / Python renv/venv依賴(lài)鎖定環(huán)境可完整復(fù)現(xiàn)文檔協(xié)作Markdown R Markdown / Quarto純文本易版本化可動(dòng)態(tài)生成報(bào)告環(huán)境隔離Docker一次性鎖定全系統(tǒng)依賴(lài)發(fā)布平臺(tái)GitHub / OSF / Zenodo支持?jǐn)?shù)據(jù)歸檔與 DOI 分配你可能注意到了這套組合里沒(méi)有微軟全家桶也沒(méi)有任何商業(yè)統(tǒng)計(jì)軟件。不是它們不好用而是在“開(kāi)放”這個(gè)目標(biāo)下它們的文件格式和協(xié)作方式天然是障礙。Word 的 .docx 雖然也能放上 Git但你以為的一次小改動(dòng)在 diff 視圖里可能是幾百行亂碼式的變化。這種痛苦用 Markdown 寫(xiě)一個(gè)月文檔之后就再也不想回去了。3. 核心環(huán)節(jié)的實(shí)操要點(diǎn)3.1 文獻(xiàn)追蹤Zotero 與文獻(xiàn)筆記的標(biāo)準(zhǔn)化整個(gè)工作流里文獻(xiàn)管理是我最先改造的環(huán)節(jié)因?yàn)樗撬醒芯康钠瘘c(diǎn)而且改造后體感提升最明顯。Zotero 的安裝和基礎(chǔ)配置網(wǎng)上教程很多我這里只講幾個(gè)和開(kāi)放研究強(qiáng)相關(guān)的要點(diǎn)。第一是存儲(chǔ)路徑必須放在同步盤(pán)里我本機(jī)就用堅(jiān)果云同步整個(gè) Zotero 數(shù)據(jù)目錄這樣換電腦時(shí)不需要任何遷移操作。第二是必須養(yǎng)成分條目保存 PDF 附件的習(xí)慣不要只存題錄信息。因?yàn)楹竺鎸?xiě)綜述時(shí)你可能需要回溯原文驗(yàn)證某個(gè)數(shù)據(jù)點(diǎn)如果只存了題錄還得重新去數(shù)據(jù)庫(kù)下載時(shí)間成本極高。第三點(diǎn)最重要我給每篇文獻(xiàn)建立了一個(gè) Markdown 格式的閱讀筆記存放路徑直接用“文獻(xiàn)條目的 Zotero Key”命名然后通過(guò) Zotero 的“筆記”功能與條目關(guān)聯(lián)。筆記模板固定為四個(gè)部分研究問(wèn)題、方法概述、關(guān)鍵發(fā)現(xiàn)、與我的研究的關(guān)系。這樣做的好處是寫(xiě)文獻(xiàn)綜述時(shí)不需要重新讀全文掃一遍筆記就能快速判斷哪些文獻(xiàn)可以歸為一類(lèi)。如果你有精力還可以給每個(gè)筆記打上標(biāo)簽比如“方法論”“數(shù)據(jù)來(lái)源”“反方觀點(diǎn)”后續(xù)做綜述分區(qū)會(huì)省下大把力氣。3.2 從研究問(wèn)題到預(yù)注冊(cè)很多人做研究是“先跑數(shù)據(jù)再想故事”這種模式天生不可復(fù)現(xiàn)。我在 OpenResearch 流程里強(qiáng)制加入了預(yù)注冊(cè)環(huán)節(jié)。所謂預(yù)注冊(cè)就是在收集數(shù)據(jù)之前把研究假設(shè)、變量定義、分析方法、樣本量計(jì)算這些全部寫(xiě)下來(lái)提交到 OSF 或 AsPredicted 這類(lèi)公開(kāi)平臺(tái)上形成一份帶時(shí)間戳的注冊(cè)文件。這樣做最大的價(jià)值不是給別人看而是給自己“鎖合同”。做數(shù)據(jù)分析時(shí)人很容易陷入“這個(gè)結(jié)果不顯著那我換個(gè)模型試試欸這次顯著了”的 p-hacking 陷阱。有了預(yù)注冊(cè)文件你就有了一個(gè)原始版本的分析計(jì)劃如果最終報(bào)告和計(jì)劃有出入你必須解釋為什么偏離這就迫使你誠(chéng)實(shí)面對(duì)數(shù)據(jù)分析中的每一個(gè)選擇。實(shí)際操作上預(yù)注冊(cè)文檔不需要寫(xiě)得太長(zhǎng)核心內(nèi)容只要包含四點(diǎn)研究問(wèn)題與假設(shè)、變量操作化定義、數(shù)據(jù)分析流程、樣本量與停止采集標(biāo)準(zhǔn)。我一般用 Markdown 寫(xiě)一份草案提交到 OSF 的預(yù)注冊(cè)頁(yè)面系統(tǒng)會(huì)自動(dòng)鎖定內(nèi)容并分配注冊(cè)編號(hào)。如果你是在校學(xué)生這份注冊(cè)文件本身就是研究倫理審查的重要輔助材料導(dǎo)師和倫理委員會(huì)都會(huì)對(duì)你的嚴(yán)謹(jǐn)程度另眼相看。3.3 數(shù)據(jù)采集與匿名化處理的技術(shù)細(xì)節(jié)數(shù)據(jù)采集環(huán)節(jié)我在 OpenResearch 中堅(jiān)持“原始數(shù)據(jù)零修改”和“派生數(shù)據(jù)腳本生成”兩個(gè)原則。原始問(wèn)卷數(shù)據(jù)一旦導(dǎo)入就永久保持只讀狀態(tài)存放在 data/raw 目錄里通過(guò) Git LFS 管理。任何清洗、編碼、合并操作都必須通過(guò)腳本執(zhí)行并且生成的新數(shù)據(jù)存放在 data/processed 目錄下。這樣做的理由很實(shí)際原始數(shù)據(jù)是唯一的事實(shí)基準(zhǔn)。如果你直接在 Excel 里手動(dòng)改了某些值三個(gè)月后你已經(jīng)不記得改了哪里更別提別人怎么驗(yàn)證了。但如果所有變換都有腳本記錄“為什么這條記錄被剔除”這個(gè)問(wèn)題你隨時(shí)可以給出精確答案。在涉及人類(lèi)被試的研究中匿名化處理是一個(gè)必須嚴(yán)格對(duì)待的技術(shù)環(huán)節(jié)。我給自己的操作規(guī)范是三步走。第一步在收集數(shù)據(jù)時(shí)用自定義問(wèn)卷系統(tǒng)直接生成隨機(jī) ID不采集姓名學(xué)號(hào)等直接標(biāo)識(shí)符。第二步對(duì)可能間接識(shí)別個(gè)體的敏感變量做泛化處理比如年齡精確到歲、地區(qū)精確到城市級(jí)別。第三步數(shù)據(jù)公開(kāi)前用程序做一次自動(dòng)掃描檢測(cè)郵箱、手機(jī)號(hào)等模式并替換。這套流程寫(xiě)成一個(gè)腳本每次處理完數(shù)據(jù)跑一遍能顯著降低泄露風(fēng)險(xiǎn)。3.4 分析環(huán)境的鎖定與依賴(lài)管理如果說(shuō)前面幾個(gè)環(huán)節(jié)決定了研究的“質(zhì)量”那環(huán)境鎖定就決定了研究的“壽命”。我見(jiàn)過(guò)太多這樣的場(chǎng)景論文發(fā)表時(shí)用的 R 3.6 版本跑出來(lái)的結(jié)果三年后審稿人要求重跑新裝的 R 4.2 輸出格式完全不兼容連包都裝不上了。OpenResearch 的做法是每個(gè)項(xiàng)目目錄下有兩個(gè)鎖定文件Python 項(xiàng)目用 venv 加 requirements.txtR 項(xiàng)目用 renv 的 renv.lock。進(jìn)入項(xiàng)目后第一件事就是創(chuàng)建虛擬環(huán)境并安裝鎖定的依賴(lài)版本。對(duì)于更復(fù)雜的情況比如依賴(lài)了 GDAL 這種系統(tǒng)級(jí)庫(kù)就寫(xiě)一個(gè) Dockerfile把整個(gè)操作系統(tǒng)加依賴(lài)包全部打成一個(gè)鏡像。這樣不管多久以后只要 Docker 還在這個(gè)項(xiàng)目就能原樣復(fù)現(xiàn)。這里有一個(gè)超實(shí)用的命令組合。R 項(xiàng)目初始化 renv 的流程是# 第一次進(jìn)入項(xiàng)目目錄時(shí)執(zhí)行 Rscript -e install.packages(renv) Rscript -e renv::init() Rscript -e renv::install() # 更新依賴(lài)后才需要跑 snapshot Rscript -e renv::snapshot()Python 項(xiàng)目相對(duì)簡(jiǎn)單# 創(chuàng)建虛擬環(huán)境 python -m venv .venv # 激活環(huán)境Windows/Linux 略有差異 source .venv/bin/activate # 安裝依賴(lài)并導(dǎo)出鎖定文件 pip install -r requirements.txt pip freeze requirements.lock有人問(wèn)直接裝全局環(huán)境不行嗎行但那是給自己挖坑。全局環(huán)境就像合租房里的公共冰箱你自己放在里面的酸奶三天后可能就沒(méi)了。虛擬環(huán)境是你自己的獨(dú)立冰箱放進(jìn)去的東西下次來(lái)原封不動(dòng)還在那兒。研究項(xiàng)目動(dòng)輒跨幾個(gè)月這段環(huán)境隔離的投資絕對(duì)值得。4. 實(shí)操過(guò)程與端到端演練4.1 從零搭建一個(gè) OpenResearch 項(xiàng)目為了讓你更直觀地理解這套流程我拿一個(gè)真實(shí)做過(guò)的項(xiàng)目舉例。假設(shè)我們要研究“在線(xiàn)學(xué)習(xí)平臺(tái)的中斷提醒功能對(duì)學(xué)習(xí)完成率的影響”。整個(gè)實(shí)施過(guò)程分六個(gè)階段。第一階段是項(xiàng)目初始化。我先在 GitLab 上建了一個(gè)私有倉(cāng)庫(kù)然后用一條命令生成了標(biāo)準(zhǔn)目錄結(jié)構(gòu)mkdir -p openresearch-demo/{data/raw,data/processed,code/{analysis,clean},docs,output/{figures,reports},logs} touch README.md .gitignore LICENSE git init git add . git commit -m chore: 初始化項(xiàng)目目錄結(jié)構(gòu)這個(gè)動(dòng)作看著簡(jiǎn)單但非常關(guān)鍵。它把你后續(xù)所有工作都框定在一個(gè)有秩序的結(jié)構(gòu)里不會(huì)出現(xiàn)“桌面上的臨時(shí)文件”這種東西。第二階段是文獻(xiàn)回顧。我利用 Zotero 建立了“中斷提醒與學(xué)習(xí)行為”這個(gè)主題的文獻(xiàn)庫(kù)導(dǎo)入二十多篇核心文獻(xiàn)。然后每天安排一小段時(shí)間用我前面說(shuō)的四段式模板為每篇文獻(xiàn)寫(xiě)筆記。大約一周后綜述材料就基本成型了直接拉動(dòng)這些筆記可以拼出研究現(xiàn)狀的初稿。第三階段是預(yù)注冊(cè)。我在 OSF 上提交了這份研究的設(shè)計(jì)文檔明確了主要假設(shè)相比無(wú)提醒組有提醒組的學(xué)習(xí)完成率提升至少 15% 才具有實(shí)際意義。次要假設(shè)包括提醒的顯著性程度對(duì)完成率存在倒 U 型關(guān)系等。這個(gè)預(yù)注冊(cè)文件后來(lái)在投稿時(shí)成為一個(gè)加分項(xiàng)審稿人普遍評(píng)價(jià)“研究透明度高”。第四階段是設(shè)計(jì)與數(shù)據(jù)采集。我們通過(guò)一個(gè)開(kāi)源問(wèn)卷系統(tǒng)發(fā)放問(wèn)卷同時(shí)對(duì)平臺(tái)后臺(tái)的學(xué)習(xí)日志做了 API 定時(shí)拉取。所有原始數(shù)據(jù)均以 CSV 格式存儲(chǔ)到 data/raw 目錄并記錄每次拉取的時(shí)間戳和版本號(hào)。具體到實(shí)施細(xì)節(jié)我使用 Python 寫(xiě)了定時(shí)腳本用日志記錄每次拉取的行數(shù)與數(shù)據(jù)條數(shù)保證采集過(guò)程的透明性。4.2 Git 分支策略與協(xié)作規(guī)范如果你的研究不是單干而是有三五個(gè)人的團(tuán)隊(duì)協(xié)作規(guī)范就直接決定效率。我在 OpenResearch 里固定了一套分支策略非常簡(jiǎn)單但有效。主分支 main 永遠(yuǎn)保持穩(wěn)定只接受合并請(qǐng)求。日常開(kāi)發(fā)基于 develop 分支進(jìn)行。每個(gè)具體任務(wù)對(duì)應(yīng)一個(gè)臨時(shí)分支比如 feat/add-questionnaire 是新增問(wèn)卷模塊fix/clean-date-format 是修復(fù)日期清洗函數(shù)。任務(wù)完成后通過(guò)創(chuàng)建合并請(qǐng)求加上代碼評(píng)審流程評(píng)審?fù)ㄟ^(guò)后再合入 develop。每個(gè)合并請(qǐng)求的描述里必須關(guān)聯(lián)到對(duì)應(yīng)的文檔編號(hào)或預(yù)注冊(cè)編號(hào)這在后期回溯時(shí)極其重要。這套流程一開(kāi)始會(huì)讓團(tuán)隊(duì)覺(jué)得“多此一舉”但堅(jiān)持兩周后你會(huì)發(fā)現(xiàn)一個(gè)巨大的變化不再有人問(wèn)“哎這個(gè)腳本是誰(shuí)寫(xiě)的”也不再有人因?yàn)楦采w了別人的改動(dòng)而抓狂。因?yàn)樗腥硕荚谧约旱姆种细苫顩_突概率大大降低而合并時(shí)的代碼評(píng)審讓每個(gè)人的工作都被其他成員檢查過(guò)一遍。協(xié)作規(guī)范上還需要配套一份 CONTRIBUTING 文檔內(nèi)容包括代碼風(fēng)格、命名約定、提交信息格式。比如我要求提交信息必須遵循 conventional commits 規(guī)范feat 表示新功能fix 表示修復(fù)docs 表示文檔變更c(diǎn)hore 表示構(gòu)建或工具變更。這樣 Git log 本身就變成了一份清晰的項(xiàng)目日志。配合類(lèi)似 git-changelog 的工具可以自動(dòng)生成更新日志省去手動(dòng)寫(xiě) changelog 的麻煩。4.3 分析代碼與動(dòng)態(tài)報(bào)告的無(wú)縫銜接數(shù)據(jù)采集完后進(jìn)入分析階段。OpenResearch 項(xiàng)目的分析代碼和報(bào)告寫(xiě)作是通過(guò) Quarto 無(wú)縫銜接的。QuartoR Markdown 的繼任者允許你在同一個(gè) Markdown 文檔中同時(shí)寫(xiě)文字和代碼塊渲染時(shí)自動(dòng)執(zhí)行代碼并生成圖表。一個(gè)典型的分析報(bào)告文檔內(nèi)容如下--- title: 提醒功能對(duì)學(xué)習(xí)完成率的影響分析 format: html editor: source execute: echo: true warning: false --- ## 數(shù)據(jù)概覽 {python} import pandas as pd import altair as alt df pd.read_csv(../data/processed/study_data_clean.csv) print(df.shape)模型結(jié)果# 擬合邏輯回歸模型 from sklearn.linear_model import LogisticRegression model LogisticRegression() model.fit(X_train, y_train) print(model.coef_)渲染這個(gè)文檔時(shí)Quarto 會(huì)從上到下依次執(zhí)行每個(gè)代碼塊把輸出結(jié)果和圖表自動(dòng)嵌入最終 HTML 報(bào)告。這樣寫(xiě)出來(lái)的報(bào)告天然可復(fù)現(xiàn)任何人只要拿到數(shù)據(jù)和代碼運(yùn)行一次就能得到完全相同的輸出。 分析階段我會(huì)刻意保持“記錄一切”的習(xí)慣。哪怕是一次失敗的分析嘗試也應(yīng)該留下日志。我通常會(huì)在 logs 目錄里以日期天為單位存數(shù)據(jù)分析日志記錄當(dāng)天的分析思路、遇到的問(wèn)題、臨時(shí)解決方案。這些看似瑣碎的信息在寫(xiě)論文“局限性”那一節(jié)時(shí)反而成了寶貴的素材。 ### 4.4 發(fā)布與歸檔的完整路徑 研究有了結(jié)果最后一步是發(fā)布。在 OpenResearch 體系里發(fā)布不是簡(jiǎn)單地把 PDF 掛到某些地方而是執(zhí)行一個(gè)標(biāo)準(zhǔn)的歸檔流程。 第一步將分析代碼和報(bào)告的最終版本合并到 main 分支并打上版本標(biāo)簽例如 v1.0.0。第二步將最終數(shù)據(jù)包和分析環(huán)境導(dǎo)出包含原始數(shù)據(jù)、清洗腳本、依賴(lài)鎖定文件和 Dockerfile壓縮成一個(gè) release 包。第三步將這個(gè) release 包提交到 Zenodo平臺(tái)會(huì)自動(dòng)分配 DOI同時(shí)為這個(gè)項(xiàng)目生成永久存檔。如果你有代碼倉(cāng)庫(kù)和 Zenodo 做了關(guān)聯(lián)每打一個(gè)新標(biāo)簽Zenodo 會(huì)自動(dòng)創(chuàng)建新版本。第四步撰寫(xiě)一篇論文在引言部分引用自己的預(yù)注冊(cè)編號(hào)在方法部分描述完整的技術(shù)路線(xiàn)在材料可用性聲明中寫(xiě)入 Zenodo 的 DOI 和公開(kāi)倉(cāng)庫(kù)地址。 還有一類(lèi)成果適合用交互式報(bào)告展示。我強(qiáng)烈安利用 Jupyter Book 或 Quarto Book 搭建小型作品集網(wǎng)站把多個(gè)相關(guān)項(xiàng)目的數(shù)據(jù)、代碼、圖表匯總到一個(gè)統(tǒng)一頁(yè)面。這種形式在求職和評(píng)職稱(chēng)時(shí)非常能打比干巴巴地貼幾篇論文鏈接有說(shuō)服力得多。 ## 5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄 這套流程我在不同項(xiàng)目里跑了幾十遍過(guò)程中踩過(guò)的坑不少。整理幾個(gè)高頻問(wèn)題和對(duì)應(yīng)的解決方案相信你也會(huì)遇到。 ### 5.1 虛擬環(huán)境怎么又崩了 虛擬環(huán)境崩潰是被吐槽最多的問(wèn)題。Python 的 venv 在某些情況下的確容易“散”比如原項(xiàng)目路徑變了、Python 小版本升級(jí)了、或者有人手滑 pip install 到了全局環(huán)境。 這個(gè)問(wèn)題我最后的解決方案是擁抱 Docker。在項(xiàng)目根目錄放一個(gè)固定版本的 Dockerfile使用 python:3.11-slim 作為基礎(chǔ)鏡像然后根據(jù) requirements.lock 安裝依賴(lài)。開(kāi)發(fā)時(shí)用 docker compose 起服務(wù)確保所有人工作在同一個(gè)環(huán)境里。Docker 雖然入門(mén)要花點(diǎn)時(shí)間但一次配置長(zhǎng)期受益對(duì)比頻繁重裝環(huán)境的時(shí)間成本完全是賺的。 ### 5.2 數(shù)據(jù)集太大Git 倉(cāng)庫(kù)要不要開(kāi) LFS 如果你的數(shù)據(jù)有幾百兆甚至幾個(gè) G直接放進(jìn) Git 倉(cāng)庫(kù)會(huì)讓 clone 和 push 慢到懷疑人生。這時(shí)候有兩個(gè)選擇一是用 Git LFS 管理大文件二是把大文件放到 OSF 或 Zenodo 上在 README 里提供下載鏈接。我目前更傾向后者。 原因是 Git LFS 雖然好用但依然要求每個(gè)協(xié)作者本地安裝 LFS 客戶(hù)端而且部分 Git 平臺(tái)對(duì) LFS 的免費(fèi)額度有限制。把大文件放到專(zhuān)業(yè)數(shù)據(jù)平臺(tái)本質(zhì)上更符合“開(kāi)放”的語(yǔ)義其他研究者不需要拉整個(gè)倉(cāng)庫(kù)就能獲取數(shù)據(jù)。小文件配置文件、樣例數(shù)據(jù)走 Git 倉(cāng)庫(kù)大文件走 OSF這個(gè)組合比較舒適。 ### 5.3 匿名數(shù)據(jù)在公開(kāi)倉(cāng)庫(kù)里躺了一周 有一次我發(fā)現(xiàn)自己犯了一個(gè)嚴(yán)重的錯(cuò)誤CSV 文件里有一列“學(xué)生學(xué)號(hào)”雖然字段名寫(xiě)的是 anonymous_id但里面存的其實(shí)是未脫敏的原始編號(hào)。這個(gè)文件在公開(kāi)倉(cāng)庫(kù)里放了一個(gè)多星期才被我發(fā)現(xiàn)。 現(xiàn)在我的代碼里會(huì)內(nèi)置一道檢查程序在每次提交前自動(dòng)掃描數(shù)據(jù)文件檢測(cè)是否存在疑似學(xué)號(hào)、手機(jī)號(hào)、身份證模式的內(nèi)容。腳本大概長(zhǎng)這樣 python import re import pandas as pd def check_anonymization(df, cols): patterns { 學(xué)號(hào): re.compile(r\d{10,12}), 手機(jī)號(hào): re.compile(r1[3-9]\d{9}), 身份證: re.compile(r\d{17}[\dXx]) } for col in cols: for name, pat in patterns.items(): matches df[col].astype(str).apply(lambda x: bool(pat.search(x))) if matches.any(): raise ValueError(f列 {col} 疑似包含{name}數(shù)據(jù)已阻止提交) df pd.read_csv(../data/processed/check_file.csv) check_anonymization(df, df.columns)還在 Git 倉(cāng)庫(kù)里配置 pre-commit 鉤子讓每次 commit 前自動(dòng)運(yùn)行這個(gè)檢查腳本。這相當(dāng)于給數(shù)據(jù)安全加了一道物理鎖靠自覺(jué)遠(yuǎn)不如靠機(jī)制靠譜。5.4 合作者不配合這套流程怎么辦說(shuō)實(shí)話(huà)把一套新流程推給團(tuán)隊(duì)最大的阻力往往來(lái)自團(tuán)隊(duì)成員的習(xí)慣。有人覺(jué)得 Git 太復(fù)雜有人覺(jué)得 Markdown 不如 Word 用著順手有人根本不在乎可復(fù)現(xiàn)這件事。一開(kāi)始我在這上面吃過(guò)不少苦頭后來(lái)想通了一件事不是所有人都需要深度參與全流程。我的處理方式是把流程分成“硬性要求”和“軟性建議”兩層。硬性要求只有兩條原始數(shù)據(jù)不改動(dòng)、代碼經(jīng)過(guò)評(píng)審后合入。這兩條保證了項(xiàng)目的基本可復(fù)現(xiàn)性。其余環(huán)節(jié)包括寫(xiě)預(yù)注冊(cè)、整理文獻(xiàn)筆記、做環(huán)境鎖定先由我?guī)Ч?jié)奏做樣板讓大家看到實(shí)際操作成本并不高再逐步推廣。最重要的是不要在項(xiàng)目啟動(dòng)初期就要求所有人一步到位那樣只會(huì)讓大家抵觸。6. 一些經(jīng)驗(yàn)之談沿著 OpenResearch 的流程做了十來(lái)個(gè)項(xiàng)目之后我的整體感受是這套方法真正貴的不是工具而是“透明的意愿”。每一項(xiàng)記錄、每一條日志、每一次環(huán)境鎖定都在對(duì)抗人的惰性和對(duì)不確定性的回避。但一旦堅(jiān)持下來(lái)好處是長(zhǎng)期可見(jiàn)的不用再擔(dān)心換電腦后所有東西都丟了不用再為審稿人臨時(shí)索要數(shù)據(jù)而手忙腳亂更重要的是你做的研究因?yàn)槊恳徊蕉冀?jīng)得起推敲反而更容易產(chǎn)生真正的學(xué)術(shù)價(jià)值。如果你正準(zhǔn)備開(kāi)始一個(gè)研究項(xiàng)目我建議你先別急著鋪開(kāi)所有環(huán)節(jié)只挑兩個(gè)最容易上手的動(dòng)作試試一是把原始數(shù)據(jù)用腳本化管理二是搭一個(gè) Git 倉(cāng)庫(kù)來(lái)管理文檔和代碼。等這兩個(gè)動(dòng)作變成習(xí)慣再逐步引入預(yù)注冊(cè)、Docker、動(dòng)態(tài)報(bào)告。這套流程沒(méi)有終點(diǎn)但它每一步都會(huì)讓你離可復(fù)現(xiàn)的研究更近一點(diǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美在线l亚洲| 免费成人自拍视频在线| 天美国产三级传媒| 日韩人妻一区二区精品| 精品久久无码午夜福利 | 亚洲欧美日韩制服另类| aa片毛片| 97免费视频在线观看| 一区二区免费电影久久| 亚洲高清欧美总合| 日韩三级av片| 久久久青青草| 中文字幕成人乱码熟女精品国50 | 午夜精品久久久| 67914在线兔费成人视频| 欧美激情超碰777| 国产原创精品| 天堂精品小草| 亚洲性感丝袜诱惑在线观看| 91n美女视频| 免费看日本操逼视频| av天堂精品久久| TS人妖另类精品视频系列| 亚洲乱熟女一区二区| 日本淫穴在线| 91l欧美在线| www四虎| 日韩卡一卡二卡三在线| 国产亚洲性生活视频播放| 啊啊啊久久| 99re这里只有精品2| 2026国产精品视频| 啊啊啊啊啊啊啊啊要喷了| 91欧美综合在线| 高跟伊人julia ann| 欧亚不卡| 亚洲日韩久久精品一区| 亚洲91射| 热99re69精品8在线播放| 人妻人久久精品中文字幕| 亚洲丰满很很操| 色天使AV天堂| 粉嫩久久久久| 9I1性色影院| 奶水 人妻 哺乳 在线| 天堂综合网| 日韩性爱一级片| 日本1区2区不卡视频| 密乳无码| 欧美人妻精品| 91成人亚洲色图| 深夜国产福利| a天堂视频| 性色av婷婷久久一区二区点复制| 欧洲天天在线| 久久欲| 久久黄人人爽视频| 日本高清一本二本免费不卡| 六六久久日韩不卡| 91看黄片| 国产AV线| 操B久久| 日韩av在线免费网站| 亚洲有薄码区久久在线一区| 亚州色站 日韩电影| 青青伊人这里只有精品| 四方色播| 久久影视二区三区行押| 亚洲无套久久嗯嗯| 入口操逼网站| 精品日韩中文在线| 1240青青草一区二区三区视频天爱| 夜夜狼人妻| www.婷婷| 大香蕉婷婷| 丁香五月色| 中国探花熟女| 色狠狠综合| 日韩成人性爱AV| 午夜精品五区| 女同性恋久久| 激情综合五月| 2025亚洲男人天堂| 在线情色电影 91大| 亚洲少妇色图自慰直播| 久久精品中文| 色波多| 一级片在线观看高清无码| 中文AV制服乱伦| 亚洲影院无码在线| 韩国成人精品久久久免费看| 久久婷综合| 999久久久九| 天美传媒av在线| 五月婷亚洲精品天堂| 人妻中文字幕精品无码| 久操B网| 97超碰在线资源网站| 国产v亚洲v日韩v欧美v片另类| 人人摸人人添人人操| 免费看污网站| 五月天亚洲色图| 欧美99热| 91精品导航| 色黄污美女啪啪啪免费网站| 日韩人体偷拍| 色网综合网| 伊人9| 久久这里只| AV一起草在线| 久草视频分类在线| 日韩电影天堂视频一区二区| 中文字幕诱惑制服人妻丝袜美丝袜美 | 不卡视频一区蜜桃视频| 精品国模无码| 亚洲日韩精品在线播放| 欧美性暴力猛交XXXX| 中文字幕无码不卡啪啪| 中国AV美女| 亚洲欧美经典一区二区| 成人网欧美风情| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 丁香六月激情综合| 1204金沙人妻懂旧版免费| 777超碰| 日韩探花精品在线视频| 欧美乱妇狂野欧美在线视频| 人妻色偷色噜| 欧美情色贴图| 99久久e免费热视| 欧美78| 色欲无码人妻日韩欧美精品| 青草香蕉网| 青娱乐二区免费| 丝袜喷水在线| 国产免费操逼| 美女性91| 亚洲骚女一区二区三区| 色99视频| 乱伦熟女论坛| 成人一道本免费视频| 高潮内射在线| 97在线精品观看视频| 中国熟女网站| 午夜大香蕉| 一本大道综合伊人精品热热| 久久婷婷伊人| 亚洲精品国产熟女| 97久久久久| 天堂麻豆天美| 自拍鲍鱼一区在线高清观看免费| 在线免费观看高清无码视频| 玖玖综合网| 日产精品久久久一区二区| 91色色综合| 欧美 亚洲 大香| 亚洲有薄码区日本系列中文字幕| 国产亚洲色婷婷久久99精品91| 成人性爱av| 亚洲色狠| 欧美中字二区| 欧亚性爱视频免费看| 大香蕉懂9| 97精品国产97久久久久久免费| 国产精品诱惑| 吉川爱美亚洲二区在线 | 欧美色91| 欧美色66| 久久精品店| 亚洲精品国产精品成人| 久久风骚城市人| 又粗又长又大国产不卡| 久热久| 97精品久久久久久久| 91久热这里只有精品| 国产亚洲精品av一区| 日韩欧美午夜一区二区| 人妻精品视频一区二区三区| 亚洲图片欧美色图| 免费成人自拍视频在线| 酒色综合网| 欧美最婬乱婬爆婬牲视频| 婷婷丁香一区二区三区| 久久国产精品,久久国产| 激情五月天婷婷| 激情丁香五月| 校园春色 男人天堂| 黄色一级视| 国人欧美精品一区二区| 男人的天堂激情| 美女的肌被草喷水视频| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 婷婷五月天色色| 麻豆天美国美国产| 国产AV线| 18禁免费视频| 好看的91视频| 97视频在线免费| 日韩无码一级黄色av片| 亚洲制服欧美另类内射| 亚州成人A√| 亚洲色人妻综合| 日夜啪电影| 啊啊啊啊啊啊啊国| 老汉网| 久久久久久久久久久久久久久久9| 97超碰国产亚洲精品资源| 凸凹视频在线观看| 噜噜噜无码AV一级一级久久影院| 激情综合网五月婷婷| 天天综合,91综合永久| 天堂麻豆天美| 日韩综合97p| 狠狠色伊人亚洲综合网站色| 探花一区二区三| 欧美少妇高潮久久91| 91美女视屏| 91黑丝美女| 少妇无码999| 亚洲AV无码AV吞精久久久久| 欧美性爱97超碰| 国产精品制服丝袜中文字幕日韩一区二区三区 | 日本123区操B视频| 69精品人人人人| 俄罗斯及免费在线看| 久久精品亚洲成a人天堂| 色九月综合| 欧美性爱第一页久久| 五月婷婷色| 亚洲春色欧美| 亚洲青青青视频在线| 超碰九7免费| www狠狠| 精精品人妻一区二区三区| 97摸视频| 亚欧色图在线激情| 精品中文日韩字幕视频| 色色色天美视频| 亚洲日本大香蕉1| 久久久久久久人妻| 亚洲影院无码在线| 婷婷九月国产| 97AV爱| 深夜激情无码| 亚洲精品乱码久久久久久蜜桃麻豆| 三级精品三级在线观看| 亚洲人成色9999精品久久| 2017,超碰| 欧美黑人精品一区二区| 高清不卡 中文 人妻| 日本成a人v网站在线观看| 嗯嗯嗯好爽| 怡红院久久老司机| 久久久久久999| 欧美男人一区| 高潮的A片激情扒开一区| 伊人国产视频| 婷婷色导航| 色在线视频导航| 磁力99AV| 99热这里只有精| 91免费看一区二区三区| 91精品国| 久久m| 天天综合网~91| 亚洲日韩肥臀视频在线观看| 国产自产自拍| 人人做天天爱| 97超碰香蕉| 久久网亚洲| 久久久久9999妇女| 精品大久久| 欧美91视频| 大香蕉伊人色偷偷在线| 100啪啪视频大全| 日本操逼无码| 国产一区二区在线播放量| 外站AV在线| 日本一区二区三区四区五区六区七区八区九区| 亚洲日本大香蕉1| 大香蕉青青9| 龙兴卡官方查询| 性爱AV天堂| 一级黄碟| 一区二区不卡免费| 超碰91在线| 台湾佬大香蕉| 自拍第一页| 夜精品久无码| 久久激情五月| 久久黄黄| 亚洲欧美setu| 久久九七| 骚逼一区二区| 久久人人爽av亚洲精品天堂桃色| 人人看欧美性爱| 人人操人人93| 一本久道在线综合视频| 大地资源在线观看中文第二页| 丁香五月影院| 97日视频| 久久αⅴ| 无码国产Av| 亚洲熟女av日韩熟女| 口爆综合网| 日本不卡码黄色| 中文字幕一区二区三四五区日日骚| 蜜臀99久久精品久久久久久| 最近二区三区视频大全| 美女黄网| 性无码专区2020| 亚洲91在线| 91五十路| 中文字幕天堂在线| 日韩欧美成人性爱在线| A 天堂| 人妻夜夜爽天天爽三区麻豆AV网站| yaouchengrenav| 欧美性爽xyxOOOO| 在线观看成人性爱免费小视频| 天天色黄色影院天天操| 国产综合网站在线播放| 91蜜臀熟女| 啊操爽品善一区二区三区| 欧亚第一综合网| 中文字幕诱惑制服人妻丝袜美丝袜美| 久久久三区二区一区| 综合 亚洲 欧美| 国产理论视频在线播放| 色女网日韩| 97爱免费插| 成人精品水蜜桃久久久久久久| 涩综合导航| 九九英色视频| 人妻偷拍一区二区三区| 亚洲不卡不卡中文字幕不卡| 久久久网一区| 老熟女网站| 欧美偷拍区| 久久视频,这里只有精品| 久久精9| 人妻少妇久久中文字幕一区二区 麻豆 | 六月丁香婷| 九九九九精| 超碰av人人人| 伊人五月天婷婷| 欧美色棕合| 老熟妇91| 成人午夜无码视频| 骚熟女AV网| 欧美人妻精品一区二区| 狠狠躁天天躁日日躁| 欧差乱伦二三| 久操黄色视频| 正在播放国产精品一区| 无码男人天堂| 精品久久人妻成人网| 天天综合网合集91| 日本99久久| 日韩电影免费网站麻豆视频| 久久99人妖视频国产| 国产精品禁久久久精品| 丁香六月综合激情| 日韩综合无码一区久久92| 亚欧高清在线| 七月丁香婷婷| 久草精品一区 | 人人弄人人摸| 97超碰中文字幕| 国产女人操逼视频| 欧美激情视频一区二区| 青青草伊人久久| 一区二区三区精品视频| 无码久久国产| 日韩精品电影| 国产精品秘 福利姬在线观看| 蜜臀久久99精品久久久久久婷婷| 午夜毛片高清免费不卡| 欧插网站| 9色在线| 国产精品蜜乳AV| 欧美色97| 欧美五区| 日韩一区二区熟女| 国产精品电影| 久久久五月天| av天堂手机版追回| av凤凰久久久| 精品亚洲国产成人精品| 性色av大全| 欧美gv在线观看| 91熟女网| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 少妇熟女视频一区二区三区| 好吊色青靑草| www.人人摸在线视频| 97色诱| 成年男人的天堂| 午夜欧美女人操逼| 久久鲁干| 天天做日日爱夜夜爽| 黄网色一区二区三区四区精品| a一区二区三区乱码在线| 亚洲一区中文精品| 精品日韩中文在线| 国模少妇一区二区三区| 人妻av在线| h在线看免费版在线看| 尤物网址| 丁香五月色| 98一区二区精品| 亚洲精品丝袜| 久久原创中文| 97视频免费在线观看| 久久男人精品| 极品尤物女神在线观看| 亚洲九九视频| 撸无码不卡免费视频| 国产性爱强奸乱伦大全| 欧美麻豆成人同性GⅤ在线| 色播丁香| 97av,com| 久久产精品一区二区三区电影| 亚洲骚逼少妇| 国产精品无码论坛| 青青草大香蕉在线视频| 青青青草伊人精品| 国产成人午夜视频网址| 国产精品女同| 夜夜夜夜爽| 偷拍 欧美 日韩| 午夜爽爽爽在线观看永久入口姬片| 国产理论视频在线播放| 天天综合~91入口| 欧亚久久偷拍视频| 一区二区三区免费视频入口 | 秋霞影音一区二区三区| 久久嫩草国产成人一区| 精品午夜福利| 不卡啪啪视频| 国产精品动态一区二区三区四四| 一区操逼| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 日本性爱少妇| 91无摭挡| 亚洲国产成人精品久久久国产成人一区二区三. | 人妻AV在线| 黄呦呦在线| 99热在线观看| 欧美性猛交美女自慰91| 国产久久久久久| 久久天天摸| 亚洲欧美不卡线| 日本亚洲熟女视频| 台湾佬大香蕉| 欧美在线伊人色| 久久久99免费| 日本精品一区二区三| 久久久 国产精品| 欧美人妻熟女在线| 天天爽夜夜操| 精品无吗久久| 久久东京伊人一本到鬼色| 视频在线观看青青99国产| 色综合久| 亚洲AV无码AV吞精久久久久| 欧美午夜熟妇黑人精品91| 色欧美天天| 日本1区2区不卡视频| WWW.加勒比人妻一区不卡.com| 黄色区免费观看中文字幕| 后入日本1234| 97久久久精品| 国产精品小视频一区二区三区| 一个国产在线综合网站| 天天干人人乐| 久久久亚洲精品电影免费看| 在线日韩精品一区二区三区| 免费男人的天堂| 久久9精品视频| 91超级碰| av资源在线观看少妇| 国产91亚洲精品一区二区三区| 亚洲午夜蜜臀| 国产怡红院| 国产精品青草综合久久| 性生活久久久久久久久久| 国产熟女免费观看久久| 日韩人妻一二三区视频| 亚洲色人阁| 亚洲涩图欧美| 青青三级视频| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 天久久久噜噜噜久久国产精品爽爽 | 麻豆天美AV传媒第一页| 久久久久96| 亚洲综合一| 91久久久老司机| 老女人91| 青青草国产盗摄一二三区| 天操老女人| 人妻五十路在线| 青青草女人天天干| 亚洲天堂欧美| 国产在线能看的你懂的| 乱伦图一区| 国产高清成人传媒影视| 亚洲 小说 欧美 激情 另类| 深夜啪啪啪视频免费| 天天爽天天干| 2017天天操天天日| 国产女人与拘做受视频免费| 久久精品国产96精品亚洲拳交| 99福利社| 二级毛片| 91精品国产乱码| 精久久久| 亚洲十八禁止| 91视频综合网| 五十路熟女人妻一区二区在线观看| 99少妇| 26uuu性物| 日韩熟女三十乱伦| 久久性爱精品一区| 亚洲情色1区| 91丝袜美腿网站| 日产精品久久久一区二区| 丰满人妻一区二区三区免费 | 性性久久| 亚洲AV成人无码一二三久久| 伊人国产视频| 欧美极品色| 黄色一区二区秘书性感| 日韩精品国产精品五码一区二区| 欧美久久毛片基地| 97欧美综合| 婷婷五月天色色| 91久热| 日本精品一区二区中文字幕| 97精品国产精品免费观看| 天天射天天| 国产suv精品一区二区四| 亚洲天堂资源| 激情专区综合| 51一区二区三区| 无码少妇精品一区二区60岁老人| 日韩二区三四区五区六区在线看| 亚洲啪啪综合?v一区综合精品区| 亚洲人成网www| a片久久久久久久久久久久 | 亚州男人天堂| 中文字幕丝袜人妻| 欧美老妇综合网| 先锋影音av先锋一区| 91综合国产精品| 国内自拍 日韩激情 99| 羞涩视频| 色天欧美| 天天操女人| 操逼www.| 国产白丝精品在线观看| 制服中出中文人人精品| 久操操| 国产黄色影片在线观看| 怡红院成人视频| 亚洲s在线观看| 熟女突然公开看18禁影片| 吊色| 啊啊啊啊啊好大好舒服想要| 五月综合色| 欧美另类综合久久| 伊人国产成人av网站| 国产超碰欧美| 69久久久久久久久久久久久| 女人天堂AV五区在线| 日本精品高清一二区一本到| 国产品精品自在在线午夜免费| 超碰 国产熟女精品一区| 欧洲中文字幕| 91久青| 美女尤物福利视频| 俺去啦自拍| 亚洲免费97免费| 亚洲一区二区三区麻豆传媒| 丝袜美腿诱惑亚洲欧美视频在线观看 | 少妇69中文| 一二三四视频在线社区中文字幕| 欧美中文字幕男人天堂久久精品 | 欧美精品999| 国产精品蜜乳AV| 嗯啊抽插大香蕉网页| 性videos欧美熟妇hdx| 曰韩中文人妻视频| 日韩免费av片高清无码| 在线观看亚洲成人精品| 欧美日韩色综合网| 国产网红精品| 黄色激情电影在线观看| 人妻日日干| 欧美做爰无码A片视频| AAAAAAAAA黄片| A片三级无码| 天天欧美欧美亚洲网| 级做a爱无码性色永久免费| 日本999精品视频| 日本中文字幕熟妇| 欧美色图 色综合图| 激情看片网站| 97超碰精品图片| 午夜九九| 超碰97护士| 91精品久久久久五月天精品| 国产亚洲精品av一区| 成人乱码一区二区三少妇| 国产动漫操逼视频| 男人天堂站| 夜夜做夜夜爽精品视频| 新亚洲无码| 91快色色色色色| 97九色人妻| 91性| 黑人美精品 A片| 狠狠操狠狠爱| 久久人妻97久久久久久久| 91精品久久久久久77777| 美欧色综合| 97欧美性爱| 国产污视频麻豆传媒一区二区| 国产超碰97| 女同女同恋久久级三级| 曰韩精品九九无码| 黑人精品欧美一区二区蜜桃| 欧美真人抽搐一进一出gif| 中字乱伦AV| 一级婬片120分钟试看| 国产92麻豆天美精品色欲5| 18一区二区三区| 99re视频在线播放青草| 亚洲天堂无码| 强奸乱伦Av网| 爆乳免费黄网站| 蜜臀久久99精品久久久久久久久| 亚洲污污网站| 性爱av网站| 久久久久亚洲熟妇熟女| 乱伦av.com| 国产精品丝袜久久亚洲不卡| 精品国产三级av韩国在线 | 97亚洲自在精品在线观看| 欧美综合国产精品久久丁香| 狠日欧美| 超碰97起碰| 96精品久久久久久久久久| 另类天堂| 成人一二| 久久久久久久六六| 在线A日本| 亚洲日韩乱码中文无码蜜桃臀网站| 一二三区操逼国产91| sss视频华人在线| 日韩激情无码影院| 无码男人天堂| 一起草av| 色色网91| 乱人乱色一区二区三区免费| 99这里有精品视频| 亚洲欧美黄| 亚洲永久永久永久永久一级一级一级精品 | www黄片免费看com| 成人性交免费视屏| av操操不卡| 久久精品国产96精品亚洲拳交| 亚洲骚男同com| 91精品久久久久| 性爱乱伦网址| 国产在线激情| 青青草久久一区网| 综合欧美日本三级| 老熟女乱伦片| 天天干人人乐| 久操av在线| 天天看片天天爽| 久久香蕉国产线看观看猫咪av| 熟女露脸激情自拍视频| 青青草视频久久久久| 婷婷深爱五月| 性在久久久久久| 韩国免费播放一级毛片| 在线洲亚线| 嫩草黄页| 亚洲www91| 亚洲精品天天影视综合网 | 国产精品视频内谢女人| 亚洲情色 自拍| 欧美久久久| 欧美亚洲日韩16色| 日本天堂网| 人妻啊啊人妻啊啊| 国产玖玖| 欧美另类色图片| 91狠狠综合久久| 五月丁香婷婷综合网| 久久AV无码网址| 三级片网站在线播放| 日韩A优精品在线观看| 国产精品一区二区校花| 国产精品亚洲天堂网址| 性夜影院爽黄A爽免费动漫| 老司机香蕉久久久久| 伊色久人大在线| 九九九九精| 做爱A级亚欧| 精品免费视频国产一区| 91av熟女人妻| 成年女人黄网站| 午夜120视频在线观看| 欧美性爱第一页久久| 国产精品99精品视频网站| 国产av波波国产精品| 久久一级无码精品毛片6| 97色色婷婷| 久操99| 欧美91在线+|+欧美| 乱久久久| 国产精品剧情| 午夜男人av| 色婷婷激情| 精品无吗久久| 日本不卡中文| 亚洲日本激情| 69人妻精品一区二区绯色| 日本九九久久99播| 97国产精选| se吧提供国产乱老熟视频胖女人| 国产 无码 一区二区| 中文字幕91综合| 老鸭窝日丰县女人| 国产色图乱伦| 717影院理论午夜伦八戒| 嗯嗯嗯好爽| 日本精品九九九| 欧美成熟性爱精品| 欧美色五月| 手机在线A片| 骚货人妻偷情自拍在线视频| 啊好大好舒服| 日韩9区| 人妻一区视频| 日韩ab网| 国产中出内射一区二区| 99色| 91亚洲欧美| 国产精品久久久久久久黄无码 | 爱妻综合网| 超碰免费人妻人人| 91暧暧| 婷婷av在线中文字幕| 激激五月| 精品少妇999| 69精品少妇一区二区三区蜜桃| 搡老熟女国产1000部| 国产日韩在线播放| 国产欧洲精品亚洲午夜拍精品| 伊人网免费视频| 强奸少妇AV导航网| 国产精品视频内谢女人| 欧洲综合视频| 久久性爱视频99| 爽爽歪在线视频| 日本一级真人黄色性爱视频| 亚洲情色一区三区| 欧美国产有色电影| 大黄片做爱的大的| 97在线观看免费| 欧美三级不卡| 亚洲日韩在线a不卡99精品| 久久深夜无码| 97日韩超碰超碰中文字幕| 91狠狠综合久久久| 91色香| 亚洲第一页色| 超碰97亚洲| 超碰无码五月97| 亚洲欧美综合网站| 91精品国产麻豆国产自产在| 91久久青青草原精品| 91在线页| 亚洲欧美日韩精品久久久一区二区| 97超色| AV天堂男人的天堂| 中文激情网| 亚洲婷婷综合网| 亚洲成成熟女人综合一区二区| 欧美熟爽综合| 夜夜爽爽爽| 视频一区二区三区精品| 一区二区视频在看| 91国产丝袜白虎| 久久久婷| 日韩欧美国产高清视频| 国产成人精品必看| 超碰欧美97| 美女天天干| 啊啊啊啊啊好舒服视频| 久操热| 一级@啪啪视频| www欧美91| 啊啊啊在线看| 久久久熟女一区| 亚洲综合九| 久久久久久久久久久999| 99色在线| 99热这里是精品| 波多野结衣一级视频| 91五十路| 亚洲日韩美女丝袜美腿人妻视频| 999综合色| 欧美另类色图片| 久久黄黄| 嗯嗯啊啊的视频| 五月天色电影| 日韩精品熟妇| 国产按摩一区二区三区| 五月天婷婷基地| 色色国产| 久日91在线| 好湿好紧视频| 尹人免费观看视频在线| 久久精品毛片免费不卡| 久久久中文| 久久水蜜臀亚洲AV无码精品| 天堂射| 超碰天天去日穴| 日本操逼视频在线| 日本欧美一区二区三区免费| 在线精品福利免费播放| 久久,精品一二三| 亚洲综合 欧美| 啪啪视频免费在线观看| 欧美 青青草| 欧美成人精品一区二区三区| 亚洲日韩乱码中文无码蜜桃臀网站| 国产女同视频在线播放| 国内亚洲高清无码| 无码抄逼网| 97色欧州| 国产一级内射高清视频| 中字乱伦AV| 久久一本大香蕉| 偷拍 欧美 日韩| 精品久久久久久亚洲| julia ann久久| 97精品熟女少妇一区| 国产精品国产自产拍高清AV| 特污精品女优骚货黄色视频在线免费观看| 人人操人人舒服| 人人手机欧洲亚洲国产人妻| 欧美成人A√在线一区二区| 久久久久亚洲三级电影| 成人性爱电影一区二区| 极品五月天噜噜| 操逼啊啊啊91| 艹精品| 丝袜综合| 日韩精品国产一区二区| 日本三级日本三级三级人妇四虎| 男人天堂2030| 手机av天堂久久久久| 极品色| 一区二区 日韩 欧美 国产 传媒| 国产午夜福利专区综合| 国产熟女一区二区丰满| 国产一区二区三区免费视频在性观看| 亚洲激情 欧美色图| 巨爆乳肉感一区二区三区竹菊影视| 久久怡红院| 亚洲国产成人精品女人久久久| 天堂中文日本在线观看| 东京热不卡视频| 无遮挡h肉动漫在线观看| 就去色综合| 欧美五区| 日本熟女中文| 国产高清亚洲日韩一区| 99re这里| 天美麻豆精品视频99| 国产精品视频自拍在线| 可乐操在线| 亚洲天堂情色| 五月天综合在线| 中文字幕三四区| 夜夜一区二区| 免费精品国偷自产在线在线 | 色网在线视频观看免费| AV女优男人的天堂| 综合色好色| 久久久久久中文版| 1禁看欧美黄片免费看| 操逼操逼操| 九久精品| 中文字幕精品丝袜| 思思热er精品视频| 欧美人妻色| 国产久久成人| 成人一二三区| 亚洲五区熟女| 超碰成人最新最好看| 欧美91精品国产自产| 白丝少妇一区二区| 久久曰曰| 亚洲小电影免费涩涩成人在线高清| 色香综合天天影视综合 | 亚洲综合另类小说色区亚洲成av人片在www | 五月综合色| 日本中文字幕在线视频| 日韩免费高清大片在线| 熟女少妇一区二区三区| 冬京热男人的天堂| 丁香五月av| 狠狠狠狠狠狠| 激情久久av一区av二区av| 亚洲少妇综合在线播放| 欧美一区二区一级岛国大片| 久久久96| 深夜视频| 亚洲情色综合| 亚洲一区二区在线观看91| 99夜夜操| 日韩人妻丝袜中文字幕| 熟妇人妻精品一区二区| 超碰吊日色| 好属操| 婷婷伊人五月| 收看日本人日bb| 欧美日韩不卡a片| 脫衣舞一区二区三区| 精品午夜福利国产一区二区在线观看 | wwe 天天干.com| 夜夜操一区二区| julia国产在线 | 欧美色图电影| 99久久精品无码一区二区毛片免费 | 天天日熟妇| 亚州性色| 囯戸精品高潮呻吟旡码| 亚洲天堂AV在线播放| 91黑人无码激情在线| 亚洲最大黄网| 精品无码人妻一区二区免费蜜桃| 97在线日韩中文字幕| 国产一线二线三线av| 欧美传媒| 熟女丰满人妻一区| 97精品综合久久网| 久久久999国产精品| 成人精品无码| 九九黄色网| 操逼999| 看全色黄大色大片免费视频| 18禁的网站在线| 欧美色图亚洲色图成人在在线| 久久熟女久| 久久性爱视频99| 天天日天天舔天天喷天天射| 少妇特黄一区二区三区| 欧美第二页| 人人操AV| 神马久久免费电影观看| jk白丝没脱就开始啪啪| 美女淫穴| 欧洲特黄毛片免费看欧洲毛片| 亚洲丁香花色| 欧美激情亚洲| 超碰人人草| 91N综合网| 超碰人人在线| 欧美97av| 亚洲色五月| 午夜福利 成人 91| 中文字幕一区日韩精| 天天搞欧美| 精品v日韩欧美国产| 999九九九九国产动| 五十路三级片| 九99久久| www.99热| 色爱天堂| 国产传媒美日韩av| av日韩手机在线影视| 九九亚洲色在线观看| 亚洲丁香花色| 人人妻人人澡人人爽人人精品浪潮| 国产亚洲在线| 香伊人在线| 成人久久精品| 91一起操| 亚洲精品免费中文字幕| 天天干人妻| 日本久久精品| 国产精品国产亚洲区艳妇糸列| 99蜜桃臀亚洲成人在线观看| 国模无码一区二区三区在线| 熟人人妻少妇精品久久| 欧美性暴力猛交XXXX| 看一级黄色视频| 91深夜夜| 午夜成人爽爽爽爽A片李冰冰| 亚洲性少妇| 日韩AV一区二区三区四四| 四虎国产精品永久地址入口| 好湿好紧视频| ai欧美亚洲小说| 夜夜狼人妻| 日韩三级视频一区二区三区| 99精品欧美一区二区三区桃色| 亚洲女人91| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 国产 v乱码一区二| 影音先锋乱伦资源| 伊人加勒比| 婷婷国产精品一区二区| 99热18这里只有精品| 欧美香蕉视xxx| 偷窥自拍亚洲色图| 操穴国产| 国产精品一二三区福利| 超碰人妻在线| 亚洲AV成人无码久久精品播放| 东京热一区二区中文字幕| 激情欧美97| 大香蕉一级黄色片久久| 老熟女网站| 亚洲欧美色图| 亚洲久久久久| 国产高清自拍视频| 84YTCOM性无码| 亚洲无码视频免费在线观看网址!| 91精品人妻一品二品三品| 日韩人妻无码不卡网站| 97伦综合| 日韩十八禁| 1000部熟女视频在线观看| 乱伦熟女专区| 在线观看高清AV| 亚洲日本韩国在线| 青青草密桃在线播放| 日日天天久久啊啊aaa| 香蕉免费一区二区三区不读| 五月天人妻综合| 午夜操一操| 人人操人人操人人操人人操人人操人人人11.CM | 日本人体九九九九九九| 九九十八精品| 亚洲色图综合网| 97超碰精品图片| 国产成人无码a| 欧美一级色| 9久久9综合| 国产一区二区在线看| 操逼大黄片| 亚洲 图片 综合91| 欧美日韩97在线| 欧美在线永久天堂| 久久黄黄| 2019午夜福利视频| 中文字幕日韩专区精品系列| 簧片免费看视频| 夜色97| 欧美区亚洲区偷拍区 | 日韩欧美aⅴ综合网站发布| 日韩草久视频| 久久伊人影院| 99热9| 国产午夜精品一区二区三区牛牛| 国产中文大片资源中文字幕| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 五月天黄色激情视频| 欧美另类自拍| 国产无码久久高清| 精品国产自在在线99| 2019亚洲男人天堂| 日韩探花精品在线视频| h色99999| 亚洲无码国产精品久久| 啊啊啊啊啊啊啊国| 91色色网站| 精品久久久九九九孕妇| 夜夜躁狠狠躁日日躁av| 久久小视频| 久操免费在线| 久久久久久久久久久久久久久性生活视频 | 欧美日韩亚洲电影| 黄在线| 久久婷婷苹果| 亚洲综合一| 最新av中文字幕高清| 成人在线午夜视频一区| 曰韩成人免费视频| 白 大 人妻 区 在线| 天天摸夜夜添无码小视频| 97国产综合欧美| 大香蕉啪啪网| 试看60秒 爽| 亚洲综合性网址| 热久久这里只有精品| 成人怡红院| 97欧美日韩中文| 99这里有精品| 亚洲一二三四区| 91麻豆一二三区| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 在线欧美69V免费观看视频| 精品成人久久久人人亚洲| 不卡人妻少妇精品毛片一区23区视频 | 久操视频这里只有精品| 日逼五月天| 91麻豆天美国产欧美日| 天天视频黄网站| 青草精品视频一日本久久久久网站| xxx亚洲午夜天堂| 欧美一级色| 1级黄色夫妻对换性交免费看| 国产久9| 国产热av| 亚洲熟女一区| 91丝袜美女| 亚洲性爱高潮影院| 69精品人人人人| 人人操人人操草草| 一起草欧美| 国产精品久久久久久照片| 日韩性爱啪啪视频| 久久久久久久九九九九九九| 久久人妻熟女一区二区| 午夜啊啊| 狠狠爱大香蕉| 操熟女91| 丝袜亚洲综合| 久久综合九色综合欧洲98| 日日超碰亚洲| 欧美18老人禁| 中文字幕一区二区三区字幕| 浓厚中出中文字幕在线| av亚欧| 中国AV美女| 亚洲精品无码久久AV| 蜜桃av综合网发布| 婷婷丁香成人| 97国产色综合| 在线观看视频91| 天天干夜夜| 精品少妇一区二区| 久久超碰日韩精品| 69少妇一区二区| 青娱乐日韩无码| 又黄又爽在线观看视频| 中美日韩毛片| 久久久久久九九九九九九| 330dv亚洲成年视频网|