欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從 Issue 到 PR 合入:HCCL 開源貢獻(xiàn)全流程實(shí)戰(zhàn)指南

從 Issue 到 PR 合入:HCCL 開源貢獻(xiàn)全流程實(shí)戰(zhàn)指南 在昇騰設(shè)備上做分布式訓(xùn)練時(shí)HCCLHuawei Collective Communication Library就是那個(gè)藏在底層、負(fù)責(zé)多卡和跨節(jié)點(diǎn)梯度同步的集合通信庫(kù)。很多做模型訓(xùn)練的同學(xué)用過它但真正參與過它開發(fā)的并不多。這篇東西我想從一個(gè)貢獻(xiàn)者的視角把從提 Issue 到 PR 合入的完整鏈路拆開講一遍包括什么樣的 Issue 會(huì)被維護(hù)者認(rèn)真看、PR 怎么寫才不用來(lái)回折騰十輪、CI 掛了先查哪里、以及 code review 時(shí)那些不好意思問出口的潛規(guī)則。如果你已經(jīng)有 C/C 或 Python 基礎(chǔ)想找一個(gè)有真實(shí)落地場(chǎng)景的開源項(xiàng)目練手HCCL 其實(shí)是個(gè)比想象中更友好的選擇。這篇文章會(huì)從項(xiàng)目背景、Issue 規(guī)范、環(huán)境準(zhǔn)備、PR 流程、CI 調(diào)試到合入后的收尾工作逐步帶你把整套流程走通。哪怕你還沒碰過集合通信只要愿意讀代碼、愿意跑測(cè)試也能找到自己可以下手的位置。1. 項(xiàng)目畫像先搞清楚 HCCL 到底是什么1.1 它在分布式訓(xùn)練棧里的位置在聊怎么給 HCCL 貢獻(xiàn)代碼之前先花點(diǎn)時(shí)間把項(xiàng)目本身講清楚。HCCL 是昇騰 AI 加速卡上的集合通信庫(kù)對(duì)標(biāo)的是 GPU 生態(tài)里的 NCCL。訓(xùn)練大模型時(shí)數(shù)據(jù)并行是最常見的并行策略每張卡算完自己那一份梯度之后需要把梯度同步到所有卡上這個(gè)同步動(dòng)作就是靠集合通信庫(kù)來(lái)完成的。AllReduce、AllGather、ReduceScatter 這些通信原語(yǔ)就是 HCCL 對(duì)外提供的核心能力。你可以把它理解成快遞系統(tǒng)里的分揀中心每張卡都往里面投遞自己的梯度包裹分揀中心負(fù)責(zé)按照規(guī)則重新打包再派送給所有卡。如果分揀中心效率低整個(gè)訓(xùn)練任務(wù)都會(huì)卡在等待上。這也是為什么集合通信庫(kù)的性能優(yōu)化如此重要——哪怕只提升 10% 的通信效率在大規(guī)模訓(xùn)練里節(jié)省的時(shí)間成本都是非??捎^的。對(duì)貢獻(xiàn)者來(lái)說這個(gè)位置意味著兩件事一是你寫的代碼會(huì)被真實(shí)的高性能計(jì)算場(chǎng)景使用改動(dòng)的影響面很直觀二是它涉及的知識(shí)面比較寬包括操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議、硬件拓?fù)?、并發(fā)編程但每個(gè)方向都不是說你要成為專家才能參與很多任務(wù)其實(shí)是在已有代碼框架上做增量?jī)?yōu)化和修補(bǔ)。1.2 代碼倉(cāng)庫(kù)和模塊劃分HCCL 的源碼可以通過公開代碼托管平臺(tái)獲取常見的路徑是在 Gitee 或 GitHub 上搜索相關(guān)組織下的 HCCL 倉(cāng)庫(kù)。拿到源碼之后你會(huì)發(fā)現(xiàn)它并不是一個(gè)特別龐大的項(xiàng)目但目錄結(jié)構(gòu)劃分得很清晰。核心內(nèi)容一般集中在通信算子的實(shí)現(xiàn)、設(shè)備管理、拓?fù)浒l(fā)現(xiàn)、傳輸鏈路這幾個(gè)模塊里。從新人的角度我建議先不要把精力放在底層傳輸鏈路上那個(gè)模塊涉及到對(duì)硬件驅(qū)動(dòng)的理解排查問題的門檻很高。相對(duì)友好的切入點(diǎn)是集合通信算子的上層邏輯、工具腳本、文檔注釋和測(cè)試用例。比如你看到某個(gè)算子在特定數(shù)據(jù)大小下性能異常順著調(diào)用鏈往下查可能定位到的是內(nèi)存分配策略或者同步等待邏輯的問題這種問題的修復(fù)往往只涉及幾百行代碼但對(duì)于理解整個(gè)項(xiàng)目幫助極大。順便說一句HCCL 的代碼風(fēng)格整體比較規(guī)整大量使用 C 特性但也保留了不少 C 風(fēng)格的接口設(shè)計(jì)。原因很簡(jiǎn)單這個(gè)庫(kù)需要被上層框架比如 PyTorch 的適配層通過 C 接口調(diào)用所以對(duì)外 API 用 C 接口更穩(wěn)定內(nèi)部的實(shí)現(xiàn)則用 C 來(lái)保證開發(fā)效率。1.3 貢獻(xiàn)前的能力準(zhǔn)備先潑一盆冷水給 HCCL 貢獻(xiàn)代碼不是會(huì)寫 Python 調(diào)幾個(gè)框架就行的事情。它需要一定的 C/C 功底至少要能讀懂指針、引用、模板這些基礎(chǔ)概念理解多線程和鎖的用法以及具備通過日志和調(diào)試工具排查問題的經(jīng)驗(yàn)。但也不用被嚇住因?yàn)轫?xiàng)目里不只是代碼一種貢獻(xiàn)形式。文檔修正、示例代碼、測(cè)試補(bǔ)充、Issue 復(fù)現(xiàn)驗(yàn)證這些都是非常有價(jià)值的貢獻(xiàn)方式。尤其對(duì)于第一次參與開源的人來(lái)說從文檔和測(cè)試入手熟悉了整個(gè)流程之后再碰核心代碼是曲線比較平滑的一條路。環(huán)境方面如果你手頭有昇騰設(shè)備那當(dāng)然是最好的可以本地復(fù)現(xiàn)并驗(yàn)證性能改動(dòng)。如果沒有也可以貢獻(xiàn)一些不依賴硬件的代碼邏輯優(yōu)化或者在 CI 環(huán)境里去跑測(cè)試。只不過需要提前說明的是HCCL 的很多測(cè)試是依賴真實(shí)硬件環(huán)境的純軟件模擬環(huán)境只能覆蓋一部分功能這個(gè)限制對(duì)所有貢獻(xiàn)者都一樣不是你一個(gè)人的問題。2. 從一條合格 Issue 開始2.1 Issue 不是吐槽區(qū)我見過很多新手在 GitHub/Gitee 上提 Issue開頭就是“訓(xùn)練報(bào)錯(cuò)了求大佬看看”然后附一張模糊的截圖沒有版本號(hào)沒有日志沒有復(fù)現(xiàn)步驟。這種 Issue 基本不可能得到有效的回復(fù)——不是維護(hù)者不熱情而是信息不足以定位問題。高質(zhì)量開源協(xié)作的第一步是學(xué)會(huì)提一條合格的 Issue。一個(gè)合格的 HCCL Issue必須包含幾個(gè)核心要素問題現(xiàn)象、復(fù)現(xiàn)步驟、環(huán)境信息、日志信息?,F(xiàn)象描述要準(zhǔn)確比如“在 8 卡環(huán)境執(zhí)行 AllReduce 時(shí)當(dāng)數(shù)據(jù)量為 512MB 時(shí)性能比預(yù)期低 30%”就比“訓(xùn)練很慢”有用得多。復(fù)現(xiàn)步驟要可操作別人按你的步驟能走通。環(huán)境信息包括操作系統(tǒng)版本、CANN 版本、HCCL 版本、固件驅(qū)動(dòng)版本、卡型號(hào)和拓?fù)洹H罩拘畔t是運(yùn)行時(shí)的報(bào)錯(cuò)輸出、HCCL 日志通常由環(huán)境變量控制開關(guān)以及必要的堆棧信息。有人可能會(huì)覺得我提個(gè) Issue 而已還需要整理這么多東西嗎換個(gè)角度想如果你是那個(gè)需要花半小時(shí)甚至更久去復(fù)現(xiàn)問題的維護(hù)者你希望看到什么樣的報(bào)告將心比心把信息整理清楚本身就是對(duì)維護(hù)者勞動(dòng)的尊重。2.2 一份能加速處理的 Issue 長(zhǎng)什么樣我以一個(gè)真實(shí)的 bug 類 Issue 為例給你拆解一下模板要素標(biāo)題[Bug] AllReduce 在數(shù)據(jù)量為 256MB 時(shí)觸發(fā)段錯(cuò)誤 環(huán)境信息 - 操作系統(tǒng)Ubuntu 20.04.6 LTS - CANN 版本8.0.RC1 - HCCL 版本v1.8.1 - 固件驅(qū)動(dòng)24.1.rc1 - 硬件4 張 Atlas 訓(xùn)練卡單機(jī)單卡環(huán)形互聯(lián) 復(fù)現(xiàn)步驟 1. 編譯 examples/allreduce_benchmark參數(shù)配置如下省略具體參數(shù) 2. 設(shè)置 HCCL_LOGFILE/tmp/hccl.log 環(huán)境變量 3. 啟動(dòng)測(cè)試程序數(shù)據(jù)量設(shè)置為 256MB 4. 觀察程序退出碼 期望行為正常完成集合通信并輸出正確結(jié)果。 實(shí)際行為程序在通信初始化階段崩潰退出碼 -11堆棧顯示在拓?fù)浒l(fā)現(xiàn)模塊具體報(bào)錯(cuò)粘貼。 日志片段 粘貼關(guān)鍵日志避免貼整個(gè)文件這個(gè)模板的信息密度很高維護(hù)者拿到手可以直接開始復(fù)現(xiàn)。值得注意的一點(diǎn)是“數(shù)據(jù)量為 256MB 時(shí)崩潰128MB 或 512MB 時(shí)正?!边@種信息非常關(guān)鍵因?yàn)樗軒椭S護(hù)者快速縮小問題范圍——可能涉及內(nèi)存池分配策略、通信緩沖區(qū)的邊界條件或者某個(gè)特定數(shù)據(jù)分片邏輯。另外如果問題涉及性能最好附上基線數(shù)據(jù)和實(shí)測(cè)數(shù)據(jù)的對(duì)比說明是在什么條件測(cè)的。性能問題比崩潰問題更難處理因?yàn)樗赡芎途W(wǎng)絡(luò)拓?fù)?、CPU 頻率、PCIe/NVLink/HCCS 鏈路狀態(tài)都有關(guān)沒有數(shù)據(jù)的性能 Issue 基本等于大海撈針。2.3 Issue 里的溝通禮儀Issue 提完之后你可能會(huì)遇到幾種情況。一種是維護(hù)者很快回復(fù)“能否提供更多信息”這時(shí)你需要及時(shí)補(bǔ)充一種是長(zhǎng)時(shí)間沒人回復(fù)這并不一定代表你的問題不重要可能是維護(hù)者比較忙也可能是你的 Issue 確實(shí)缺少必要信息還有一種情況是有人回復(fù)了但是給了一個(gè)和你預(yù)期不一樣的解釋方向。在 Issue 評(píng)論區(qū)溝通要保持專業(yè)和耐心。不要用“這東西怎么這么難用”這種抱怨語(yǔ)氣直接陳述技術(shù)問題就好。如果某個(gè)對(duì)話已經(jīng)偏離主題可以禮貌地提醒對(duì)方回到問題本身。如果維護(hù)者要求你驗(yàn)證某個(gè)修復(fù)補(bǔ)丁盡量第一時(shí)間去跑然后把結(jié)果反饋到評(píng)論區(qū)——這是建立信任的過程。這里還有一個(gè)很容易踩的坑在 Issue 里貼完整的大文件日志。幾萬(wàn)行的日志會(huì)把真正有用的錯(cuò)誤信息淹沒掉正確做法是先用 grep 過濾掉無(wú)關(guān)內(nèi)容只保留報(bào)錯(cuò)前后的關(guān)鍵幾十行并在日志片段外簡(jiǎn)要標(biāo)注每部分可能表示的含義。維護(hù)者每天要處理大量 Issue信息越聚焦你的問題被解決的優(yōu)先級(jí)就越高。3. 從 Issue 到開發(fā)計(jì)劃3.1 怎么篩選適合自己的任務(wù)不是所有 Issue 都需要你寫代碼。HCCL 的項(xiàng)目維護(hù)者通常會(huì)給 Issue 打標(biāo)簽比如 good first issue、help wanted、bug、enhancement 等。如果你是第一次參與建議優(yōu)先找 good first issue 或者文檔增強(qiáng)類的任務(wù)這類任務(wù)的技術(shù)依賴少評(píng)審要求相對(duì)寬松能幫你把整個(gè)工具鏈跑通。篩選任務(wù)的時(shí)候有幾點(diǎn)經(jīng)驗(yàn)可以分享。首先看 Issue 的創(chuàng)建時(shí)間——太老的問題可能已經(jīng)沒人關(guān)注你做了也可能不被接受。其次是看評(píng)論區(qū)的活躍度如果維護(hù)者在此前已經(jīng)給過一些方向性建議說明這個(gè)問題是被認(rèn)可的你可以在此基礎(chǔ)上展開。第三是評(píng)估影響范圍盡量選那些改動(dòng)文件不超過 10 個(gè)、核心邏輯相對(duì)獨(dú)立的問題。以 HCCL 為例一個(gè)對(duì)新人比較友好的任務(wù)是“補(bǔ)充某個(gè)通信原語(yǔ)在異常輸入下的錯(cuò)誤碼檢查”這種改動(dòng)通常只需要在 API 入口增加參數(shù)校驗(yàn)邏輯清晰、影響面可控。相比之下“優(yōu)化某拓?fù)湎?AllReduce 的帶寬利用率”這種任務(wù)雖然很有吸引力但往往需要你深入理解硬件拓?fù)浜途W(wǎng)絡(luò)通信機(jī)制調(diào)試周期很長(zhǎng)不建議拿來(lái)做第一個(gè) PR。3.2 認(rèn)領(lǐng)任務(wù)與溝通方式找到合適的 Issue 之后不要直接悶頭開始寫代碼。正確的做法是先在這個(gè) Issue 下面評(píng)論說明你想認(rèn)領(lǐng)這個(gè)任務(wù)并簡(jiǎn)單描述你打算怎么解決。好處有三個(gè)一是避免和其他貢獻(xiàn)者撞車讓別人知道這個(gè)任務(wù)有人在做二是維護(hù)者會(huì)給你反饋如果方案有問題可以及時(shí)調(diào)整避免白干三是有溝通記錄作為依據(jù)后續(xù)你提交 PR 時(shí)維護(hù)者更容易建立上下文。在評(píng)論認(rèn)領(lǐng)任務(wù)時(shí)可以簡(jiǎn)單描述你的技術(shù)背景和計(jì)劃時(shí)間線比如“我熟悉 C 和內(nèi)存管理計(jì)劃兩周內(nèi)完成修復(fù)并提交 PR”。這種信息能打消維護(hù)者對(duì)新人執(zhí)行力的顧慮。但要注意一旦你承諾了時(shí)間線最好能真的推進(jìn)如果有意外延期也應(yīng)該及時(shí)在 Issue 里同步而不是一直沉默。另外一個(gè)小技巧認(rèn)領(lǐng)任務(wù)后可以先把相關(guān)代碼讀一遍在評(píng)論里提出你的初判。比如“經(jīng)排查問題出現(xiàn)在 topology.c 中的設(shè)備發(fā)現(xiàn)邏輯可能和 PCIe 鏈路寬度檢測(cè)有關(guān)”。即使這個(gè)判斷不完全正確維護(hù)者也會(huì)覺得你是真的在做事而不是隨便占個(gè)坑。3.3 本地開發(fā)環(huán)境搭建開發(fā)環(huán)境搭建是很多新手真正卡住的地方。我的建議是分兩步走先搞定能在本地完成的工作讀代碼、編譯、跑靜態(tài)檢查再解決需要硬件資源的工作跑真實(shí)通信測(cè)試。HCCL 的代碼構(gòu)建一般依賴 Linux 環(huán)境、GCC 編譯器、CMake 和 Python 工具鏈。拿到源碼后按 README 的說明安裝好依賴依次執(zhí)行配置、編譯、安裝這幾個(gè)步驟即可。在配置階段有幾個(gè)選項(xiàng)比較重要比如是否啟用測(cè)試代碼、日志等級(jí)、調(diào)試符號(hào)等。如果你是做功能開發(fā)而非性能調(diào)優(yōu)建議打開調(diào)試符號(hào)和更詳細(xì)的日志輸出方便定位問題。沒有昇騰硬件的情況下依然可以完成編譯驗(yàn)證但鏈接階段可能會(huì)缺少某些底層庫(kù)。這種情況下一個(gè)可行的替代方案是只編譯與你改動(dòng)相關(guān)的模塊做語(yǔ)法級(jí)別的驗(yàn)證然后把完整的驗(yàn)證寄托在 CI 上。這個(gè)過程雖然不那么順暢但很多開源項(xiàng)目的貢獻(xiàn)者都是這樣工作的——本地環(huán)境不完全匹配CI 反而成了最終裁判。綁定硬件環(huán)境的測(cè)試跑不了還有一個(gè)折中方案編寫針對(duì)純軟件邏輯的單元測(cè)試。比如某個(gè)函數(shù)負(fù)責(zé)解析環(huán)境變量、計(jì)算通信緩沖區(qū)大小或者維護(hù)內(nèi)部狀態(tài)這種邏輯完全可以在宿主機(jī)上寫單元測(cè)試跑起來(lái)。HCCL 中這一類可以脫離硬件驗(yàn)證的代碼比你想象的多得多這也是很多新人能夠遠(yuǎn)程貢獻(xiàn)的主要原因。4. 寫 PR不只是把代碼推上去4.1 分支與提交規(guī)范代碼開發(fā)完成后提交 PR 的第一步是在遠(yuǎn)端倉(cāng)庫(kù)創(chuàng)建自己的分支。分支命名建議遵循一定的規(guī)范比如用 fix/ 開頭表示 bug 修復(fù)用 feature/ 表示新功能用 docs/ 表示文檔變更。這樣維護(hù)者從分支名就能快速判斷改動(dòng)的性質(zhì)。分支創(chuàng)建好之后開發(fā)過程中的 commit 信息也要講究。我見過很多 PR 里一個(gè) commit 寫了 800 行改動(dòng)信息只是“fix bug”這種提交歷史基本沒有可讀性。更好的做法是遵循 Conventional Commits 規(guī)范在提交信息里用簡(jiǎn)短的類型前綴說明改動(dòng)類別比如 feat: 新功能、fix: 修復(fù)問題、test: 測(cè)試相關(guān)、docs: 文檔修改。同時(shí)一個(gè) commit 盡量只做一件事把邏輯上獨(dú)立的修改拆成多個(gè) commit方便 reviewer 逐個(gè)審查。Git 操作層面有幾個(gè)建議。一是經(jīng)常拉取主分支的最新代碼及時(shí) rebase 以減少合并沖突二是在提交信息中用祈使句開頭比如 Fix double free in comm buffer而不是 Fixing 或 Fixed三是提交信息正文可以簡(jiǎn)單寫清楚為什么做這個(gè)修改以及實(shí)現(xiàn)的思路但不要寫廢話。4.2 代碼風(fēng)格與自檢清單在推上遠(yuǎn)端之前先在自己的分支上做一輪自檢這種自檢能大幅提高 PR 通過率。以 C 代碼為例重點(diǎn)檢查以下幾項(xiàng)。第一命名是否規(guī)范。HCCL 這類底層庫(kù)對(duì)命名風(fēng)格有嚴(yán)格要求變量名要能清晰表達(dá)含義避免 a、b、c 這種無(wú)意義命名函數(shù)和類的命名要符合項(xiàng)目既有風(fēng)格不要一種模塊用駝峰、一種用下劃線至少在同一個(gè)文件里保持一致。第二邊界條件是否處理。比如你改了一個(gè)緩沖區(qū)分配邏輯是否考慮了 size 為 0 的情況是否考慮了內(nèi)存對(duì)齊要求是否能處理分配失敗這些邊界條件往往是 bug 的溫床。第三是內(nèi)存和資源管理。C/C 項(xiàng)目最常見的問題就是內(nèi)存泄漏、雙重釋放、資源未釋放。如果你改動(dòng)的代碼涉及動(dòng)態(tài)內(nèi)存分配仔細(xì)檢查每條路徑上資源是否都被正確釋放。對(duì)于不熟悉 C 內(nèi)存管理的同學(xué)建議先讀幾遍項(xiàng)目里已有的分配釋放邏輯照葫蘆畫瓢比自由發(fā)揮更安全。第四日志是否恰當(dāng)。HCCL 有自己的日志系統(tǒng)在關(guān)鍵路徑和錯(cuò)誤分支上應(yīng)該有合理的日志輸出方便線上問題排查。但日志也不能太多每個(gè)正常操作都打一條日志會(huì)把性能拖垮。第五測(cè)試是否充分。如果改動(dòng)修復(fù)了某個(gè) bug至少應(yīng)該有一個(gè)能驗(yàn)證該 bug 被修復(fù)的測(cè)試用例。對(duì)于性能優(yōu)化則需要附上優(yōu)化前后的基準(zhǔn)測(cè)試結(jié)果。4.3 PR 描述怎么寫得讓 Reviewer 秒懂PR 描述是你和 reviewer 溝通的第一份材料它的質(zhì)量直接決定了 review 的順暢程度。一份好的 PR 描述不需要長(zhǎng)篇大論但必須覆蓋幾個(gè)核心信息這個(gè) PR 解決什么問題、改動(dòng)涉及哪些模塊、實(shí)現(xiàn)思路是什么、測(cè)試結(jié)果如何、是否有關(guān)聯(lián)的 Issue。一個(gè)比較實(shí)用的模板結(jié)構(gòu)如下## 背景 2~3 句話說清楚為什么要做這個(gè)修改關(guān)聯(lián)的 Issue 編號(hào) ## 改動(dòng)內(nèi)容 列出主要改動(dòng)文件和每個(gè)文件的核心變更點(diǎn) ## 實(shí)現(xiàn)思路 簡(jiǎn)要說明采用的技術(shù)方案為什么選擇這個(gè)方案而不是其他方案 ## 測(cè)試驗(yàn)證 本地測(cè)試、單測(cè)、CI 結(jié)果、性能對(duì)比數(shù)據(jù) ## 影響范圍 這個(gè)改動(dòng)會(huì)影響哪些模塊或場(chǎng)景是否涉及接口變更、是否需要升級(jí)適配寫 PR 描述的時(shí)候要站在 reviewer 的角度去寫。reviewer 可能對(duì)你的改動(dòng)上下文不熟悉你要用最短的時(shí)間讓他理解你在做什么、為什么這么做。不要直接拷貝 commit message 到 PR 描述里commit message 是給代碼歷史看的PR 描述是給人看的兩者內(nèi)容可以有重疊但 PR 描述應(yīng)該更完整、更有邏輯。還有一點(diǎn)PR 描述里提到的測(cè)試結(jié)果一定要真實(shí)可查不要編造數(shù)字。如果某個(gè)性能數(shù)據(jù)是在特定條件下測(cè)出來(lái)的要如實(shí)寫明測(cè)試環(huán)境和方法。reviewer 大概率會(huì)追著你問數(shù)據(jù)的來(lái)源如果數(shù)據(jù)站不住腳你的信譽(yù)會(huì)大打折扣。5. 過 CI 和 Code Review 的硬仗5.1 CI 跑哪些東西提交 PR 之后代碼會(huì)自動(dòng)進(jìn)入 CI 流程。HCCL 的 CI 通常包括編譯檢查、單元測(cè)試、靜態(tài)代碼掃描、以及依賴于硬件環(huán)境的集成測(cè)試。你不一定能看到所有 CI 階段但編譯檢查和靜態(tài)掃描基本每次都會(huì)觸發(fā)。CI 失敗是每個(gè)貢獻(xiàn)者都會(huì)遇到的事情第一次不用慌。最常見的失敗原因有三類編譯錯(cuò)誤、代碼格式不符合規(guī)范、測(cè)試用例掛了。編譯錯(cuò)誤比較直觀順著日志里報(bào)錯(cuò)的文件和行號(hào)定位即可。格式問題則需要用項(xiàng)目指定的工具跑一遍自動(dòng)格式化比如 clang-format 或 astyle 之類格式化完成后再提交。測(cè)試用例失敗的情況需要具體分析。如果在本地能復(fù)現(xiàn)那就按正常的調(diào)試流程走如果本地?zé)o法復(fù)現(xiàn)則可能是環(huán)境差異導(dǎo)致的此時(shí)可以在 PR 評(píng)論中說明情況并請(qǐng)求維護(hù)者協(xié)助查看 CI 日志。有些 CI 失敗是因?yàn)榛A(chǔ)設(shè)施不穩(wěn)定導(dǎo)致的偶發(fā)失敗比如網(wǎng)絡(luò)超時(shí)、資源調(diào)度延遲這種情況下重跑一次就過了但如果是你的代碼引起的重跑多少次都是失敗。想減少 CI 往返次數(shù)最好的辦法是在本地盡量復(fù)現(xiàn) CI 的檢查項(xiàng)。比如提前在本地跑單元測(cè)試、靜態(tài)檢查、格式化校驗(yàn)確保這些過了再推代碼。CI 每失敗一次你的 PR 合入時(shí)間就延后一次而每個(gè)維護(hù)者一天能處理的 PR 數(shù)量是有限的。5.2 面對(duì) review 意見的心態(tài)與技術(shù)準(zhǔn)備Code review 是整個(gè)貢獻(xiàn)流程中壓力最大但也最有價(jià)值的環(huán)節(jié)。你的 PR 提交后維護(hù)者或社區(qū)成員會(huì)逐行查看代碼提出修改意見。這些意見可以是針對(duì)正確性的嚴(yán)重問題也可以是對(duì)變量命名的吹毛求疵甚至是對(duì)代碼風(fēng)格的偏執(zhí)。先說一個(gè)最重要的心態(tài)建設(shè)review 意見不是針對(duì)你一個(gè)人的它是針對(duì)代碼本身的??吹健斑@里加個(gè)空指針檢查”這種意見不要興奮也不要失落把它當(dāng)作一次技術(shù)方案打磨的過程就好。技術(shù)準(zhǔn)備方面你要能區(qū)分不同性質(zhì)的 review 意見。如果是正確性問題比如并發(fā)競(jìng)爭(zhēng)、內(nèi)存錯(cuò)誤、邏輯漏洞這個(gè)沒有商量的余地務(wù)必認(rèn)真修改。如果是風(fēng)格和可讀性意見雖然不強(qiáng)制但建議盡量順從因?yàn)榫S護(hù)者比你更了解項(xiàng)目的歷史慣性和后續(xù)維護(hù)成本。如果是方案層面的討論比如“你為什么會(huì)選擇用自旋鎖而不是互斥鎖”這種意見開放度比較高你可以從實(shí)際場(chǎng)景和性能測(cè)試數(shù)據(jù)出發(fā)據(jù)理力爭(zhēng)前提是你的論證有數(shù)據(jù)支撐。有個(gè)經(jīng)驗(yàn)可以分享當(dāng)你在 review 中修改代碼之后一定要在 PR 評(píng)論區(qū)回復(fù)每條意見的處理結(jié)果。常見的做法是直接用 GitHub/Gitee 的回復(fù)功能加一段“已修復(fù)見 commit xxxxxxx”或者“這個(gè)建議我不太認(rèn)同原因是……”。每個(gè)意見都有交代reviewer 才能放心地在后續(xù) commit 中只關(guān)注新增的改動(dòng)。5.3 反復(fù)修改與歷史清理除非你寫代碼真的行云流水否則一個(gè) PR 經(jīng)過多輪 review 修改是非常普遍的事情。每輪修改之后你需要在 PR 里追加新的 commit。這里有一個(gè)困擾很多新手的問題我改了一輪產(chǎn)生了 3 個(gè)新 commit歷史能清理嗎我的建議是分階段處理。在你的 PR 還沒有被 reviewer 大量關(guān)注之前可以用 git rebase 把多個(gè)小 commit 合并成幾個(gè)邏輯完整的 commit讓歷史保持整潔。但當(dāng) reviewer 已經(jīng)在舊 commit 上留過言之后就不要再隨意 rebase 了因?yàn)槟菚?huì)讓 review 評(píng)論和代碼版本對(duì)不上反而增加溝通成本。這個(gè)階段你可以通過追加 commit 的方式表達(dá)等 PR 合入時(shí)平臺(tái)一般會(huì)默認(rèn)用 squash merge 的方式把整個(gè) PR 壓成一個(gè) commit這樣最終歷史依然干凈。Git 操作上還有一個(gè)注意項(xiàng)rebase 時(shí)不要強(qiáng)推git push --force已經(jīng)公開的 commit如果你用了一定要在 PR 評(píng)論里明確告知否則別人本地的分支會(huì)變得非?;靵y。更穩(wěn)妥的做法是先 fetch 主分支最新代碼然后 rebase 到最新再?gòu)?qiáng)推你的 PR 分支。5.4 合入前最后一道關(guān)卡簽署與自評(píng)很多開源項(xiàng)目在 PR 正式合入前還有一個(gè)輕量級(jí)的合規(guī)檢查常見的是貢獻(xiàn)者許可協(xié)議CLA和開發(fā)者原創(chuàng)證書DCO。HCCL 這類商業(yè)驅(qū)動(dòng)的開源項(xiàng)目通常都在意這種合規(guī)問題因?yàn)樗婕按a的版權(quán)歸屬和法律風(fēng)險(xiǎn)。如果合入前提示你需要簽署 CLA不要覺得麻煩這是一條一次性流程填一遍以后所有項(xiàng)目都能通用。DCO 的簽署則更簡(jiǎn)單一般只需要在你的 commit message 尾部追加一行 Signed-off-by: 你的名字 郵箱表示你確認(rèn)這些代碼是你寫的或者你有權(quán)提交這些代碼。很多新手一看到英文縮寫就以為很復(fù)雜其實(shí)整個(gè)流程五分鐘內(nèi)就能完成。還有一個(gè)容易被忽略的步驟合入前自己最后讀一遍完整的 diff。尤其是改動(dòng)后的文件從 Git 的 diff 視角再審視一次。你會(huì)發(fā)現(xiàn)很多平時(shí)注意不到的小問題,比如誤提交的調(diào)試代碼、多余的空白改動(dòng)、臨時(shí)的日志輸出。自己先把這些問題清理干凈再讓維護(hù)者看到能少挨很多批。6. 合入之后與常見問題速查6.1 合入不是終點(diǎn)PR 合入之后很多人會(huì)覺得這件事結(jié)束了可以接著去做下一個(gè)任務(wù)。但從貢獻(xiàn)者的角度合入只是開始真正驗(yàn)證你改動(dòng)的時(shí)刻是在之后的一個(gè)月。首先你要關(guān)注合入后的 CI 情況。合入主分支并不意味著代碼完全沒問題穩(wěn)健的項(xiàng)目通常會(huì)在主分支上跑更長(zhǎng)時(shí)間、更全面的回歸測(cè)試。如果這些測(cè)試發(fā)現(xiàn)你引入了回歸維護(hù)者會(huì)在你的 PR 討論里回復(fù)你或者新建一個(gè) Issue 指向你的提交。其次你可以繼續(xù)保持對(duì)相關(guān) Issue 的關(guān)注。如果你的改動(dòng)修復(fù)了某個(gè)用戶報(bào)告的 bug可以留意用戶側(cè)有沒有反饋“這個(gè)修復(fù)有效”或“問題仍然存在”的信息。如果問題仍然存在你需要重新打開 Issue 繼續(xù)排查這也是開源社區(qū)協(xié)作的正常節(jié)奏。另外作為一個(gè)已經(jīng)合入過代碼的貢獻(xiàn)者你已經(jīng)有資格去 review 別人的 PR 了。這是一個(gè)很好的學(xué)習(xí)機(jī)會(huì)——你會(huì)發(fā)現(xiàn)坐在 reviewer 的位置上你會(huì)更加理解那些你曾經(jīng)覺得煩瑣的規(guī)范其實(shí)都是項(xiàng)目質(zhì)量和可維護(hù)性的保證。6.2 常見問題速查表下面整理了一些 HCCL 貢獻(xiàn)過程中常見的問題和排查方向是我以及身邊同事實(shí)際踩過的坑供你參考。問題現(xiàn)象可能原因排查思路本地編譯失敗報(bào)缺少頭文件依賴庫(kù)路徑未配置檢查 CANN 或驅(qū)動(dòng)環(huán)境變量確認(rèn) LD_LIBRARY_PATH 是否正確CI 失敗全部失敗在編譯階段拉取代碼時(shí)未同步子模塊檢查倉(cāng)庫(kù)是否用 --recurse-submodules 拉取或手動(dòng)更新子模塊CI 失敗失敗在靜態(tài)掃描代碼格式不符合規(guī)范本地運(yùn)行 clang-format 等格式化工具后重新提交本地單測(cè)通過CI 單測(cè)失敗環(huán)境差異或測(cè)試數(shù)據(jù)不同對(duì)比本地與 CI 的環(huán)境變量、依賴版本必要時(shí)在 PR 中請(qǐng)求維護(hù)者獲取 CI 日志性能優(yōu)化數(shù)據(jù)不佳方案與硬件拓?fù)洳黄ヅ鋰L試在不同卡數(shù)、不同數(shù)據(jù)量下進(jìn)行基準(zhǔn)測(cè)試分析是否引入了不必要的同步無(wú)法在本地復(fù)現(xiàn) Issue 中的崩潰缺少日志開關(guān)或特定環(huán)境變量按 Issue 中提供的信息逐項(xiàng)核對(duì)尤其是數(shù)據(jù)量、拓?fù)浜万?qū)動(dòng)版本PR 長(zhǎng)期無(wú)人 review維護(hù)者繁忙或描述不清晰在 PR 評(píng)論區(qū)禮貌 維護(hù)者或補(bǔ)充測(cè)試數(shù)據(jù)和復(fù)現(xiàn)步驟讓問題更清晰6.3 幾條值得謹(jǐn)記的避坑心得做了一段時(shí)間 HCCL 貢獻(xiàn)之后有幾個(gè)踩過的坑讓我印象很深這里集中說一下。第一不要在 issue 里只問“怎么解決”而不提供任何上下文。一個(gè)好的問題應(yīng)該讓人感覺你已經(jīng)讀過代碼、有自己的猜測(cè)只需要?jiǎng)e人幫你確認(rèn)方向。我在社區(qū)里看到過的最高效的一次提問是一個(gè)貢獻(xiàn)者直接貼出了他定位到的代碼行號(hào)并附上了他對(duì)問題的分析維護(hù)者只回了一句“你的判斷是對(duì)的修吧”這比來(lái)回追問五六輪高效太多。第二不要在一個(gè) PR 里同時(shí)修多個(gè)不相關(guān)的問題。多個(gè)問題混在一起reviewer 很難評(píng)估風(fēng)險(xiǎn)。一個(gè) PR 解決一個(gè)問題是開源協(xié)作的基本契約。如果你發(fā)現(xiàn)代碼里另外有一個(gè) bug請(qǐng)新建一個(gè) Issue 或者再開一個(gè) PR不要塞到當(dāng)前這個(gè)里。第三不要忽視文檔的力量。代碼改動(dòng)如果涉及對(duì)外行為的變化比如環(huán)境變量語(yǔ)義變更、接口參數(shù)調(diào)整、日志輸出變化一定同步更新相關(guān)文檔。你維護(hù)的不只是代碼還有這個(gè)項(xiàng)目的可理解性。很多 PR 因?yàn)槲臋n沒有同步更新而被要求返工這種事情完全可以提前避免。第四不要在 rebase 的過程中引入重復(fù)的改動(dòng)。很多新手在 rebase 主分支時(shí)因?yàn)闆_突解決不當(dāng)把主分支的代碼又復(fù)制了一份到自己分支里導(dǎo)致 diff 里出現(xiàn)大量無(wú)關(guān)改動(dòng)。遇到這種情況建議用 git diff 對(duì)比主分支和自己分支的差異檢查是否只保留了你想要改動(dòng)的文件。最后再說一點(diǎn)參與開源項(xiàng)目不是一個(gè)零和博弈。你可能提交的第一個(gè) PR 會(huì)被拒絕會(huì)被告知設(shè)計(jì)欠妥甚至?xí)蝗苏f“這個(gè)思路根本不對(duì)”。這些都很正常很多資深開發(fā)者當(dāng)年的第一個(gè) PR 也是被反復(fù)打回來(lái)的。關(guān)鍵是你能從反饋里學(xué)到東西而不是被打擊之后就放棄。如果你手頭有昇騰設(shè)備又有興趣深入了解分布式訓(xùn)練底層的通信邏輯可以試著從跑通官方 benchmark 開始然后自己設(shè)置一些異常數(shù)據(jù)或者異常環(huán)境變量看看會(huì)發(fā)生什么。好奇心是最好的入口而 Issue 和 PR 只是把你對(duì)問題的理解轉(zhuǎn)化成最終代碼的載體。只要你能把一件事寫清楚、說清楚、改清楚開源社區(qū)的大門對(duì)你就是敞開的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久热伊人| 久久婷婷成人| 丁香六月婷婷久久综合| xx久久| 热久精品| www.色五月| 播播网色播播| 精久久色| 欧美99视频| 久操综合| 婷婷丁香六月影视| 五月做爱| 超碰97人人操| 六月婷婷七月丁香| 99热一本| 色情五月综合婷婷| 五月丁香色婷婷熟女| 精品无码片| 激情六月色| 国产av基地| 99自拍视频| 热热久久精品视频| 超级碰91| 久久这里有精品| 美女天天久久| 男女av免费看| 婷婷四色五月| 天天透天天摸天天舔| 久久3级片| 26uuu成人网| 99热新网址| 激情四射五月天| 丁香婷停五月激情综合深爱| 97九色视频| 五月激情六月综合| 久久久久久性爱视频| 日韩精品一品二区三区的使用体验| 亚洲激情五月天| 亚洲综合色丁香婷婷六月| 无码人妻一区二区一牛影视| 99精品免费| 婷婷五月精品中文字幕| 五月天综合在线| 日韩少妇内射免费播放| 久久婷婷综| 久色姿源| 操逼毛片国语对白| Www.se.久久| 翔田千里 50岁 无码| 精品网站99| 91干网| 国产在线中文字幕| 老司机伊人| 99视频内射三四| 91久久精品国产91性色TV| 五月丁香六月婷婷无码| 丁香婷婷五月天亚洲| www.久操| 天堂伊人干| 丁香久久久| 日本色婷婷五月天成人电影| 天天噜日日噜综合无码| 激情丁香五月综合| 国产黄色在线| 超碰人人草| 婷婷天天日婷婷| 久久天天天| 996re热精品视频| 日本久久综合| 五月天六月色| 99九九精品视频| 五月婷婷黄色| 日韩精品电影| www.玖玖九| 337p大胆噜噜噜噜噜91Av| 天天天天天久久久久久| 激情五月亚洲综合网| 色五月婷婷AV| 精品无码片| 超碰九色| 日日综合网| 色噜噜狠狠一区二区三区| 色之综合网| 婷婷五月丁香欧洲| A1片久久| 五月丁香色婷婷| 天天爽日日爽夜夜爽| 人人色人人摸人人看| 五月天婷婷激情四射综合| 婷婷久久综合| 9999久久久久| 开心激情婷婷| 99精品在线观看| 夜夜 操无码| 激情五月www| www。狠狠干。com| 深爱激情中文五月天av| 色很很96| WWW,激情五月天,COM| 五月天基地| 丁香五月婷婷啪啪视频| 91狼友视频在线观看| 国产成人精品亚洲线观看| 久久性爱视频| 五月天综合视频| 五月天开心网| 26uuu丁香婷婷五月| 九九视频这里只有精品| 婷婷五月天小说网| 噜噜噜噜综合在线| 日本狠狠色| 一本久道综合色婷婷五月| 久久人妻情侣| 婷婷丁香人妻天天久久| 五月的色婷婷高潮| 天天摸天天舔| 亚欧州精品视频| 天天日日夜夜| 婷婷久久五月| 丁香婷婷五月| 成人做爰高潮A片免费视频| 婷婷5月天激情综合| 婷婷精品在线| 色婷婷五月天激情| 再綫Av免费視品| 97碰在线视频| 午夜美女人啪最红院| 天天做天天爱天天爽夜夜揉| 综合激情五月丁香9999久久精| 激情五月婷婷丁香六月| 色激情综合狠狠婷婷| 久操无码| 色播五月婷婷综合| 婷婷狠狠五月综合| 婷婷五月天六点丁香五月| 夜夜做夜夜愛| 亚洲婷婷丁香| 丁香五月天电影| 天天爽天天操| 影音先锋91在线资源站| www.99热这里精品| 中文字幕永久免费| 婷婷五月天xxx| 26uuu淫色| 久久久久久天天日天天爱| 免费国产VA国产免费| 婷婷久久欧美| 热久久视频99| 人人色婷婷| 天天插天天爽| 色五月五月婷婷| www.五月天| 天天日天天久久青青| 色综色网| 亚洲五月激情| 色婷婷五月丁香在线观看| 欧美婷婷五月无砖| 五月播播| 国产亚洲色婷婷久久99精品91| 天天插天天爱| 丁香婷婷五月天成人| 欧美在线视频9| 碰97久久| 伦99热| 久久99热久久99精品| 亚洲激情另类| www.夜夜操| 亚洲狠狠爱婷婷| 中文字幕丰满乱孑伦无码专区| 婷婷激情五月天激情小说| 日熟女| 丁香六月婷月91婷月| 欧美va| 五月亭亭性| 色色色999| 国产69精品久久久久999小说| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月婷婷色色色| 色婷婷五月六月丁香综合视频| 99热99这里有免费的精品| 天天插天天爱| 婷婷丁香综合网| 综合九九中文字幕| 无码G高清天| 色吧五月婷婷| 国自产拍偷拍精品啪啪一区二区 | 色综合久久44| 婷婷开心久久| 色综合色综合网| 日本色99网站| 亚洲五月丁香综合网| 久久99久久99精品免观看软件 | 中文字幕在线不卡| 爱iii做iiii日日| 婷婷色网站| 狠狠干在线视频| 亭亭五月丁香五月天激情| 婷婷激情五月综合| sewuyuetingtingiii| 丁香五月婷婷久久综合激情网| 免费播放99性爱视频| 色婷婷www| 国产午夜成人免费看片无遮挡| 久久99精品日本| 69五月天视频| 99热这里只有精品在线观看| 狠狠色噜噜狠狠| 色婷婷婷综合五月天| 九九综合| 久草视频大香蕉99| 九九这里精品| 婷婷五月天av| 男女99免费视频| 日本va欧美va欧美va| 五月丁香婷婷综合| 国产激情AV| 五月丁香婷婷激情澎湃四射| 国产午夜成人AV在线播放| 久久综合无| 2025年最新亚洲在线欧美| 亚洲无码色色| 超碰97人人操| 久久性爱视频| 久青草大香蕉| 婷婷综合色五月天| 久久五月天激情| 嫩草AV久久伊人妇女超级A| 日本人人xxx| 国产伦亲子伦亲子视频观看| 丁香五月婷婷动漫| 99热久| 97香蕉久久超级碰碰高清版| 欧美性爱五月天| 激情 久久 婷婷| 五月伊人综合| 久久这里只有精品热在99| 激情宗合 激情宗合| 91a片爽| 色丁香五月婷婷婷| 亚洲综合另类| 婷婷国产综合| 人妻久久久| 九九色色色| AV操操操| 九月婷婷综合网| 婷婷综合五月天亚洲综合| 国产成人精品一区二区三区视频| 激情五月激情综合网一级丸片| 色色婷婷丁香| 久久99久久99精品免视看婷婷| 91色吧网| 婷婷色丁香五月| 婷婷娌伦网| 在线综合91| 色色丁香激情五月| 丁香九色不卡aaa| 人妻VideOssS人妻| 日本道久久91| 五月天婷婷基地| 丁香五月伊人| 久久五月网| 九九热只有这里精品| 99热只有这里有精品| 丁香97综合| 国产一二三四五六七八视频| 国产中文字幕在线视频免费观看| 成人短视频在线免费观看| 综合九九久久| 色婷操逼| 六月色日韩| 99热18| 丁香香五月激情免费视频| 久久婷婷五月天| 蜜桃成语时李时珍 免费| 久思思热视频在线观看| 日本欧美成人片AAAA| 欧美激情 日韩无码 婷婷 五月天| 日日夜夜狠狠| 怡红院院久久| 大胆伊人久久| 色欲久久综合| 色青青五月| 中文字幕无码人妻少妇免费视频 | www九九免费视频| 五月综合六月丁| 色婷婷成人色网| 天天色综合图片| 日本三日本三级少妇三级66| 久久婷婷色| AV色五月婷婷| 色吧婷婷五月亚洲| 色五月涩涩婷婷| 久操激情| 国产精品国产成人国产三级 | 天插天啪天啪天啪| 日本免费91| 色99在线| 日韩精品色| www.com在线操视频免费观看| 99精品性爱| 婷婷五月激情欧美| 人妻熟女一区二区AV| 淫水导航| 色综合色五月| Blackedraw视频一区二区| 久久综合丁香激情五月| 99久久9| 人妻丰满精品一区二区A片| 26uuuuuuuu国产| 91日韩美女被插视频| 久操婷婷| 五月丁香无码视频| 丁香色婷婷| 欧美综合五月丁香五月天| 超碰人人妻| 黄色五月婷婷| 婷婷五月深深爱| 97色色综合| 色丁香久久| 婷婷丁香五月噜噜噜| 9色免费网| 男人天堂99| 五月激激网w'w'w| 色婷婷久久9.com| 91se在线观看| 5月婷婷六月丁香| 婷五月天丁香婷五月| 激情综合五月婷婷| 婷婷开心五月| 久久小视频免费| 久久激情四射| 久久久久久久久99精品| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 色天使久久综合| 亚洲六月色婷婷| 性爱在线播放av| 月色色综合婷婷网| 97精品人人A片免费看| 婷婷激情五月天在线| 婷婷久久丁香五月| 五月丁香婷婷激情图片| www.婷婷六月天| 九九视频在线| 6080av| 天堂网啪啪| 久久精彩免费视频| 久热九九| 免费视频99| 思思热闹这里只有精品| 婷婷色六月| 五月婷婷基地| 久操无码| 日本五月天婷婷丁香| 伊人久久激情图区五月| 97色婷婷五月天| 亚洲AV在线免费看| 丁香婷婷久久 | 天天色五月| 天天综合久久| 国产精品成人网站| 5月丁香综合图区| 色婷婷亚洲婷婷| 婷婷六月五月天综合| 超碰超碰在线| 另类视屏| 色婷婷激情视频| 五月丁香综合激情| 久99久视频| 狠狠做深爱婷婷久久综合一区| 五月丁色AV| 大香蕉婷婷丁香| 琪琪色综合网站| 午夜丁香婷婷| 五月天激情四射| 在线只有精品| 天天射色五月天| 99热热九九| 久99视频| 五月婷婷影院| 丁香九月综合| 香蕉网久久| 日笨久久网| 精品一二三区久久AAA片| 久久婷婷精品| 五月天丁香网站| 久久人妻www| 综合网五月天123| 【乱子伦】黄色| 人人操日| 亚洲精品无码久久| 亚洲精品视频在线| 色婷婷基地| 九九综合色综合| 我想看国产大学生口爆吞精的视频| AV在线不卡播放| 欧美顶级少妇做爰HD| 99re6久热只有精品6在线直播| 婷婷五月天天爽| 亚洲狠狠干| 综合色色婷婷| www.夜夜.com| 色99热| 狠狠撸激情综合丁香五月天俺来啦| 亚洲视频色色| 天天拍夜夜爽| 成人性爱精品视频| 五月激情婷婷开心| www.五月天激情| 五月婷视屏在线观看| 天天色综合综合| 五月四色色| 久久A热| 九九视频热| 天天撸夜夜爽| 色婷视频| 五月婷婷六月丁香在线| 激情99热| 久久99网| 九九热视频在线观看| 五月花婷婷| 欧美性爱五月天| 婷婷色中文字幕| 六月激情婷婷| 成人.在线日韩| 天天草女人| 九九精品丁香花| 久久天堂女人| 小骚穴电影| 久久久五月五丁香| 国产色色网址网站| 五月丁香欧美| 五月亭亭网成人在线视频| 中文字幕 中文字幕明步| 99久久玖玖| 五月丁香花视频| 狠狠色婷婷777| 色五月激情五月| 天天天天操| 激情五月天天| 日日操夜夜操无码免费| 欧美一级色| 99爱在线| 婷婷淫淫狠狠六月| 天天色宗合| 国产精品人成A片一区二区| 激情五月婷婷老师| 激情99热| 五月激情久久综合| 思思热视频| 网色99| 中字幕视频在线永久在线观看免费| 97人妻超级碰碰碰碰碰| 色婷婷激情五月天| 狠狠夜夜五月丁香| 丁香婷婷视频在线| 丁香五月综合| 操逼综合激情网| 久久久久久久久久91| 婷婷五月成人色综合| 五月婷婷色情| 丁香蜜臀黄色婷婷五月天| 天天操夜夜操| 射久久丁香五月| 大香蕉久| 五月精品免费XXX| 天天色99| 国产免费性爱| 色99在线视频| 色婷五月| 香蕉狠狠爱视频| 少妇人妻丰满做爰XXX| 亚洲五月天色色| 婷婷五月av| 婷婷五月天亚洲激情戏精品| 成人片在线播放| 日本黄 色 片| 色九区| \\五月天婷婷激情| 99re视频在线播放| 亚洲成人日韩无码精品| 九九热在线观看6| 天天综合亚洲| 丁香五月成人| 综合网啪啪| 天天色色婷婷| 高清无码入口| 色哟哟性爱av| 天天操夜夜肏| 激情婷婷五月天| 欧美性爱一区| 色五月六月婷婷| 九九99免费视频| 色婷婷呢狠禁久禁| 丁香五月天激情五月天激情五月天激情网 | 婷婷性爱五月天| 五月天桃色深爱网| www.无码com| 亚洲瑟瑟精品在线| 久久伊人五月天| 2013AV天堂| 丁香五月天精品| 丁香九月久久| 97碰在线免费观看| 久久免费婷婷视频| www久久久久久久久久久| 婷婷色九月| 91精品综合久久久久久五月丁香| 夜夜嗨一区二区三区直播内容 | WWW色综合| 天天综合精品| 激情五月天情色| 伊人天天色| 91丨九色丨东北熟女| 毛片蕉地一二| 日日舔夜夜操| 成人龟情网丁香五月| 天天久久66xxx| 夜夜久久综合网| 九九九九中文字幕| 中文字幕色色色| 秋霞免费视频| 婷婷综合成人五月天| 五月丁香综合激情网| 91啪啪啪啪| 五月丁香AV在线| 在线观看免费观看在线9久| 高清无码.com| 操逼福利视频| 婷婷五月av| 91丨九色丨熟女高潮| 欧美丁香五月| 91热视频色网站| 色五月天婷婷| 97婷婷丁香五月天激情图片| 色色色无码| 玖玖婷婷五月天毛片| 五月天欧美激情| AA片在线观看视频在线播放| 婷婷五月天.com| 五月婷婷久久综合| 天天日夜夜高潮| 丁香六月综合激情| 日韩好吊操| 91久久99久久91熟女精品| 久久婷婷五月天| 五月婷婷与六月丁香图片激情| 99亚洲精美视频在线观看| 激情五月婷| 97香蕉人人在线观看| 99性爱视频网站| 人人草人人看| 五月天婷婷綜合院| 婷婷午夜激情| 婷婷五月在线免费| 日日夜夜天天| 六月婷婷影院| 五月婷婷之综合激情在线| 五月丁香啪啪啪啪| 嘿嘿视频免费看9| 五月丁香人妻| 97碰在线免费观看| 九九人人操| 婷婷五月色| 久久久久久久人妻| 丁香五月婷婷动漫| 精品九九久久| 婷婷五月丁香欧洲| 青草青草久热这里只有精品| 亚洲无AV在线中文字幕| 美国天天日天天操| 在线综合91| 丁香婷婷九月| 天天插天天插天天日| 人妻丰满精品一区二区A片| 色欲日日躁| 亚洲天堂玖玖| 色狠狠999综合| 九九热在线观看6| 日本99视频| www,婷婷五月天,com| 免费观看日韩成人av| 成人在线99| 99色婷婷| 色婷婷成人色网| 人妻久久久久久久 | 2025天天爽天天摸| 99ri国产精品| 9久久精品| 色黑鬼导航| 色播激情| 超碰免费人人| 天天开心AV色综合婷婷五月天| 久久丁香九| 日本一级一级一级一级| 久久性爱网站| 六月丁香婷婷大香蕉| 国产亚洲在线观看| 色情免费视频播放| 伊人玖玖综合| 五月天色综合| 伊人久久五月天| 9l视频自拍9l九色9l成人| 日本狠狠干| 天天日天天干天天插天天射| 久操热线| www。五月,com| 曰曰久久| 热99精品视频| 日本99久久| 婷婷丁香熟女| 色情综合| 欧美丁香婷婷五月天| 99热自拍| 神马久久五月天| 五月丁香婷婷基地| 九九精品网| 天天做天天爱高潮片| 日韩在线观看网址| 国产 亚洲 在线| 色播丁香婷婷五月激情| 久久久91| 桃色五月天| 久久婷婷成人视频| 一起草av在线观看| 超碰亚洲欧美| 九九香蕉网| 久色资源网| 色五月天天在线观看资源站| 久久久A级视频| 99无码| 五月婷婷中文字幕| 五月婷婷综合潮喷| 亚洲精品色色| av在线不卡播放| 欧美性做爰大片免费看办公室| 九九热这里| 欧美久久五月婷婷| 丁香六月婷婷开心| 国产午夜成人免费看片无遮挡| 色五月婷婷操逼| 夜夜爽天天日| 色婷婷在线视频久| 丁香五月天黄色片| 五月叮香啪| 婷婷五月激情欧美大胆视频| 久久激情五月婷婷| 五月激情婷婷丁香| 开心五月婷婷在线视频免费观看| 依人大香蕉| 九九热在线视频观看免费10| 五月婷婷香蕉| 99热在线观看| 久久9精品| 丁香婷婷五月天在线视频| 激情综合色五月六月婷婷| 九久9精品| 丁香久久九九99| 婷婷在线五月综合| 婷婷在线视频| 五月丁香网站| 丁香婷婷色五月| 丁香五月天亚洲视频| va亚洲中文在线| 日韩成人五月天| 大香蕉婷婷| 99热在线爱| 久777| 婷婷五月天激情网| 9久久精品| 日日夜夜狠狠| 亚洲综合色色色| 99热综合在线| 天天日天天色| 婷婷五月天开心网| 五月丁香啪啪伦理电影| 综合激情深爱| 99在线爽| 色吧网综合| 9视频在线成人网站| 日本人妻伦在线中文字幕| 五月丁香六月婷综合成人综合| 97碰碰在线看视频免费| 67194中文字幕| 99综合网| 色婷婷天堂| 欧洲色| 色五月激情网| 久久 婷婷 五月天| 国产在线黄色| 久久9视频欧美| 99啪啪视频| 成人网址在线观看| 婷婷激情四射| 五月婷婷色| 国产成人综合网| www久久久| 99操视频| 嫩草AV久久伊人妇女超级A| 五月婷婷综合在线| 成人五月天综合网| 日韩成人无码片| 涩玖玖免费视频| 伊人久久综合| 亚洲一区国产传媒| 97福利视频| 丁香五月天在线视频| 79精品在线视频| 婷婷丁香五月天在线视频| 思思久久青草热| 激情五月天综合| 五月婷婷六月丁香玖玖玫瑰91| 99热精品观看| 五月丁香婷婷基地| 色色婷婷丁香| 婷婷五月天淫荡| 久久精品日| 婷婷综合日本| 91精品久久久久久综合五月天| 婷五月天天| 久色中文| www婷婷| 午夜色婷婷| 久久99热这里只频精品6学生| 伊人九热| 久青操| 国产精品久久99| 夜夜骑日日夜夜| 五月丁香婷中文| 丁香五月综合在线观看| 天天噜| 亚洲综合在线视频| 久久一级AV| 人操人人| 91狠狠色丁香婷婷综合久久精品| 五月婷婷成人w| 天天久综合| 五月天啪啪视频| 婷婷五月丁香五月| 色色六月| 欧洲色| 色亭亭影园| 99偷拍视频在线日本| 婷婷亚洲色| 五月天婷婷六月| 激情深爱综合网| 婷婷在线视频| 91a片爽| 日韩综合网络男女香蕉a片| 2025中文在线视频字幕免费观看| 亚洲99精品欧美一区| 大香蕉伊人爱在线| 亚洲最大成人综合网720P| 久久婷婷大香蕉| 97自拍视频在线| 日撸夜撸日操| 26uuu亚洲| 五月丁香A片| 99小视频在线| 99在线精品在线视频| 色色色色色色色色网站| 9色小视频在线观看| 丁香婷婷性爱| 激情小说视频图片网| 激情六月婷婷| 99视频在线啪| 五月婷婷香蕉| 亚洲操逼片| 99热有精品在线观看| 婷婷五月丁香久久| 婷婷五月天偷拍| 天天做夜夜爽| 久久超视频| 97干婷婷五月天| 亚洲第一综合| 五月婷婷操操| 天堂A∨在线| 婷婷五月天综合小说网| 久久亚洲婷婷| 另类激情四射| 五月天,激情四射,婷婷频道| 大香蕉久久| 久热99热| 国产精品日韩十五区| 五月婷婷综合视频| 无码髙清| 五月丁香六月花| 九九碰九九爱97| 婷婷激情在线| 久久久久久久久人妻| 亚洲视频一区| 另类在线| 婷婷在线综合| 99干在线| 操一操| 性爱视频久久| 99啪啪| 人人爱人人草| 美女被肏网站在线看| 日日噜噜久久婷婷五月天| 丁香五月欧美激情| 六月丁香婷婷综合影院| 亚洲色综久久五月| 婷婷在线视频| 五月丁香日本片| 夜夜 操无码| 停婷丁五月在线| 国产真实乱对白精彩| 欧亚洲在线高清视频| 玖玖五月| 色玖玖综合| 色五月婷婷、老熟女| 99热免费观看| 五月天丁香啪啪啪啪| 精品成人无码A片观看香草视频| 婷婷成人基地| 一夜福利不卡| 99精品视频在线观看| 99欧美| 狠狠色综合网| 91精品婷婷国产综合久久| 色色色热热热| 一起肏在线视频| 99re这里| 最新婷婷五月丁香| 亚洲欧美999| 久久婷婷五月综合网| 国产高清精品色| 婷婷丁香五月天综合在线日韩| 五月色欧洲| 国产特级毛片AAAAAAA高清| 夜夜爽天天| 99玖玖免费视频| 国产色色网站网址| 激情婷婷久久| 亚洲天堂热| 久久五月婷| 五月丁香久人妻中文| 色色网站| 干亚洲天堂| 裸体做A爰片毛片A片免费| 亚洲中文无码成人| 国产精产国品一二三在观看| 热久久99视频| 丁香香蕉射射射| 国产玖玖资源| 四季AV综合网| 久碰视频| 国产在线6| 亚洲经典三级| www,五月天激情| 在线亚洲综合| 99在线免费视频| 丁香五月欧美激情| 丁香五月激情网| 丁香婷婷五月天激情四射| 久久亚洲婷婷| 操操操av| 日韩熟女啪啪视频| 婷婷深爱五月丁香| 网色99| 夜夜谢天天干| 久久99色色| 92久操视频| 九九99香蕉在线视频播放| 超碰免费99| 91chinese在线| 人人干人人操人人摸人人做| 亚洲区在线| 亚洲精品色| 九九五月天| 日韩1区2区| 情欲综合网| 婷婷黄色网| 91操片| 琪琪秋霞| 91在线观看www| www.97碰碰com| AV九九| 香蕉AV福利精品导航| 66精品成人免费网站在线观看| 久草a片| 99热这里只有精品4| 五月天婷婷青青草| 国产成人AV在线播放| 色99网站| 最新五月天婷婷影| 欧美亚洲成人在线| 亚洲色五月| 激情五月天色婷婷综合| 99久久亚洲国产| 思思热视频| 日逼免费视频| 综合久久高清| 性一交一乱一交A片久| 伍月婷婷六月丁香| 久久五月激情综合| 成人片在线播放| 婷婷 月 丁香| 五月婷婷性爱| 淫视馆av三区| 色五月综合激情| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 亚洲色另类| 婷婷五六日| 欧美日韩五月婷婷| 国产激情综合五月久久| 五月丁香婷庭在线| 超碰免费成人| 丁香婷婷老司机久操| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久99视频在线观看| 天天日 天天草| 337p大胆噜噜噜噜噜91Av| 五月开心播播网| 五月婷婷综合久久| 婷婷天天综合| 九九操操| 中文字幕综合色| 综合五月天| 99视频这里有精品| 婷婷伊人激情婷婷| 26UUU欧美激情一区二区| 99久久户外勾搭| 91婷婷丁香| 日本五月视频| 成人操呦av| 91AV婷婷| 日韩ww| 91啪啪| 五月花免费视频| 久久综合伊人综合在线| 91九色国产在线| 九九精品碰| 综合色色五月| 婷婷中文字幕| 在线网黄| 噜噜精品| 秋霞电影理论| av色婷婷| 亚洲国产网站| 韩国中文字幕91| 久久99久久久久久| 99爱在线免费视频| 综合五月天天天天天五月| 在线日韩视频| 丁香六月激情| 婷婷五月天毛片| 超级碰 久久9| 99在线精品免费视频| 337p大胆噜噜噜噜噜91Av| 开心深爱激情网| 婷婷开心深爱五月天| 婷婷午夜综合| 欧美久久久久久久久中文字幕| 久久A极片| 九九性视频| 久久草大香蕉| 9月色婷婷| 日韩AV大全| 六月香五月婷| 99re思思| 在线日韩视频| 91色在线/日韩| 玖玖99精品视频| 国产超碰av| 青青草婷婷五月天| 熟女人妻一区二区三区免费看| 另类在线| 婷婷综合五月| 五月停亭六月,六月停亭的英语| 26uuu成人网| A1片久久| 嫩草哈哈操| 精品99*| 北条麻妃伊人 | 色婷婷丁香| 色噜噜狠狠狠综合曰曰曰| 五月天开心色情网| 中文人妻主播久久| 亚洲婷婷基地| 夜夜躁婷婷AV| 99热爆在线| 婷婷激情五月呦呦| 成人综合视频网址| 日韩人妻AV在线| 亚洲欧美日韩VIP| 成人做爰高潮A片免费视频| 蜜桃人妻无码AV天堂三区| 亚洲亚洲人成综合网络| 99精品视频在线观看| 99精品偷自拍| 色吧婷婷五月亚洲| 涩丁香| 日韩一级| 亚韩精品视频1区| 婷婷99狠| 操婷婷基地| 婷婷激情五月视频| 婷婷五月色花丁香社区| 大香蕉娱乐| 91九九热| 性色综合网| 久月久在线视频| 婷婷中文综合网| 黄页免费一级视频懂色| 婷婷色五月天色| 3p久久| 激情黄色小说色五月| 色婷婷久久| 先锋资源996| 亚州AV超碰人人操| 99热网站| 五月激情久久| 噜噜噜久久| 久热婷婷| 亚洲乱码精品久久久久.. | 色综合爱综合| 婷婷五亚洲| 五月婷婷基地| 色五月婷婷老师| 色射影院| 九九综合久久| 激情文学综合婷婷五月天丁香花| 欧美日本99| 五月久久婷婷天堂视频| 色五月婷婷激情综合网| 激情99热| 色五月天在线观看| 91久久| 久久人妻视频| 91丁香色| 一级二级色大片| 中文字幕成人| 五月天色婷婷基地| 特级西西4444www无码| 激情五月天视频| 99热官网精品在线| 亚洲国产精品VA在线看黑人| 91亚洲视频| 久久精品63| 亚洲综合色网站| 99这里只有| 婷婷久久网| 免费无码毛片一区二区A片| 99在线综合视频| 99激情在线| 深爱开心五月天| 日本色视| 丁香婷婷啪啪| www九九免费视频| 九月婷婷色色| 蜜桃婷婷丁香五月天狠狠久久综合| 免费播放99性爱视频| 九九激情综合| 亚洲五月婷天天操| www.狠狠| 久久丁香| 91a片爽| 色久九| 深爱激情av| 热99精品视频五月| 久久R激情| 亚洲成人一区| 久久成人天| nvrentiantang av| 久热超碰| 色噜噜狠狠色综合网| 婷婷久久六月天| 欧美视频五区| 欧美日韩精品人妻狠狠躁免费视频| 97在线日本| 深爱 五月天| www,超碰| 91肏肏肏| 久久人妻久久久久| 青草五月天| 亚洲精品久久久久久久久久吃药| 亚洲午夜Av| av在线色五月丁香婷区久| 国产精品视频| 开心五月婷婷伊人| 九九久久高清| 伊人综合网4| 思思精品视频| 日本高清不卡免费一区二区三区| 色性综合| 色五月婷婷九月| 女人高潮内射99精品| 91碰超| 99精品视频网站| 激情婷婷五月天| 色一情一乱一乱一区91| www狠狠| 狠狠干狠狠干| 无码人妻一区二区三区免费九色| 9久久久久久久久久久| 色五月婷婷777| 碰超99| 婷婷五月天六点丁香五月| 色婷婷丁香五月| 婷婷丁香五月天影院| 综合av在线| 色五月激情婷婷| 丁香五月五月婷婷| 综合色天天| 色综合久久综合中文综合网| 91聚色综合网| 欧美丰满熟妇BBB久久久| 久久玖玖综合| 俺去啦综合网| 久久99热免费| 丝袜人妻| 密臀av无码人妻精品| 五月丁香另类网| 成人免费120分钟啪啪| 五月丁香啪啪啪综合网| 国产精品美女| 婷婷五月色综合| 五月天婷婷日日爱| www.婷婷亚洲基地| 五月天大香蕉视频| 丁香婷婷五月份| 国产亚洲精品久久久久苍井松| 任你爽精品免费视频6| 五月天色婷婷网| henhencao国产在线| www九九| 99热综合色图| www.91在线看| 第四色五月婷婷| 色五月开心久久网| 99人人干人人操| 天天视频精品9| 射婷婷中文字幕| 久久婷婷五月天丁香| 亚洲精品字幕| 伊人91| 无码色| 国外亚洲成AV人片在线观看 | 人妻操在线看| 久久午夜理论| 久久99激情| 天天爽夜夜爽夜夜爽精品| 大香蕉五月天婷婷丁香91| 久9精品| 无码yw| 激情五月天啪啪| 日韩999| 日韩色久| 久久停停超碰| 日本色噜| 97丁香五月天| VA国产在线综合网站| 99久久99热| 激情5月婷婷狠狠干| 五月丁香亭亭天天舔| 五月停停丁香| m色激情网| 五月天婷婷人妻| 五月丁花六月丁香综合| 热99只有精品| 婷婷干五月综合在线播放| 丁香五月婷婷激情中文| 凹凸操Av| 99热这里只有精品在线| 天天色激情| 色色网站免费| 俺也去在线视频| 丁香激情五月| 色五月色五天色情网| 色五月婷婷在线| 狠狠色丁香乆乆| 色 噜噜 九月 婷婷| 五月丁香婷婷综合视频| www.激情五月天。com| 五月婷在线观看| 天天做天天爱高潮片| 久久五月网| 五月天综合在线| 婷婷丁香五月亚洲| 超碰资源在线| 91久女| 97在线日本| 另类A片| 日日干夜夜撸夜夜骑| 国产一级婬片毛片| 夜夜骑夜夜撸| 91色色色| 丁香亭亭激情四射| 国产激情在线观看| 91精品婷婷国产综合| 五月丁香美女| 久色五月婷婷综合| 99热成人| 久久久久人妻| 人人人操 超碰| 99噜噜噜| \\五月天婷婷激情| 五月婷婷五月天在线 | www.婷婷,com| 色999亚洲人成色| 中文字幕亚洲-区久久99婷婷| 九九操操| AAA亚洲AV| 九九婷婷网五月天| 激情五月综合网| 婷婷久久欧美| 五月天婷婷激情网| 色婷婷五月天偷拍| 激情深爱五月天| 色婷大香蕉| 色婷婷婷婷成人网| 综合五月婷婷| 婷婷丁香人妻天天爽| 天天射色五月天| 五月丁香综合激情在线观看| 激情五月视频在线婷婷| 8区视频在线| 五月婷护士| 亚洲婷婷月丁香五月| 五月婷婷激清网| 五月丁香六月婷综合成人综合| 亚洲AV无码成人精品区电影网| 区区久久妻| 丁香婷婷月| 欧美成人猛片AAAAAAA| 色9999日韩国产| 天天热夜夜操| 亚洲综合色网| 9久热在线视频精品| 丁香五月婷婷激情蜜桃| 日韩无码成人电影| 综合激情在线视频| 夜丁香综合| 97人凄人人操人人爽| 亚洲无码影音| 九九热再线九九视频免费在线观看 | 五月色情婷婷开心五月色情| 色色五月天丁香| 中文久久婷婷| 精品五月丁香| 久久婷婷激情| 激情五月婷婷啪啪| 五月婷综合网| 操B视频在线播放| 色五月之第四色| 综合大香蕉| 91丨九色丨熟女|老版| 激情综合网色播五月| 九九色婷| 五月天婷婷在线观看精品男人| 五月天婷婷小说| 亚欧州精品视频| 婷婷五月综合社区| 99re久热| 激情五月婷婷色播网| 内射干少妇亚洲69XXX| 色欲丁香| 五月婷婷激情性爱| 婷婷激情在线| 五月婷婷激情中文字幕| 2020日日干| 人妻久久久久久| 日韩免费99| 日本狠狠色| 超碰色色综合|