欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算 1. 為什么數(shù)據(jù)庫腳本也要寫單元測(cè)試聊聊DolphinDB開發(fā)的真實(shí)痛點(diǎn)先說一個(gè)我自己的經(jīng)歷。前兩年在做一套基于DolphinDB的量化因子計(jì)算平臺(tái)核心邏輯全寫在存儲(chǔ)函數(shù)里。當(dāng)時(shí)大家約定俗成的做法是寫完函數(shù)直接跑一遍歷史數(shù)據(jù)看看結(jié)果大概對(duì)就行。結(jié)果有一次修改了一個(gè)公共因子函數(shù)加了兩個(gè)參數(shù)進(jìn)去改完當(dāng)天所有策略的結(jié)果曲線都正常但到了第二周做歸因分析時(shí)才發(fā)現(xiàn)因子權(quán)重在某個(gè)邊界場(chǎng)景下算錯(cuò)了——原因很簡(jiǎn)單參數(shù)默認(rèn)值在重構(gòu)時(shí)悄悄變了而所有下游調(diào)用都用了默認(rèn)參數(shù)等于整個(gè)平臺(tái)跑在一套錯(cuò)誤的計(jì)算邏輯上。那次事故之后我開始認(rèn)真研究DolphinDB的單元測(cè)試方案。和Java、Python生態(tài)里JUnit、pytest這種開箱即用的測(cè)試框架不同DolphinDB作為一個(gè)時(shí)序數(shù)據(jù)庫加計(jì)算引擎官方雖然提供了test相關(guān)的函數(shù)和方法但整個(gè)社區(qū)的實(shí)踐案例非常少文檔也比較零散。更麻煩的是數(shù)據(jù)庫腳本測(cè)試有個(gè)天然的心理門檻大多數(shù)人覺得SQL寫對(duì)了就是對(duì)了沒必要再套一層測(cè)試代碼。但恰恰是這種心態(tài)讓數(shù)據(jù)計(jì)算邏輯里的隱性Bug成了最大的風(fēng)險(xiǎn)源。這篇文章不會(huì)去復(fù)述官方文檔里那點(diǎn)函數(shù)簽名而是把我實(shí)際搭建一套DolphinDB單元測(cè)試體系的過程完整寫出來。從最基礎(chǔ)的斷言怎么寫到怎么組織測(cè)試文件、怎么集成到CI流程再到那些不踩一次坑根本不會(huì)注意到的細(xì)節(jié)。無論你是剛接觸DolphinDB還是已經(jīng)在生產(chǎn)環(huán)境跑了好幾個(gè)項(xiàng)目這篇文章應(yīng)該都能給你一些可以直接抄走的思路。和普通編程語言的單元測(cè)試相比DolphinDB的測(cè)試有幾個(gè)完全不同的問題要處理。第一DolphinDB腳本通常強(qiáng)依賴數(shù)據(jù)庫環(huán)境很多函數(shù)直接讀寫表對(duì)象不像Java可以隨便mock一個(gè)對(duì)象第二時(shí)序數(shù)據(jù)天然有順序和時(shí)間的敏感性測(cè)試數(shù)據(jù)構(gòu)造比普通業(yè)務(wù)數(shù)據(jù)復(fù)雜第三DolphinDB腳本是解釋執(zhí)行運(yùn)行時(shí)的錯(cuò)誤信息往往不如編譯型語言直觀定位問題需要額外的手段。這些痛點(diǎn)不解決測(cè)試寫得再多也只是自欺欺人。下面我就按自己搭建這套測(cè)試體系的實(shí)際順序一層層講清楚。2. 測(cè)試前的關(guān)鍵設(shè)計(jì)測(cè)試庫與測(cè)試數(shù)據(jù)的隔離策略2.1 為什么必須用獨(dú)立的測(cè)試庫而不是直接連生產(chǎn)庫這個(gè)問題聽起來像廢話但實(shí)際項(xiàng)目里真有人圖省事直接連開發(fā)庫跑測(cè)試。我自己第一次寫DolphinDB測(cè)試時(shí)也干過這種事測(cè)試用例里直接讀取線上正在用的因子表點(diǎn)運(yùn)行看著結(jié)果通過就覺得萬事大吉。這么做的后果是災(zāi)難性的。第一測(cè)試結(jié)果受數(shù)據(jù)變化影響同樣的用例今天跑過明天可能就掛了但你根本分不清是代碼邏輯變了還是底層數(shù)據(jù)變了第二測(cè)試用例里如果涉及寫入、更新、刪除操作會(huì)對(duì)開發(fā)庫的真實(shí)數(shù)據(jù)造成污染一旦測(cè)試邏輯有Bug誤刪數(shù)據(jù)連恢復(fù)都很麻煩第三如果你跑的是性能測(cè)試高頻讀寫還會(huì)拖慢其他同事的查詢。正確做法是在DolphinDB里單獨(dú)建一個(gè)測(cè)試庫。我常用的建庫邏輯是這樣// 測(cè)試庫路徑dfs://test_unit login(admin, 123456) if (!existsDatabase(dfs://test_unit)) { db database(dfs://test_unit, VALUE, 2020.01.01..2023.12.31) }注意這里的分區(qū)方式。對(duì)于測(cè)試庫來說時(shí)間分區(qū)不一定是最優(yōu)選完全取決于你測(cè)試的代碼邏輯。如果是針對(duì)某個(gè)特定業(yè)務(wù)場(chǎng)景的測(cè)試建議按照業(yè)務(wù)ID做HASH分區(qū)這樣構(gòu)造數(shù)據(jù)時(shí)更靈活如果測(cè)試的代碼本身就涉及時(shí)間序列處理那就用時(shí)間分區(qū)但分區(qū)粒度要小一點(diǎn)避免每次測(cè)試都要跨全部分區(qū)掃描。我自己的經(jīng)驗(yàn)是測(cè)試庫盡量只用一張主表所有測(cè)試用例都往這張表里灌數(shù)據(jù)。好處是字段結(jié)構(gòu)統(tǒng)一構(gòu)造測(cè)試數(shù)據(jù)的helper函數(shù)不用反復(fù)重寫壞處是不同用例之間可能互相干擾。這個(gè)問題后面講用例隔離時(shí)再細(xì)說。2.2 測(cè)試數(shù)據(jù)的構(gòu)造方法手工寫死 vs 腳本生成構(gòu)造測(cè)試數(shù)據(jù)是整個(gè)DolphinDB單元測(cè)試?yán)镒钊菀妆坏凸赖囊徊健:芏嗳嗽跍y(cè)試庫建完后就直接手寫數(shù)據(jù)data table( 1..10 as id, rand(100.0, 10) as val, take(buy, 10) as side )這種寫法在Demo里沒問題但真實(shí)項(xiàng)目里幾類數(shù)據(jù)是不能靠rand的邊界值比如極小的數(shù)、極大的數(shù)、空值、NULL、NaN時(shí)間類數(shù)據(jù)跨月、跨年、閏年、時(shí)區(qū)邊界、時(shí)間戳精度邊界字符串類數(shù)據(jù)空字符串、超長(zhǎng)字符串、特殊字符、中文編碼正確的做法是把測(cè)試數(shù)據(jù)構(gòu)造封裝成helper函數(shù)按場(chǎng)景批量生成。舉個(gè)例子如果你要測(cè)試一個(gè)因子計(jì)算的函數(shù)它的輸入是某只股票過去N天的分鐘K線那么你的數(shù)據(jù)構(gòu)造函數(shù)大概長(zhǎng)這樣def prepareKLineData(code, startDate, endDate, barCount) { // 基于日期區(qū)間生成分鐘級(jí)時(shí)間戳 ts interval(2023.01.04 09:30:00.000, 2023.01.04 15:00:00.000, 1000) // 再搭配隨機(jī)價(jià)格、成交量等字段 ... }這樣的好處是測(cè)試用例里只需要指定股票代碼和時(shí)間范圍就能得到一套可預(yù)期的、穩(wěn)定的輸入數(shù)據(jù)不用每個(gè)用例都寫一大段table(...)。2.3 測(cè)試用例之間的數(shù)據(jù)隔離事務(wù)和表級(jí)清理DolphinDB腳本執(zhí)行時(shí)如果沒有顯式開啟事務(wù)一條語句的失敗可能會(huì)導(dǎo)致部分寫入生效。這就引出一個(gè)非常惡心的現(xiàn)實(shí)問題測(cè)試A往主表里插了10條數(shù)據(jù)測(cè)試B跑的時(shí)候發(fā)現(xiàn)數(shù)據(jù)多了10條結(jié)果不對(duì)。我的解決思路是分層處理。簡(jiǎn)單場(chǎng)景下每個(gè)測(cè)試用例跑完后強(qiáng)制清理自己寫入的數(shù)據(jù)def cleanupData(code) { t loadTable(dfs://test_unit, mainTable) t.delete!(sql(, t, code code )) }復(fù)雜場(chǎng)景下直接把表drop掉重建。雖然慢一點(diǎn)但絕對(duì)干凈而且測(cè)試用例之間徹底互不影響??紤]到DolphinDB的建表速度其實(shí)不慢我后來更多采用這種做法。提示對(duì)于涉及分布式表的測(cè)試data的可見性還受DolphinDB事務(wù)提交時(shí)機(jī)的影響。如果你在存儲(chǔ)過程里寫數(shù)據(jù)但不主動(dòng)commit測(cè)試?yán)镒x到的可能是舊快照。遇到這種詭異問題時(shí)先確認(rèn)數(shù)據(jù)和讀取是否在同一個(gè)會(huì)話里。3. DolphinDB單元測(cè)試的函數(shù)選型assert家族與自定義斷言3.1 官方assert函數(shù)的用法和局限性DolphinDB內(nèi)置的斷言函數(shù)主要有assert、eqObj、eqFloat這幾個(gè)。它們的用法很簡(jiǎn)單assert condition, error message如果condition為false會(huì)拋出異常并打印error message。eqObj用來比較兩個(gè)對(duì)象是否相等eqFloat用來比較浮點(diǎn)數(shù)。但直接用這些函數(shù)寫測(cè)試有兩個(gè)尷尬的地方。第一錯(cuò)誤信息不夠友好。比如eqObj比較兩個(gè)表內(nèi)容時(shí)它只會(huì)告訴你兩個(gè)對(duì)象不相等不會(huì)告訴你具體是哪一行哪一列不一樣第二斷言失敗時(shí)缺少上下文信息你看到一個(gè)錯(cuò)誤堆棧時(shí)根本不知道是哪個(gè)測(cè)試用例掛的。所以我在實(shí)際項(xiàng)目中會(huì)對(duì)這些內(nèi)置函數(shù)再做一層包裝。包裝后的斷言函數(shù)至少要達(dá)到三個(gè)標(biāo)準(zhǔn)失敗時(shí)能輸出用例名稱和預(yù)期值/實(shí)際值對(duì)表對(duì)象的比較能定位到具體行列對(duì)浮點(diǎn)數(shù)的比較支持自定義精度3.2 自定義斷言讓測(cè)試失敗信息不再像天書下面是我實(shí)際在用的一個(gè)簡(jiǎn)化版斷言包裝函數(shù)def assertEq(expected, actual, msg) { if (expected ! actual) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() throw error(errorMsg) } true }別小看這個(gè)簡(jiǎn)單的包裝它解決了一個(gè)非常實(shí)際的問題——報(bào)錯(cuò)信息可讀性。DolphinDB的原生assert拋出異常時(shí)如果表達(dá)式比較長(zhǎng)錯(cuò)誤信息會(huì)顯示一堆語法上下文真正的邏輯差異反而被淹沒。包裝之后一眼就能定位問題。對(duì)于浮點(diǎn)數(shù)比較我再加一個(gè)精度參數(shù)def assertEqFloat(expected, actual, epsilon 0.0001, msg Float mismatch) { if (abs(expected - actual) epsilon) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() \n Diff: (abs(expected - actual)).str() throw error(errorMsg) } true }這里要特別說明一下為什么浮點(diǎn)數(shù)比較需要epsilon。DolphinDB的浮點(diǎn)數(shù)計(jì)算和其他語言一樣存在精度損失問題。你算一個(gè)理論值可能是0.333333但實(shí)際計(jì)算結(jié)果是0.3333329999如果直接用比較測(cè)試必掛。設(shè)一個(gè)合理的epsilon是所有數(shù)值計(jì)算類測(cè)試的共識(shí)具體閾值取決于你的業(yè)務(wù)精度要求。做量化因子計(jì)算時(shí)我一般取1e-6做偏底層的高精度統(tǒng)計(jì)時(shí)可能需要更小。3.3 表對(duì)象的深度比較逐行逐列定位差異DolphinDB里最常見的測(cè)試對(duì)象是表。兩個(gè)表是否相等在不同語義下判斷標(biāo)準(zhǔn)完全不同——字段順序要不要管行順序重不重要時(shí)間精度算不算差異這些都需要在斷言里明確。我封裝的表比較函數(shù)核心邏輯如下def assertTableEqual(expectedTb, actualTb, msg, sortByCol ) { // 1. 檢查行數(shù)列數(shù)是否一致 if (expectedTb.rows() ! actualTb.rows()) { throw error(msg : Row count mismatch. Expected expectedTb.rows().str() , got actualTb.rows().str()) } // 2. 檢查列集合是否一致 expCols expectedTb.columnNames().sort() actCols actualTb.columnNames().sort() if (expCols ! actCols) { throw error(msg : Column set mismatch.) } // 3. 如果指定了排序列先排序再逐行比較 if (sortByCol ! ) { expectedTb select * from expectedTb order by sortByCol actualTb select * from actualTb order by sortByCol } // 4. 逐行比較 for (i in 0:expectedTb.rows()) { for (c in expCols) { if (expectedTb[i][c] ! actualTb[i][c]) { throw error(msg : Row i.str() col c mismatch. Expected expectedTb[i][c].str() , got actualTb[i][c].str()) } } } true }這個(gè)函數(shù)看起來長(zhǎng)但實(shí)際用起來非常順手。尤其是第3步的排序參數(shù)在實(shí)際項(xiàng)目中幾乎是必須的——因?yàn)閿?shù)據(jù)庫查詢結(jié)果的行順序通常沒有嚴(yán)格保證兩個(gè)表內(nèi)容一致但順序不同不能算測(cè)試失敗。如果對(duì)這一點(diǎn)沒有清醒認(rèn)識(shí)你會(huì)在測(cè)試?yán)锉桓鞣N順序不一致的假失敗搞到崩潰。4. 測(cè)試用例的組織方式從單個(gè)腳本到分級(jí)測(cè)試集4.1 一個(gè)測(cè)試文件只測(cè)一個(gè)功能模塊DolphinDB的腳本文件組織比較自由可以在gui里直接運(yùn)行也可以用dolphindb控制臺(tái)加參數(shù)執(zhí)行。這種自由既是優(yōu)點(diǎn)也是缺點(diǎn)——自由過了頭測(cè)試文件就會(huì)變成一團(tuán)亂麻。我建議按模塊來分文件。比如一個(gè)完整的量化因子平臺(tái)測(cè)試目錄大概長(zhǎng)這樣tests/ common/ assertUtils.dos dataUtils.dos factor/ test_momentumFactor.dos test_volatilityFactor.dos test_liquidityFactor.dos dataProcess/ test_klineClean.dos test_adjustFactor.dos validation/ test_portfolioCalc.dos每個(gè)測(cè)試文件里針對(duì)一個(gè)功能函數(shù)寫一組相關(guān)用例。比如test_momentumFactor.dos里測(cè)試的就是動(dòng)量因子計(jì)算函數(shù)在不同輸入下的表現(xiàn)。這樣當(dāng)某個(gè)用例失敗時(shí)你能第一時(shí)間縮小排查范圍不用在一堆亂七八糟的用例里大海撈針。4.2 測(cè)試用例命名規(guī)范和輸出效果DolphinDB沒有像JUnit那樣Test注解來標(biāo)記測(cè)試方法所以測(cè)試用例的組織要靠規(guī)范和約定。我的做法是在main函數(shù)里逐個(gè)調(diào)用測(cè)試用例函數(shù)并用print輸出每個(gè)用例的執(zhí)行狀態(tài)def test_momentum_basic() { // 基本場(chǎng)景 ... print(PASS: momentum basic case) true } def test_momentum_emptyInput() { // 空輸入場(chǎng)景 ... print(PASS: momentum empty input case) true } def main() { test_momentum_basic() test_momentum_emptyInput() // ... }運(yùn)行結(jié)果大致長(zhǎng)這樣PASS: momentum basic case PASS: momentum empty input case FAIL: momentum NaN case配合assertEq里自定義的報(bào)錯(cuò)信息測(cè)試失敗時(shí)能迅速定位到具體用例和具體斷言。4.3 如何做測(cè)試分組冒煙測(cè)試、回歸測(cè)試、全量測(cè)試測(cè)試用例數(shù)量多了之后一個(gè)很實(shí)際的問題是每次代碼改動(dòng)都跑全量測(cè)試時(shí)間成本太高只跑冒煙測(cè)試又怕漏掉回歸問題。我在自己的項(xiàng)目里將測(cè)試集分了三級(jí)冒煙級(jí)只跑主流程和核心邊界大概幾分鐘內(nèi)結(jié)束每次提交代碼前必跑回歸級(jí)覆蓋一個(gè)模塊內(nèi)所有關(guān)鍵函數(shù)和主要邊界條件代碼合并前跑全量級(jí)所有測(cè)試文件的所有用例發(fā)布新版本前跑實(shí)現(xiàn)方式也很樸素每個(gè)測(cè)試文件都單獨(dú)定義main()再寫一個(gè)總?cè)肟谀_本用include引入所有測(cè)試文件然后按需執(zhí)行include tests/factor/test_momentumFactor.dos include tests/factor/test_volatilityFactor.dos // 冒煙測(cè)試只執(zhí)行特定的幾個(gè)函數(shù) test_momentum_basic() test_volatility_basic() // 回歸測(cè)試執(zhí)行文件里所有main這種手動(dòng)控制的方式雖然不如JUnit的注解靈活但在DolphinDB的生態(tài)里已經(jīng)是足夠清晰可靠的做法了。5. 從零跑通一個(gè)完整測(cè)試用例以因子計(jì)算函數(shù)為例5.1 被測(cè)函數(shù)一個(gè)簡(jiǎn)單的動(dòng)量因子計(jì)算器為了把整個(gè)流程串起來我寫一個(gè)極簡(jiǎn)的動(dòng)量因子計(jì)算函數(shù)作為被測(cè)對(duì)象。它的邏輯很簡(jiǎn)單輸入某股票過去N天的收盤價(jià)計(jì)算當(dāng)前價(jià)格相對(duì)N天前的漲跌幅def momentumFactor(closePrices, n) { if (closePrices.size() n) { return NULL } pastPrice closePrices[n] currentPrice closePrices[closePrices.size() - 1] return (currentPrice - pastPrice) / pastPrice }這個(gè)函數(shù)雖然業(yè)務(wù)簡(jiǎn)單但非常適合演示測(cè)試要覆蓋的各種場(chǎng)景。5.2 手寫測(cè)試用例覆蓋正常、邊界、異常三類輸入針對(duì)這個(gè)函數(shù)我會(huì)設(shè)計(jì)如下測(cè)試用例def test_momentum_normal() { prices [10.0, 10.5, 10.8, 11.0, 11.5, 12.0] result momentumFactor(prices, 3) assertEqFloat((12.0 - 10.8) / 10.8, result, 0.0001, Normal case failed) print(PASS: momentum normal case) true } def test_momentum_nLessThanLength() { prices [10.0, 10.5, 10.8] result momentumFactor(prices, 5) assertEq(NULL, result, n larger than length should return NULL) print(PASS: momentum nlength case) true } def test_momentum_zeroDivision() { prices [0.0, 0.0, 0.0, 0.0, 1.0, 1.0] result momentumFactor(prices, 3) // 分母為0應(yīng)該返回NULL或者拋異常取決于函數(shù)定義 ... }第三個(gè)用例其實(shí)暴露了被測(cè)函數(shù)的一個(gè)設(shè)計(jì)缺陷當(dāng)過去價(jià)格是0時(shí)做除法直接得到無窮大這在量化計(jì)算里是應(yīng)該被提前攔截的。所以這個(gè)測(cè)試用例會(huì)倒逼你去修改被測(cè)函數(shù)——這就是單元測(cè)試驅(qū)動(dòng)代碼改進(jìn)的真實(shí)過程。5.3 完整測(cè)試腳本的運(yùn)行方式和結(jié)果解讀把這些用例組織到一個(gè)文件里后在DolphinDB GUI里運(yùn)行該文件或在命令行用dolphindb -script test_momentum.dos執(zhí)行。輸出大致如下PASS: momentum normal case PASS: momentum nlength case FAIL: momentum zeroDivision case Error message: Division by zero ...堆棧信息...看到Fail時(shí)第一件事不是去改測(cè)試而是先判斷是測(cè)試用例的預(yù)期設(shè)置錯(cuò)了還是被測(cè)函數(shù)確實(shí)有bug。在這個(gè)例子里顯然是被測(cè)函數(shù)該加一個(gè)空值和零值檢查。這也是單元測(cè)試黃金法則測(cè)試失敗時(shí)代碼和測(cè)試都有嫌疑不能默認(rèn)代碼是錯(cuò)的或者測(cè)試是錯(cuò)的要去看具體斷言信息來定位。6. 面向?qū)嶋H項(xiàng)目的測(cè)試框架搭建目錄、入口腳本與DolphinDB腳本執(zhí)行的CI集成6.1 一套可直接復(fù)用的測(cè)試目錄結(jié)構(gòu)和入口設(shè)計(jì)在項(xiàng)目里形成一套固定的目錄和入口約定后團(tuán)隊(duì)里每個(gè)人寫測(cè)試時(shí)不需要思考放哪怎么跑而是直接照模板寫效率和規(guī)范性都會(huì)有明顯提升。我的標(biāo)準(zhǔn)結(jié)構(gòu)如下projectRoot/ code/ # DolphinDB腳本主目錄 factors/ momentum.dos volatility.dos dataProcess/ klineClean.dos tests/ # 測(cè)試腳本目錄 common/ assertUtils.dos dataUtils.dos factors/ test_momentum.dos test_volatility.dos runAllTests.dos # 總?cè)肟谀_本在runAllTests.dos中按依賴順序引入測(cè)試文件最后統(tǒng)一執(zhí)行。這里有個(gè)在DolphinDB中容易踩的坑include的路徑問題。如果你的測(cè)試腳本使用了相對(duì)路徑那么執(zhí)行時(shí)的工作目錄不同include會(huì)失敗。穩(wěn)妥的做法是把測(cè)試根目錄設(shè)為一個(gè)全局變量所有include基于這個(gè)變量拼接testRoot /home/user/project/tests/ include testRoot common/assertUtils.dos include testRoot factors/test_momentum.dos // ...6.2 如何嵌入CI流程命令行運(yùn)行DolphinDB腳本CI集成這塊DolphinDB其實(shí)比很多數(shù)據(jù)庫產(chǎn)品要方便因?yàn)樗峁┟钚袌?zhí)行方式dolphindb -home ./server -script ./tests/runAllTests.dos -localExec 1在Jenkins或GitLab CI里可以直接把這個(gè)命令包裝成一個(gè)構(gòu)建步驟。關(guān)鍵是怎么判斷測(cè)試通過還是失敗。DolphinDB腳本執(zhí)行時(shí)如果腳本拋出未捕獲的異常進(jìn)程會(huì)以非零狀態(tài)碼退出。所以我們的runAllTests.dos必須保證只要有一個(gè)測(cè)試用例失敗就一定拋異常不能吞掉錯(cuò)誤。我在runAllTests.dos末尾會(huì)加一個(gè)總判斷allPassed true // 執(zhí)行用例時(shí)把結(jié)果累加到allPassed if (!allPassed) { throw error(Unit test suite FAILED) } print(Unit test suite PASSED)這樣CI腳本才能拿到正確的退出碼。6.3 我對(duì)官方測(cè)試工具的補(bǔ)充日志輸出和并行執(zhí)行思路DolphinDB的test模塊里也提供了類似測(cè)試框架的函數(shù)可以自動(dòng)發(fā)現(xiàn)測(cè)試用例并執(zhí)行但我在生產(chǎn)項(xiàng)目里用得不多主要是它在錯(cuò)誤信息展示、批量執(zhí)行順序控制上還不夠靈活。除非只是寫幾個(gè)最基礎(chǔ)的冒煙腳本否則我都會(huì)用自建框架。日志輸出上我會(huì)把每次測(cè)試運(yùn)行的輸出同時(shí)寫到CSV文件里方便和上次運(yùn)行做diff。命令很簡(jiǎn)單output exec result from resultsTable saveText(output, /data/test_logs/run_ now().format(yyyyMMdd_HHmmss) .csv)并行執(zhí)行方面DolphinDB支持submitJob來并行跑任務(wù)。但單元測(cè)試的場(chǎng)景我不建議一開始就并行——先有序跑通等到用例量實(shí)在太多、單次執(zhí)行時(shí)間過長(zhǎng)時(shí)再考慮把互相獨(dú)立的測(cè)試文件拆到不同的worker里執(zhí)行。7. 踩坑實(shí)錄我在DolphinDB單元測(cè)試中遇到過的四個(gè)典型問題7.1 事務(wù)可見性存儲(chǔ)過程里寫的數(shù)據(jù)外面讀不到有一次我在測(cè)試一個(gè)K線清洗函數(shù)函數(shù)內(nèi)部會(huì)對(duì)分布式表做update操作。測(cè)試?yán)镎{(diào)用完函數(shù)后立即去讀表結(jié)果讀出來的還是舊數(shù)據(jù)。排查了大半天最后發(fā)現(xiàn)是DolphinDB的事務(wù)模型問題——寫入未提交時(shí)其他會(huì)話或后續(xù)查詢看不到變化。解決方案有兩種一種是在被測(cè)函數(shù)內(nèi)部顯式commit或endTransaction另一種是在測(cè)試用例里等待事務(wù)提交完成后再讀。對(duì)于單元測(cè)試來說我推薦后者因?yàn)榍罢邥?huì)改變被測(cè)函數(shù)的生產(chǎn)行為風(fēng)險(xiǎn)太大。7.2 NULL值和空表的斷言陷阱DolphinDB的空表、NULL值和空字符串在不同API和上下文中的表現(xiàn)非常不一致。比如從一個(gè)沒有數(shù)據(jù)的表里select count(*)結(jié)果可能是0但如果你select * from tbl limit 10再用rows()取行數(shù)可能返回的又是一個(gè)特殊的空對(duì)象。這些細(xì)節(jié)你寫測(cè)試時(shí)幾乎必踩。我的建議是對(duì)NULL和空表的比較不要直接拿返回值做而是用isNull()、size()這類顯式函數(shù)來判斷避免各種隱式轉(zhuǎn)換的坑。7.3 分布式表的局部數(shù)據(jù)一致性DolphinDB的分布式表是按分區(qū)存儲(chǔ)的如果測(cè)試數(shù)據(jù)橫跨多個(gè)分區(qū)讀取時(shí)的順序可能和你插入時(shí)的順序不一致。前面提到的assertTableEqual之所以要加sort參數(shù)主要就是為了應(yīng)對(duì)這個(gè)問題。另外如果你在測(cè)試?yán)飫h除了分布式表的某些記錄要注意刪除操作可能存在異步性緊接著的查詢不一定立刻反映結(jié)果。7.4 include順序的循環(huán)依賴問題當(dāng)測(cè)試腳本依賴多個(gè)工具文件時(shí)很容易出現(xiàn)A include BB include CC又反向include A的情況。DolphinDB對(duì)循環(huán)include的報(bào)錯(cuò)提示比較隱晦有時(shí)表現(xiàn)為找不到函數(shù)而不是循環(huán)依賴。實(shí)踐中我會(huì)把工具函數(shù)斷言、數(shù)據(jù)構(gòu)造嚴(yán)格和測(cè)試用例文件分離工具文件之間互不依賴從根上避免這個(gè)問題。8. 把單元測(cè)試變成團(tuán)隊(duì)習(xí)慣一些切實(shí)可行的管理建議技術(shù)方案講完最后聊一點(diǎn)軟性的東西。單元測(cè)試這件事難點(diǎn)從來不在寫代碼而在讓整個(gè)團(tuán)隊(duì)持續(xù)地、規(guī)范地執(zhí)行。我的經(jīng)驗(yàn)是三個(gè)必須第一測(cè)試必須和業(yè)務(wù)代碼同時(shí)提交。如果約定提交業(yè)務(wù)代碼時(shí)可以不帶測(cè)試那測(cè)試的覆蓋率只會(huì)越來越低。我在團(tuán)隊(duì)的PR模板里直接加了一欄本次變更的測(cè)試用例沒填就cherry-pick提交被打回。強(qiáng)制兩三次后大家就習(xí)慣了。第二CI里跑測(cè)試結(jié)果必須實(shí)時(shí)反饋。測(cè)試失敗的信息要直接發(fā)到群里否則就算CI里掛了也沒人會(huì)去看。反饋鏈路越長(zhǎng)修復(fù)的成本越高。第三測(cè)試用例的維護(hù)必須納入日常迭代。業(yè)務(wù)邏輯變了被測(cè)函數(shù)的預(yù)期結(jié)果也會(huì)變這時(shí)候測(cè)試代碼不是要?jiǎng)h掉而是要同步更新。如果團(tuán)隊(duì)里出現(xiàn)為了讓測(cè)試通過而改測(cè)試的風(fēng)氣必須立刻糾正——這種情況通常意味著測(cè)試本身就失去了價(jià)值。根據(jù)我個(gè)人這段時(shí)間在DolphinDB上推廣單元測(cè)試的體會(huì)最大的收益反而不是抓住多少Bug而是讓整個(gè)團(tuán)隊(duì)養(yǎng)成了寫代碼前先想清楚輸入輸出的習(xí)慣。當(dāng)你習(xí)慣性地為每個(gè)函數(shù)搭配幾個(gè)邊界用例時(shí)很多設(shè)計(jì)上的含糊之處在開發(fā)階段就暴露了根本不需要等到測(cè)試階段。如果你所在的項(xiàng)目也正在用DolphinDB做復(fù)雜的計(jì)算邏輯我強(qiáng)烈建議你別嫌麻煩盡早把這套東西搭起來。數(shù)據(jù)腳本的錯(cuò)誤往往不是報(bào)錯(cuò)而是算得不對(duì)而單元測(cè)試是唯一能在不看盤、不看策略結(jié)果的情況下幫你判斷算得對(duì)不對(duì)的可靠手段。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰69天堂| 久久丁香五月| 99视频九九热| 国产成人亚洲综合A∨婷婷| 五月婷婷之综合激情| 人人干av| 色五月播五月| 91国产精品视频播放| 色站9/| 99热九九在线| 九九热这里精品| 99热这里只有精品一| 亚洲综合婷婷| 五月综合激情| 亚洲成av人影院| 丁香婷婷五月色综合| 欧美 日韩 成人| 亚洲综合久| 操一区| 天天草狠狠擦| h在线看免费版在线看| 综合激情站| 99re6在线视频精品免费| 91嫩草国产线观看亚洲一区二区| 九九热啪啪| 国产精品久久99| 成人AV在线网站| 五月婷视频在线观看| 人人搡人人| 亚洲综合在线伊人婷| 亚洲日韩26uuu| 久久538| 99这里只有精品|v| 中文字幕黄色电影网址| 啪啪五月天啪啪| 天天激情| 影音先锋女人AA鲁色资源| 七七久久婷婷| 久久这里只有精品07 | 这里只有精品热| 五月丁香六月花| 99精品久久久久| 五月丁香综合激情| 啪啪黄页网| 久鲁鲁色网| 日韩av网址大全| www久久99| 激情综合网五月激情| 久久性操| 五月激情站| 97视频.干com| 思思热热久久| 天天干天天色综合| 久久国产高清| 亚洲尤物在线| 五月婷婷久久开心网| 五月丁香色色综合| 夜夜夜夜夜骑撸| 婷婷综合五月| 五月叮香啪| 天堂爱爱| 婷婷大香蕉| 狠狠色丁香久久综合婷婷亚洲成人福利 | 丁香五月激情综合| 综合99综合久久久久久久| 五月开心六月婷婷在线播放网站| 99精品久久久久久久婷婷| 综合狠久久| 五月天激情四射| 五月天激情视频网站| 人人操五月天| 久久XX日本综合| 天天玩天天摸| 欧洲亚洲免费视频9| 婷婷五月天A V| 九九久久综合| 五月天激情视频| 日本V在线观看不卡视频网站| 级情九色| 色欲午夜无码久久久久久张津瑜| 99久久五月婷婷| 99热9| 五月激情在线| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 99免费在线| 婷婷五月天激情网| 中文无码婷婷| 超碰九九热| www.久操| 色欲久久久久| .精品久久久麻豆国产精品| 成片免费播放| 91丨九色丨丰满人妖| 碰碰碰97国产| 四色女婷婷| 婷婷五月天激情网| 偷偷狠狠久久婷婷五月天| 色爱综合网| 国产免费性爱| 丁香六月毛片| 少妇出轨做爰高潮A片| 思思99热热热99| 色情丁香五月婷婷精品| 婷婷色在线视频| 色色色9| 久久se 综合网| 三区激情四射av| 六月激情久久| 久久婷婷色综合| 丁香五月成人av| 欧美五月丁香| 婷婷一本和五月丁香| 丁香婷婷91在线观看视频| 婷婷综合伊人丁香| 综合 激情 婷婷| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 99热免费18| 婷婷免费无视频| 亚洲精品又粗又大又爽A片| 、激情六月天| 欧美操人| 日日操日日干| 九九色黄色| 99r这里| 性爱技巧五月| 五月天婷婷激情在线色图| 色综合99色| 六月婷婷国产| 婷婷五月综合色中文字幕| 五月婷婷香| 五月色情婷婷| 色色五月婷婷久久| 婷婷丁香色五月亚洲| 久久久久久欧美精品se一二三四| 九九九精品视频免费观看| 久久五月天婷婷| 天天爱天天做天天日| www.五月丁香| oVV4WIB3vFi8D| 丁香九月色| 26uuu亚洲| 在线视频另类| 丁香色色网| 精品婷婷| 国外亚洲成AV人片在线观看| 激情综合六月| 五月天婷婷社区久久综合| 丁香六月激情综合| 成人短视频在线观看| 狠狠干,狠狠操| www.25五月婷婷| 九九色综合| 人妻五月天激情开心网| 99re在线免费视频| 日本超碰在线| 五月激情开心婷婷| 五月婷婷9| 丁香六月综合| 天天色情站| 香蕉AV777XXX色综合一区| 日逼免费视频| 亚洲99在线| 国产成人av在线| 6月丁香婷婷| 国产FREESEXVIDEOS性中国| 99热综合在线观看| 欧洲精品爱爱| 可以免费观看的AV| 色色五月丁香婷婷综合| 涩五月婷婷| 深爱五月天 开心网| 午夜不卡久久精品无码免费| 无码动漫av| 久久人操| 婷婷中文字幕欧美| 丁香婷婷六月天| 久久无码激情视频| 曰本aaaaaa丈片| 久婷婷婷| 婷婷综合在线观看视频| 久久最新色| 色9999日韩国产| 色丁香五月综合网| 五月天狠狠网站| 久久9热好| 深爱婷婷网| 五月天狠狠网站| 五月婷婷涩涩爱| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 欧美日韩91| 婷婷五月丁香六月天亚洲综合| 久热伊人9| 99精彩视频| 婷婷五月天激情五月天网站| 色综合中文色综合网| 天天肏夜夜肏| 色五月激情网| 五月天婷婷乱| 99五月丁香丁| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 九九精品99| 丁香五月婷婷天| 91婷婷搞| 热久久这里只有精品| 激情综合色| 婷婷综合九色伊人| 91性高潮久久久久久久久| 五月婷婷精品无在线| 91久久| 操逼五月婷婷| 91色综合网| 开心五月丁香婷婷| 婷婷激情五月吧| 六月综合婷婷开心伊人| 丰满少妇猛烈A片免费看观看| 五月综合视频| 无码色色| 五月婷婷久久内射| 99精品在线观看| 激情婷婷网| 六月丁香啪啪| 亚洲avjiujiur91| 亚洲熟妇AV乱码在线观看| 婷婷色色丁香五月天| 婷婷丁香五月欧美人| 这里只有精品在线视频精品| 婷婷十月激情综合网| 色五月婷婷中文字幕在线观看 | 日日做天天操夜夜爽| www.henhenl| 婷婷综合玖玖五月| 亚洲AV在线免费看| 亚洲综合五月天| 五月丁香婷婷成人网| 色婷婷成人丁香| 五月天婷婷社区久久综合| 婷婷色五月大香蕉在线| 成人无码精品1区2区3区免费看| 丁香色综合| www.夜夜.com| 色五月激情综合| 色婷婷黄色网络| 亚洲xx网| 精品九九久久| 婷婷五月丁香成人网| 婷婷五月天在线观看| 丁香婷婷社区| 5月婷婷激情在线| 九月色婷婷综合| 丁香六月婷婷开心| 丁香六月天婷婷在线| 色五月婷婷激情基地| 综合久久十三| 人妻丰满精品一区二区A片| 久久婷婷综合网| 色五月丁香婷婷在线观看| 九九九九九九九热| 亚洲综合色丁香婷婷六月| 天天性视频| 欧美精品999| 天天综合久久| 婷婷五月天中文字幕| 人操91在线| 久热精品免费视频4| 无码AV免费精品一区二区三区 | 五月婷婷亚洲综合在线| 色色色色色日韩午夜激情 | 青青艹b| 婷婷碰碰| 超碰无码318604| 亚洲激情免费视频观看| 色色哒五月婷婷六月丁香| 亚洲看av的网站| 亚洲中文无码成人| 五月情四婷婷| 婷婷五月丁香色情| www.色婷婷。com| 五月天堂色| 久久电影4399| 色色色婷婷五月天| 精品久久99码| 五月丁香色婷婷伊人| 97成人丁香婷婷| 日本三级日本三级99| 超碰二区| jiqingtaose五月天| 色综合中文色综合网| 麻豆雪千夏| 天堂A∨在线| 玖玖99免费视频| 强伦轩人妻一区二区电影| 色五月大| 97人妻碰碰中文无码久热丝袜| 色色五月丁香| 天天爽天天操| 猫咪伊人AV| www.1024久久| 亚洲性爱电影| 丁香久久| 三十路磁力链接| 天天天摸夜夜夜玩| 天天插天天插天天插天天插| 9久久婷婷国产综合精品性色| 日本精品99| 亚洲成人五月天| 成人AV在线电影| 成人做爰A片免费看视频| 少妇搡BBBB搡BBB搡毛茸茸| 超碰在线免费观看日韩| 97五月综合网| 中文在线成人| 激情五月网站| 九九99免费理论| 婷婷和五月天| 人妻日日日| 色停停五月天| 婷婷综合五月天激情| 五月激情视频网| 婷婷丁香五月欧美人| www.99情趣网| 丁香九月激情| 91妻人人爽人人看片| 色九九九综合| 久久色情| 99久久高清视频| 色婷婷色综合激情91| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 狠狠操狠狠插| 色偷偷五月天| 色婷婷小视频| 婷婷久热| 五月丁香六月欧美| xx久久| 久久婷色| 影音先锋AV资源男人站| 996er热| 五月激情丁香五月宗合| 久久激情网| 婷婷色五月天在线| 色情激情五月婷婷| 99re66热这里只有精品| 日日操天天爽| 日韩aaa| 久久久婷丁香五月| 久久婷婷影院| 色色 亚洲| 色婷操逼| 婷婷五月六月| av五月丁香婷婷网| 色五月成人婷婷| 综合久久六月| 伊人色综合网| 亚洲综合草草| 五月婷婷视频28| 色婷婷婷婷| 蜜臀久久99精品久久久久久酒店| 久久9久| 高清 码 免费看片短视频| 天天色月| 五月丁香婷婷网在线在线| 五月天开心激情综合网| 亚洲无码AV片| 五月天小说激情| 无码区婷婷五月花开| 激情五月丁香五月| 久久婷婷丁香| 可以免费看AV网站| 搡BBBB搡BBB搡18| 热99免费在线| 一区二区三区四区无码| 激情五月久久| 91要啪| 丁香激情合作五月| 国产一级片| 丁香五月婷婷久久久| 成人婷婷桔色| 久久日婷婷| 狠狠草在线观看| 五月丁香影院| 中文AV在线观看| 玖玖精品资源| 99热精品在线播放| 亚洲另类婷婷综合| 亚州操人在线视频| 五月天激情色色| 91婷婷在线| 日韩AV大全| 日韩成人无码| 亚洲成人无码网站| 终合激情网| AA片在线观看视频在线播放 | 性爱五月婷| 五月婷婷激情综合在线| 91人人网| 99视频在线观看视频| 丁香六月婷婷综合色| 狠狠摸狠狠摸| 欧美日本不卡黄色片| Av狠狠色丁香婷| 久久九九@| 超级久久久| 久婷狼色诱惑在线| 情欲禁地| 狠狠干综合| 五月婷婷丁香五月婷婷丁香| 这里只精品热在线18| www.成人婷婷综合| 另类图片色五月| 91操在线| 五月天婷婷在线AN| 婷婷五月开心六月AV| 婷婷在线操| 丁香五月影院| 色色精品色| 久久婷.com| 天堂综合久久| 色吊丝永久访问网址 | 一本久道综合色婷婷五月| 亚洲妇女熟BBW| 久久九九99| 六月婷婷久久| 操比激情五月| 天天天操天天天日| 久久久人人操A V| 婷婷五月深深爱| 婷婷色五月91啪啪| 侠女刀之记忆电影在线看免费| 激情伊人五月天| 操99| 丁香五月在线| .操區COm| 欧美丰满熟妇BBB久久久| 国产裸舞福利资源在线视频| 粉嫩AV久久一区二区三区| 《战争与艾拉》完整版| 香蕉AV777XXX色综合一区| 色亭亭五月天网扯| 五月激香蕉网| 色五月婷婷影院| 在线sebiav精品视频| 99爱无码| 中文网婷婷字幕婷| 六月丁香婷婷综合狠狠爱夜夜爱| 大香蕉99| 五月丁香色婷婷| 色九月| 狠狠狠狠狠狠狠狠| 久久久人妻人伦| 丁香六月婷婷色XXXXX| 九月婷婷综合| 欧美内射AAAAAAXXXXX| 五月婷婷熟女| 色婷婷AV在线观看| 日本久久人| 人人人操| 色综合色综合网| 九九99视频精品| 99亚洲视频| 99爱这里只有精品| www.色多多婷| 五月天成人综合| 9有码中文| 九九亚洲视频| 色婷婷在线视频久| 91seAV| 日日夜夜狠狠| 综合大香蕉| 激情丁香婷婷| 欧美激情凹凸丁香网| 亚洲色综合色网| 9999三级片| 丁香蜜臀黄色婷婷五月天| 国产肥白大熟妇BBBB视频| 丁香五月第四色88| 国产性爱一级| 日韩久操婷婷| 亚洲、欧美、国产另类笫二区| 色色婷婷五月天| 亚洲一色色色色色色色色| 开心色色五月天综合| 五月婷婷丁香在线| 网色99| 99精品网| 99这里只有精品|v| 亚洲婷婷视频| 天天色情站| 99热这里只有免费精品| aa久久| 一级黄色影片| 日韩五月丁香| 99久久婷| 日本二级毛片二级毛片| 久久色9| 九九蜜臀精品| 久久这里只有精品视频15| 六月婷婷视频| 色五月aV| 六月久久婷婷| 日韩色色色色| 99久在线观看| 人人看人人摸人人| 婷婷丁香五月麻豆| 午夜69成人做爰视频| 深爱五月激情五月| 青青草a在线| 婷婷色一二三区波多野结衣| 久久婷婷六月综合| 婷婷五月天六月丁香| 五月婷婷激情刺激| 欧美碰碰碰| 丁香五月激情六月综合| 久久草婷婷丁香网站| 五月开心网| 婷婷五月激情丁香| 色五月开心五月激情五月| www.色欲丁香婷婷| 色综合色色| 色综合天天天天做夜夜| 九九热a| 亚洲图片 丁香婷婷| 婷婷午夜天| 婷婷深爱网| 六月婷婷综合| 青草青草久9视频在线视频| 亚洲av网站| 五月婷婷激情四月| 六月激情婷婷色| www.韩日视频| 99热在线观看| 婷婷色导航| 婷婷久久综合久色| 亚洲精品操一操、噜一噜、摸一摸、爽 | 五月精品免费XXX| 另类图片天天影视在线观看| 国产精品岛国片在线观看免费| 久久久久久人妻| 亚洲国产精品VA在线看黑人| 99热99这里有免费的精品| 思思热天天看| 久久久精品99| 色综合99无码| 九九视频在线观看视频6 | 激情五月天综合网| 色婷婷丁香五月综合| 人妻久久久久久久久妻久久久久久久久| 39视频第二区| 999热在线观看视频| 色五月综合| 人妻久久久久久久| 九色色| 人妻操逼| 丁香六月婷婷综合激情欧美| 亚洲国产网站| 91人妻九色大屁股| 久操欧美在线观看97| 超碰免费人妻| 婷婷五月丁香欧洲| 丁香婷婷视频| 亚洲天堂AAA| 色啪影院| 狼人狠狠操| 丁香视频| 激情久久网 | 婷婷丁香九月| 丁香五月综合网| 欧美性生交XXXXX无码小说| 久久三级视频| 日韩在线观看亚洲| 成人网址在线观看| 五月天婷婷视频小说| 丁香六月成人网| 人妻内射麻豆视频| 色婷婷手机在线| 色狠狠综合网| 婷婷色啪| 伊人婷婷大香蕉| 婷婷五月色惰| 91人人爱| 婷婷伊人综合| 男人的天堂99| 色444综合网| ai97re99一本| 五月刺激丁香月综合| 无码免费人妻A片AAA毛片西瓜| 欧美日韩999| 五月天婷婷丁香| 99热最新| 激情五月婷婷丁香| 99只有精品| 俺去也综合| 91蜜桃婷婷狠狠久久综合9色| 粉嫩av蜜桃av蜜臀av| xx久久| 丁香婷婷九月| 日本啪啪天堂| 开心激情婷婷| 99热最新| 免费观看欧美成人AA片爱我多深| 国产精品VIDEOSSEX久久发布| 天天日天天色| 香蕉网久久| 丁香五月天堂| 色播丁香| 久综合网| 99久久婷婷国产综合| 91精品久久久久久77777| 五月婷婷六月激情| 亚洲精品国产setv| 亚洲色网络| 五月综合久久| 色99色| 嫩草AV久久伊人妇女超级A| 99热99艹在线观看| 99ER热精品视频| 亚洲AV影片在线观看| 99精品丁香五月| 婷婷五月综合丁香久久| 婷婷综合九月| 99九九综合久久九九| 婷婷成人综合| 99在线看片| av中文网站| 六月激情综合| 色玖玖| 99色在线视频| 思思久久99热只有频精品66| 伊人大香蕉毛片| 9久久久| 99热这里| 五月丁香六月欧美| 色狠狠色噜噜AV天堂五区| 激情六月天| 九九爱精品网站| 五月婷婷色色爱| 色玖玖网| 欧美影院婷婷| 五月五丁香婷婷| 天天草比天天爽| 大香蕉网站,大香蕉综合| 日本三级日本三级99| 大香伊人久色| 丁香九月激情久久| 97色婷婷| 久久综合天天综合| 丁香婷婷六月| 色情综合网| 在线sebiav精品视频| 五月综合激情| 色情播放| 五月婷婷偷拍| 亚洲人妻av| 久久3级片| 天天搡日日搡aaaaⅩ| 99热久只有精品首页| 亚洲AV免费国产电影| 色情五月天小说| 99爱最新免费视频在线观看| 婷婷丁香六月| 色一情一乱一伦一区二区三区| 9久9久9久女女女九九九一九| 99riAv1国产在线观看| 婷久看人爽| 深爱激情丁香| 五月婷婷之综合激情| 丁香五月五月婷婷欧美大香蕉| 亚洲AV成人无码电影| 婷婷99| 激情五月天小说视频| 色综合久久综合中文综合网| 日韩AV在线影片| 久久综合色五月| 久月丁香爱婷婷综合| 色婷婷基地| 日本婷婷| 亚洲色婷婷五月天| 丁香亚洲婷婷五月| 极品另类| 综合久久五| 婷婷黄色| 女人天堂 AV| 色五月综合| 4399精品一区二区| 69堂午夜视频最新地址| 欧美色性色好| 91精品国产综合久久久不卡电影| 婷婷丁香激情综合色情| 亚洲亚洲亚洲AAAAAA| 婷婷五月天亚洲| 91女人18毛片水多国产| 99视频内射三四| 久久久久丁香婷婷五月天| 色五月综合网| 人伦30P| 激情婷婷网| 香蕉婷婷| 丁香五月欧美激情| 色五月综合在线| 99综合视频一体| 久久3p| 亚洲激情综合免费| 99精品偷自拍| 色噜噜狠狠色综合AV兰草影视| 日本成人噜噜噜| 99原创自拍视频在线观看| 97综合在线| 婷婷五月丁香六月| 久久九九思思| 五月丁香六月婷婷综合网| 五月丁香六月成人| 一起草aV| 五月天伊人久久久久| 思思久久精品| 激情五月天综合网站网站网站| 深爱激情五月网| 激情内射人妻1区2区3区| 亚洲人妻av| 婷婷成人AV| 成人免费网站免费看| 丁香涩涩五月天| 五月丁香六月| 色综合久| AV在线观看网站| 久草九九| 99看片| 五月天婷婷激情六月久久| 婷婷六月丁香色| 久久伊人五月天| 丁香六月五月婷婷| AV成人在线播放| 视频1区2区| 狠狠色综合网站久久久久| www.99操| 99热九九这里只有精品10| 91久久久久久| 五月停停色| 日日撸日日操| 97日韩无套内| 久久五月天黄色五月天色网址| 九九热AV| 99精品视频免费在线播放| 亚洲精品亚洲人成人网| 婷婷五月电影院| 婷婷情色五月天| 97久久五月丁香婷婷| 26UUU欧美| 怡春院天天干| 丁香五月婷久久| 午夜天天精品视频| 夜夜夜叫天天天做| 秋霞少妇AV网站| 日日射天天射| 伊人丁香在线| 九九机热| 91/九色黑人| 人人爽欧美婷婷久久久五月丁香| 久久五月天精品视频| 婷婷六月激情综合| 久久日韩婷婷五月| 99视频精品全部观看10| 九色在线观看91av| 9月色婷婷| 婷婷五月天网址| 婷婷人人操| 99操逼视频| 色婷婷小说| 熟女激情网| 欧亚成人A片一区二区| 久久五月丁香激情综合| 琪琪色网在线| 可以直接看的AV| 综合色视频| 伊人色综合久久久| 9久久精品| 欧美日韩91| 第四色婷婷色五月| 亚洲日比视频| 涩五月婷婷| 九九99九九99九九99视频网| 大伊香蕉精品视频在线| 五月天成人手机在线视频| 免费视频99| 天天日狠狠| 九色亚洲| 丁香五月婷老师| 蜜臀av粉嫩av懂色av| 成人在线网址| 99热99在线| 久久精品A片777777| 五月丁香龟婷婷| 丁香五月婷婷大香蕉| 激情色色| 少妇久久诱惑视频| 成人在线视频男人的天堂4399| 中文字幕综合| 婷婷激情五月吧| 五月丁香综合啪啪| 久久精品66| 日本高清不卡免费一区二区三区| 色婷婷先锋| 五月天天天综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 狠狠操综合| 九九亚洲小视频| 一操久久| 色色综合网站| 婷婷五月色亚洲| 人人性久久| 久热婷婷| 久久精品亚洲一级牲爱综合| 九九色色网| 久久caop| 色色色五月婷| 婷婷六月开心网| 伊人九九综合| 欧美人与性动交CCOO| 狠狠色丁香| 激情网五夜婷婷| 极品五月天| 婷婷婷婷婷婷婷五月丁香| 亚洲激情五月丁香久久久久| 五月天婷婷社区久久综合| 99热自拍| 久99热| 中美日韩成人在线| 大香蕉久久视频久久视频| 丁香狠狠色婷婷| 丁香婷婷六月天| 日本色久| 色天堂婷婷| 欧美五月婷婷| 婷婷五月天亚洲精品| 99热青青草| 久久婷婷五月综合色区| 久久久99视频| 久久九九99亚洲国产久精综合| 色狠狠999综合| 亚洲精品V天堂中文字幕| 激情99| 五月激情偷拍婷婷| 97操视频| 69人人操人人爽| 色婷婷六月| 天天做夜夜爽| 婷婷六月丁香色| 婷婷少妇激情| 久久久久久久久18久久| 婷婷狠狠操| 午夜丁香婷婷| 狠狠干2007| 日hao1区| 操骚货在线| 丁香婷婷综合激情五月色| 亭亭玉立国色天香| 99热碰碰| 香蕉曰比| 五月丁香啪啪啪| 91婷婷色五月| 婷婷丁香色无五月| 日操五月婷| 久久婷婷伊人| 丁香五月天婷婷91| 国产毛片操B| 99无码视频| 99玖玖免费视频| 欧美成人网99网| 亚洲综合丁香婷婷六月天| 99热偷拍| 日本三级大片| www.夜夜操.com| 午夜婷婷五月天在线| 伊九九三级区| 91porn一起草| 日本欧美999久久久三级片| 少妇真实被内射视频三四区| 五月丁香狠狠爱| 久婷五月| 五月天综合婷婷| www.av骚货| 天天天天天操| site:esunnet.com| 99re6热在线精品视频播放速度 | 欧洲色区| 色色com| 97人人干| www.婷婷五月天| 伊人网啪啪| 九九热思思| 99热精品9| 婷婷区日本| 激情综合播播| 五月天激情黄色小说在线观看| 91免费看片| 97久操视频| 九九九九无码| 亚洲中文AV网站| 1024AV视频| 色色色九九九五月婷婷| 国产一区二区av免费| 疯狂做受XXXX高潮A片动画| 日日杆天天| 日本色道视频网站| 91碰碰| 婷婷在线精品| 五月天激情小说| 久久精品婷婷| 操操碰| www.色综合| 欧美99热| 色九月| 色偷偷五月天| 狠狠狠狠狠干| 九九激情网| 天天干,夜夜爽| 中国女人做爰A片| 91欧美| 日本乱子人伦在线视频| 日本欧美成人片AAAA| 超碰成人公开| 5月丁香美女影院| 在线播放 精品| 97涩婷婷| 超碰成人在线观看| 婷婷久久精品| 亚洲九区| www婷婷| 欧美电影在线播放| 中字幕视频在线永久在线观看免费 | 婷婷五月天777| 天天操天天爽天天爱| 五月丁香六月情婷婷久久| 五月情涩综合婷婷| 26uuu| 99在线热视频| 色色五月婷| 五月婷婷六月天| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 丁香五月激情五月| 欧美性生交XXXXX无码小说| 丁香五月花影院| 六月丁香AV| 日本丁香久在线| 色六月婷婷| 青青操绿aaa一区日v| 开心五月丁香综合久久| 国产精品成人av在线观看春天| 思思 热 99| 婷婷射图| 久9久9久9久9久9久9| 深爱激情丁香| 色色五月婷婷网| 九九热99精品| 99久久久免费| 综合xx网| 婷婷五月天伊人网| 秋霞A V毛片| 国内外色色色色色成人视频| av中文字幕免费观看| 丁香五月黄色| 色综合久| 五月婷婷九| 丁香五月天综合| 26uuu成人网| 国产一级片色色| 亚洲第二AV| 99人妻碰碰碰久久久久禁片| 五月天另类综合网| 亚洲第一视频 久久| 另类激情综合| 深爱开心激情| 婷婷D区| www五月天com| a色色色色色| 操射国产日本| 啪啪激情综合| 九九九九九999999| 99色精品| 婷婷五月天亚洲色| 色婷婷五月在线| 五月婷婷丁香| 在线成人av播放| 国产成人网| 色婷婷久久综合丁香五月| 丁香蜜臀黄色婷婷五月天| 少妇性按摩无码中文A片| 久久天堂婷婷五月| 香蕉婷婷色五月| 五月花综合视频| 五月天精品| 狠爱婷色| 激情丁香五月婷| 丁香五月六月综合欧美| 久久婷婷亚洲| 成人免费网站免费看| 草综合网| 噜噜噜噜综合在线| 超碰av在线| 色九月国产| 五月丁香六月激情网| 久婷久婷| 婷色影院| 婷婷九月激情| 五月婷婷久草在线视频综合| 激情五月天色色| 激情五月瑟瑟| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 情久久综合五月天| 99国产精品久久久久久久久久久| 我去色色网五雨天| 另类激情五月| 九九色影视| 精品无码片| 五月在线婷色| 99九九视频精彩在线| 搡BBBB搡BBB搡五十| 999热在线视频| 婷婷色五月色| 99色在线| 色色色婷婷五月天| www,av好吊操| 激情99| 五月天婷婷爱| 婷婷五月天在线观看第二页| 婷婷伊人綜合中文字幕| 日本久久人| 青青福利网| 亚洲色网络| 9精品视频在线| 丁香五月天五码婷婷| 99精品免费视频| 中文字幕丰满乱孑伦无码专区| 天天肏屄夜夜爽| 久久婷婷五月天激情四射| 婷婷五月丁香综合亚洲| 96人人操人人操人人| 国产精品视频| 丁香五夜激情四射夜夜夜| 性色播| 9久精品视频| 五月色亚洲| 日本五月视频| 大伊香蕉精品视频在线| 色婷婷成人| 免费啪啪亚州视频| 久久精品日| 婷婷五月激情欧美大胆视频| 久久99久久99精品免视看婷婷| 91色噜噜狠狠狠狠色综合| 人人干av| 久久9情免费| 五月婷综合性中心| 丁香五月大香蕉| 精品人妻在线| 亚洲 六月 综合| 激情av| 91丨九色丨高潮丰满日本| 婷婷五月天开心激情网| 欧美性猛交99久久久久99按摩| 久久婷婷六月| 亚洲中文乱字字幕在线永久| 狠狠第四色| 色婷婷激情| 久久精品日| va婷婷| www.99精品日操伊人乱碰在线| 激情婷婷人妻| 能看的av| 五月色婷婷在线观看| 深爱五月激情| 丁香九月婷| 伊人激情综合网| 久久草中文日韩欧美| 五月丁香六月婷婷网| 婷婷激情五月天激情小说| 涩涩网五月天| 国产AV影片| 激情狠狠丁香月| 99ER热精品视频| 天堂爱爱| 国产精品大香蕉| 99视频地址| 亚洲精品久久久久久久久久吃药| 天天做天天爱天天爽夜夜揉| 深爱开心激情| 色优久久| 天天干夜夜谢| 色六月天天激情综合网| 丁香五月欧美| 五月天色婷伊人| 在线另类| 婷婷五日b| 91精品久久久久久久久久| 婷婷五六日| av在线播放网站| 久久99热 这里有精品| 日本一级黄色片。| 色婷婷九月| 丁香五月婷婷总啪啪| 色五月激情五月天| 久久的爱大香蕉| 噜噜狠狠色综合久| 五月婷啪| 九九色色| 久热2025无码| 色色色九九九五月婷婷| 成人九九视频| 激情五月婷婷啪啪| 丁香六月综合激情| caop在线| 国产成人网| 无码天天操| 精品热青草| 亚洲中文乱字字幕在线永久| 嫩草视频观看| 亚洲天堂久久| 久久这里只精品66| 国产日产亚洲系列最新| 激情小说视频图片网| 激情熟女网| 九九热黄色| 欧洲激情五月天婷婷| 丁香香蕉射射射| 26uuu| 九色自拍| 成人片在线播放| 天天草天天日| 9在线9在线婷婷在线国产| 操人久久| 五月婷六月综合在线观看| 农村熟妇高潮精品A片| 激情五月天www| 色婷婷国产精品综合在线观看| 色综合色五月| 开心婷婷五月花| 亚洲宗合激情| 殴美综合激情五月天免费视频| 一本久道综合色婷婷五月| 色婷婷激情| 亚洲另类久久| 久久精品夜色噜噜亚洲a∨| 91久久婷婷| 99热日| 天天综合91入口| 中文字幕成人| WWW.桔色成人.COM| 在线看黄色| 九九热在线视频观看| 99精品在线下载| 丁香婷婷老司机久操| 激情综合啪啪| 激情综合网亚洲色图| 日本欧美999久久久三级片| 久久综合中文| www.com操| 国产美女主播vip| 99热免费| www.五月天激情| 亚洲AV中文在线| 极品人妻VIDEOSSS人妻| 欧美色五月| caopeng超碰| 99丝袜精品视频网站| 99热这里有精品| 丁香六月激情网C0W| 狠狠爱综合网| 五月丁香 狠狠爱| 亚洲综合久| 天天干天天色天天干| 大香蕉人人人| 五月婷婷激情网| 五月天亭亭俺也| 欧美丁香婷婷天天操| 综合玖玖性爱免费视频| 丁香五月婷婷成人网| 激情内射人妻1区2区3区| 丁香五月色| 亚洲国产精品成人免费一区久久久在线观看AAAA | 综合五月丁香六月婷婷| 色99亚洲| 婷婷综合偷拍| 色99在线| 丁香久月| 婷婷五月天,影院| 国产精品成人AV在线| 五月天天丁香婷婷| 色五月婷婷基地| 亚洲天天综合| 人人爽在线视频综合网| 99在线播放| 曰韩少妇内射免费播放| 9久国产| 亚洲精品小视频| 欧美五月婷婷| 两性婷婷丁香五月| 色色色成人网| 色婷婷久久综合中文久久一本| 日本女va| 九九热在线99| 狠狠ri| 五月丁香天堂网| 玖玖婷婷五月天| 天天狠狠色噜噜| 久久激情综合| 日韩视频女神99| 五月婷婷黄色网址| 丁香五月激情五月| 婷婷激情综合| 狠狠五月天激情| 久月丁香爱婷婷综合| 久人操| 婷婷五月丁香色色| CHINESE熟女老女人HD视频| 91ncm视频| 丁香五月激情啪啪| 五月亭亭激情综合| 色婷婷香蕉| 天天肏天天肏天天肏| 激情五月最新网址| 裸睡玩奶头(高H)| 97色干| 99熟女啪啪视频| 日韩欧美一级大黄网站| 丁香五月日啪| 99热r| www.91.com黄| 欧美123区免| 色啪久 | 激情婷婷激情在线不卡| 激情网五月天| 亭亭玉月丁香| 五月天激情图片| 99九九视频| 五月婷婷亞洲中文| 婷婷五月天伊人网在线观看视频| 色五月成人婷婷| 国产成人综合在线| 97干婷婷| 琪琪色影音先锋| 一级内射毛片| 色五月婷婷777| 精品影院| 婷婷五月婷婷| 五月花免费视频| 五月婷婷激情综合| 五月综合激情| 激情综合激情综合| 亚洲六月色| 五月婷婷综合精品| 深爱激情网噜噜色| 亚洲五月天伊人| 色婷婷丁香五月天在线视频| 色 免费网站视频| 五月丁香久久网| 丁香五月手机在线| 99久久www| 丁香五月婷婷亚洲另类| 超级碰碰视频无码| 91大神在线免费看视频全集男男一起操| 538在线精品| 欧美槡BBBB槡BBB少妇| 五月天婷婷色色| 天天综合精品| 五月丁香六月婷| 九九伊人网| 国产精品久久欧美久久一区| 青青草免费公开视频| 嫩草AV久久伊人妇女超级A|