欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CRS-Triage:不完整臨床證據(jù)下的置信度感知選擇性分診系統(tǒng)

CRS-Triage:不完整臨床證據(jù)下的置信度感知選擇性分診系統(tǒng) 背景與問題不完整臨床證據(jù)下的分診挑戰(zhàn)在急診科、重癥監(jiān)護室以及基層醫(yī)療場景中臨床分診Clinical Triage是一項高頻且高風(fēng)險的操作。分診的核心目標(biāo)是在有限的時間和資源下根據(jù)患者當(dāng)前可獲取的癥狀、體征、病史和檢查結(jié)果快速判斷病情的緊急程度從而決定是立即搶救、優(yōu)先就診、常規(guī)排隊還是建議回家觀察。過去幾年隨著醫(yī)療信息化和人工智能技術(shù)的發(fā)展越來越多的團隊嘗試用機器學(xué)習(xí)模型來自動化分診流程。常見的做法是訓(xùn)練一個分類器輸入患者的主訴、生命體征、實驗室指標(biāo)輸出一個緊急程度標(biāo)簽或者風(fēng)險分?jǐn)?shù)。這類系統(tǒng)在一定程度上減輕了醫(yī)護人員的負(fù)擔(dān)但在真實落地過程中我們遇到了一個非常棘手的問題臨床證據(jù)往往是不完整的。一個胸痛患者送到急診時可能只有主訴和心電圖結(jié)果心肌酶、D-二聚體、超聲心動圖等檢查結(jié)果還沒出來一個發(fā)熱患兒在基層診所就診時可能只有體溫、精神狀態(tài)描述血常規(guī)、CRP 等指標(biāo)尚未完善。模型的輸入特征大量缺失而且缺失模式并不僅僅是“隨機缺失”而是與病情、就診路徑、科室分工密切相關(guān)的“非隨機缺失”。如果模型在這些不完整證據(jù)上強行輸出一個確定性的分診結(jié)論很容易出現(xiàn)兩種情況一是把高風(fēng)險患者誤判為低風(fēng)險導(dǎo)致延誤治療二是為了安全把大量低風(fēng)險患者也標(biāo)記為高風(fēng)險造成醫(yī)療資源擠兌。兩種結(jié)果在臨床場景中都是不可接受的。于是問題從“如何提升分診準(zhǔn)確率”轉(zhuǎn)變?yōu)樵谧C據(jù)不完整的前提下模型如何知道自己知道什么、不知道什么什么時候應(yīng)該堅持自動分診什么時候應(yīng)該把決策交還給人類醫(yī)生這正是 CRS-TriageConfidence- and Reliability-Aware Selective Triage under Incomplete Clinical Evidence所嘗試解決的核心問題。簡單來說CRS-Triage 不是一個單純追求分類精度的模型而是一個“帶自我認(rèn)知”的分診決策系統(tǒng)。它同時考慮三個關(guān)鍵維度Confidence置信度模型對當(dāng)前預(yù)測結(jié)果的自信程度。如果輸入特征缺失嚴(yán)重模型應(yīng)該降低對自身輸出的把握。Reliability可靠性在相似條件下模型的歷史表現(xiàn)是否穩(wěn)定、是否可靠。這比單次置信度更宏觀是對模型能力邊界的一種校準(zhǔn)。Selective Triage選擇性分診在置信度和可靠性都不足時拒絕給出自動結(jié)論轉(zhuǎn)交人工處理。從工程角度看這套思路和機器學(xué)習(xí)里的 Selective Prediction選擇性預(yù)測、Learning with Reject Option帶拒絕選項的學(xué)習(xí)一脈相承但結(jié)合了臨床場景的特有約束決策主體是人機協(xié)作而不是單機自動完成錯誤代價不對稱漏掉一個真陽性患者的損失遠(yuǎn)大于誤報一個低風(fēng)險患者輸入缺失模式是結(jié)構(gòu)化的需要顯式建模。接下來本文會從概念拆解入手逐步講解 CRS-Triage 的建模思路、核心模塊設(shè)計、評估方法以及工程落地時需要注意的關(guān)鍵問題。適合正在做醫(yī)療 AI 算法研究、臨床決策支持系統(tǒng)開發(fā)的工程師也適合想了解“模型如何知道自己在什么時候不該發(fā)言”的機器學(xué)習(xí)初學(xué)者。概念拆解Confidence、Reliability 與 Selective Triage這三個詞在 CRS-Triage 中不是簡單的并列關(guān)系而是層層遞進、互為約束的。先分別理解它們才能看懂后續(xù)的整體設(shè)計。2.1 Confidence預(yù)測置信度置信度在機器學(xué)習(xí)中有多種理解方式。最直觀的是概率類模型的輸出概率比如 Softmax 分類器輸出的最大類別概率。但在臨床分診場景里直接用 Softmax 概率作為置信度并不可靠。首先神經(jīng)網(wǎng)絡(luò)在輸入分布偏移或特征缺失時往往會產(chǎn)生過度自信的預(yù)測。一個在完整數(shù)據(jù)上訓(xùn)練良好的模型如果強行用均值填充缺失特征輸出的概率分布可能依然很尖銳看不出任何“不確定”的跡象。其次醫(yī)療決策對置信度的要求是“可解釋的、有邊界的”我們不能僅僅給出一個 0.8 或 0.9 的分?jǐn)?shù)還需要說明這個分?jǐn)?shù)在多大程度上受到了缺失信息的影響。因此CRS-Triage 中的置信度評估通常不依賴單一模型的輸出概率而是綜合多種信號模型的預(yù)測概率分布比如最大概率和次大概率之間的差距輸入特征完整性程度即當(dāng)前樣本缺失了哪些關(guān)鍵變量模型在缺失特征上的敏感性即該特征在當(dāng)前預(yù)測路徑上的貢獻權(quán)重集成模型Ensemble中多個基學(xué)習(xí)器之間的預(yù)測一致性如果使用貝葉斯方法還可以引入預(yù)測方差作為不確定性估計。這里的關(guān)鍵是置信度是“針對當(dāng)前樣本”的動態(tài)估計。它回答的問題是在這個患者的條件下我有多大把握說出這個分診結(jié)論2.2 Reliability可靠性與置信度不同可靠性是一個更偏向“歷史表現(xiàn)”和“跨群體表現(xiàn)”的概念。它回答的問題是在類似條件下模型過去做得有多好在臨床分診場景中這意味著我們需要對模型在不同亞組上的表現(xiàn)做持續(xù)監(jiān)測。例如在不同年齡段兒童、成人、老年人上的 AUC 是否有明顯差異在不同科室來源急診內(nèi)科、心內(nèi)科、呼吸科上的校準(zhǔn)誤差是否可控在特征缺失比例不同的樣本上準(zhǔn)確率是否急劇下降在不同時間段流感季、節(jié)假日急診高峰上的表現(xiàn)是否穩(wěn)定。這些指標(biāo)的集合構(gòu)成了模型可靠性的畫像。CRS-Triage 的“Reliability-Aware”主要體現(xiàn)在即使當(dāng)前樣本的置信度暫時較高如果它落在模型歷史表現(xiàn)不佳的區(qū)域系統(tǒng)仍然傾向于轉(zhuǎn)交人工處理。舉個例子模型在青壯年胸痛患者上的歷史表現(xiàn)很好但對老年女性、癥狀不典型患者的區(qū)分度較差。某次輸入一個老年女性的樣本雖然模型輸出概率是 0.85顯示較高置信度但可靠性模塊根據(jù)歷史分桶記錄判斷此區(qū)域風(fēng)險較大于是整體可靠度下調(diào)觸發(fā)人工復(fù)核。這種設(shè)計思路在工程上并不罕見類似“模型可觀測性”和“數(shù)據(jù)漂移檢測”的結(jié)合但 CRS-Triage 把它嵌入到了決策鏈路中而不是事后分析。2.3 Selective Triage選擇性分診選擇性分診是最終的決策策略。模型不再強制對每個樣本都輸出一個分診結(jié)果而是允許“棄權(quán)”Abstain。當(dāng)置信度低于某個閾值或者可靠性評估不達標(biāo)時系統(tǒng)自動轉(zhuǎn)入人工分診流程。這里“轉(zhuǎn)交人工”不是簡單的報錯退出而是帶有上下文信息的“輔助交接”。系統(tǒng)應(yīng)該告訴醫(yī)生模型初步傾向于哪個分診等級模型對當(dāng)前判斷的置信度有多高哪些關(guān)鍵信息缺失導(dǎo)致模型不敢下結(jié)論建議優(yōu)先補充哪些檢查或問詢。這樣一來人工分診不是從零開始而是在模型輔助下更高效地完成決策。這也更符合臨床工作流的實際需求醫(yī)生不是被系統(tǒng)替代而是被系統(tǒng)支持。從算法角度來看選擇性分診的核心是找到一個最優(yōu)的“覆蓋范圍”Coverage即在保證高風(fēng)險患者不漏診的前提下盡可能多地自動處理低風(fēng)險、信息充分的樣本最大化系統(tǒng)的自動化收益。這個最優(yōu)覆蓋范圍可以通過約束優(yōu)化或閾值搜索來確定。2.4 三者的協(xié)同關(guān)系用一個流程圖來表達它們的協(xié)作關(guān)系輸入臨床證據(jù)可能不完整 ↓ [Confidence 評估] → 當(dāng)前預(yù)測是否可信 ↓ [Reliability 評估] → 當(dāng)前樣本所在區(qū)域歷史表現(xiàn)是否穩(wěn)定 ↓ [Selective Triage 決策] ├── 置信度與可靠性均達標(biāo) → 自動輸出分診結(jié)果 └── 任一維度不足 → 轉(zhuǎn)交人工分診并附解釋信息這個流程可以固化成一個決策函數(shù)給定輸入特征先判斷是否進入自動分診通道同時給出置信度分?jǐn)?shù)和可靠性評分二者共同決定最終的拒絕閾值。更有意思的是這個決策函數(shù)本身也是可學(xué)習(xí)的可以通過優(yōu)化一個包含誤診代價和人工成本的目標(biāo)函數(shù)來訓(xùn)練。問題建模與整體架構(gòu)設(shè)計3.1 形式化定義把 CRS-Triage 抽象成數(shù)學(xué)問題可以用如下方式描述假設(shè)有一個患者樣本 (x)其特征向量為 (x \in \mathbb{R}^d)同時存在一個二元掩碼向量 (m \in {0,1}^d)其中 (m_j 1) 表示第 (j) 個特征在當(dāng)前樣本中是觀測到的(m_j 0) 表示缺失。分診標(biāo)簽 (y \in {1, 2, 3, 4, 5}) 分別對應(yīng)不同的緊急程度等級或者簡化為二分類“高風(fēng)險 / 低風(fēng)險”。模型 (f_\theta(x, m)) 輸出兩個結(jié)果預(yù)測分布 (p(y | x, m))置信度分?jǐn)?shù) (c(x, m))。在此基礎(chǔ)上系統(tǒng)還需要一個可靠性評估函數(shù) (r(x, m))表示當(dāng)前樣本落入的區(qū)域在歷史數(shù)據(jù)上的可靠程度。最終的決策策略是[ \text{Decision}(x, m) \begin{cases} \hat{y} \arg\max_y p(y|x,m) \text{if } g(c, r) \geq \tau \ \text{Refer to Human} \text{otherwise} \end{cases} ]其中 (g(\cdot)) 是融合函數(shù)(\tau) 是決策閾值。整個 CRS-Triage 的學(xué)習(xí)目標(biāo)可以寫成[ \min_{\theta, \phi} ; \mathbb{E}[\mathcal{L}{\text{cls}} \lambda_1 \mathcal{L}{\text{conf}} \lambda_2 \mathcal{L}{\text{rel}} \lambda_3 \mathcal{L}{\text{tri}}] ]這里的 (\mathcal{L}{\text{cls}}) 是常規(guī)分類損失(\mathcal{L}{\text{conf}}) 是置信度校準(zhǔn)損失(\mathcal{L}{\text{rel}}) 是可靠性一致性損失(\mathcal{L}{\text{tri}}) 是選擇性分診損失比如帶拒絕代價的損失函數(shù)。3.2 不完整證據(jù)的表征方式CRS-Triage 要處理的第一件事是如何讓模型感知“缺失”這件事而不只是把缺失值填充成一個默認(rèn)數(shù)。常見的做法有幾種Mask 拼接法將每個特征的缺失標(biāo)志作為一個額外通道或額外特征輸入模型讓模型自行學(xué)習(xí)缺失模式與標(biāo)簽之間的關(guān)聯(lián)。這是實現(xiàn)成本最低、應(yīng)用最廣的方法。缺失模式嵌入用可學(xué)習(xí)的 Embedding 來編碼不同的缺失組合模式而不是逐特征做二值標(biāo)志。比如“體溫缺失 血氧缺失”和“體溫缺失 血氧正常”分別映射到不同的 Embedding 向量。多視圖學(xué)習(xí)將特征按臨床意義分成若干視圖生命體征視圖、實驗室檢查視圖、主訴文本視圖等每個視圖內(nèi)部先做局部推斷再用注意力機制整合缺失的視圖直接跳過或置空由注意力權(quán)重自行決定信息貢獻度。對于臨床分診場景我更推薦 Mask 拼接法和多視圖學(xué)習(xí)的結(jié)合。原因在于缺失模式本身攜帶臨床語義。某醫(yī)院沒有提供某項檢查可能不是醫(yī)生忘了開單而是因為患者病情不允許、科室診療常規(guī)還沒走到那一步。模型需要學(xué)會區(qū)分“正常范圍內(nèi)的值”和“根本沒測的值”。3.3 CRS-Triage 的整體架構(gòu)在實現(xiàn)層面CRS-Triage 可以拆成四個模塊每個模塊承擔(dān)獨立職責(zé)模塊職責(zé)輸出特征補全與表示模塊對缺失特征進行初步表示生成完整特征向量特征表示 (h)分診預(yù)測模塊基于特征表示輸出分診概率分布預(yù)測概率 (p)置信度評估模塊估計當(dāng)前預(yù)測的置信度置信度分?jǐn)?shù) (c)可靠性評估模塊評估當(dāng)前樣本所屬區(qū)域的歷史可靠性可靠性分?jǐn)?shù) (r)這四個模塊可以聯(lián)合訓(xùn)練也可以分階段訓(xùn)練。聯(lián)合訓(xùn)練的優(yōu)點是置信度模塊和預(yù)測模塊能夠相互約束避免模型在分類上過度自信。分階段訓(xùn)練的優(yōu)點是每個模塊都可以用不同的數(shù)據(jù)源和驗證集單獨優(yōu)化便于工程排錯??紤]到臨床場景中的數(shù)據(jù)規(guī)模通常有限我建議先分階段訓(xùn)練再整體微調(diào)。具體來說先用完整樣本訓(xùn)練預(yù)測模塊固定預(yù)測模塊后用帶缺失的樣本訓(xùn)練置信度模塊可靠性模塊則完全基于歷史評估結(jié)果構(gòu)建不參與端到端反向傳播只作為一個外掛的決策層。這個設(shè)計的好處是可靠性的計算可以隨時更新不需要重新訓(xùn)練整個模型。比如當(dāng)模型部署上線后積累了新的真實反饋只需要更新可靠性評估模塊的統(tǒng)計量決策策略就會立刻受益。3.4 決策邊界與人工介入策略選擇性分診的閾值設(shè)置是直接關(guān)系到臨床安全的關(guān)鍵環(huán)節(jié)。如果閾值設(shè)得太低系統(tǒng)會把大量低置信度樣本強行自動分診模型在證據(jù)不足時犯錯的概率會顯著上升如果閾值設(shè)得太高系統(tǒng)幾乎都會轉(zhuǎn)給人工自動化的價值就體現(xiàn)不出來。合理的做法是引入“分診錯誤代價”的概念。假設(shè)把一個高風(fēng)險患者誤判為低風(fēng)險造成的損失為 (C_{\text{miss}})把一個低風(fēng)險患者誤判為高風(fēng)險造成的損失為 (C_{\text{over}})人工處理一個患者的成本為 (C_{\text{human}})。在臨床場景里通常 (C_{\text{miss}} \gg C_{\text{human}} \gg C_{\text{over}})?;谶@些代價我們可以構(gòu)建一個風(fēng)險函數(shù)[ R(\tau) \mathbb{E}[\text{誤診損失}] \mathbb{E}[\text{人工介入成本}] ]然后選擇使 (R(\tau)) 最小化的閾值 (\tau^*)。這個優(yōu)化過程可以在驗證集上完成也可以在部署后定期根據(jù)真實表現(xiàn)重新校準(zhǔn)。在實際操作中我還會建議把閾值做成多個檔位對應(yīng)不同的人力資源狀況。例如白班有兩名分診護士值班閾值可以放寬夜間只有一名值班醫(yī)生閾值自動收緊。這種“動態(tài)閾值”機制在工程上不難實現(xiàn)卻對臨床體驗改善很大。核心算法設(shè)計與代碼示例下面我們來拆解 CRS-Triage 各模塊的算法實現(xiàn)思路。由于這是一個研究性較強的框架我這里給出的代碼是核心思路級的偽代碼具體實現(xiàn)需要根據(jù)你的數(shù)據(jù)格式和模型框架做適配。4.1 特征表示模塊Mask 拼接先看最簡單的特征表示方法。假設(shè)原始特征向量是x缺失掩碼是m我們可以把兩者拼接后輸入一個全連接層import torch import torch.nn as nn class FeatureEncoder(nn.Module): def __init__(self, input_dim, hidden_dim): super(FeatureEncoder, self).__init__() self.fc nn.Sequential( nn.Linear(input_dim * 2, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim) ) def forward(self, x, mask): # x: [batch_size, input_dim] # mask: [batch_size, input_dim], 1observed, 0missing x_with_mask torch.cat([x, mask], dim-1) return self.fc(x_with_mask)這里有一個細(xì)節(jié)需要注意在構(gòu)建x時對缺失特征位置的值不要填 0而是填一個可區(qū)分的中性值。為什么因為如果缺失位置本來就填 0而某些真實特征的最小值也接近 0模型就難以區(qū)分“缺失”和“真實值為 0”。我通常在預(yù)處理階段把缺失特征置為一個特殊常數(shù)比如 -999 或全局均值然后依靠 mask 告訴模型這是缺失的。更高級的做法是使用可學(xué)習(xí)的缺失嵌入class LearnableMissingEncoder(nn.Module): def __init__(self, input_dim, hidden_dim): super(LearnableMissingEncoder, self).__init__() self.value_proj nn.Linear(input_dim, hidden_dim) self.missing_embed nn.Parameter(torch.randn(input_dim, hidden_dim)) self.fusion nn.Linear(hidden_dim * 2, hidden_dim) def forward(self, x, mask): # mask: 1observed, 0missing value_feat self.value_proj(x) missing_feat self.missing_embed.unsqueeze(0) # [1, input_dim, hidden_dim] # 對缺失位置使用可學(xué)習(xí)的 embedding feat torch.where(mask.unsqueeze(-1).bool(), value_feat.unsqueeze(1), missing_feat) # 在特征維度上做聚合 feat feat.sum(dim1) return self.fusion(torch.cat([feat, value_feat], dim-1))這個實現(xiàn)的核心思想是對每個輸入特征模型可以分別計算“如果觀測到該值”的表征和“如果缺失”的表征缺失時直接用可學(xué)習(xí)向量替代而不是簡單灌入一個固定值。4.2 置信度評估模塊置信度評估可以用多種方式實現(xiàn)。最簡單的是在預(yù)測模塊的輸出層添加一個額外的頭直接回歸一個置信度分?jǐn)?shù)class TriageModelWithConfidence(nn.Module): def __init__(self, encoder_dim, num_classes): super(TriageModelWithConfidence, self).__init__() self.classifier nn.Linear(encoder_dim, num_classes) self.confidence_head nn.Sequential( nn.Linear(encoder_dim, 64), nn.ReLU(), nn.Linear(64, 1), nn.Sigmoid() ) def forward(self, h): logits self.classifier(h) confidence self.confidence_head(h).squeeze(-1) return logits, confidence訓(xùn)練時除了常規(guī)的分類交叉熵?fù)p失還要讓置信度分?jǐn)?shù)與預(yù)測是否正確對齊。一種常用的技巧是構(gòu)造一個二分類目標(biāo)如果當(dāng)前樣本的預(yù)測標(biāo)簽正確置信度目標(biāo)為 1否則為 0。然后用二元交叉熵訓(xùn)練置信度頭。除此之外還可以引入蒙特卡洛 Dropout 來估計不確定性。在推理時多次開啟 Dropout 進行前向傳播得到一組預(yù)測分布然后計算方差作為置信度的補充信號。這種方式對已有模型改動最小非常適合快速驗證。def predict_with_mc_dropout(model, x, mask, num_samples30): model.train() # 開啟 dropout preds [] for _ in range(num_samples): logits, _ model(x, mask) probs torch.softmax(logits, dim-1) preds.append(probs.detach().cpu().numpy()) preds np.array(preds) # [num_samples, batch, num_classes] mean_pred preds.mean(axis0) uncertainty preds.var(axis0).sum(axis-1) # 方差和作為不確定性 return mean_pred, uncertainty4.3 可靠性評估模塊可靠性評估模塊不參與端到端訓(xùn)練更像是一個基于歷史統(tǒng)計的“記憶體”。一個簡單而有效的實現(xiàn)方式是對樣本特征空間進行分桶然后記錄每個桶的歷史表現(xiàn)。import numpy as np from collections import defaultdict class ReliabilityMemory: def __init__(self, bin_size0.1): self.bin_size bin_size self.bucket_stats defaultdict(lambda: {total: 0, correct: 0, auc: 0.0}) def discretize(self, value): return round(value / self.bin_size) * self.bin_size def update(self, sample_meta, is_correct, metric_value0.0): # sample_meta 是用于分桶的關(guān)鍵特征比如置信度分?jǐn)?shù)、缺失比例 key ( self.discretize(sample_meta.get(confidence, 0.5)), self.discretize(sample_meta.get(missing_ratio, 0.0)) ) self.bucket_stats[key][total] 1 if is_correct: self.bucket_stats[key][correct] 1 self.bucket_stats[key][auc] metric_value def query(self, sample_meta): key ( self.discretize(sample_meta.get(confidence, 0.5)), self.discretize(sample_meta.get(missing_ratio, 0.0)) ) stat self.bucket_stats.get(key) if stat is None or stat[total] 0: return 0.5 # 未知區(qū)域返回中等可靠性 accuracy stat[correct] / stat[total] # 可以結(jié)合樣本量做置信度收縮 shrink min(1.0, stat[total] / (stat[total] 10)) reliability shrink * accuracy (1 - shrink) * 0.5 return reliability這個實現(xiàn)非常輕量適合作為線下基線。實際在臨床項目中分桶的特征可能更復(fù)雜包括特征缺失模式、患者年齡段、科室來源等需要結(jié)合具體業(yè)務(wù)來設(shè)計。4.4 選擇性分診決策把置信度和可靠性整合形成最終的分診決策def selective_triage(confidence, reliability, threshold0.6): # 融合函數(shù)這里使用加權(quán)幾何平均 alpha 0.5 fused_score (confidence ** alpha) * (reliability ** (1 - alpha)) if fused_score threshold: return auto, fused_score else: return refer, fused_score這個融合公式可以替換成任何合理的函數(shù)。關(guān)鍵在于閾值的選擇。下面給一個在驗證集上搜索閾值的示例def search_threshold(valid_df, valid_labels, min_refer_rate0.1): 在驗證集上搜索最優(yōu)閾值。 目標(biāo)是在人工轉(zhuǎn)交率不超過 (1 - coverage) 的前提下最大化自動分診部分的準(zhǔn)確率。 best_threshold 0.5 best_score -float(inf) for threshold in np.arange(0.3, 0.95, 0.05): auto_mask valid_df[fused_score] threshold refer_rate (~auto_mask).mean() if refer_rate (1 - min_cover_rate : 0.9): continue auto_accuracy (valid_df.loc[auto_mask, pred] valid_labels[auto_mask]).mean() score auto_accuracy - 0.2 * refer_rate if score best_score: best_score score best_threshold threshold return best_threshold在實際醫(yī)療項目中這個搜索過程不能只看總體準(zhǔn)確率還必須分高風(fēng)險患者查看覆蓋率和召回率。比如要求系統(tǒng)對高風(fēng)險患者的自動分診覆蓋率不低于 98%那么閾值搜索就應(yīng)該在高風(fēng)險亞組上添加硬約束。評估方法與指標(biāo)體系怎么證明 CRS-Triage 有效一個帶選擇性分診的系統(tǒng)不能用傳統(tǒng)分類指標(biāo)“一刀切”地評估。我們需要覆蓋三個層面的評估自動分診部分的效果、轉(zhuǎn)交人工部分的比例、整體系統(tǒng)風(fēng)險。5.1 自動分診部分的準(zhǔn)確率在自動分診覆蓋的樣本上計算常規(guī)分類指標(biāo)如準(zhǔn)確率、召回率、F1 分?jǐn)?shù)。這部分指標(biāo)反映的是“當(dāng)模型明確表態(tài)時它說得對不對”。需要注意這部分指標(biāo)天然會偏高因為系統(tǒng)只選擇了最有把握的樣本。所以不能只用它來宣傳模型性能必須結(jié)合覆蓋率一起看。5.2 覆蓋率與轉(zhuǎn)交率覆蓋率Coverage表示自動分診樣本占全部樣本的比例轉(zhuǎn)交率 1 - Coverage。CRS-Triage 的價值就在于可以通過調(diào)整閾值在覆蓋率和準(zhǔn)確率之間做權(quán)衡。評估時應(yīng)繪制“準(zhǔn)確率-覆蓋率曲線”Accuracy-Coverage Curve觀察曲線下降是否平緩。一個健康的模型應(yīng)該具備這樣的特征隨著覆蓋率下降即更嚴(yán)格地選擇自動分診樣本準(zhǔn)確率穩(wěn)步上升反之如果覆蓋率降到很低時準(zhǔn)確率依然沒有明顯提升說明置信度評估模塊沒有提供有效信號。5.3 高風(fēng)險患者的漏診率這是最關(guān)鍵的臨床安全指標(biāo)。在所有真實高風(fēng)險患者中有多少被系統(tǒng)自動分診判為了低風(fēng)險這個數(shù)字必須被單獨統(tǒng)計并且要設(shè)置嚴(yán)格的容忍上限。理想情況下CRS-Triage 應(yīng)該做到零漏診。如果達不到退而求其次也要保證所有低置信度的樣本都被轉(zhuǎn)交人工而不是直接自動定級。5.4 人工分診的效率和效果提升轉(zhuǎn)交人工不等于系統(tǒng)脫責(zé)。評估時還應(yīng)該關(guān)注系統(tǒng)轉(zhuǎn)交的樣本醫(yī)生處理耗時是否更短醫(yī)生給出的結(jié)論是否與系統(tǒng)傾向一致系統(tǒng)提供的缺失信息提示是否有效如果人工分診因為 CRS-Triage 的輔助而變得更快、更準(zhǔn)說明系統(tǒng)的“人機協(xié)作”設(shè)計是成功的。這部分評估可以放在上線后的真實工作流中通過 A/B 測試或前后對比來完成。5.5 消融實驗的設(shè)計在學(xué)術(shù)研究中消融實驗是證明各模塊必要性的標(biāo)準(zhǔn)做法。對于 CRS-Triage至少應(yīng)該做以下三組對比實驗組說明預(yù)期結(jié)果基線無選擇性分診對所有樣本強制輸出覆蓋率 100%但低置信度樣本錯誤較多只用置信度僅根據(jù) Confidence 判斷覆蓋率-準(zhǔn)確率曲線有改善但可能對歷史不可靠區(qū)域失效置信度 可靠性完整 CRS-Triage在高風(fēng)險亞組上漏診率最低自動分診整體收益最穩(wěn)如果置信度模塊和可靠性模塊都有效第三組的“準(zhǔn)確率-覆蓋率曲線”應(yīng)該始終在第一組和第二組的上方。工程落地與技術(shù)挑戰(zhàn)CRS-Triage 從論文走向臨床系統(tǒng)還有相當(dāng)長的路要走。這里整理一些我在類似項目中實際遇到的工程問題。6.1 數(shù)據(jù)治理與缺失模式記錄模型對缺失模式的感知依賴高質(zhì)量的歷史數(shù)據(jù)。很多醫(yī)院的信息系統(tǒng)雖然保存了患者檢驗結(jié)果卻未必保存了“某檢查為什么沒做”的上下文信息。比如一個患者沒有做凝血功能檢查可能是因為病情緊急沒來得及也可能是因為這是復(fù)查患者不必再做。這兩種情況對分診決策的含義完全不同。因此在數(shù)據(jù)收集階段就要設(shè)計好元數(shù)據(jù)字段記錄每個特征的觀測狀態(tài)、缺失原因、缺失時機。這個工作非?,嵥閰s決定 CRS-Triage 的上限。6.2 模型訓(xùn)練與驗證的偏差問題訓(xùn)練 CRS-Triage 時要特別注意驗證集的構(gòu)建方式。不能簡單隨機劃分因為患者的就診時間、科室分布、疾病譜變化都會導(dǎo)致數(shù)據(jù)分布漂移。建議按時間窗口劃分訓(xùn)練集和驗證集例如用前兩年的數(shù)據(jù)訓(xùn)練用最近三個月的數(shù)據(jù)驗證。在驗證 CRS-Triage 的選擇性分診策略時還要注意“反饋循環(huán)”問題如果系統(tǒng)轉(zhuǎn)交人工的樣本最終由醫(yī)生給出了正確標(biāo)簽這些標(biāo)簽是否回流到訓(xùn)練集如果回流就相當(dāng)于系統(tǒng)學(xué)會了在哪些樣本上可以依賴醫(yī)生糾錯這既可能提升系統(tǒng)能力也可能引入對人工的過度依賴。需要設(shè)計明確的標(biāo)簽回流策略。6.3 醫(yī)療合規(guī)與安全邊界在醫(yī)療場景部署 CRS-Triage必須把安全放在第一位。這里的“安全”不只是模型精度的問題還包括權(quán)限管理只有具備資質(zhì)的醫(yī)護人員才能處理轉(zhuǎn)交樣本系統(tǒng)需要對操作者做身份認(rèn)證和權(quán)限校驗。完整審計每一次自動分診和人工轉(zhuǎn)交都要記錄完整的決策鏈路包括輸入特征、缺失掩碼、置信度分?jǐn)?shù)、可靠性評分、最終決策人和決策時間?;叶劝l(fā)布新版本模型上線前必須先以“影子模式”運行一段時間即系統(tǒng)照常生成分診建議但不直接投入使用而是與現(xiàn)行流程并行觀察一段時間的表現(xiàn)。緊急回退機制當(dāng)系統(tǒng)檢測到性能嚴(yán)重下降比如某類樣本的可靠性評分大面積低于閾值時應(yīng)能快速切換回純?nèi)斯し衷\流程。這些要求不是業(yè)務(wù)方的附加需求而是醫(yī)療 AI 系統(tǒng)的基本前提。6.4 性能與可觀測性臨床分診對實時性要求很高。雖然在帶拒絕選項的框架下系統(tǒng)可以轉(zhuǎn)交人工但如果每個樣本都轉(zhuǎn)交系統(tǒng)就沒有存在的意義。為了確保大部分樣本能快速通過自動分診通道模塊設(shè)計上要注意置信度評估和可靠性評估盡量輕量化不要每次都跑一遍蒙特卡洛采樣可靠性記憶體用緩存或者向量數(shù)據(jù)庫保存查詢延遲控制在毫秒級每個模塊的耗時和結(jié)果都要寫入日志方便線上實時監(jiān)控??捎^測性的目標(biāo)是當(dāng)醫(yī)生或運維人員看到一個自動分診結(jié)果時能快速回答三個問題——“它依據(jù)什么特征做出的判斷”“它有多自信”“這個區(qū)域的歷史可靠性如何”把這三點固化到系統(tǒng) UI 和日志里會極大提升臨床信任度??偨Y(jié)與后續(xù)研究思考CRS-Triage 給我最大的啟發(fā)是在醫(yī)療決策這類高風(fēng)險場景中模型的價值不只是“把結(jié)果預(yù)測得更準(zhǔn)”還包括“懂得在什么時候不預(yù)測”。Confidence 讓模型感知自身對當(dāng)前樣本的把握Reliability 讓模型理解自身能力邊界的歷史規(guī)律Selective Triage 把這兩種感知轉(zhuǎn)化為可執(zhí)行的人機協(xié)作策略。三者結(jié)合配合合理的閾值化和評估體系才能構(gòu)建出真正適合臨床的分診系統(tǒng)。后續(xù)可持續(xù)探索的方向包括更細(xì)粒度的缺失語義建模例如把缺失原因未開單、結(jié)果未回、設(shè)備故障、患者拒檢顯式融入模型多模態(tài)證據(jù)的融合分診比如把主訴文本、生命體征波形、醫(yī)學(xué)影像報告統(tǒng)一納入 CRS-Triage 框架在線強化學(xué)習(xí)讓選擇性分診策略可以根據(jù)實時反饋動態(tài)調(diào)整閾值而不是依賴離線驗證集的一次性搜索聯(lián)邦學(xué)習(xí)與隱私保護讓多家醫(yī)院在不共享原始患者數(shù)據(jù)的前提下共同提升置信度和可靠性評估的泛化能力這是醫(yī)療 AI 落地繞不開的課題。如果你正在做醫(yī)療分診相關(guān)的工作我的建議是先從最簡單的基線開始在現(xiàn)有分診模型上加入缺失掩碼特征再接一個置信度頭最后用驗證集畫出準(zhǔn)確率-覆蓋率曲線。你會發(fā)現(xiàn)只是這一步就能讓系統(tǒng)在低質(zhì)量數(shù)據(jù)上的表現(xiàn)發(fā)生明顯變化。曲線中的關(guān)鍵拐點往往就是模型在告訴你這個區(qū)域我不太確定該請醫(yī)生出馬了。這套代碼思路和評估方法也可以平移到其他高風(fēng)險決策場景例如風(fēng)控審核、法務(wù)輔助、智能運維診斷。凡是錯誤代價極高、信息經(jīng)常不完整、人類專家資源稀缺的領(lǐng)域都是 CRS-Triage 這類設(shè)計方案可以復(fù)用的地方。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
9色91视频| 婷婷射图五月天| 激情久久久| 操操碰| 色九九综合| 五月天亚洲图片婷婷| 五月天婷婷基地| 夜夜爱网站| 亚洲天堂爱爱| 五月天婷婷Av| 午夜大香蕉| 久色国产| 婷婷色播色五月五色五月天色妇| 天天透天天干| 国产午夜伦鲁鲁| 色婷狠狠| 欧美综合五月丁香六月婷| 无码字幕中文| 夜夜操加勒比| 丁香婷婷色五月| 99爱视频在线免费观看| 亚洲va日| 综合色情网| 久九男女天堂| 色99在线| 狠狠色婷婷7777久| 九九热在线99| 综合网激情| 99re思思在线视频| 五月六月播婷婷| av超碰在线| 色五月婷婷网| 久热只有精品| 26uuu精品一区二区| 五月婷婷激情中心| 思思热再线视频| 婷婷五月天影院| 大香蕉婷婷婷| 91狼友视频网页更新| 婷婷五月天久久| 婷婷五月丁香综合人妻| 九九九九九九九热| 久久这里有精品99| 婷婷香五月综合激情| 99在线观看视频免费| 九月婷婷综合网| 人与禽A片啪啪| 爆乳熟妇一区二区三区爆乳| 91人操人人人操人| 伊人五月婷婷| 五月婷在线| 玖玖资源在线视频| 26uuu在线观看| 人人爱天天摸摸天天爱| 99久久er| 草逼大片| 色婷婷五月在线| 亚洲99热| 婷婷中文无码| 99视频内射三四| 色婷婷精品视频| 色丁香影院| 久久久久婷婷五月热综合| 玖玖精品婷婷| 丁香六月婷婷综合| 噜一噜免费视频| 91精品综合久久婷婷九色| 色域五月丁香| 色玖玖综合| 丁香五月九九| 婷婷五月综合社区| 丁香五月天偷拍| 五月婷婷在线丁香| 激情久久五月网| 丁香激情六月天婷婷| 伍月激情天| 色播五月丁香婷婷| 99亚州综合精品成人网| 综合久久婷婷| 亚洲精品又粗又大又爽A片| 婷婷精品视频| 真实的国产乱XXXX在线91| 99热在线极品极品| 日韩欧美成人片| 97操在线视频| 婷婷色五月天综合网| 99re26视频| 性天天中文网| 五月婷婷综合激情| 91操黄| 丁香五月婷婷香| 97国产精品女人碰碰| 性爱七区| 欧美天天干五月丁香| 综合性视频99| a在线观看| 三级三久久线久久99久目本WW| 亚洲综合在线视频| 9色天堂| 久久婷婷丁香视频网| 97干视频| 久热精品视频| 久久久婷婷| 国产一区二区三区影院| 久久综合伊人77777蜜臀| 99热综合网| 日日操夜夜爽白洁| 97热在线精品| 99惹 精品在线| 九月色婷婷综合| 狠狠色丁香五月婷巨| 九九久久五月天综合伊人| 天天综合中文| 成人国产欧美大片一区| 久久综合中文| 99色精品| 亚洲无码影音| 青青热久精品视频在线观看| 成人在线精品| 婷婷五月中文字幕| 五月天婷婷成人资源站| 五月激情婷婷播播网| 亭亭五月丁香五月天激情| 国产欧美精品AAAAAA片| 丁香五月激情在线| 99色视频| 亚洲AV综合网| 五月丁香六月激情视频| 色婷丁香91| 伊人超碰| 51国精产品自偷自偷综合 | 天天摸,天天爽| 夜夜做夜夜愛| 强壮的公次次弄得我高潮A片日本 | 午夜福利8055| 丁香 婷婷 亚洲 熟女| 中文字幕在线不卡| 综合超碰熟| 天天做天天爰天天爽天天无遮挡| 超碰99热| 3p久久| 日本精品。999| 92久久| 九九99偷拍视频| 国产av影片| 五月丁香花婷婷玉莉AV| 久热精品免费视频4| 九九碰九九爱97超碰| 日韩欧美一级大黄网站| 丁香花狠狠婷婷亚洲中文字幕| 九九色中文| 九九热在线视频观看| 婷婷色五月激情| 人人操女人| 996日日爱| 欧美成人A片AAA片在线播放 | 婷婷五月天成人网站| 精品夜夜澡人妻无码AV| 激情五月婷婷欧美极品| 五月婷婷啪啪啪啪| 激情五月天色婷婷| 四川操逼站| 色婷婷婷综合五月天| 婷婷综合色图| 26uuu青青| 日韩综合久久| 色婷婷狠狠18禁| 五月天丁香成人社| 亚洲综合99| 五月综合激情| www.99热日韩.com| 久久激情五月| 色综合久久伊伊婷婷五月| 夜夜爽天天爽| 五月婷婷插一插| 开心五月婷婷激情| 午夜婷婷六月天| 99热只有| 日日夜夜天天爽| 国产真实乱了老女人视频| 久久只有精品| 亚洲天堂婷婷丁香| 噜噜色com| 久久综合26p| 婷婷丁香在线播放| 久9热视频| 日本婷久久| 婷婷五月天丁香| 深爱五月激情| 五月婷婷视频28| 色色五月婷婷狠狠| 这里只有精品免费视频| 色五月婷婷久久| 狠狠操综合| 亚洲成色综合网站免费观看| 99ri视频在线观看| 99色婷婷| wwwwww.色| 射琪琪| 久久五月网| 婷婷五月激情四月综合| 少妇出轨做爰高潮A片| 婷婷开心久久| 色婷婷丁香网| 激情图片久久| 99干日日干| 伊人狠狠操| 在线99精品| 人妻久久久久久久 | 亚洲成人电影在线免费观看| 色播婷婷大香蕉| 99热最新地址在线| 激情视频综合| 爱久久小说下载网| 狠狠干夜夜干| 免费AV在线| 精品久久人妻热| 婷婷丁香黄色| 成人精品在线观看| 五月丁香香蕉| 欧美激情VA永久在线播放| 9久热在线视频精品| 五月激情综合网| 性生活久久人妻| jiujiujiuwuyuetian| 日本色色色| 色色色色av色色色色| 色五月综合在线| 大香焦A∨| 亚洲午夜av| 色五月婷婷天天操夜夜操| www.久久99热地址发布| 色婷婷色五月综合| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 九九热在线精品| www.sezonghe| 天天上天天爽| 久久五月天大美女| 久操人妻| 97视频91| 色五月婷婷影院| 色日本颜射| 五月丁香天堂网| 99精品偷自拍| 色区久久| 丁香九月婷| 色情五月停停丁香| 这里只有精品免费视频在线观看| 五月婷婷熟女| 啪啪啪五月天| 色综合久久天天综合网 | 色狠狠色| 色婷婷综合网站| 99九九99九九九视频精彩| 久噜久噜| 婷婷丁香五月综合激情小说| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国模九区| 嫩BBB搡BBBB榛BBBB| 欧日韩成人| 99色热视频在线| 久久久久久人妻久久久久久久久久人妻久久久| 五月婷婷黄色视频| 天天添天天摸天天天天做| 婷婷五月综合婷婷| 99色在线观看免费| 亚洲综合激| 99在线资源| 香蕉网久久| 看逼中文字幕| 色综合香蕉| 五月丁香天堂| 丁香六月婷婷色播| 五月丁香大香蕉| 丁香五月婷婷激情尤物| 亚洲一级色电影| 色婷婷色综合激情91| 51精品国内探花| 亚洲V国产V欧美V久久久久久| 国产高潮A片羞羞视频涩涩| 久久久久久久久久8888| 婷婷色色综合| 欧美乱码国产一级A片| 婷婷狠狠97| 婷婷中文字幕在线| 六月丁香成人| 超碰91av| 5月丁香六月情| 玖玖资源网站最新站| 日韩无码人妻一区二区三区综合| 日韩色色视频www| 激情五月色播五月| 99自拍视频网站| 在线看片av| 色5月婷婷| 99热97| 精国产品一区二区三区A片| 202丰满熟女妇大| www.lchjjc.com| 激情婷婷五月天在线观看| 婷婷婷五月天最新综合你懂的| 亚洲国产成人裸舞| 天堂色婷婷| 九九这里有精品| 丁香婷婷综合激情五月色| 亚洲字幕AV一区二区三区四区| 五月丁香在线观看国产| 色五月综合网| 婷婷草| 99在线观看精品| 综合网亚洲| 九九热青草| 免费观看2018www黄色操逼网站| 五月婷婷深深爱| 五月丁香五月丁香| 丁香婷婷激情| 中文字幕在线aⅴ免费观看| 激情久久网 | 中文字幕成人| 久久网婷婷| 永久的网站AAAA| 99热777| 色婷婷狠狠| 久综合4| av网址在线| 激情综合网,婷婷五月天| 狠狠色综合网| 91丨九色丨国产| 色999五月色| 婷婷丁香人妻久久在线观看| 日韩无码专区| 久久婷婷综| 中文字幕久久一区二区三区| 天天干,夜夜爽| YW无码| 天天日天天添| 亚洲AV综合网| WWW、日本色丁香、co m| 99色在线视频观看| 国产97色在线| 97碰碰在线观看视频| 五月情丁香色| www.yw尤物| 丁香六月综合激| 亚洲激情 久久| 日韩 中文 欧美| 精品日本视频444| 色综合夜夜| 婷婷五月丁香超碰| 丁香六月激情综合网| 九久9精品| 99国产精品久久久久久久久久久 | 热久久成人| 五月激情综合网| 牛牛澡牛牛爽| 久久这里只有精品无码| 99精彩视频| 色婷网| 影音先锋91| 91人妻九色大屁股| 婷婷六月色播| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 久久婷五月| 日本WWW九九九| 大陆肏屄视频| 1024久婷| 桃色五月天| 国产热精品| 日本色五月| 国产成人高清| 狠狠色婷婷7777久| 综合亚洲六月婷婷在线| 色婷婷丁香五月| 激情四射网| 91视频一起草| 色丁香五月天射婷婷爱婷婷| 97碰在线视频| 人人爽人人爽人人爽人人爽| 激情婷婷狠狠干综合| 色婷婷视频| 亚洲亚洲人成综合网络| 日批在线看| 桃色成人网| RenRenSe在线视频网站| 日韩不卡123| 婷婷激情五月天小说校园| 久9综合| 这里只有精品视频一区| 久久九九九九| 久久九九热视频| 五月丁香亚洲校园欧美| 五月丁香啪啪啪| 天堂爱爱| 天天肏天天舔AV| 亚洲婷婷免费| 久久婷婷啪啪视频| 五月婷婷综合网| 中文字幕AV在线| 婷婷91| 九热...av| 五月丁香六月婷综合成人综合| 99热精品在线| 激情内射人妻1区2区3区| 五月永久激情| 欧美婷婷丁香五月| 99久久婷婷国产综合精品草原| 九九aV| 亚洲天堂99| 久久草婷婷丁香网站| 五月天激情综合网| 综合久| 精品色情一区二区三区四区| 人人操91色| 日韩亚洲视频| 五月丁香六月香综合激情| 色综合香蕉视频| www久久99| 激情五月无码| 色丁香五月| 婷婷第六色| 嫩草极品| 玖玖爱综合网| 99热只有这里才是精品| 9.1综合网| 亚洲AV成人一区二区在线观看| 婷婷五月激情图片| 中文字幕丁香五月| 牛牛色av| 日韩久久成人| 狠狠搞狠狠操| 热久久这里只有精品| 精品色情一区二区三区四区| 色欲婷婷五月天丁香| 五月天婷婷色| 久久久久9| 五月天综合缴情网网站0| 青青久久91| 亚洲成人五月天| 五月婷婷婷婷| 六月狠狠综合| 亚洲婷婷月丁香五月| 激情综合国产| 色五月婷婷影院| 依人大香蕉在钱1| 婷婷91| 亚洲高清在线| 爽极品色| 一区二区免费看| 五月情涩综合婷婷| 思思视频这里是精品| 99re青青草| 免费无码毛片一区二区A片| 五月激情综合网| 夜夜夜夜撸夜夜操| 俺去也在线官网| 久久婷婷五月综合97色一本| 欧美色色色色色| 丁香五月婷婷免费视频| 精品一二三区久久AAA片| 日本色综合| 夜夜操天天爽| 超碰1999| 九九热视频在线观看| 色久天| 婷婷五月激情视频| 天天摸天天舔天天天天爽| 99re在线观看视频| 九九综合精品| 五月天自拍视频| 97干婷婷五月天| 2020久久婷婷五月| 伦99热| 婷婷色色播五月天| 欧美性生交XXXXX无码小说| A久久| 婷婷五月天亚洲| 亚洲中文字幕av| 亚洲综合视频网| 五月天婷婷AV| 久99久视频| 日韩九九| 嫩草AV久久伊人妇女超级A| 99无码| 99精品在线观看| 99re6在线视频精品免费| 久久久中文| 99ER热精品视频| 久久日婷婷| 综合激情五月天| av在线中文| 丁香五月另类色婷婷麻豆| 9热视频在线观看| 色色色婷婷五月天| 亚洲 激情 中文| 婷婷区日本| 狠狠干在线视频| 91久久婷婷人人澡草| 婷婷六月五月天综合| 久久五月天激情| 九九热99免费视频| 无码99| 国产精品18久久久| 久久宗合影| 五月天激情久久| 色婷婷视频| 成人五月天在线观看| 日日操夜夜操狠狠操| 色婷婷精品小视频| 婷婷五月花| 91婷婷| 久草婷婷| 丁香五月婷婷激情97| 99热国产婷婷| 久久精品爱爱| 六月婷婷八月丁香| 噼里啪啦在线观看免费完整版视频| 日韩黄色中文字幕| 久久性操| 99热这里只有国产精品| AV五月丁香| 99年操人人爽| 色欲丁香| 五月丁香六月情亚洲| 久久婷婷五月综合伊人| 五月婷婷爽爽爽| 五月婷婷黄| 亚洲欧洲色色| 色五月成人| 久久人人妻| AV六月丁香| 超碰成人电影| 国产亚洲精品AAAAAAA片| 91视频久久久| 天天干天天干天天干天天干天天干天天| 六月婷婷色宗合| 色综合综合色| 六月丁香开心婷婷欧美| 丁香五月亭亭六月综合激情网| 79色色色色| 天天日,天天插| 五月婷婷欧洲| 欧美99热| 99热精品在这里| 色综合女人99| 丁香婷婷六月激情综合| 婷婷色网| 色五月色图| 五月丁香六月婷婷的女人| 色色丁香| 色婷婷综合亚洲| 久久在线人妻| 少妇性按摩无码中文A片 | 91婷婷丁香五月亚洲| 91丨九色丨大屁股| 五月综合丁香婷婷| 99久久久久久久| 开心五月深爱五月婷| 久久久com| 综合网狠狠| 九九精品在线网| 国外亚洲成AV人片在线观看| 热99国产精品| 亚洲综合五月天婷婷丁香| 伊人激情网| 婷婷五月天伦理| 这里只有精品1| 亚洲欧洲午夜成人精品av| 激情性五月天免费小说视频| 桃色成人网| 激情五月天综合网站网站网站| 激情小说五月欧美亚洲丁香| 伊人久久大香线蕉精品| 丁香伊人激情| 丁香五月激动深爱欧美| 免费视频WWW在线观看网站| 99热狠狠操| 九九免费视频| 亚洲成人综合网在线免费观看| 丁香五月网| 强辱丰满人妻HD中文字幕| 日本怕怕视频| 九九热精品视频在线观看| 色情婷婷| 久/久精品99看9| 蜜臀A∨在线水帘洞| 久久激情网| 2015好吊操| 色色色99| 五月丁香六月婷婷精品| 日本狠狠干| VA五月激情在线| 色婷视频| 五月婷婷丁香狠狠撸久久| 91嫩草国产线观看亚洲一区二区| 天天射夜夜骑| 99久久新视频| 天天肏夜夜肏| 新99思思视频| 五月天天丁香婷婷| 播四月婷婷六月丁香| 狠狠色丁香婷婷久久综合| 五月天婷婷綜合院| 超碰99在线观看| 婷婷五月影院| 婷婷开心激情五月激情网| 色黄啪啪| 亚洲精品国产成人AV在线| 久久只有精| 日韩在线观看网址| 综合色色婷婷| 五月丁香操婷逼| 99热这里只有精品4| 人人色性网| 亚洲色99综合天堂| 超碰日日操| 五月天伊人av| 97色射| 久草热在线视频| 丁香五月香蕉| 五月天婷婷色播综合在线| 99久久6| 久久久.COM| 久草五月| 五月天婷婷综合免费| 久久久999精品| 精品无码久久久久久久久 | 久久婷婷亚洲| 亚洲五月天综合色| 五月天婷婷久草丁香| 在线观看中文字幕| 激情丁香五月婷婷啪啪| 超碰在线人人| 97成人丁香| 丁香婷婷色色| 久久性爱网站| 另类在线| 大香蕉久热| 九九色热| 99热1| 啪啪五月天啪啪| 婷婷九月狠狠色| BBWCUCKOLD精品熟妇| 天天操天天操天天操天天操天天操天天操| 五月天色色网站| 激情综合五月丁香六月婷婷| 97色色视频| 26uuu在线观看| 天天综合色综合| 婷婷丁香宗合888| 婷婷综合性爱网| 天天天干夜夜夜操| 先锋资源婷婷| 亚洲操B| 国产一级婬片毛片| 日日噜人人人做人| 97人人操人人爽| 狠狠色九月| 婷婷五月综合激情小说| 网色99| 五月丁香亚州综合网| 极品人妻VIDEOSSS人妻| 久久五月综合| 久婷| 欧美日本黄色| 色久激情在线| 丁香婷婷久久综合在线| 插少妇综合网| 五月天色婷婷视频| 天天操天天操综合| 成人婷婷色五月天| 久久丁香五月综合六月激情红杏视频 | 91麻豆国产三级精品福利在线观看| 开心激情婷婷| 人妻操逼视频| 色婷婷小说网| 五月婷激情| 九九碰九九爱97| 亚欧州精品视频| 久久色亭亭五月天| 九九激情| 99色视频在线| 天天摸天天透天天舔| 79精品视频| 五月成人综合| 婷婷六月中文字幕| 日日操日日射| 五月天色网站| 婷婷香五月| 5月色亭亭视频| 激情婷婷五月亚洲| 91免费在线视频6| 狠狠 婷婷| 亚洲综合新99视频| 色欲五月天| 俺五月| 日本本土色网第一区| 这里只有精品热| 五月天伊人av| 婷婷五月天成人综合网| 99re鈥哸鈥唙| 婷婷色啪| 日日干夜夜干| 粉嫩AV久久一区二区三区| 久久免费少妇高潮99精品| 五月婷婷性爱网| 色色色色色五月| 99五月婷| www,999日本色| av五月天婷婷丁香| 九色无码| 久青青久| 婷婷五月偷拍| 婷婷综合精品| 疯狂做受XXXX高潮A片动画| 成人αV视频免费观看| 丁香成人色情五月天| 一级操逼内射在线视频| 婷色五月天| 色婷婷综合网| 激情婷婷综合网| 五月丁香综合激情| 亚洲国产精品成人va在线观看| 五月婷婷激情久久| 九九黄色网| 婷婷五月丁香综合亚洲| jiujiujiuwuyuetian| 激情文学天天| 天天骑天天操| 日日色综合| 99re资源在线视频导航| 丁香婷婷综合激情五月色| 激情五月深爱五月| 五月天六月婷| 9l视频自拍9l九色成人| 天天射色五月天| 综合久久婷婷五月丁香| 九九这里都是精品| 大香蕉久久| 欧美日本不卡黄色片| 亚洲成人av在线| www.狠狠干| 久9久成人精品视频| www.久久久久| 亚卅毛片| 久久视频九九视频| 色五月婷婷综合| 久久33视频| 欧美婷婷六月丁香综合色| 99视频这里有精品免费观看| 婷婷五月色播放| 日本A片一区| 99热主页日本| 九九99一区| 九九热精品在线| 丁香六月婷婷久久高清| 婷婷六月色播| 五月综合久久| 97在线碰| 五月亭亭性| 免费看欧美成人A片无码| 爆乳熟妇一区二区三区爆乳| 五月丁香六月婷婷国产视频| 91九色网| 色色综合成人网| 免费看成人747474九号视频在线观看| 亚洲综合色成丁香五月色| 天天日天天添| 五月婷婷69| 久久五月婷天天干| 狠狠草婷婷| 九九黄色网| 婷婷 伊人 久久| 5月婷婷激情在线| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 极品人妻XXXXOOOO| 色五月丁香六月资源站| 99.N在线视频| 色婷av| 99热99这里只有精品| 在线看九一V图片| 色婷婷丁香六月| 亚洲精品视频在线播放| 99久久五月丁香野外| 99色最新在线视频网站| 狠狠狠狠狠狠| WWW.五月天9999| 色五月丁香婷婷| 色很很96| 色五月大香蕉| 67194中文字幕| 激情五月丁香六月综合AVXXXX| 久久99免费视屏| 亚洲色综合性| 97搞在线| 超碰熟女拍拍| 另类丁香综合| 激情五月婷| 99精品国产在热久久婷婷| 五月丁香色婷婷久久| 伊人色五月| 91ncm视频| 激情六月婷婷| 五月婷婷中文字幕| 99精品视频在线免费观看| 91久久久久久| 婷婷成人丁香色情基地30| 久久综合九九| www.伊人天堂偷偷婷婷| 九九热99视频| 丁香五月丐人妻| 亚洲日本韩国| 99热99热在线| 五月天天堂久久| 丁香五月天激情| 激情五月天丁香| 五月婷婷六月丁香综合视频在线| 黑人巨粗进入警花疼哭A片| 丁香五月婷在线| www.99热精品99.com| 五月天伊人久久久久| 精品人人操| 疯狂做受XXXX高潮A片动画| 亚洲99在线视频| 久久99久久99久久99人受| 婷婷五月天99| 91聚色综合网| 五月丁香色| 婷婷五月播| 久久成人亚洲欧美电影| 五月天成人在线视频网站| 91在线日| 嫩草AV久久伊人妇女超级A| 天天草比天天爽| 五月天丁香网站| 国产精产国品一二三在观看| 《蜘蛛女》梁铮1995| 99啪| 五月婷婷激情综合| 五月丁香成人视频| 亚洲视频a| 欧美性生交xXxX久久久| 激情五月色婷婷| 丁香六月婷婷开心| 野外99热| 久热久| XX色综合| A一级操| 久久综合图片| 亚州操人在线视频| 色色免费网战视频| 337p大胆噜噜噜噜噜91Av| 久操欧美在线观看97| EEUSS鲁片一区二区三区| 久久婷婷五月国产激情综合片| 色婷婷狠狠18yy| 色色婷婷丁香| 婷婷丁香五月高清| 五月婷婷综合热| 五月丁了香蕉综合| 亚洲精品久久久久AV无码| 六月婷婷激情| 春色激情第四色| 超碰免费99| 丁香婷婷综合影院| 9l视频自拍9l九色成人| 天天干天天操天天拍| 亚洲色色图片| 狠狠狠狠狠狠色| 久久99草五月婷婷| 天天爽天天爽| www.精品99| 99热这里只有免费| 日本色天堂| 影音先锋男人av资源站| 天天干,夜夜爽| 婷婷五月丁香伊人网| 九九热a| 2015超碰| 91丁香婷婷综合久久欧美| 97在线观视频免费观看| 九色91国产| 激情五月天偷拍综合网| 久久久久思思热| 色色色在线播放| 色色五月天婷婷| www,色婷婷| 超碰在线超碰| 91seAV| 超级碰 久久9| 九色综合网| 国产做爰视频免费播放| 五月激情六月丁香| 激情五月影院| 五月丁香无码| 欧美 日韩 成人 在线| 99爱视频在线| 色五月丁香六月欧美综合| 天天射综合网天天插| http://www.lingjunshare.com/| 99爽视频| 日本久热| 丁香大香蕉| 丁香啪啪| 欧美婷婷| 日韩99色| 五月人妻婷婷| 激情校园 亚洲| 五月视频日本免费观看| 夜夜操少妇| 欧美视频在线观看噜噜| 婷婷五月天人妻| www.激情五月天com| 99热这里只有精品23| 日韩一66精品| 丁香激情合作五月| 丁香六月视频免费观看| 九九婷婷五月天影视| 婷婷久久六月费| 热99只有精品| 婷婷六月激情在线视频| 天天插天天插天天插天天插| 日日天天干| 婷婷激情综合| www.色九月| 婷婷五月天久久| 九九色图| 婷婷五月天堂| 激情五月综合| 欧美日韩一区二区三区四区| 97AV人人插人人操| 在线观看的av| 第四色激情网| 九九久久99| 三日本无码| 91在线观看www| 五月婷婷色啪| 玖玖婷婷五月天| A一级操| 天天擼久久擼在线| 天天影院色| 色婷婷激情| 丁香激情久久| 996热| 亚洲视频码| 欧美在线看| 五月综合婷婷网| 婷婷激情五月综合在线视频| 综合激情站| 9久视频| 国外亚洲成AV人片在线观看| 中文超碰视在线| 欧美日韩成人免费在线| 久久视这里只有精品| 久久成人精品视频| 99re热在线视频| 色五月情| 欧美婷婷丁香五月社区| 九九九午夜影院成人| 啪色综合| 国产XXXX搡XXXXX搡麻豆| 91打屁股视频网站| 丁香香五月激情免费视频| www,婷婷| 日韩综合久久| 综合久久丁丁香婷| 操碰91| 天天干天天爽天天操| 天天干夜晚夜操| 操逼综合激情网| 成人精品一区二区三区四区五区 | 人妻久久久久| 这里精品| 久久人妻熟女一区二区| 久久综合婷婷五月| www.五月婷婷久久.com| 色综合天堂| 丁香五月婷中字在线| 久久久五月天| 丁香六月婷婷色XXXXX| 九九无码| 激情啪啪五月| 99热这里只有精品最新地址获取| 亚洲成人综合在线| www.久久色.com| 99re热| 欧美六月| 欧美激情中文字幕| 久热这里只有精品66| 亚洲六月婷婷| 婷婷五月天久久综合88| 久久久精品色色色| 99操视频| 在线天堂9| 色播五月天激情| 亚洲免费综合一区| 五月丁香激情五月天| 色婷婷国产精品综合在线观看| 一级内射毛片| 97人妻人人| 丁香五月冃欧美| 国产99久久久国产精品免费看 | 五月婷婷七月丁香| 人人舔人人色人人高潮| 久久香蕉影院| 影音先锋偷偷色男人站| 亚洲精品国产精品乱码不99| 熟女少妇内射日韩亚洲| 99热色无码| 97碰超级人人看| 亚洲免费av观看| 91精品综合久久久久久五月丁香 | 激情久久久久久久久久久| 国产原创视频91九色| 五月婷婷狠狠干| BBWCUCKOLD精品熟妇| 五月天婷综合网站| 性爱综合网| 丁香五月久久| 永久免费一区二区三区| 久久五月天激情| 久艹久| 79精品视频| 97超碰色| 五月丁香777| 久久38视频| 天天久| 精品自拍99| 五月婷婷亚洲| 色婷婷先锋| 国产精品成人AV在线| 色综合色色色色| 五月丁香成人小说| 综激情网| 免费啪啪亚州视频| 成人综合AV| 狠狠干综合| 丁香五月色色色色| 婷婷五月色| 国产精品五月丁香| 日韩精品AV一区二区三区| 26UUU欧美激情一区二区| 国产91资源在线| 日日日影院| 婷婷五月综合免费在线| 99re思思久久| 欧美五月婷婷| 激情五月影院| 激情五月丁香色婷婷| 国产精品天天狠天天看| 婷婷五月丁香久久| 99久久.www| 91超碰在线观看| 一起草无码视频| 国色天香成人网| 天天操夜夜橾| 999热在线视频| 丁香六月激情综合| 天天成人丁香美女AV| 激情文学 综合 九月| 亚洲啪啪啪啪| 欧美日韩大黄| 亚洲永远av在线播放| 欧美综合123区| 二人电影免费版在线观看| 日本不卡一区二区三区| 激情文学五月丁香六月婷婷| 色五月婷婷在线| 午夜不卡久久精品无码免费| 日日插日日干| 991精品在线视频| 极品少妇XXXX精品少妇偷拍| 五月网在线| 久久这里精彩免费在线观看| 在线观看免费观看在线9久| 九九热这里只有精品6| 五月丁香色婷婷婷基地| 欧美日韩成人综合9| 大香蕉综合在线| 啪啪啪五月天| 久久婷婷夜| 婷婷综合五月天| 中文AV网站| 九九热这里有精品23| 日韩操女| 超碰人人草| 五月婷婷六月丁香玖玖玫瑰91| 99热欧美在线观看| 97精品综合久久内射| 色婷婷网| 五月婷婷综合潮喷| 久久丁香婷婷五月天| 影音先锋五月婷婷| 99A片| www.色五月天.com| 亚洲AV综合网| 久久日曰| 黄色中文字目| 97干在线视频| 丁香成人色情五月天| 大香蕉婷婷久久| 大香伊人久色| 婷婷99狠狠| 超碰在线综合| 99热无码| 亚州视频九九99| 亚洲中文字幕网| 日熟女| AV在线免费观看不卡| 性色五月天| 中文无码婷婷| 天天色官网| 狠狠干2007| 午夜丁香| 亚洲九九婷婷| 大鸡巴伊人网| 一区二区成人电影免费播放| www,色婷婷| 特级西西4444www无码| 五月天婷婷自拍图片在线观看| 狠狠色丁香婷婷基地| a片在线免费观看一区| 色综合色色| 色婷婷丁香五月丁香| 99热在线精品播放| 91综合网| 色爱爱综合网| 婷婷桃色网| 岛国AAAV| 极品人妻VIDEOSSS人妻| 中文字幕永久在线| 99热婷婷| 亚州色色色| 丁香六月在线| 色五婷婷在线视频| 99亚州综合精品成人网| 逼里香不卡| 欧美日韩一区二区三区四区| 欧美成人五月天| 亚洲色vA| 亚州视频九九99| 色丁香久综合在线久综合在线观看| 婷婷丁香人妻| 五月综合激情久久| 夫妇交换刺激做爰| 色综合色色| 色婷婷视频在线| 日日夜夜狠狠| 极品少妇XXXX精品少妇偷拍| 色爱五月天| 色九网| 欧美成人va| 欧美内射AAAAAAXXXXX| 乱精品一区字幕二区| 中文字幕一色哟哟哟哟| 97色精品视频| 婷婷伊人五月天| 激情操逼婷婷| 五月婷综合| 99资源在线视频| 永久免费视频| 中文AV在线播放| 色五月婷婷天天干| 国产五月丁香在线| 欧美婷| 五月激情综合性爱| 超碰一区二区| 国产女人十八水真多1| 色婷婷色| 久久午夜丁香| 色色色色五月天| 色在线五月天免费| 久久丁香久久| 五月天成人综合| 成人看片网站| 天天肏夜夜肏| 激情AV网| 久久久久久久久久久月丁| 六月丁香av| WWW色五月天| 深爱激情网婷婷| 五月天婷婷爱| 五月丁香91| 国产3p露脸普通话对白| 五月婷婷www| 久久婷婷五月丁香网| 久久五月天激情婷婷| 久久精品亚洲一级牲爱综合| www.色婷婷.com| 色播综合| 9色免费网| 日韩成人电影av| 九九综合九九| 五月丁香六月婷婷手机无线| 色屌丝中文字幕| 五月丁香色婷婷| 丁香操逼| 色级婷婷| 人人澡天天色天天做| 激情五月,婷婷五月,丁香五月| 九九久久综合| 国产99久久久国产精品免费看 | 久久久99精品免费观看| 91se在线观看| 日韩五月天婷婷| 五月激情婷婷国产精品久久久久久| 亚洲成人五月天| 亚洲成av人影院| 四川BBB搡BBB爽爽视频| 五月色婷婷中文字幕| 精品久久久久久久人妻| 东京热免费视频| 中文字幕不卡网站| 日韩无码专区| 久久人妻伊人| 久久这里有精品| 亭亭五月基地在线| 99热只有精品在线观看| 久草婷婷| www,99色| 日韩抽插操逼| 大香蕉九九| 丁香五月天婷婷91| 色情免费视频播放| 色99在线视频| 日韩性爱AV| 深爱五月婷婷开心中文字幕| 久久性爱视频网站| 亚洲春色奇米影视| 激情综合啪啪啪| 久久9精品视频| 黄网在线免费观| 五月天丁香啪啪综合| 丁香五月区| 超碰成人在线免费观看| hd五月婷婷在线| 日日撸夜夜操| 99热综合在线| 丁香六月婷婷综合在线| 青草视频在线观看视频| 99re热视频这里只有综合亚洲| 深爱激情五月天| 超碰日韩成人| 激情婷婷人妻| 色婷婷久久| 天天搡日日搡aaaaⅩ| 亚州操人在线视频| 色色色com| 丁香婷婷射| 五月婷婷久久综合| 97在线/亚洲| 天天干天天爽| 色婷婷在线影院| 天天日天天爱天天噪| 五月停停大香蕉| www.思思99热| 丁香香蕉射射射| 天天插天天狠| 26uuu精品国产| 激情久久久| 综合久久综合久久| 色9月| 久热69| 亚洲人妻Av| 婷婷五月天成人影片| 丁香五月婷婷国产av| 丁香五月av在线|