欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

GUI Agent測試失敗診斷:基于軌跡分析的根因定位與系統(tǒng)可靠性提升

GUI Agent測試失敗診斷:基于軌跡分析的根因定位與系統(tǒng)可靠性提升 1. 項目概述當GUI Agent“翻車”時我們?nèi)绾尉珳试\斷在AI驅(qū)動的軟件自動化測試領(lǐng)域GUI Agent圖形用戶界面智能體正成為一股顛覆性的力量。想象一下一個能夠像人類一樣操作瀏覽器、點擊按鈕、填寫表單的AI7x24小時不知疲倦地執(zhí)行測試用例這聽起來像是質(zhì)量保障工程師的終極夢想。然而夢想照進現(xiàn)實時我們常常會遇到一個令人頭疼的問題當測試失敗時我們很難快速、準確地知道“為什么”。傳統(tǒng)的軟件評估方法無論是基于腳本的自動化測試還是人工測試在失敗時通常能提供清晰的錯誤堆?;虿僮魅罩?。但GUI Agent的行為由大語言模型LLM驅(qū)動其決策過程像一個“黑盒”。一次測試失敗可能源于多種復雜因素的疊加可能是LLM錯誤理解了屏幕上的一個圖標可能是頁面加載延遲導致Agent點擊了錯誤的位置也可能是測試任務(wù)本身的描述存在歧義。簡單地報告“任務(wù)失敗”毫無意義我們真正需要的是可解釋的、根因明確的診斷報告。這就是“DiagEval: Trajectory-Conditioned Diagnosis for Reliable Software Evaluation with GUI Agents”這個項目試圖解決的核心痛點。它不是一個全新的測試框架而是一個構(gòu)建在現(xiàn)有GUI Agent工作流之上的診斷與評估增強層。其核心思想是“軌跡條件診斷”——即利用Agent執(zhí)行任務(wù)過程中產(chǎn)生的完整交互軌跡包括截圖、操作序列、LLM的思考過程結(jié)合特定的診斷模型對失敗原因進行歸因和分析從而讓軟件評估變得可靠、可信。簡單來說DiagEval想讓每一次測試失敗都“死得明白”并且能告訴我們下一步該修復Agent、優(yōu)化環(huán)境還是澄清任務(wù)。這對于將GUI Agent從實驗室原型推向真實的、大規(guī)模的工業(yè)級軟件測試場景至關(guān)重要。2. 核心思路拆解為什么“軌跡”是診斷的關(guān)鍵要理解DiagEval首先要拆解其名稱中的兩個關(guān)鍵詞“Trajectory-Conditioned”軌跡條件和“Diagnosis”診斷。2.1 什么是GUI Agent的“軌跡”在強化學習或機器人領(lǐng)域軌跡通常指智能體在環(huán)境中從起點到終點所經(jīng)歷的狀態(tài)、動作序列。對于GUI Agent而言這個定義被完美映射狀態(tài)State在每一個決策步驟Agent所“看到”的屏幕截圖或經(jīng)過處理的視覺特征以及可能從頁面中提取的文本、可操作元素列表。動作ActionAgent執(zhí)行的操作如CLICK [id‘submit-btn’]、TYPE [selector‘#search’] “hello”、NAVIGATE “https://...”。思考過程Reasoning Trace這是由LLM驅(qū)動的Agent所獨有的。許多先進的Agent框架如AutoGPT、WebGUM等會讓LLM輸出其決策的“鏈式思考”Chain-of-Thought。例如“當前頁面有一個登錄表單。我需要先輸入用戶名。用戶名輸入框的ID是‘username’。因此我將執(zhí)行動作 TYPE [id‘username’] ‘test_user’?!?這部分信息是理解Agent意圖和錯誤的關(guān)鍵。一個完整的任務(wù)軌跡就是由一系列(狀態(tài) 思考 動作)三元組構(gòu)成的序列。這個序列包含了Agent完成任務(wù)的全過程信息遠比一個簡單的“通過/失敗”標簽豐富得多。2.2 “軌跡條件診斷”解決了什么根本問題傳統(tǒng)的評估指標如任務(wù)成功率、完成步驟數(shù)是標量且后驗的。它們只告訴結(jié)果不解釋過程。當成功率從80%跌到70%時我們面臨一系列無法回答的問題是Agent的視覺理解能力變差了嗎是網(wǎng)站的前端UI發(fā)生了改動嗎是任務(wù)指令描述得不夠清晰嗎還是測試環(huán)境如網(wǎng)絡(luò)延遲不穩(wěn)定導致的軌跡條件診斷的核心思路是將診斷任務(wù)本身定義為一個條件生成或分類問題其條件就是任務(wù)執(zhí)行軌跡。通過分析軌跡一個專門的診斷模型可以學習將復雜的、多模態(tài)的軌跡數(shù)據(jù)映射到結(jié)構(gòu)化的失敗原因分類上。這帶來了幾個關(guān)鍵優(yōu)勢可解釋性診斷報告可以明確指出失敗是因為“在第三步Agent將‘保存草稿’按鈕誤識別為‘提交’按鈕”。歸因精準可以將問題歸因到具體模塊如“視覺定位錯誤”、“任務(wù)規(guī)劃邏輯缺陷”、“環(huán)境異?!薄V笇Ц倪M為開發(fā)者提供明確的改進方向。如果是視覺問題可能需要增強截圖預處理或微調(diào)視覺編碼器如果是規(guī)劃問題可能需要優(yōu)化提示詞工程或采用更好的任務(wù)分解策略。2.3 DiagEval的系統(tǒng)級視角從系統(tǒng)架構(gòu)看DiagEval并非取代現(xiàn)有的GUI Agent如使用Playwright LLM的Agent而是與之協(xié)同工作。一個典型的工作流如下軌跡收集GUI Agent在待測軟件Web/桌面應(yīng)用上執(zhí)行一系列評估任務(wù)。每個任務(wù)執(zhí)行時不僅記錄最終的成敗還全程高保真地記錄下完整的軌跡數(shù)據(jù)屏幕錄像或高頻截圖、DOM快照、操作日志、LLM的思考鏈。軌跡存儲將軌跡數(shù)據(jù)以結(jié)構(gòu)化的格式例如包含時間戳的序列化JSON存儲到數(shù)據(jù)庫中并與任務(wù)ID、環(huán)境配置等信息關(guān)聯(lián)。診斷引擎對于失敗的任務(wù)診斷引擎被觸發(fā)。它加載對應(yīng)的軌跡數(shù)據(jù)運行診斷模型可能是另一個微調(diào)過的LLM或一個多模態(tài)分類模型對軌跡進行分析。報告生成診斷引擎輸出結(jié)構(gòu)化的診斷報告包括失敗根因分類、導致失敗的關(guān)鍵步驟截圖、Agent錯誤思考的引用、以及可能的修復建議如“建議在提示詞中明確區(qū)分按鈕A和按鈕B的功能”。評估看板所有任務(wù)的原始結(jié)果和診斷報告匯總在一個評估看板中提供宏觀的可靠性指標如各類錯誤的發(fā)生率和微觀的案例審查。注意這里存在一個“雞生蛋還是蛋生雞”的問題。要訓練一個診斷模型我們需要大量已標注診斷結(jié)果的軌跡數(shù)據(jù)。因此DiagEval的實踐往往從“基于規(guī)則的診斷”或“利用強大LLM如GPT-4進行零樣本診斷”開始積累初始數(shù)據(jù)再逐步迭代訓練更專、更高效的診斷模型。3. 核心模塊深度解析從數(shù)據(jù)到診斷報告要實現(xiàn)上述思路DiagEval包含幾個關(guān)鍵的技術(shù)模塊。每一個模塊的設(shè)計都直接影響最終診斷的準確性和實用性。3.1 軌跡數(shù)據(jù)的規(guī)范化與存儲軌跡數(shù)據(jù)是多模態(tài)且高維的高效存儲和快速檢索是首要挑戰(zhàn)。數(shù)據(jù)格式設(shè)計{ task_id: login_test_001, instruction: 使用用戶名‘a(chǎn)dmin’和密碼‘123456’登錄系統(tǒng)。, trajectory: [ { step: 0, timestamp: 2023-10-27T10:00:00.000Z, screenshot_path: /data/screenshots/login_test_001_step0.png, dom_snapshot: html...input idusername.../html, extracted_elements: [ {id: username, type: textbox, bounds: [100, 200, 300, 250]}, {id: password, type: textbox, bounds: [100, 300, 300, 350]} ], llm_thought: 我需要找到用戶名輸入框。根據(jù)截圖和DOM有一個ID為‘username’的文本輸入框。我將在此輸入用戶名。, executed_action: TYPE [idusername] admin, action_success: true }, { step: 1, timestamp: 2023-10-27T10:00:02.500Z, screenshot_path: ..., llm_thought: 用戶名已輸入?,F(xiàn)在需要找到密碼輸入框并輸入密碼。, executed_action: TYPE [idpassword] 123456, action_success: true }, // ... 更多步驟 ], task_success: false, final_state: 頁面顯示‘密碼錯誤’提示信息。 }關(guān)鍵字段llm_thought和extracted_elements是診斷的黃金信息源。前者揭示了意圖后者提供了環(huán)境事實。存儲策略大文件如截圖、錄像建議使用對象存儲如S3/MinIO并存儲鏈接元數(shù)據(jù)和文本字段存入時序數(shù)據(jù)庫或文檔數(shù)據(jù)庫如MongoDB便于按任務(wù)和時間查詢。實操心得高頻截圖 vs 事件驅(qū)動截圖每一步都截圖數(shù)據(jù)量大但信息完整??梢哉壑忻恳徊奖卮婵s略圖僅在action_successfalse或關(guān)鍵步驟時存儲高分辨率截圖以平衡存儲成本和診斷需求。DOM快照的取舍DOM信息對于理解頁面結(jié)構(gòu)至關(guān)重要但可能很龐大??梢灾淮鎯εc當前步驟關(guān)注區(qū)域相關(guān)的部分DOM或存儲經(jīng)過清理和簡化后的版本。3.2 診斷模型的選型與訓練這是DiagEval的技術(shù)核心。診斷模型需要理解多模態(tài)軌跡并做出判斷。主要有幾種技術(shù)路徑基于規(guī)則/啟發(fā)式的方法做法預先定義一系列規(guī)則。例如如果軌跡中連續(xù)出現(xiàn)三次“元素未找到”的錯誤則診斷為“頁面加載不穩(wěn)定或元素定位策略失效”如果LLM的思考中出現(xiàn)“我認為這個按鈕是X”但截圖顯示按鈕文字是Y則診斷為“視覺/文本理解錯誤”。優(yōu)點簡單、透明、無需訓練數(shù)據(jù)、快速上線。缺點規(guī)則難以覆蓋所有復雜情況維護成本高無法處理模糊和未知錯誤?;诖笮驼Z言模型LLM的零樣本/少樣本診斷做法將軌跡數(shù)據(jù)特別是LLM思考和動作序列以文本形式組織成提示詞Prompt提交給一個強大的通用LLM如GPT-4、Claude-3要求其分析失敗原因。提示詞示例“你是一個GUI測試診斷專家。以下是AI Agent執(zhí)行登錄任務(wù)的軌跡。任務(wù)失敗了最終頁面顯示‘密碼錯誤’。請分析軌跡指出Agent可能在哪里出錯了并給出根因分類。軌跡[插入軌跡的文本摘要]”優(yōu)點非常靈活能處理未見過的錯誤模式利用了LLM強大的推理和自然語言理解能力。缺點成本高API調(diào)用費延遲大診斷結(jié)果可能不穩(wěn)定且嚴重依賴提示詞工程。訓練專用的多模態(tài)診斷模型做法這是DiagEval論文中可能探討的進階方向。收集大量帶標注診斷結(jié)果的軌跡數(shù)據(jù)訓練一個端到端的模型。這個模型以軌跡序列圖像序列文本序列為輸入輸出診斷分類和解釋。模型架構(gòu)猜想視覺編碼器如ViT處理每一步的截圖。文本編碼器如BERT處理LLM思考和動作文本。時序融合模塊如Transformer或LSTM將多步的視覺和文本特征融合理解整個軌跡的上下文。診斷頭一個分類層輸出根因類別如視覺理解錯誤、動作執(zhí)行錯誤、任務(wù)規(guī)劃錯誤、環(huán)境問題同時可接一個文本生成頭如使用LLaMA架構(gòu)來生成自然語言的診斷描述。優(yōu)點一旦訓練好診斷速度快、成本低、結(jié)果一致可針對特定領(lǐng)域優(yōu)化。缺點需要大量高質(zhì)量的標注數(shù)據(jù)訓練成本高模型開發(fā)和維護復雜。在實際項目中一個混合策略往往是明智的初期用規(guī)則和LLM API快速搭建原型積累數(shù)據(jù)中期用積累的數(shù)據(jù)微調(diào)一個中小型開源模型如Qwen-VL或LLaVA進行初步分類后期數(shù)據(jù)量足夠大時再考慮訓練更定制化的模型。3.3 診斷分類體系的設(shè)計一個定義清晰的診斷分類體系是產(chǎn)出 actionable 報告的基礎(chǔ)。分類不宜過粗如“Agent錯誤”或過細難以標注。一個實用的分類體系可能包括大類子類描述可能的原因/修復方向感知錯誤視覺定位失敗Agent無法在截圖中找到正確的UI元素。截圖模糊、元素樣式變化、視覺編碼器能力不足。需增強視覺特征或加入DOM信息輔助。文本識別錯誤Agent錯誤識別了屏幕上的文字如將“Cancel”看成“Confirm”。OCR錯誤或LLM視覺理解偏差。需改進OCR或提供更清晰的文本提示。狀態(tài)判斷錯誤Agent錯誤判斷了頁面狀態(tài)如認為已登錄成功實際失敗。缺乏對成功/失敗狀態(tài)的明確定義。需在提示詞中加入更明確的狀態(tài)檢查指令。規(guī)劃與推理錯誤任務(wù)分解錯誤Agent將復雜任務(wù)分解成了錯誤的子步驟序列。LLM對任務(wù)領(lǐng)域的常識不足。需提供任務(wù)分解的few-shot示例或采用更高級的規(guī)劃器。邏輯推理錯誤Agent在單步推理中得出錯誤結(jié)論如“這個灰色按鈕應(yīng)該是可點擊的”。LLM的推理幻覺。需通過思維鏈CoT自我驗證或引入外部知識驗證。上下文遺忘Agent在長軌跡中忘記了之前步驟的關(guān)鍵信息。LLM的上下文窗口限制或注意力機制問題。需設(shè)計更好的記憶模塊或總結(jié)機制。動作執(zhí)行錯誤動作參數(shù)錯誤動作指令正確但參數(shù)錯誤如點擊坐標偏移。坐標計算不準或頁面動態(tài)變化。需采用更魯棒的元素定位方式如相對定位。環(huán)境交互失敗動作本身正確但環(huán)境未響應(yīng)如點擊無反應(yīng)。前端框架延遲、元素未處于可交互狀態(tài)。需增加重試機制和等待條件。環(huán)境與任務(wù)問題環(huán)境不穩(wěn)定網(wǎng)絡(luò)超時、頁面崩潰、測試數(shù)據(jù)被污染。非Agent問題。需優(yōu)化測試環(huán)境穩(wěn)定性和數(shù)據(jù)隔離。任務(wù)指令歧義人類提供的任務(wù)描述本身存在多種解釋。需求方問題。需與需求方澄清并優(yōu)化任務(wù)指令的編寫規(guī)范。這個分類體系需要在實際項目中不斷迭代和細化。4. 實操構(gòu)建指南從零搭建一個簡易DiagEval理論說了很多我們來點實際的。假設(shè)我們已有一個基于Playwright和GPT-4 API的簡易GUI Agent現(xiàn)在要為其增加DiagEval診斷能力。我們將采用“規(guī)則引擎 LLM零樣本診斷”的混合模式。4.1 環(huán)境準備與架構(gòu)搭建技術(shù)棧選擇Agent執(zhí)行端Python, Playwright (用于瀏覽器自動化) LangChain/自定義Agent框架 (用于組織LLM調(diào)用)。軌跡記錄器在Agent的每個動作執(zhí)行前后插入鉤子函數(shù)記錄所需數(shù)據(jù)。存儲層SQLite (用于原型快速開發(fā)存儲元數(shù)據(jù)) 本地文件系統(tǒng) (存儲截圖)。診斷引擎Python, 內(nèi)置規(guī)則引擎 調(diào)用OpenAI API (用于復雜診斷)??梢暬窗錝treamlit (快速構(gòu)建交互式Web應(yīng)用)。目錄結(jié)構(gòu)diageval_project/ ├── agent/ # GUI Agent核心代碼 │ ├── __init__.py │ ├── gui_agent.py # 主要的Agent類 │ └── actions.py # 定義所有可執(zhí)行動作 ├── trajectory/ # 軌跡記錄與管理 │ ├── recorder.py # 軌跡記錄器 │ ├── models.py # 軌跡數(shù)據(jù)模型 (Pydantic) │ └── storage.py # 存儲到SQLite和文件 ├── diagnosis/ # 診斷引擎 │ ├── engine.py # 診斷引擎主入口 │ ├── rule_based.py # 基于規(guī)則的診斷器 │ ├── llm_based.py # 基于LLM的診斷器 │ └── categories.py # 診斷分類定義 ├── evaluation/ # 評估任務(wù)管理 │ └── task_loader.py # 從YAML/JSON加載測試任務(wù) ├── dashboard/ # 可視化看板 │ └── app.py # Streamlit 應(yīng)用 ├── config.yaml # 配置文件 (API keys, 路徑等) └── requirements.txt # 依賴包列表4.2 實現(xiàn)軌跡記錄器軌跡記錄器的核心是“非侵入式”地嵌入到Agent的執(zhí)行循環(huán)中。# trajectory/recorder.py import json from datetime import datetime from pathlib import Path from .models import TrajectoryStep, TaskTrajectory from .storage import TrajectoryStorage from PIL import ImageGrab # 或使用playwright截圖 class TrajectoryRecorder: def __init__(self, storage: TrajectoryStorage, screenshot_dir: Path): self.storage storage self.screenshot_dir screenshot_dir self.screenshot_dir.mkdir(parentsTrue, exist_okTrue) self.current_trajectory [] def start_task(self, task_id: str, instruction: str): 開始記錄一個新任務(wù) self.current_task_id task_id self.current_instruction instruction self.current_trajectory [] print(f[Recorder] Started recording for task: {task_id}) def record_step(self, step_data: dict): 記錄單步數(shù)據(jù)。 step_data 應(yīng)包含screenshot, dom_snapshot, llm_thought, action, action_success step_num len(self.current_trajectory) timestamp datetime.utcnow().isoformat() # 保存截圖 screenshot_path None if step_data.get(screenshot): # 這里簡化處理實際可能用playwright的page.screenshot() filename f{self.current_task_id}_step{step_num}.png screenshot_path self.screenshot_dir / filename step_data[screenshot].save(screenshot_path) # 假設(shè)screenshot是PIL Image # 構(gòu)建步驟對象 step TrajectoryStep( stepstep_num, timestamptimestamp, screenshot_pathstr(screenshot_path) if screenshot_path else None, dom_snapshotstep_data.get(dom_snapshot), llm_thoughtstep_data.get(llm_thought, ), executed_actionstep_data.get(action, ), action_successstep_data.get(action_success, True), extracted_elementsstep_data.get(extracted_elements, []) # 從DOM解析的可操作元素 ) self.current_trajectory.append(step) def end_task(self, task_success: bool, final_state: str ): 結(jié)束任務(wù)將完整軌跡存入存儲 trajectory TaskTrajectory( task_idself.current_task_id, instructionself.current_instruction, trajectoryself.current_trajectory, task_successtask_success, final_statefinal_state ) self.storage.save(trajectory) print(f[Recorder] Saved trajectory for task: {self.current_task_id}, success: {task_success}) self.current_trajectory []在GUI Agent的主循環(huán)中需要集成這個記錄器# agent/gui_agent.py (部分代碼) class GUIAgent: def __init__(self, llm_client, recorder): self.llm llm_client self.recorder recorder def execute_task(self, task_instruction: str): task_id generate_task_id() self.recorder.start_task(task_id, task_instruction) # Agent的核心執(zhí)行循環(huán) for step in range(MAX_STEPS): # 1. 觀察環(huán)境截圖獲取DOM screenshot, dom self._observe_environment() # 2. LLM思考并決定動作 llm_thought, action self._think_and_plan(screenshot, dom, task_instruction) # 3. 執(zhí)行動作 action_success self._execute_action(action) # 4. 記錄這一步 step_data { screenshot: screenshot, dom_snapshot: dom, llm_thought: llm_thought, action: action, action_success: action_success, extracted_elements: self._extract_elements(dom) # 輔助函數(shù) } self.recorder.record_step(step_data) if self._is_task_completed(): break final_success self._check_final_success() final_state self._get_final_state_description() self.recorder.end_task(final_success, final_state) return final_success4.3 實現(xiàn)混合診斷引擎診斷引擎在任務(wù)結(jié)束后被調(diào)用或者由一個后臺服務(wù)定期處理失敗任務(wù)的軌跡。# diagnosis/engine.py from .rule_based import RuleBasedDiagnoser from .llm_based import LLMBasedDiagnoser from .categories import DiagnosisResult class HybridDiagnosisEngine: def __init__(self, rule_diagnoser: RuleBasedDiagnoser, llm_diagnoser: LLMBasedDiagnoser): self.rule_diagnoser rule_diagnoser self.llm_diagnoser llm_diagnoser def diagnose(self, trajectory: TaskTrajectory) - DiagnosisResult: 診斷流程先用規(guī)則進行快速、確定的診斷 如果規(guī)則無法確診或置信度低則調(diào)用LLM進行深度分析。 # 階段1: 規(guī)則診斷 rule_result self.rule_diagnoser.analyze(trajectory) if rule_result.confidence 0.8: # 設(shè)定一個置信度閾值 print(f[Diagnosis] Rule-based diagnosis confident: {rule_result.root_cause}) return rule_result # 階段2: LLM診斷 print(f[Diagnosis] Rule-based inconclusive, invoking LLM...) llm_result self.llm_diagnoser.analyze(trajectory) # 可以結(jié)合規(guī)則和LLM的結(jié)果例如LLM結(jié)果覆蓋規(guī)則結(jié)果 return llm_result規(guī)則診斷器示例# diagnosis/rule_based.py class RuleBasedDiagnoser: def analyze(self, trajectory: TaskTrajectory) - DiagnosisResult: # 規(guī)則1: 檢查連續(xù)動作失敗 consecutive_failures 0 for step in trajectory.trajectory: if not step.action_success: consecutive_failures 1 if consecutive_failures 3: return DiagnosisResult( root_cause環(huán)境與任務(wù)問題/環(huán)境不穩(wěn)定, details連續(xù)三個動作執(zhí)行失敗可能頁面未加載完成或網(wǎng)絡(luò)異常。, confidence0.9, problematic_steps[step.step for step in trajectory.trajectory[-3:]] ) else: consecutive_failures 0 # 規(guī)則2: 檢查LLM思考與動作的一致性 for step in trajectory.trajectory: if 點擊 in step.llm_thought and CLICK not in step.executed_action: # 思考說要點擊但實際執(zhí)行了其他動作 return DiagnosisResult( root_cause規(guī)劃與推理錯誤/邏輯推理錯誤, detailsf步驟{step.step}: LLM思考意圖為點擊但實際執(zhí)行了‘{step.executed_action}’??赡艽嬖谥噶罱馕鲥e誤。, confidence0.7, problematic_steps[step.step] ) # ... 更多規(guī)則 # 默認返回未知 return DiagnosisResult( root_cause未知, details規(guī)則引擎無法確定根因。, confidence0.0 )LLM診斷器示例# diagnosis/llm_based.py import openai # 或使用其他LLM SDK from .categories import DiagnosisResult class LLMBasedDiagnoser: def __init__(self, api_key: str, model: str gpt-4-turbo): self.client openai.OpenAI(api_keyapi_key) self.model model def analyze(self, trajectory: TaskTrajectory) - DiagnosisResult: # 將軌跡轉(zhuǎn)換為LLM可理解的文本摘要 trajectory_summary self._format_trajectory_for_llm(trajectory) prompt f 你是一個資深的GUI自動化測試診斷專家。請分析以下AI Agent執(zhí)行任務(wù)的軌跡找出任務(wù)失敗的根本原因。 任務(wù)指令{trajectory.instruction} 最終狀態(tài){trajectory.final_state} 任務(wù)結(jié)果{成功 if trajectory.task_success else 失敗} **執(zhí)行軌跡摘要** {trajectory_summary} 請根據(jù)以下分類給出最可能的失敗根因并簡要說明理由。如果你的判斷不屬于已知分類請輸出“其他”并描述原因。 **根因分類** 1. 感知錯誤 - 視覺定位失敗 2. 感知錯誤 - 文本識別錯誤 3. 感知錯誤 - 狀態(tài)判斷錯誤 4. 規(guī)劃與推理錯誤 - 任務(wù)分解錯誤 5. 規(guī)劃與推理錯誤 - 邏輯推理錯誤 6. 規(guī)劃與推理錯誤 - 上下文遺忘 7. 動作執(zhí)行錯誤 - 動作參數(shù)錯誤 8. 動作執(zhí)行錯誤 - 環(huán)境交互失敗 9. 環(huán)境與任務(wù)問題 - 環(huán)境不穩(wěn)定 10. 環(huán)境與任務(wù)問題 - 任務(wù)指令歧義 請以JSON格式輸出包含以下字段 - root_cause: (字符串從上述10個分類中選擇格式如“規(guī)劃與推理錯誤 - 邏輯推理錯誤”) - confidence: (浮點數(shù)0.0到1.0) - reasoning: (字符串詳細解釋你的診斷理由引用軌跡中的具體步驟) - suggested_fix: (字符串給開發(fā)者的修復建議) try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.1, # 低溫度保證輸出穩(wěn)定 response_format{ type: json_object } # 要求JSON輸出 ) result_json json.loads(response.choices[0].message.content) # 將LLM輸出映射到我們的DiagnosisResult對象 return DiagnosisResult( root_causeresult_json.get(root_cause, 未知), detailsresult_json.get(reasoning, ), confidencefloat(result_json.get(confidence, 0.5)), suggested_fixresult_json.get(suggested_fix, ) ) except Exception as e: print(fLLM診斷失敗: {e}) return DiagnosisResult(root_cause診斷失敗, detailsstr(e), confidence0.0) def _format_trajectory_for_llm(self, trajectory: TaskTrajectory) - str: # 簡化軌跡只保留關(guān)鍵信息避免token超限 summary_lines [] for step in trajectory.trajectory[:20]: # 限制步數(shù) summary_lines.append(f步驟{step.step}:) summary_lines.append(f 思考: {step.llm_thought[:200]}...) # 截斷 summary_lines.append(f 動作: {step.executed_action}) summary_lines.append(f 結(jié)果: {成功 if step.action_success else 失敗}) summary_lines.append() return \n.join(summary_lines)4.4 構(gòu)建評估看板使用Streamlit可以快速構(gòu)建一個可視化界面。# dashboard/app.py import streamlit as st import pandas as pd from pathlib import Path import sys sys.path.append(str(Path(__file__).parent.parent)) from trajectory.storage import TrajectoryStorage from diagnosis.engine import HybridDiagnosisEngine st.set_page_config(layoutwide) st.title(DiagEval - GUI Agent 評估診斷看板) # 初始化組件 storage TrajectoryStorage(trajectories.db) diagnosis_engine HybridDiagnosisEngine(...) # 側(cè)邊欄任務(wù)篩選 st.sidebar.header(篩選條件) task_status st.sidebar.selectbox(任務(wù)狀態(tài), [全部, 成功, 失敗]) if st.sidebar.button(運行診斷針對所有失敗任務(wù)): failed_tasks storage.get_tasks_by_success(False) for task in failed_tasks: if not task.has_diagnosis: # 假設(shè)軌跡對象有一個標記 result diagnosis_engine.diagnose(task) storage.save_diagnosis(task.task_id, result) # 主界面 st.header(任務(wù)執(zhí)行概覽) all_tasks storage.get_all_tasks() if task_status ! 全部: all_tasks [t for t in all_tasks if t.task_success (task_status 成功)] df pd.DataFrame([{ 任務(wù)ID: t.task_id, 指令摘要: t.instruction[:50] ..., 狀態(tài): ? 成功 if t.task_success else ? 失敗, 步驟數(shù): len(t.trajectory), 診斷結(jié)果: t.diagnosis_result.root_cause if hasattr(t, diagnosis_result) else 未診斷 } for t in all_tasks]) st.dataframe(df, use_container_widthTrue) # 點擊查看詳情 selected_task_id st.selectbox(選擇任務(wù)查看詳情, [] [t.task_id for t in all_tasks]) if selected_task_id: task storage.get_task(selected_task_id) st.subheader(f任務(wù)詳情: {selected_task_id}) col1, col2 st.columns(2) with col1: st.text_area(完整指令, task.instruction, height100) st.write(f**最終狀態(tài)**: {task.final_state}) with col2: if task.diagnosis_result: st.info(f**診斷根因**: {task.diagnosis_result.root_cause}) st.write(f**置信度**: {task.diagnosis_result.confidence:.2f}) st.text_area(診斷詳情與建議, task.diagnosis_result.details \n\n建議: task.diagnosis_result.suggested_fix, height150) # 展示軌跡步驟 st.subheader(執(zhí)行軌跡) for step in task.trajectory: with st.expander(f步驟 {step.step}: {step.executed_action} ({成功 if step.action_success else 失敗})): col1, col2 st.columns(2) if step.screenshot_path and Path(step.screenshot_path).exists(): col1.image(step.screenshot_path, captionf步驟{step.step}截圖, use_column_widthTrue) col2.text_area(f思考過程, step.llm_thought, height150)運行streamlit run dashboard/app.py一個具備基本任務(wù)概覽、篩選、診斷觸發(fā)和軌跡詳查功能的看板就啟動了。5. 避坑指南與進階思考在實際構(gòu)建和運用DiagEval系統(tǒng)的過程中你會遇到許多預料之外的問題。以下是我從實踐中總結(jié)的一些關(guān)鍵教訓和進階方向。5.1 常見陷阱與解決方案軌跡數(shù)據(jù)“海嘯”問題每個任務(wù)每一步都存高清截圖和完整DOM數(shù)據(jù)量增長極快幾天就能占滿磁盤。解決方案分層存儲原始數(shù)據(jù)如4K截圖存冷存儲如S3冰川用于事后深度分析。診斷引擎使用實時生成的低分辨率縮略圖或視覺特征向量。智能采樣不是每一步都存。只在動作失敗時、或每隔N步、或在關(guān)鍵決策點根據(jù)LLM思考的置信度判斷存儲完整數(shù)據(jù)。數(shù)據(jù)生命周期管理自動清理超過一定時間的原始軌跡數(shù)據(jù)只保留診斷結(jié)果和元數(shù)據(jù)。診斷模型的“幻覺”與不一致性問題基于LLM的診斷器有時會“胡言亂語”給出與軌跡明顯不符的診斷或者相同軌跡兩次診斷結(jié)果不同。解決方案提示詞工程這是關(guān)鍵。在提示詞中嚴格要求LLM“引用軌跡中的具體證據(jù)”。例如“你的診斷必須基于軌跡中第X步的思考‘...’和第Y步的動作‘...’之間的矛盾?!弊晕乙恢滦詫ν卉壽E進行多次LLM診斷采樣temperature0取多數(shù)票結(jié)果可以提高穩(wěn)定性。引入驗證器訓練或設(shè)計一個簡單的二分類模型判斷LLM的診斷理由是否在軌跡中有據(jù)可查過濾掉“無源之水”的診斷。診斷分類體系難以覆蓋所有情況問題總會出現(xiàn)一些奇怪的錯誤無法歸入預先定義的類別。解決方案設(shè)立“其他”類別并強制要求診斷模型或人工標注員用自然語言描述。定期復盤與迭代每周review“其他”類別下的案例從中抽象出新的錯誤模式補充到分類體系中。這是一個持續(xù)演進的過程。層次化分類采用兩層甚至三層分類。第一層大類感知/規(guī)劃/動作/環(huán)境第二層細分類第三層允許自由文本描述。這樣既有結(jié)構(gòu)又保留了靈活性。性能瓶頸問題LLM診斷延遲高無法用于大規(guī)模測試的實時反饋。解決方案異步診斷任務(wù)執(zhí)行和診斷解耦。Agent執(zhí)行完即返回診斷作為后臺作業(yè)慢慢跑。緩存診斷結(jié)果對相似的軌跡可通過軌跡特征向量計算相似度復用之前的診斷結(jié)果。小模型優(yōu)先用規(guī)則和微調(diào)的小模型處理大部分常見錯誤只將疑難雜癥交給大LLM。5.2 從診斷到自愈系統(tǒng)的閉環(huán)演進DiagEval的終極價值不僅僅是“發(fā)現(xiàn)問題”而是“推動系統(tǒng)自我改進”。這需要形成一個閉環(huán)診斷驅(qū)動提示詞優(yōu)化如果大量錯誤被歸類為“任務(wù)指令歧義”系統(tǒng)可以自動建議修改任務(wù)描述模板。如果是“視覺定位失敗”集中發(fā)生在某類UI組件上可以自動生成針對該類組件的額外描述加入Agent的上下文。診斷驅(qū)動Agent再訓練將診斷出的錯誤軌跡特別是那些明確歸因于Agent能力不足如特定視覺識別錯誤的作為高質(zhì)量的訓練數(shù)據(jù)用于微調(diào)Agent本身的視覺編碼器或規(guī)劃模塊。診斷驅(qū)動測試用例生成發(fā)現(xiàn)某個交互流程容易出錯如“提交訂單后支付頁面跳轉(zhuǎn)”可以自動生成更多圍繞該流程的邊界測試用例強化測試覆蓋??煽啃远攘颗c預警通過長期收集診斷數(shù)據(jù)可以計算各類錯誤的“發(fā)生率”趨勢。當“環(huán)境不穩(wěn)定”錯誤率突然飆升時可能意味著測試基礎(chǔ)設(shè)施出了問題可以自動告警。5.3 評估什么超越“成功率”的可靠性指標有了DiagEval我們對GUI Agent的評估就可以從單一的“任務(wù)成功率”進化到一套多維度的可靠性指標體系脆弱性分析統(tǒng)計各類錯誤的比例。例如“感知錯誤”占40%“規(guī)劃錯誤”占30%。這直接指明了Agent改進的優(yōu)先級。可診斷率有多少比例的失敗任務(wù)可以被診斷引擎明確歸因這個指標衡量了診斷系統(tǒng)本身的有效性。平均診斷時間從任務(wù)失敗到產(chǎn)出診斷報告的時間。影響修復效率。誤診率需要人工復核一部分診斷結(jié)果計算診斷錯誤的比率?;貧w檢測靈敏度當Agent新版本發(fā)布后通過對比新舊版本在相同任務(wù)集上的診斷分布可以敏銳地發(fā)現(xiàn)引入的新類型錯誤即使總體成功率變化不大。構(gòu)建DiagEval這樣的系統(tǒng)初期投入確實不小但它帶來的透明度和可操作性是將GUI Agent從玩具變?yōu)榭尚刨嚨纳a(chǎn)力工具的關(guān)鍵一步。它迫使開發(fā)者以更嚴謹、更系統(tǒng)化的方式思考智能體的失敗模式而這正是工程化AI應(yīng)用的基石。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九月性爱网| 在线视频另类| 国产成人AV在线播放| 婷婷综合网在线| 9久热在线精品| 亚洲日本三级片| 亚洲日韩乱码一区二区三区四区| 青青草六月丁香| 五月天丁香成人| 深爱丁香激情| 五月婷婷综合影院| 丁香啪啪| 婷婷六月啪啪| 亚洲综合在线伊人婷| 九九热AV| 亚洲激情五月天| 99热国产| 日本V在线观看不卡视频网站| 五月丁香五月婷婷| 精品一区二区三区免费毛片爱| 五月激情在线| 99热精品99| 亚洲综人色综网| 亚洲综合在线视频| 26uuu欧美亚洲日韩| 综合伊人狠狠| 激情性五月天免费小说视频 | www.九月婷婷丁香.com| 成人版视频在线观看| 极品人妻VIDEOSSS人妻| 六月五月丁香五月欧美| 97碰碰久久| 91无码高清| 九九综合视频在线观看| 五月天堂六月丁香亚州中文字幕久久| 婷婷黄色五月天在线视频| 99黄色性生活| 五月丁香激情综合| 亚洲激情免费视频观看| 色愛综合网| 中字幕视频在线永久在线观看免费| 色情网综合| 国产精品成人AV在线| Av在线不卡一区| 五月丁香婷婷综合视频| 色婷五月丁香久亚洲| 久久女人九九| 五月天桃色深爱网| 噜噜狠狠色综无码久久合欧美| 夜夜夜天天操| 天堂五月婷婷| 亚洲网综合在线| 99精品在线| 夜夜骑操AV| 91在线观看www| 九九色图| 停停五月天激情网| 色婷| 2025中文在线视频字幕免费观看| 大天天伊人| 天天操天天插| AV在线不卡播放| 开心五月天私房婷婷| 国产精品18久久久| 婷婷视频网| WWW激情五月天| www.五月天婷婷| 国产69久久久欧美黑人A片| 激情综合五月| 久久机热这里只有 | 99热在线观看亚洲区| 日韩AC在线免费观看| 亚洲99综合| 五月天色裸体视频| 五月天伊人| 激情丁香社区| 九月丁香亭亭| 欧美大道不卡| 丁香操逼| 色欧美色色色| 欧美性丁香色色五月天干干| 久热这里只有精品66| 99日韩| 婷婷五月天小说| 婷婷综合一二三| 天天肏天天爽夜夜爽| 婷色五月天| 丁香五月天社区婷婷| 91Chinese在线| 五月天色软件| 99精品高潮| 99热久草| 乱精品一区字幕二区| 区欧美日韩成人| 伊人在线婷婷草| 五月丁香成人| 丁香五月婷婷色| 无码人妻丰满熟妇奶水区码| 激情六月丁香综合| 五月婷婷丁香六月| 男女99免费视频| 98毛片| 97婷婷久久丁香| 超碰97久久| 五月婷婷深深爱爱| 婷婷伊人綜合中文字幕| 久热这里只有精品99re| 丁香五月大香蕉AV| 亭亭社区五月天| WWW久久久| 九九久久精品國產| 天天综合色丁香| 99热久久这里只有精品| 亚洲艹网| 包操45分钟网站| 操碰97| 激情啪啪五月| 另类精品视频在线观看| 99手机在线精品视频| 久久人妻久久| 伊人热婷婷| 六月丁香综合999| 五月激情综合婷婷| 久久婷婷五月综合色和| 超碰chaompinm| 欧美久久久久久久久中文字幕| 日日综合网| 丁香花狠狠婷婷亚洲中文字幕| 思思热精品在线观看| www.第四色99| 婷婷狠狠干| www婷婷| 九九热视频这里只有精品| 亚洲成人AV高清字幕| 婷婷精品在线| 丁香五月开心婷婷| 天天综合天天做天天综合| 操逼123网| 蜜桃人妻无码AV天堂三区| 久久久久久综合88| 天天撸天天干天天插| 五月婷婷先锋| 六月丁香婷婷综合影院| 五月天激情啪啪| 99热9| 97五月天| 国产真实乱对白精彩| 9色91视频| 狠狠精品干练久久久无码中文字幕 | 日本高清综合网五月丁香| 婷婷九色| 天天爽天天操| 久久机只有这里精品| 五月丁香综合中文| 五月叮香啪| 日本颜色视频人人爱| 色色色无码| 综合噜噜| 99色在线视频| 激情五月婷婷视频一区二区三区| 在线不卡视频| 91色性感五月婷婷丁香| 888久久久| 久碰久| 久碰综合| 久久婷婷五月天激情新地址| 久久这里只有精品无码| 丁香六月色婷婷| 色色网站| 人人操av| 99色视频在线| 色婷婷五月开心六月综合| 操B无码视频国语| 婷婷射丁香| 色婷婷久久视屏| 91seav| 婷婷99| 丁香婷婷色色| 97在线视频观看| 99热网站| 另类色视频| 伊人婷婷五月| 九色无码| 六月婷婷激情| 麻豆123区| www.日本91| 日韩成人电影AV| 天天在线久久综合| 色婷婷亚洲婷婷在线观看| 狠狠操婷婷| 超碰99热精品| 色婷五月天| 久久精品人妻| 久久这里只有精品5| 亚洲中文AV网站| 99热精品观看| 五月丁香六月情婷婷久久| 激情5月婷婷| 色99在线视频| 九色99视频| 婷婷六月综合基地| 色五月天中文字幕| 激情五月婷婷综合| 久久久婷| 91传媒无码人妻精| 婷婷五月激情四月综合 | 五月婷婷丁香大陆免费| 五月婷婷久久开心网| 91疯狂操操操操| 婷婷综合激情| 亚洲无AV在线中文字幕| 五月婷色色| 色婷婷五月综合| 91碰在线| 啪啪六月婷婷| www.9797国产| 欧美日本97| 成人精品人妻| 中文字幕按摩做爰| 色婷成人狠干| 天天摸天天爽| 999婷婷综合| 五月激情天| 综合久久综合综合| 天堂五月婷婷| 色婷婷888| 99久久人妻精品无码二区| 另类图片五月天激情| 日韩亚洲视频| 婷婷五月丁香在线视频| 色婷婷狠狠| 九九热青青草| 婷婷五月天亚洲色| av在线超清中文| 99热99美国在线观看| 欧美熟妇一区二区三区| 操草草草| 成人 在线观看国产| 欧美人与性动交CCOO| 日本噜噜色网| 99精品偷自拍| 天天爽夜夜爽天天爽夜夜爽| 激情综合五月| 99热大香蕉| 五月天婷婷三级黄| 婷婷精品在线| 久久ri精品视频| 综合性爱网| 五月丁香六月婷婷综合伊人| 丁香五月手机在线| 伊人玖玖婷婷| 欧美成人精品一区二区| 欧美顶级少妇做爰HD| 91凹凸在线| w婷婷五月婷婷w| 五月天婷婷基地| 久久五月天丁香| 亚洲激情亚洲激情 | 久久婷婷激情视频| 精品国产一区二区三区四区阿崩| 色10月婷婷视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香五月偷拍| 欧日韩成人| 天天爽综合网| 色情成人五月天| 丁香婷婷六月天| 99热.com| 久久99久久99精品免观看粉| 色综合五月天| 色999五月色| 99er久久| 狠狠色综合五月人人| 91日韩在线| 9999色色色色| 色婷婷小说| 日本女人久久| 丁香五月影院| 五月丁香天堂| 中文无码婷婷| 自拍偷窥99热| 五月丁香在线| 久久综合五月| 色婷婷婷婷| 丁香五月激情久久麻豆| 中文aV网| 日本二级毛片二级毛片| 日日操日日干| 青柠影视免费高清电视剧| 五月丁香| 丁香啪啪| 九九碰九九爱97| 婷婷丁香18| 91婷婷丁香五月亚洲| 深爱激情AV| AV五月丁香| 91男人操女人视频| 超级碰碰视频无码| 色色成人網| www.五月.com| 色婷婷五月开心六月综合| 日本99视频| 丁香五月激情五月| 国产性爱色| 思思99热在线| 色噜噜狠狠色综无码久久合欧美| 99小视频在线| 亚洲色五月| 性爱网久久| 99热日韩| 亚洲不卡| 另类专区在线观看| 久热9热| 99热这里只是精品| 国产精品 的国产| 中文av网| 久热一本| 五月天综合| 综合久久久| 色色热| 丁香五月婷婷激情四射| 嫩草AV久久伊人妇女超级a| 久久久99精品免费观看| 激情五月色综合国产精品| 婷婷情色开心五月天99| 激情综合色五月丁香六月亚洲| 婷婷五月激情欧美大胆视频| 亚洲va欧洲va国产va不卡| 亚洲无码99| 国产三级片91| 91日本在线观看| 7777久久亚洲中文字幕| 欧美色色网| 久久一伦| 99热爱爱干干日| 丁香六月婷婷久久综合| 99性爱视频网站| 精品一区久热| 婷婷狠狠五月综合| 天天日天天舔| 欧美色图天堂网| 综合网亚洲| 99亚州综合精品成人网| 人妻中文在线| 亚洲久久婷婷| 99久久6| 超碰在线国产| 色五月大| 色婷婷www| 啪啪啪综合网| 色五月婷婷自拍| 久久思思热视频| 色九九一二| 99热精品99| 超碰在线综合| 丁香六月激情综合| 婷婷综合在线观看视频| 激情熟女网| 97超碰人人操| 立川无码av| 五月天操逼激情| 婷婷六月啪啪| 欧美天天草人人草| www.99.色| 大香蕉久久婷婷| 亚洲超级碰| 99热综合| 狠狠操狠狠做| 色爱综合网| WWW.桔色成人.COM| 激情综合网激情五月天| 无码人妻激情| 色色色网站| 丁香涩涩爱| 综合视频久久| 中文字幕中文有码在线| 97色在线观看视频| 深爱激情小说五月婷婷| 91聚色综合网| 日本色色网| 欧美色骚婷婷五月天| 91干婷婷| 欧美婷婷| 夜夜操,天天撸| 久久婷综合网| 婷婷丁香成人| 狠狠操狠狠操| 综合逼五月激情婷婷| 激情骚五月| 黄色AV日韩| 狠狠操在线视频| 97色色综合| 日日干日日| 99热这里只有精彩| 丁香六月色香蕉视频| 五月丁香六月婷| 激情小说视频图片网| 久99热| 久久婷婷五月天大香蕉| 六月婷婷中文字幕| 一区二区中文字幕| 激情综合网激情五月天| 婷婷五月激情基地| 丁香五月天视频| 婷婷五月色惰| 风流少妇A片一区二区蜜桃| www.天天干| 伊人成人宗合网| 9l视频自拍9l视频自拍九色学生| 97色婷婷| 婷婷色欧美激情| 五月丁香网视频| 九九综合88| 99色色视频| 久久久免费精彩视频| 久久99精品九九久久久婷婷| 激情丁香五月综合| 内射人妻视频国内| 亚洲激情另类| 欧美激情综合色综合色| 人妻久热| 久久探花91swag| 99网| 五月停停色色丁香| 99在线精品视频免费观看20| 深夜婷婷五月丁香| 99色综合| 天堂中文国产| 无毒黄色网址| 欧美性生交XXXXX无码小说| 激情五月天网站| 五月丁香成人| 激情丁香五月AV| 久久婷婷九月国产精品| 日本婷婷在线| 五月丁香综合成人社区| www.狠狠操| 另类激情五月在线视频欧美| 狠狠色婷婷7777久综合| 99热这里只有精| 色五月激情婷婷| 99 re视频一区| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 久久久久久久人妻| 99色| 精品乱码视频| 99久久久免费| 超碰91在线| www激情| 天堂草在线看www| 婷婷97色| 99热.com| 天天舔日日肏夜夜爽| 天天玩夜夜操天天爽| 久久婷丁香五月| 天天揷综合网| 六月激情婷婷| www色五月| 久热免费视频| 五月丁香六月色婷婷| 免费视频舔| 操碰99| 狠狠色丁香久久| 中文字幕av网站| 色色色色色色综合网| 成人无码髙潮喷水A片| 五月叮香啪| 日本乱子人伦在线视频| 久久精品99久久久久久| 97狠狠色| 久99热在线观看| 成人五月天丁香婷| 国产精品国产| 97资源欧美日韩大香蕉超碰一区| 99爱视频精品在线观看| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 1囯产午夜仑鲁鲁| 丁香五月天堂网| 秋霞电影理论| 丁香六月狠狠干| 婷婷性爱五月天丁香网| 少妇人妻人伦A片| 超碰在线免费| 久久激情网| 欧美乱码国产一级A片| 91在线观看www| www.91热久久| 99re99在线看| 99精品网| 婷婷五月天丁香成人社区| 六月婷久久| 白天AV月月| 九月婷婷久久| av一区免费看| 婷婷六月天| 激情婷婷五月天。| 色婷婷在线影院| 超碰色色综合| 色欲AVV| 这里有精品| 亚州激情网| 丁香五月最新网址| 精品一区二区三区四区五区六区| 久久这里只精品| 99日本黄站| 亚洲免费婷婷| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 亚洲成人一区| 久99久热只有精品国产99| 99热大| 欧美性猛交 XXXX 乱大交| 五月激情视频| 久久看婷婷| 日韩1区2区| 九色在线观看91av| 色五月丁香A欧美com | 99这里都是精品| 婷婷在线综合| 人人视频人人干人人做| WWW.桔色成人.COM| 1024日韩| 五月丁香成人| AVDV久久| 丁香婷婷六月| WWW久久久| 欧美日比视频| 激情五月少妇| 人妻操操色| 久久五月婷综合网| 激情涩涩网| 丁香五月天偷拍| 成人网站免费sxj| 青青草搞屄视频网站| 婷婷色婷婷| 色五月婷婷1| 中文字幕欧美久久| 色婷婷丁香网| Va另类视频| 思思久久96热在精品国产,| 色综合播放| 亚洲狠狠狠| 婷婷丁香18| 五月天婷婷AV| 激情丁香五月天| 色爱综合网| 国产精品人成A片一区二区| 日本色啪| 热91久| 一起草av在线观看| 婷婷欧美激情综合| 新精品99| 开心五月网| 婷婷另类小说| 亚洲殴洲精品Av在线| 97干欧美| 久久婷婷五月综合啪| 99久久五月婷婷| 五月丁香亭亭操逼| 久久综合久色欧美综合狠狠| 久草婷婷在线| 99无码视频| 色五月色五天色情网| A短视频免费在线观看| 色五月激情五月| 欧美日韩成人高清在线| 天天色天天爱天天舔| 色五月综合网| 亚洲色网址| 五月丁香综合| 色99在线| 大香蕉五月丁香| 婷婷丁香五月天综合网| 久久婷婷激情视频| 丁香色六月婷婷| 九月婷婷综合| 99在线视频操999| 天天性视频| 九月婷婷丁香| 婷婷五月天成人网| 九九色热| 2015在线中文字幕| 视频一二区| 婷婷综合五月色播| 五月天色综合| 色色999三级片| 午夜理论片最新午夜理论剧 | 色欲久久久久久综合网综合网| 深爱激情五月婷婷| 丁香五月天91| 国产精品久久7777777精品无码| 99日本精品视频热| 五月婷婷六月丁香五月| 精品99久久久久成人网站免费| 第四色26uuu| 久久五月激情网| 亚洲综合婷婷五月| 99玖玖免费视频| 五月婷婷先锋| 五月色导航| 国产三级片91| 日韩av手机在线观看| 丁香五月婷婷啪| 第五色色色婷婷| 五月天成人免费视频| 日韩 mm 不卡| 人妻爽爽爽久久久久久久久| 五月婷婷视频| 26uuu国产| 丁香五月天偷拍| 天天摸天天做天天爱天天爽| 激情五月天网站| 欧美天天草人人草| 色五月首页| 亚洲综合99| 亚洲AV第二区国产精品| 婷婷成人五月天成人文学| 久久天堂女人| 操逼福利视频| 俺来也狠狠| 狠婷婷五月| 婷婷香草网| va婷婷在线| 五月丁香六月成人| 92久操视频| 好吊丝aV| 99视频热99| 开心五月丁香综合久久| 这里只有精品2| 久久综合播放| 天天摸色吧天天摸色吧| http:色情日本com| 亚洲五月丁香综合网| 五月天成人综合| 五月综合在线婷婷图片| 色婷婷基地| 996热re视频精品视频| 99精品在线观看视频| 伊人狠狠色婷婷综合丁香一区| 久久人妻伦理| 日本三级99人妇网站| 丁香五月婷婷成人网| 亚洲一二三网| 操逼棍操逼| 婷婷99丁香| 91九色中文字幕女在线观看| 成 人片 黄 色 大 片| 色一区高清| 久久这里只有精品热在99| 日日干日日s| A片试看120分钟做受图片| 婷婷五月深爱五月| 久久99精品久久久久久噜噜| AV大香蕉| 色婷婷九月综合| 色99免费视频中文| 俺去也综合| 超碰AV在线| 99热精品中文字幕| 天天日夜夜操五月| 久久亚洲天堂| 日韩成人AV在线| 夜夜爽日日躁| 九九九九九九热| 婷婷五月天视频亚洲| 99在线精品观看99| 婷婷狠狠干| 色播五月网| 日日日,com| 无码一级片| 玖玖99免费视频| 日韩av大全| 人妻激情久久| 日狠狠| 99热在线这里只有精品| 亚洲啪啪视频| 五月开心网| 欧美成人性爱网| 99视频久久| 性一交一乱一交A片久| 色爱亚洲| 99在线视频播放| 5月丁香综合图区| 激情综合一| 婷婷播播五月天| 五月丁香中文婷婷中文| 五月天激情国产综合婷婷婷| 久99热在线观看| 激情五月色综合国产精品| 国产免费一区二区三区三州老师F1F1.CC | 深爱激情五月网| 五月天色婷婷综合| 狠色狠色狠色狠色狠色网| 五月丁香好婷婷A片网| 玖玖@三月天天丁香婷婷| 无码99| 91偷拍视频| 色99热| 99色热视频| 色综合久久综合中文综合网| 国产精品久久久爽爽爽麻豆色哟哟| 色在线视频网2025| 国产永久一二一起草| 久久婷婷综合拍| 97伦乱| 丰满少妇乱A片无码| 午夜五月天| 五月天色社区| 就99这里只有精品| 婷婷丁香五月天影院 | 99精品久| 99热这里只有精品55| 天天爽天天干| 丁香婷婷深情五月亚洲| 色五月丁香五月天| 五月婷综合性中心| 天天噪夜夜爽| 91久久久久久久久18| 丁香五月最新地址| 激情婷婷久久| 丁香婷婷超碰 | 色色色精品无码区| 久婷五月| 九色激情网| 亚洲正能量欧美| 激情婷婷丁香五月| 婷婷激情五月呦呦| 91麻豆国产三级精品福利在线观看 | 99色综合| 精品久久久999| 亚洲五月花| 人妻久久久久久久久久| 婷婷五月中文在线视频| VA日本视频| 国产免费AV网站| 久久久久久久丁香五月天婷婷| 性视频久久| 久久久激情| 任你爽精品免费视频6| 97久操| 人妻体体内射精一区二区 | 婷婷在线中文字幕| 欧美搡BBBBB摔BBBBB| 狠狠干婷婷| www.99热| 九九热精品在线| 婷婷伊人中文字幕| 任你爽视频| 五月丁香大香蕉| 婷婷五月在线视频| 五月综合激情久久| 色久99| 日韩综合网络男女香蕉a片| 丁香综合网| 五月婷婷开心色伊人| 伊人五月网| 囯产精品一品二区三区| 日本在线va| 婷婷中文字幕| 尤物一区二区| 另类 在线| 99久久久免费| 久热这里只有精品6官网亚洲| 婷婷亚洲丁香五月| 婷婷爱五月天| www.婷婷六月天| 免费无码毛片一区二区A片 | 啪啪色激情五月天| 色情一区二区播放| 五月丁香91| 久久婷婷综合五月天| 97久久综合网| 丁香婷婷激情四射五月| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 在线中文AV| 激情五月色综合网| 91天天操天天干天天射| 狠狠五月天激情| 色吧五月婷婷| 亚洲综合成人网| 玖玖婷婷色欲| 91人人操| 婷婷丁香六月五月天| 狠狠久久婷五月综合色| 夜夜夜夜撸夜夜操| 777精品久无码人妻蜜桃| 久久久精品免费啪啪国| 日本色道视频网站| 婷婷五月中文在线视频| 色婷婷五月天在线观看| 色色色97| Jh7Uf088VHafNm| 这里都是精品99| 五月激情婷婷图片基地| www色婷婷com| 99自拍视频在线| 91超级碰人人操| 性爱先锋AV| 丁香久久久| 亚洲色图欧美色图日本视频| 婷婷五月情| 日日操夜夜撸| 久久99精品视频| 99人人干人人操| 天天操夜夜夜拍拍拍| 99热国产这里只有精品| 五月丁香六月婷| 婷婷六月综合基地| 天天操电影院色狼性av| 青青草激情网| 精品五月花| 激情影院免费视频婷婷五月天| 深夜男女福利刺激影院一区| 婷婷狠狠97| 色色影院aaaav| 五月婷婷在线视频| 97婷婷五月激情六月丁香伊人| 国产片天天爽夜夜爽| 亚洲色五月婷婷| 五月久久婷婷成人网| 久久人人看| 婷婷成人综合| 中文资源在线a| 99热这里| 五月丁香狠狠爱| 可以免费观看的AV| 中文字幕91,综合| 五月天激情网图片 - 百度| 色色色99| 中文字幕av在线| 色婷婷久久综合久色综| 99热热热99精品婷婷| 久久综合香蕉国产国产蜜臀AV| 婷婷精品视频| 久久婷婷综合网| 天天操综合网| 久久久激情视频| 久久99热久久99精品| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 日本久碰| 五月丁香欧美在线| 4399亚洲视频| 成人在线视频网| 91se在线视频| 亚洲无码色色| 超碰人人超碰| 日韩欧洲亚洲| 日韩色色小视频| 久久五月天激情| 亚洲第一成人无码A片| 在线VA视频| 五月天丁香婷婷网| AV性爱网| 久久精品爱爱| 欧美精品A片一区在线观看| www.婷婷.com| 天堂爱爱| 久久精品日| 激情综合在线观看| 五月丁香青草综合啪啪| 五月丁香激情综合六月涩涩爱| 久久性视频| 国产精品久久..4399| 久久五月天黄色五月天色网址| 丁香五月天网友自拍啪啪啪视频| 丁香五月情| 超碰九九热| 天天干天天干天天操| 五月社区婷婷激情| 99热在线看| 99热色精品| 99热热这里只精品996小说| 六月婷婷中文字幕| 91九色国产| 538在线精品| 五月丁香六月情| 青草青草久热这里只有精品| 日韩九九| 玖玖在线视| 玖玖色综合网| 天天天天天天天操| 性爱网五月天| 色色五月天 亚洲| 深爱激情五月婷婷| 久9热视频在线观看| www.狠狠| 亚洲免费99| 97精品综合久久| 亚洲无AV在线中文字幕| 丁香五月婷婷AV在线| 久久久er热| 成人在线综合| 日本色婷婷| 婷婷涩涩五月天| 9有码中文| 色吊丝99| 北条麻妃伊人| 五月婷婷之综合激情在线| 99爱精品| 亚洲成人无码专区| 日韩成人影片在线观看| 色婷视频| 亚洲国产99| 婷婷色播综合五月| 99九精品| 久久婷婷五月天大香蕉| 久久五月天视频| 婷婷五月天美女视频| 97精品自拍| 免费操超碰| 精品一二三区久久AAA片| 99爱爱| 久久怡红院| 97极品在线| 91AV婷婷| 性爱综合网| 五月天婷婷激情| 美臀自射自家人妻| 黄网在线免费观看| 色五月婷婷大香蕉| 99热在线看| www99在线观看视频| 无码yw| www.99久久久| 97碰| 五月日韩中文字幕| 另类视频一区| 天天干夜夜谢| xxx日本东京热| 五月婷婷久久久| 婷婷五月天六点丁香五月| 黄色片久久| 日韩欧美颜射| 欧美丁香五月夫妻天| 色丁香婷婷| 五月亚洲激情| 精品网站:999WWW| 97综合视频在线| 熟妇无码乱子成人精品| 激情婷婷| 高清视频一区| 亚洲欧美婷婷五月色综合| 久久精品视频99| 五月天网站免费欧美| 99热这里只有精品1998| 婷激情五月| 内射激情在线| 五月天激情站| 夜夜骑操AV| 狠色狠色狠色狠色狠色网| 天天色天天噜| 亚洲色色香蕉| 色婷婷五月天综合网| 欧美天天干五月丁香| 激情婷婷五月天在线观看| 99综合婷婷五月| 99只有这里是精品| 日日夜夜天天综合| 99re思思久久| 欧美色爱五月天| 色狠狠色噜噜AV天堂五区消防| 天天天天天天天操| 激情亚洲婷婷六月| 丁香五月综合在线播放 | 五月天丁香综合久久国产| 99热最新| 26uuu| 97日韩无套内| 精品热九九| 玖玖综合玖玖| 91热网址| 九九色区| 无码啪啪| 爱之国产色情综合| 九九操综合网| 综合九九| 五月亭亭六月天| 丁香六月婷婷综合| 福利视频在线播放| 久久婷婷五月天大香蕉| 久久激情四射| 玖玖婷婷婷丁香五月| 色色热99| 五月丁香欧美综合免费视频| 99精品免费欧美小视频| 青青草成人网| 综合激情婷婷| 五月婷婷综合色啪首页 | 久久久婷| 97色视频网| 可以免费观看的av网址| 天天夜夜爽| 在线播放中文字幕| 99超超碰| 色五月超碰| 天天色综合色色色色色。| 天天免费日日夜夜夜夜| 99热日| 欧美成人AAA片一区国产精品| 超碰在线免费9| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美A片在线视频免费观看| 开心五月婷婷激情| 99热99精品在线观看| 丁香五月影院| 激情九月丁香婷婷| 婷婷射丁香| 久久久精久人妻| 国产精品日日躁夜夜躁| 激情综合视频| www.夜夜操.con| 任我肏| 激情国产综合| 天天爽夜夜爽天天爽夜夜爽| 91凹凸在线| 北京熟妇搡BBBB搡BBBB| 91 原创 在线 九色| 色婷婷成人在线| 日日夜夜婷婷| 亚洲有码在线视频| 色区域网站视频| 九九热九九| 色9月| 色欲AV导航| 狠狠干狠狠色| 激情五月婷婷| 日韩久久视频| 99亚洲精品视频| 夜夜干天天干| 小香蕉av| 九九九午夜影院成人| 九色视频91| 开心五月婷婷婷美女| 亚洲人成色A777777在线观看| 99原创自拍视频在线观看| 色五月天丁香| 色婷婷狠狠18禁| 秋霞免费三级片| 99色 | 天天噜天天爱| www.yw尤物| WWW久| 激情六月婷婷| 国产亚洲99久久精品熟| 97色伦另类图片小说视频| 婷婷五月天激情网| 99天堂网| 91ncom.色| 69精品人人人人| 91色色色| 色五月xxx| 成人在线视频网| www.激情五月天。com| 噜噜狠狠色| 午夜丁香久久久久久| 日韩按摩二区| 九九久久久综合| 深爱五月激情| 国产婷婷五月| 五月停停色色丁香| 99色综合| 日韩aaaaa| 久热这里只有精品99re,久热这里只有精品7| 91狠狠综合久久久| 天天性视频| 五月婷婷六月丁香| 天天天添天天操| 激情AV网| 日日夜夜狠狠| 99色在线观看| 国产精品天天狠天天看| 丁香五月日本| 影音先锋综合网| 99自拍网| 激情五月图| 丁香五月综合狠狠| www.开心激情| www狠狠com| 26uuu丁香婷婷五月| 久热久色| 国产亚洲成AV人片在线观黄桃| 激情色视频| 欧美亚洲成人在线| AV网站免费在线| 丁香五月综合高清在线| 久久综合66| 97久久久| 丁香六月婷婷综合激情欧美 | 粉嫩av蜜桃av蜜臀av| 久久99久久99精品免视看婷婷| 综合色天天| 一婬一伦一区二区三区| 天天操综合网| 思思99re这里只有| 九月av| 欧美色婷婷| 丁香婷婷激情网站| 青青.com| 色色丁香色五月| 天天爽夜夜操| 少妇激情五月天| 人人色性网| 九九av在线| 韩日另类| 色婷另类| 丁香六月婷婷综合麻豆| 国产avapp 网| 成人综合网站| 思思久久精品| 777久久综合视频| 99啪啪骑| 丁香激情五月| 五月婷婷婷| 97久久香草精品视频| 国产综合婷婷| 亚洲av电影网站| 91久久久久久久| 停婷丁五月在线| 狠狠夜夜五月丁香| 5Www色5夜| 五月婷婷性爱| 五月婷婷黄色| 深爱五月最新网址| 就99这里只有精品| 亚洲无码成人网| 精品9l九九九九九77777| 丁香五月AV| 丁香五月综合婷婷| 激情五月婷婷网| 天天檫天天爽| 日本色婷婷综合| 婷婷丁香花五月天| 伊人婷婷99热精品| 中文字幕黄色片| 激情綜合W W W,激情五月天| 99rewww| 天天摸天天肏| 色九九一二| wwwav大香蕉| 欧美激情五月天在线观看| 人妻中文av| 超碰人人插| 九色在线五月婷婷网址| 99热伊人| 国产欧美熟妇另类久久久| 五月婷婷综合激情| 四色永久成人网站| 久热九九| 天天色播| 久久性操| 亚洲熟妇无码乱子AV电影| 99热亚洲| 日本色视| 丁香五月香蕉| 婷婷丁香五月综合激情小说| mmm1717.6dbm人人爱人人操| 五月婷婷中文字幕| 中文字幕综合网| 五月丁香六月婷婷久久| 五月天激情国产综合婷婷婷| 国产精品久久久久久久久久久久| 日本色五月| 九九热AV| 九九综合九九| 超碰激情网| 婷婷的99视频网站| 99视频精品| 五月丁香啪啪| 99爱视频免费| 少妇大叫太大太粗太爽了A片| 激情丁香五月| 婷婷五月天激情小说| 天天做天天爱天天爽| 色五月情| 五月天丁香色色| 97在线日本| 亚洲激情综| 97久久超碰| 99无码免费视频| 国产日日夜夜操| 五月天婷网| 日韩aaaaa| 欧美日朝成人| 少妇人妻偷人精品无码视频新浪| 亚洲区在线| 色吊丝永久访问网址| 婷婷情色五月| 在线天堂9| 婷婷的五月天另类视频| 欧洲亚洲激情五月天在线| 深爱激情网噜噜色| 狠狠操天天操天天操| 丁香婷婷综合激情五月色| 色深爱五月| 2017狠狠干| 91碰碰| 狠狠操狠狠色| 婷婷五月电影| 亚洲综合丁香婷婷六月天| 99性色| 五月丁香啪啪综合| 久777| 五月天综合久久| 天天在线天天综合网色| 婷婷五月六月| 99热这里只有精品5| 中文不卡av| 婷婷色色狠狠| 五月天激情婷婷| 亚洲中文字幕在线观看| 亚州色综合| 综合激情网五月激情| 开心五月天激情网| 免费视频在线观看的网站| www.99免费视频| 美臀自射自家人妻| 成人在线日韩欧美| 亚洲中字AV电影在线网站| 久9精品| 狠狠操在线视频| 激情久久久久| 婷婷综合干| 五月天六月丁香| 成人视频一区| 美女久久婷婷| 97碰免费视频在线| 色婷婷丁香| 久久丁香| 开心五月婷婷综合在线精品素人| 狠狠干总合| 97五月久久丁香婷婷| 日韩三级高清无码| 久青青久| 人人摸人人澡人人| 亚洲欧美成人在线观看| 在线中文字幕视频| 饮料下药迷倒漂亮女同事强干| 二色av| 婷婷五月天激情电影| 五月激情婷婷播播开心| 野战J办公桌椅H| 欧美狠狠草| 欧美日韩91| 色九综合| 一本综合丁香日日狠狠色| 国产精品美女久久久久AV超清| 色五月综合网| 成人电影在线免费试看| 超碰一区二区| 五月天六月天| 久久久免费精彩视频| 色情五月天视频网| 婷婷成人五月天成人文学| 91jiuseshunv| 久久久久久人妻久久久久久久久久人妻久久久| 亚洲激情综合| 99re视频在线播放| 色情成人五月天| 七七久久婷婷| 五月丁香婷爱在线| 操日本99| 伊人狠狠操| 麻豆AV一区二区三区| 五月色导航| 中文字幕视频色婷婷| 99久久精品视频女神1| 五月天开心色色网|