欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ARISE框架:分層強(qiáng)化學(xué)習(xí)中技能演化與推理的協(xié)同進(jìn)化

ARISE框架:分層強(qiáng)化學(xué)習(xí)中技能演化與推理的協(xié)同進(jìn)化 1. 從“打工人”到“管理者”為什么我們需要ARISE最近在跟幾個(gè)做強(qiáng)化學(xué)習(xí)的朋友聊天大家普遍有個(gè)感覺(jué)現(xiàn)在的智能體Agent越來(lái)越像“996的打工人”。你給它一個(gè)任務(wù)比如“把箱子推到指定位置”它吭哧吭哧學(xué)半天最后確實(shí)能推過(guò)去。但問(wèn)題是它只會(huì)推這個(gè)箱子換個(gè)形狀的箱子、或者把目標(biāo)位置挪一下它可能就懵了又得從頭開始學(xué)。這種“一個(gè)任務(wù)一個(gè)模型”的模式效率低、成本高而且智能體學(xué)到的知識(shí)非?!按嗳酢比狈εe一反三的能力。這背后反映的其實(shí)是傳統(tǒng)強(qiáng)化學(xué)習(xí)的一個(gè)核心瓶頸技能復(fù)用與組合能力差。智能體在單一任務(wù)中學(xué)到的策略很難遷移到新任務(wù)上。這就好比一個(gè)只會(huì)擰螺絲的工人你讓他去組裝一臺(tái)機(jī)器他完全無(wú)從下手。為了解決這個(gè)問(wèn)題學(xué)術(shù)界和工業(yè)界把目光投向了分層強(qiáng)化學(xué)習(xí)。它的核心思想很直觀把復(fù)雜的任務(wù)分解成多個(gè)簡(jiǎn)單的子任務(wù)讓智能體先學(xué)會(huì)一些基礎(chǔ)的“技能”比如“移動(dòng)”、“抓取”、“旋轉(zhuǎn)”然后再學(xué)習(xí)如何將這些技能組合起來(lái)完成更高級(jí)的目標(biāo)。這就像培養(yǎng)一個(gè)管理者先讓他精通各個(gè)業(yè)務(wù)模塊技能再學(xué)習(xí)如何協(xié)調(diào)這些模塊高層策略來(lái)完成公司戰(zhàn)略。然而理想很豐滿現(xiàn)實(shí)很骨感?,F(xiàn)有的分層強(qiáng)化學(xué)習(xí)方法尤其是基于內(nèi)在技能演化的路徑面臨兩大“攔路虎”技能“死記硬背”智能體學(xué)到的技能往往是針對(duì)訓(xùn)練環(huán)境“定制”的換個(gè)環(huán)境就失效了。技能本身缺乏泛化性和魯棒性。高層“瞎指揮”高層策略管理者在選擇使用哪個(gè)技能時(shí)往往基于短期的、局部的獎(jiǎng)勵(lì)缺乏對(duì)任務(wù)整體的“理解”和“規(guī)劃”容易做出短視的決策。而ARISE這個(gè)框架全稱是“Agent Reasoning with Intrinsic Skill Evolution in Hierarchical Reinforcement Learning”直譯過(guò)來(lái)就是“基于內(nèi)在技能演化的智能體推理分層強(qiáng)化學(xué)習(xí)”。它瞄準(zhǔn)的正是上述兩個(gè)痛點(diǎn)。ARISE試圖賦予智能體兩樣?xùn)|西一是能自我進(jìn)化、適應(yīng)新環(huán)境的“基本功”技能二是能像人類一樣進(jìn)行“思考”和“規(guī)劃”從而合理調(diào)度這些基本功的“大腦”高層推理。簡(jiǎn)單說(shuō)ARISE的目標(biāo)是培養(yǎng)一個(gè)不僅“手藝”好而且“腦子”活能應(yīng)對(duì)各種未知挑戰(zhàn)的“全能型智能體”。這對(duì)于需要高適應(yīng)性、高自主性的場(chǎng)景如家庭服務(wù)機(jī)器人、復(fù)雜游戲AI、工業(yè)柔性自動(dòng)化等有著巨大的價(jià)值。接下來(lái)我們就深入拆解ARISE是如何一步步實(shí)現(xiàn)這個(gè)目標(biāo)的。2. ARISE的核心架構(gòu)三層設(shè)計(jì)如何實(shí)現(xiàn)“思考”與“進(jìn)化”要理解ARISE我們不能把它看成一個(gè)黑箱而是要從它的架構(gòu)設(shè)計(jì)入手。ARISE的整體框架是一個(gè)經(jīng)典的三層結(jié)構(gòu)但它在每一層都做了關(guān)鍵的創(chuàng)新使得“推理”和“進(jìn)化”得以貫穿始終。2.1 底層技能執(zhí)行層——從“固定招式”到“可進(jìn)化技能庫(kù)”在傳統(tǒng)的分層強(qiáng)化學(xué)習(xí)中底層通常是一組預(yù)定義或?qū)W得的固定技能。比如在機(jī)器人領(lǐng)域技能可能是“向前移動(dòng)0.5米”、“順時(shí)針旋轉(zhuǎn)30度”等原子動(dòng)作的序列。這些技能一旦學(xué)成在測(cè)試階段就是不變的。ARISE的底層則是一個(gè)可進(jìn)化的技能庫(kù)。它不僅僅存儲(chǔ)技能更重要的是為每個(gè)技能賦予了一個(gè)“進(jìn)化潛力”。具體是如何實(shí)現(xiàn)的呢核心機(jī)制技能參數(shù)化與內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)每個(gè)技能不再是一個(gè)固定的動(dòng)作序列而是一個(gè)由參數(shù)控制的策略子模塊。例如一個(gè)“抓取”技能其參數(shù)可能包括抓取力度、手爪張開角度、接近速度等。在訓(xùn)練初期這些技能是粗糙和通用的。ARISE為技能學(xué)習(xí)引入了一個(gè)關(guān)鍵的內(nèi)在獎(jiǎng)勵(lì)。這個(gè)獎(jiǎng)勵(lì)不是環(huán)境給予的如“抓到物體10分”而是技能自己“覺(jué)得”有沒(méi)有進(jìn)步。比如新穎性探索獎(jiǎng)勵(lì)鼓勵(lì)技能去嘗試它之前很少執(zhí)行的動(dòng)作參數(shù)組合。技能覆蓋度獎(jiǎng)勵(lì)鼓勵(lì)技能庫(kù)中的不同技能能夠覆蓋盡可能多樣化的狀態(tài)-動(dòng)作空間避免技能同質(zhì)化。學(xué)習(xí)進(jìn)度獎(jiǎng)勵(lì)如果某個(gè)技能在近期通過(guò)微調(diào)其參數(shù)顯著提升了完成某個(gè)子目標(biāo)的成功率那么它就會(huì)獲得獎(jiǎng)勵(lì)。注意這里的內(nèi)在獎(jiǎng)勵(lì)設(shè)計(jì)是ARISE的一個(gè)精髓。它讓技能的學(xué)習(xí)不再完全依賴于外部任務(wù)的成敗而是有了“自我提升”的內(nèi)在驅(qū)動(dòng)力。這就好比一個(gè)工匠不僅為了完成訂單外部獎(jiǎng)勵(lì)而工作也會(huì)為了提升自己的手藝內(nèi)在獎(jiǎng)勵(lì)去主動(dòng)練習(xí)新的技法。通過(guò)這種內(nèi)在獎(jiǎng)勵(lì)的驅(qū)動(dòng)底層技能會(huì)在與環(huán)境的交互中不斷微調(diào)自己的參數(shù)逐漸從“粗糙通用”進(jìn)化到“精細(xì)適配”甚至能針對(duì)新環(huán)境的特點(diǎn)進(jìn)行快速調(diào)整。這就是“技能演化”的體現(xiàn)。2.2 中層技能推理與選擇層——從“條件反射”到“基于模型的規(guī)劃”這是ARISE最具創(chuàng)新性的一層也是“Reasoning”一詞的集中體現(xiàn)。傳統(tǒng)方法中高層策略往往是一個(gè)簡(jiǎn)單的策略網(wǎng)絡(luò)輸入當(dāng)前狀態(tài)輸出應(yīng)該激活哪個(gè)技能。這更像是一種“條件反射”看到某種情況就下意識(shí)地選用某個(gè)技能。ARISE在這一層引入了一個(gè)輕量級(jí)的世界模型和規(guī)劃器。工作流程解析狀態(tài)編碼與技能效果預(yù)測(cè)智能體首先將當(dāng)前的環(huán)境狀態(tài)如機(jī)器人攝像頭圖像、關(guān)節(jié)角度編碼成一個(gè)抽象的表示。然后對(duì)于技能庫(kù)中的每一個(gè)候選技能智能體利用其內(nèi)置的世界模型快速“想象”一下如果我現(xiàn)在執(zhí)行這個(gè)技能接下來(lái)幾秒鐘環(huán)境可能會(huì)變成什么樣子這個(gè)預(yù)測(cè)的狀態(tài)我們稱之為該技能的“預(yù)期效果”。基于價(jià)值的技能評(píng)估智能體有一個(gè)高層價(jià)值函數(shù)用于評(píng)估某個(gè)狀態(tài)對(duì)于完成最終任務(wù)的“好壞”程度。它用這個(gè)價(jià)值函數(shù)去評(píng)估每個(gè)技能產(chǎn)生的“預(yù)期效果”狀態(tài)的價(jià)值。規(guī)劃與選擇智能體不會(huì)只看一步。它會(huì)進(jìn)行一個(gè)淺層的搜索例如向前看3-5步模擬連續(xù)使用不同技能組合后可能到達(dá)的狀態(tài)并計(jì)算這些狀態(tài)序列的累積價(jià)值。最終它選擇那個(gè)能引導(dǎo)至最高價(jià)值狀態(tài)的技能或技能序列作為當(dāng)前決策。舉個(gè)例子假設(shè)一個(gè)倉(cāng)儲(chǔ)機(jī)器人智能體的任務(wù)是把A區(qū)的貨箱搬到B區(qū)。它當(dāng)前在A區(qū)面前有貨箱狀態(tài)。傳統(tǒng)方法策略網(wǎng)絡(luò)直接輸出“執(zhí)行抓取技能”。ARISE方法推理層會(huì)“思考”我現(xiàn)在有“移動(dòng)”、“抓取”、“抬起”等技能。它用世界模型預(yù)測(cè)如果執(zhí)行“抓取”我能抓住箱子但位置沒(méi)變。它評(píng)估抓住箱子后的狀態(tài)距離“貨箱在B區(qū)”這個(gè)目標(biāo)還有距離價(jià)值不高。它進(jìn)一步規(guī)劃也許先“移動(dòng)”到箱子側(cè)面再“抓取”這樣抓取后更容易轉(zhuǎn)向“移動(dòng)”去B區(qū)。經(jīng)過(guò)模擬這個(gè)“移動(dòng)-抓取”的序列被認(rèn)為能更快接近高價(jià)值狀態(tài)。最終決策先執(zhí)行“移動(dòng)”技能調(diào)整位姿。這個(gè)過(guò)程模擬了人類的“在心中預(yù)演”能力使得技能的選擇不再是盲目的而是有目的的、前瞻性的。2.3 高層任務(wù)目標(biāo)與元認(rèn)知層——監(jiān)督與協(xié)調(diào)最高層負(fù)責(zé)接收最終的任務(wù)目標(biāo)如“把紅色方塊放到藍(lán)色區(qū)域”并將其分解成一系列子目標(biāo)傳遞給中層的推理層。同時(shí)這一層還扮演著“元認(rèn)知”的角色即對(duì)自身學(xué)習(xí)過(guò)程的監(jiān)控和調(diào)整。子目標(biāo)生成根據(jù)最終任務(wù)和當(dāng)前環(huán)境動(dòng)態(tài)生成合適的子目標(biāo)。例如任務(wù)初期子目標(biāo)可能是“接近紅色方塊”中期是“抓取紅色方塊”后期是“將紅色方塊移動(dòng)到藍(lán)色區(qū)域上方”。技能庫(kù)管理監(jiān)控底層技能的學(xué)習(xí)效率和使用頻率。如果發(fā)現(xiàn)某個(gè)技能長(zhǎng)期表現(xiàn)不佳或從未被使用高層可以發(fā)出指令要求底層調(diào)整該技能的內(nèi)在獎(jiǎng)勵(lì)權(quán)重甚至將其“回爐重造”。推理層調(diào)整如果中層的規(guī)劃頻繁失敗預(yù)測(cè)與現(xiàn)實(shí)嚴(yán)重不符高層可以判斷是世界模型不準(zhǔn)還是規(guī)劃深度不夠并觸發(fā)相應(yīng)的模型更新或參數(shù)調(diào)整機(jī)制。這三層結(jié)構(gòu)形成了一個(gè)完整的閉環(huán)底層技能通過(guò)內(nèi)在獎(jiǎng)勵(lì)不斷進(jìn)化變得更強(qiáng)、更通用中層利用世界模型和規(guī)劃智能地選擇和組合技能高層則統(tǒng)籌全局確保整個(gè)系統(tǒng)朝著最終目標(biāo)高效前進(jìn)。接下來(lái)我們看看這套架構(gòu)是如何被訓(xùn)練出來(lái)的。3. ARISE的訓(xùn)練機(jī)制如何讓“推理”和“進(jìn)化”協(xié)同工作訓(xùn)練一個(gè)分層系統(tǒng)遠(yuǎn)比訓(xùn)練單一策略復(fù)雜因?yàn)槟阈枰瑫r(shí)優(yōu)化多個(gè)相互關(guān)聯(lián)的模塊。ARISE采用了一種交替優(yōu)化、分層遞進(jìn)的訓(xùn)練策略其核心是解耦不同層次的學(xué)習(xí)目標(biāo)并讓它們通過(guò)特定的信號(hào)進(jìn)行協(xié)同。3.1 底層技能的訓(xùn)練內(nèi)在獎(jiǎng)勵(lì)與環(huán)境獎(jiǎng)勵(lì)的平衡底層技能的策略網(wǎng)絡(luò)其目標(biāo)是最大化一個(gè)混合獎(jiǎng)勵(lì)總獎(jiǎng)勵(lì) 環(huán)境獎(jiǎng)勵(lì) β * 內(nèi)在獎(jiǎng)勵(lì)其中β是一個(gè)超參數(shù)用于調(diào)節(jié)內(nèi)在獎(jiǎng)勵(lì)的權(quán)重。環(huán)境獎(jiǎng)勵(lì)當(dāng)技能執(zhí)行后如果有助于完成高層下達(dá)的當(dāng)前子目標(biāo)如“抓取到物體”就會(huì)獲得正的環(huán)境獎(jiǎng)勵(lì)。這確保了技能的學(xué)習(xí)不會(huì)脫離實(shí)際任務(wù)避免演化出一些“花哨但無(wú)用”的動(dòng)作。內(nèi)在獎(jiǎng)勵(lì)如前所述包括新穎性、覆蓋度、學(xué)習(xí)進(jìn)度等。這部分獎(jiǎng)勵(lì)驅(qū)動(dòng)技能去探索和提升自身。訓(xùn)練時(shí)每個(gè)技能都有自己獨(dú)立的策略網(wǎng)絡(luò)和批評(píng)家網(wǎng)絡(luò)。數(shù)據(jù)來(lái)源于智能體與環(huán)境的所有交互。但這里有個(gè)關(guān)鍵需要為每條交互數(shù)據(jù)打上“技能標(biāo)簽”即這條數(shù)據(jù)是由哪個(gè)技能生成的。這通常通過(guò)在高層的技能選擇指令中附帶技能ID來(lái)實(shí)現(xiàn)。一個(gè)實(shí)操中的難點(diǎn)是技能間數(shù)據(jù)分配不平衡。某些技能如“移動(dòng)”可能被頻繁調(diào)用產(chǎn)生大量數(shù)據(jù)而另一些技能如“精細(xì)操作”數(shù)據(jù)很少。ARISE通常采用經(jīng)驗(yàn)回放緩沖區(qū)優(yōu)先級(jí)采樣來(lái)解決對(duì)于數(shù)據(jù)量少的技能其產(chǎn)生的數(shù)據(jù)會(huì)被賦予更高的采樣優(yōu)先級(jí)確保其策略網(wǎng)絡(luò)也能獲得足夠的訓(xùn)練。3.2 中層推理層的訓(xùn)練世界模型與規(guī)劃器的學(xué)習(xí)中層的學(xué)習(xí)是整個(gè)框架中最具挑戰(zhàn)性的部分因?yàn)樗蕾囉谝粋€(gè)能夠準(zhǔn)確預(yù)測(cè)技能執(zhí)行效果的世界模型。世界模型的訓(xùn)練 世界模型通常是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)或Transformer輸入是當(dāng)前狀態(tài)和要執(zhí)行的技能ID輸出是預(yù)測(cè)的下一個(gè)狀態(tài)以及可能的環(huán)境獎(jiǎng)勵(lì)。它的訓(xùn)練數(shù)據(jù)直接來(lái)源于智能體與環(huán)境的真實(shí)交互記錄狀態(tài) 技能 下一狀態(tài)。訓(xùn)練目標(biāo)是最小化預(yù)測(cè)狀態(tài)與真實(shí)狀態(tài)之間的誤差如均方誤差。注意世界模型的準(zhǔn)確性至關(guān)重要。如果預(yù)測(cè)誤差太大中層的規(guī)劃就成了“瞎規(guī)劃”。在實(shí)踐中我們通常會(huì)在訓(xùn)練初期用一段時(shí)間的隨機(jī)探索數(shù)據(jù)先預(yù)訓(xùn)練一個(gè)基礎(chǔ)的世界模型然后再與整個(gè)系統(tǒng)一起進(jìn)行微調(diào)。同時(shí)需要定期用最新的交互數(shù)據(jù)來(lái)更新世界模型以適應(yīng)環(huán)境或技能本身的變化。高層價(jià)值函數(shù)的訓(xùn)練 高層價(jià)值函數(shù)用于評(píng)估狀態(tài)的好壞。它的訓(xùn)練基于時(shí)序差分誤差。具體來(lái)說(shuō)當(dāng)智能體執(zhí)行一個(gè)技能序列并到達(dá)一個(gè)新狀態(tài)后它會(huì)根據(jù)環(huán)境反饋和后續(xù)狀態(tài)的預(yù)測(cè)價(jià)值來(lái)計(jì)算當(dāng)前狀態(tài)的價(jià)值目標(biāo)然后通過(guò)梯度下降來(lái)更新價(jià)值網(wǎng)絡(luò)使其預(yù)測(cè)更準(zhǔn)確。規(guī)劃器的“訓(xùn)練” 規(guī)劃器本身如蒙特卡洛樹搜索的 rollout 策略通常不涉及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練其“性能”完全依賴于世界模型和高層價(jià)值函數(shù)的準(zhǔn)確性。因此對(duì)規(guī)劃器的優(yōu)化主要體現(xiàn)在搜索深度、寬度和計(jì)算效率的權(quán)衡上。在訓(xùn)練初期由于模型不準(zhǔn)確可能采用較淺的搜索隨著模型越來(lái)越準(zhǔn)可以逐步增加搜索深度以獲得更優(yōu)的規(guī)劃。3.3 高層元認(rèn)知層的訓(xùn)練基于長(zhǎng)期效用的策略高層策略子目標(biāo)生成和技能庫(kù)管理的訓(xùn)練周期通常更長(zhǎng)因?yàn)樗u(píng)估的是更長(zhǎng)期的效用。其獎(jiǎng)勵(lì)信號(hào)主要來(lái)自于任務(wù)的最終完成情況以及整體學(xué)習(xí)效率如平均完成時(shí)間、技能使用均衡度等。這部分訓(xùn)練往往采用策略梯度類方法。由于決策頻率低每完成一個(gè)子目標(biāo)或每隔一段時(shí)間才決策一次需要收集大量完整的任務(wù)軌跡來(lái)進(jìn)行訓(xùn)練。在實(shí)踐中為了穩(wěn)定訓(xùn)練常會(huì)使用近端策略優(yōu)化等算法。三層訓(xùn)練的協(xié)同 ARISE的訓(xùn)練不是孤立的。它通常以“輪”為單位進(jìn)行收集數(shù)據(jù)輪固定當(dāng)前所有網(wǎng)絡(luò)參數(shù)讓智能體在環(huán)境中運(yùn)行一段時(shí)間收集大量的交互數(shù)據(jù)并存儲(chǔ)到對(duì)應(yīng)的經(jīng)驗(yàn)回放緩沖區(qū)中。技能更新輪用收集到的數(shù)據(jù)更新底層各個(gè)技能的策略網(wǎng)絡(luò)和批評(píng)家網(wǎng)絡(luò)。模型更新輪用數(shù)據(jù)更新中層的世界模型和高層價(jià)值函數(shù)。高層更新輪每隔多個(gè)輪次用長(zhǎng)期累積的任務(wù)完成數(shù)據(jù)更新高層策略。評(píng)估與調(diào)整輪在測(cè)試環(huán)境中評(píng)估性能根據(jù)結(jié)果調(diào)整內(nèi)在獎(jiǎng)勵(lì)權(quán)重β、規(guī)劃深度等超參數(shù)。這種交替訓(xùn)練的方式使得三層模塊能夠逐步對(duì)齊共同優(yōu)化。下面我們通過(guò)一個(gè)具體案例來(lái)看看ARISE的實(shí)際表現(xiàn)。4. 實(shí)戰(zhàn)剖析ARISE在機(jī)器人復(fù)雜操作任務(wù)中的表現(xiàn)為了直觀理解ARISE的優(yōu)勢(shì)我們以一個(gè)經(jīng)典的機(jī)器人模擬任務(wù)“Pick-Place with Obstacles”有障礙物的抓取放置為例對(duì)比ARISE與兩種主流基線方法HIRO一種經(jīng)典的分層強(qiáng)化學(xué)習(xí)算法和SAC一種優(yōu)秀的非分層強(qiáng)化學(xué)習(xí)算法。任務(wù)描述一個(gè)機(jī)械臂需要從桌面上抓取一個(gè)積木塊并將其放入一個(gè)指定顏色的盒子里。桌面上會(huì)有其他顏色、形狀的障礙物。任務(wù)難點(diǎn)在于1需要精確的抓取和放置2需要規(guī)劃移動(dòng)路徑以避開障礙物3目標(biāo)盒子的位置每次試驗(yàn)都可能變化。4.1 實(shí)驗(yàn)設(shè)置與基線對(duì)比ARISE我們?yōu)槠湓O(shè)計(jì)了一個(gè)包含5個(gè)底層技能的技能庫(kù)Approach接近物體、Grasp抓取、Lift抬起、Move水平移動(dòng)、Place放置。內(nèi)在獎(jiǎng)勵(lì)結(jié)合了技能覆蓋度和學(xué)習(xí)進(jìn)度。HIRO同樣使用分層結(jié)構(gòu)但其底層技能是固定目標(biāo)如移動(dòng)到某個(gè)坐標(biāo)的策略高層通過(guò)設(shè)定坐標(biāo)目標(biāo)來(lái)指導(dǎo)底層。技能本身不會(huì)演化。SAC一個(gè)扁平的、非分層的強(qiáng)化學(xué)習(xí)算法直接學(xué)習(xí)從狀態(tài)到關(guān)節(jié)扭矩的映射。我們?cè)赑yBullet仿真環(huán)境中進(jìn)行訓(xùn)練評(píng)估指標(biāo)是任務(wù)成功率和平均完成步數(shù)。4.2 性能結(jié)果與分析經(jīng)過(guò)相同環(huán)境交互步數(shù)的訓(xùn)練后我們得到以下結(jié)果方法任務(wù)成功率平均完成步數(shù)技能泛化能力新障礙物SAC (扁平)45%350極差 (10%)HIRO (分層固定技能)78%220一般 (~40%)ARISE (分層技能演化推理)92%180良好 (~75%)結(jié)果解讀SAC表現(xiàn)最差這印證了扁平策略在處理復(fù)雜、長(zhǎng)周期任務(wù)時(shí)的無(wú)力。它很難直接學(xué)會(huì)“抓取-移動(dòng)-放置”這一系列動(dòng)作的協(xié)調(diào)經(jīng)常在抓取后碰撞障礙物或者放置不準(zhǔn)。HIRO優(yōu)于SAC分層結(jié)構(gòu)帶來(lái)了顯著提升。HIRO的高層學(xué)會(huì)了先設(shè)定“接近物體”的目標(biāo)再設(shè)定“抓取”的目標(biāo)等等。但由于其底層技能是固定的“移動(dòng)到某點(diǎn)”當(dāng)遇到新的障礙物時(shí)它設(shè)定的坐標(biāo)點(diǎn)可能正好在障礙物上導(dǎo)致底層無(wú)法完成從而失敗。其技能缺乏適應(yīng)性。ARISE全面領(lǐng)先更高的成功率與效率ARISE的成功率最高且用時(shí)最短。這是因?yàn)槠渫评韺幽軌蛱崆耙?guī)劃避開障礙物的路徑例如選擇Move技能繞行而不是像HIRO那樣可能給出一個(gè)會(huì)導(dǎo)致碰撞的中間坐標(biāo)。強(qiáng)大的泛化能力當(dāng)我們?cè)跍y(cè)試中引入訓(xùn)練時(shí)未見過(guò)的障礙物形狀時(shí)ARISE的表現(xiàn)下降最少。其底層技能特別是Move和Approach在內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)下已經(jīng)演化出一定的避障和適應(yīng)能力。同時(shí)推理層基于世界模型的規(guī)劃能夠快速評(píng)估新障礙物對(duì)技能執(zhí)行的影響并調(diào)整技能選擇和組合方式。4.3 關(guān)鍵過(guò)程可視化ARISE的“思考”過(guò)程通過(guò)記錄ARISE在單次任務(wù)中的內(nèi)部狀態(tài)我們可以清晰地看到其推理過(guò)程初始狀態(tài)機(jī)械臂在初始位置目標(biāo)積木在前方中間有一個(gè)新形狀的障礙物。高層下達(dá)子目標(biāo)“抓取目標(biāo)積木”。中層推理候選技能Approach,Grasp直接抓取距離不夠被價(jià)值網(wǎng)絡(luò)否決。世界模型模擬如果直接Approach預(yù)測(cè)路徑會(huì)碰撞障礙物導(dǎo)致失敗。規(guī)劃搜索模擬Move向左 -Approach-Grasp的序列。預(yù)測(cè)顯示這個(gè)序列能安全接近并抓取。決策執(zhí)行Move向左技能。底層執(zhí)行Move技能根據(jù)當(dāng)前障礙物情況自動(dòng)演化出了略微上抬的軌跡安全繞過(guò)。后續(xù)步驟成功抓取后高層下達(dá)新子目標(biāo)“放置到藍(lán)色盒子”中層同理規(guī)劃出避開障礙物的放置路徑。這個(gè)案例生動(dòng)展示了ARISE如何將“技能演化”帶來(lái)的底層適應(yīng)力與“基于模型的推理”帶來(lái)的高層規(guī)劃力相結(jié)合從而解決復(fù)雜、動(dòng)態(tài)的任務(wù)。5. 實(shí)現(xiàn)ARISE關(guān)鍵模塊的代碼級(jí)解析與避坑指南理解了原理我們來(lái)看看如何動(dòng)手實(shí)現(xiàn)一個(gè)ARISE的簡(jiǎn)化版本。這里我們使用PyTorch框架并聚焦于最核心的三個(gè)模塊可進(jìn)化技能、世界模型和規(guī)劃器。請(qǐng)注意這是一個(gè)高度簡(jiǎn)化的示意代碼旨在闡明核心邏輯。5.1 可進(jìn)化技能模塊的實(shí)現(xiàn)每個(gè)技能本質(zhì)上是一個(gè)策略網(wǎng)絡(luò)但它的輸入除了狀態(tài)還有技能自身的“演化參數(shù)”θ。import torch import torch.nn as nn import torch.optim as optim class EvolvableSkill(nn.Module): def __init__(self, state_dim, action_dim, skill_id): super(EvolvableSkill, self).__init__() self.skill_id skill_id # 策略網(wǎng)絡(luò) self.policy_net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, action_dim), nn.Tanh() # 假設(shè)動(dòng)作范圍在[-1,1] ) # 價(jià)值網(wǎng)絡(luò)用于計(jì)算優(yōu)勢(shì)函數(shù) self.value_net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, 1) ) # 技能特有的演化參數(shù)可被內(nèi)在獎(jiǎng)勵(lì)優(yōu)化 self.intrinsic_params nn.Parameter(torch.randn(1, requires_gradTrue)) def forward(self, state): # 策略網(wǎng)絡(luò)生成動(dòng)作均值可加入?yún)?shù)化噪聲探索 action_mean self.policy_net(state) return action_mean def compute_intrinsic_reward(self, state, action, next_state): 計(jì)算內(nèi)在獎(jiǎng)勵(lì)。這里以‘技能特異性’為例 鼓勵(lì)技能訪問(wèn)與其他技能不同的狀態(tài)-動(dòng)作區(qū)域。 需要維護(hù)一個(gè)技能級(jí)別的經(jīng)驗(yàn)緩沖區(qū)來(lái)計(jì)算。 # 簡(jiǎn)化示例使用技能參數(shù)作為獎(jiǎng)勵(lì)的一部分 # 實(shí)際中會(huì)更復(fù)雜可能涉及基于計(jì)數(shù)的新穎性或預(yù)測(cè)誤差 intrinsic_r self.intrinsic_params.item() * 0.1 # 只是一個(gè)示意 return intrinsic_r def update(self, states, actions, advantages, extrinsic_rewards, intrinsic_weights): 更新技能策略。使用PPO等策略梯度算法。 intrinsic_weights 用于平衡外在和內(nèi)在獎(jiǎng)勵(lì)。 # 計(jì)算總獎(jiǎng)勵(lì) total_rewards extrinsic_rewards intrinsic_weights * self.compute_intrinsic_reward(...) # 需要實(shí)際狀態(tài)數(shù)據(jù) # ... 這里是PPO的損失計(jì)算和更新步驟 (省略細(xì)節(jié)) # 同時(shí)也會(huì)更新 self.intrinsic_params pass避坑指南1技能間干擾與數(shù)據(jù)歸屬最大的坑在于經(jīng)驗(yàn)數(shù)據(jù)的歸屬。必須確保每條(s, a, s, r)經(jīng)驗(yàn)數(shù)據(jù)被準(zhǔn)確地標(biāo)記是由哪個(gè)技能產(chǎn)生的。一個(gè)常見的做法是在中層調(diào)用技能時(shí)除了執(zhí)行動(dòng)作還返回一個(gè)skill_id標(biāo)簽并隨經(jīng)驗(yàn)一起存儲(chǔ)。更新技能時(shí)只使用該技能自己的數(shù)據(jù)。如果數(shù)據(jù)標(biāo)記錯(cuò)誤會(huì)導(dǎo)致技能學(xué)習(xí)目標(biāo)混亂互相干擾。5.2 世界模型模塊的實(shí)現(xiàn)世界模型負(fù)責(zé)預(yù)測(cè)給定狀態(tài)和技能下的下一個(gè)狀態(tài)。class WorldModel(nn.Module): def __init__(self, state_dim, skill_embedding_dim): super(WorldModel, self).__init__() # 技能ID通過(guò)嵌入層轉(zhuǎn)化為向量 self.skill_embedding nn.Embedding(num_skills, skill_embedding_dim) self.transition_net nn.Sequential( nn.Linear(state_dim skill_embedding_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, state_dim) # 預(yù)測(cè)狀態(tài)差值 Δs 通常更穩(wěn)定 ) def forward(self, state, skill_id): skill_emb self.skill_embedding(skill_id) combined_input torch.cat([state, skill_emb], dim-1) delta_state_pred self.transition_net(combined_input) next_state_pred state delta_state_pred # 預(yù)測(cè)下一狀態(tài) return next_state_pred def train_step(self, state_batch, skill_id_batch, next_state_batch): pred_next_state self.forward(state_batch, skill_id_batch) loss nn.MSELoss()(pred_next_state, next_state_batch) return loss避坑指南2世界模型的過(guò)擬合與滯后世界模型很容易在訓(xùn)練初期過(guò)擬合到有限的早期數(shù)據(jù)上導(dǎo)致其預(yù)測(cè)在后期失去準(zhǔn)確性。務(wù)必使用一個(gè)足夠大的、先進(jìn)先出的經(jīng)驗(yàn)回放緩沖區(qū)并定期用最新的數(shù)據(jù)對(duì)其進(jìn)行微調(diào)。另一個(gè)常見問(wèn)題是模型滯后當(dāng)技能自身在快速演化時(shí)世界模型基于舊技能數(shù)據(jù)做出的預(yù)測(cè)會(huì)不準(zhǔn)。可以考慮使用一個(gè)“目標(biāo)世界模型”其參數(shù)定期從訓(xùn)練中的世界模型同步以穩(wěn)定規(guī)劃過(guò)程。5.3 規(guī)劃器模塊的實(shí)現(xiàn)規(guī)劃器使用世界模型進(jìn)行前向搜索。class Planner: def __init__(self, world_model, value_net, skill_list): self.world_model world_model self.value_net value_net # 高層價(jià)值網(wǎng)絡(luò) self.skill_list skill_list self.planning_depth 3 self.num_candidates 5 # 每層擴(kuò)展的候選技能數(shù) def plan(self, current_state, goal_info): best_skill_seq None best_value -float(inf) # 簡(jiǎn)單的蒙特卡洛樹搜索MCTS思路的簡(jiǎn)化版深度優(yōu)先搜索 def dfs(state, depth, skill_seq, current_value): nonlocal best_value, best_skill_seq if depth self.planning_depth: if current_value best_value: best_value current_value best_skill_seq skill_seq.copy() return # 評(píng)估當(dāng)前狀態(tài)的價(jià)值 state_val self.value_net(state).item() # 啟發(fā)式優(yōu)先考慮價(jià)值高的技能簡(jiǎn)化實(shí)際可能基于模型預(yù)測(cè) # 這里隨機(jī)選幾個(gè)技能進(jìn)行模擬 candidate_skills random.sample(self.skill_list, min(self.num_candidates, len(self.skill_list))) for skill in candidate_skills: # 使用世界模型預(yù)測(cè)執(zhí)行該技能后的狀態(tài) with torch.no_grad(): next_state_pred self.world_model(state.unsqueeze(0), torch.tensor([skill.id])).squeeze(0) # 遞歸搜索 dfs(next_state_pred, depth1, skill_seq [skill], current_value state_val) dfs(current_state, 0, [], 0) # 返回最優(yōu)序列的第一個(gè)技能 return best_skill_seq[0] if best_skill_seq else random.choice(self.skill_list)避坑指南3規(guī)劃的計(jì)算開銷在線的深度規(guī)劃即使是3-5步計(jì)算成本也很高尤其是當(dāng)技能數(shù)量多、狀態(tài)維度高時(shí)。在實(shí)際應(yīng)用中有幾種優(yōu)化策略分層規(guī)劃高層先規(guī)劃子目標(biāo)序列中層再為每個(gè)子目標(biāo)規(guī)劃技能序列。模型蒸餾訓(xùn)練一個(gè)輕量級(jí)的“策略網(wǎng)絡(luò)”來(lái)模仿規(guī)劃器的輸出在線時(shí)直接使用策略網(wǎng)絡(luò)離線時(shí)再用規(guī)劃器生成數(shù)據(jù)來(lái)訓(xùn)練它。限制搜索空間不是評(píng)估所有技能而是用價(jià)值網(wǎng)絡(luò)或另一個(gè)“技能篩選網(wǎng)絡(luò)”預(yù)先篩選出幾個(gè)最有可能的候選技能。6. 超越仿真ARISE面臨的現(xiàn)實(shí)挑戰(zhàn)與未來(lái)方向盡管ARISE在仿真環(huán)境中展現(xiàn)出了巨大潛力但要將其應(yīng)用到真實(shí)的物理系統(tǒng)如機(jī)器人、自動(dòng)駕駛中還面臨著諸多嚴(yán)峻挑戰(zhàn)。6.1 從仿真到現(xiàn)實(shí)的“現(xiàn)實(shí)差距”這是所有基于學(xué)習(xí)的機(jī)器人方法的核心挑戰(zhàn)。仿真器中的物理引擎如PyBullet, MuJoCo與真實(shí)世界存在差異包括摩擦系數(shù)、物體形變、傳感器噪聲、延遲等。對(duì)ARISE的影響ARISE嚴(yán)重依賴準(zhǔn)確的世界模型進(jìn)行規(guī)劃。在仿真中訓(xùn)練的世界模型其預(yù)測(cè)規(guī)律與真實(shí)世界不符導(dǎo)致規(guī)劃失效。技能在仿真中演化出的特性如特定的抓取力度在現(xiàn)實(shí)中可能完全無(wú)效。應(yīng)對(duì)思路域隨機(jī)化在仿真訓(xùn)練時(shí)廣泛隨機(jī)化物理參數(shù)質(zhì)量、摩擦、視覺(jué)外觀等讓技能和世界模型學(xué)習(xí)到一個(gè)更“寬泛”的動(dòng)力學(xué)模型提高泛化能力。系統(tǒng)辨識(shí)與模型適配在真實(shí)機(jī)器人上收集少量數(shù)據(jù)用于快速微調(diào)世界模型的關(guān)鍵參數(shù)使其貼近真實(shí)動(dòng)力學(xué)。在線適應(yīng)讓ARISE系統(tǒng)具備在線學(xué)習(xí)能力。在真實(shí)環(huán)境中執(zhí)行時(shí)持續(xù)用真實(shí)數(shù)據(jù)更新世界模型和技能策略。但這需要極其高效和安全的學(xué)習(xí)算法。6.2 技能演化的安全性與穩(wěn)定性在仿真中智能體可以隨意“折騰”探索各種奇怪的動(dòng)作。在現(xiàn)實(shí)中一個(gè)錯(cuò)誤的動(dòng)作可能導(dǎo)致機(jī)械臂撞毀或傷及人類。對(duì)ARISE的影響內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)的探索可能引導(dǎo)技能演化出危險(xiǎn)的動(dòng)作。例如為了獲得“新穎性”技能可能嘗試以極高速度運(yùn)動(dòng)。應(yīng)對(duì)思路安全約束注入在技能策略網(wǎng)絡(luò)的輸出層加入硬約束如關(guān)節(jié)角度限位、速度上限或軟約束在獎(jiǎng)勵(lì)函數(shù)中加入對(duì)危險(xiǎn)狀態(tài)的巨大懲罰。模擬先行安全驗(yàn)證所有新演化出的技能參數(shù)必須在高保真仿真中經(jīng)過(guò)嚴(yán)格的安全性和穩(wěn)定性測(cè)試后才能部署到真實(shí)系統(tǒng)。人類在環(huán)引入人類監(jiān)督當(dāng)智能體試圖探索可能不安全的區(qū)域時(shí)需要人工批準(zhǔn)或提供示范。6.3 長(zhǎng)期規(guī)劃與信用分配ARISE的中層規(guī)劃目前還是短視的通常只看幾步。對(duì)于需要數(shù)十甚至上百步才能完成的超長(zhǎng)程任務(wù)如“整理整個(gè)房間”如何有效規(guī)劃是一個(gè)難題。挑戰(zhàn)規(guī)劃深度增加會(huì)帶來(lái)計(jì)算量的指數(shù)級(jí)增長(zhǎng)。更關(guān)鍵的是如何將最終任務(wù)成功的獎(jiǎng)勵(lì)合理地分配給早期一個(gè)看似無(wú)關(guān)的技能選擇信用分配問(wèn)題。未來(lái)方向抽象化與分層加深在現(xiàn)有三層之上引入更多抽象層次。例如底層是肌肉控制技能中層是物體操作技能高層是任務(wù)規(guī)劃技能如“取飲料-倒水-清洗杯子”?;谡Z(yǔ)言的子目標(biāo)生成結(jié)合大語(yǔ)言模型將高層任務(wù)的自然語(yǔ)言描述如“請(qǐng)幫我準(zhǔn)備早餐”自動(dòng)分解為一系列邏輯子目標(biāo)和約束然后由ARISE系統(tǒng)執(zhí)行。課程學(xué)習(xí)設(shè)計(jì)從易到難的任務(wù)課程讓智能體先學(xué)會(huì)簡(jiǎn)單的技能和規(guī)劃再逐步挑戰(zhàn)復(fù)雜任務(wù)緩解長(zhǎng)期信用分配的壓力。ARISE代表了一條通向更通用、更智能的自主智能體的重要路徑。它將分層強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)優(yōu)勢(shì)、內(nèi)在動(dòng)機(jī)的探索能力以及基于模型的推理能力相結(jié)合為解決復(fù)雜決策問(wèn)題提供了強(qiáng)大的框架。雖然前路仍有諸多挑戰(zhàn)但它在仿真中展現(xiàn)出的強(qiáng)大學(xué)習(xí)和泛化能力讓我們有理由相信隨著仿真技術(shù)、安全學(xué)習(xí)和計(jì)算能力的進(jìn)步ARISE所代表的“會(huì)思考、能進(jìn)化”的智能體終將從虛擬世界走進(jìn)現(xiàn)實(shí)成為我們得力的助手。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲乱啪| 伊人久久婷婷五月天激情四射| 久婷五月| 九九99在线免费在线观看视频| 99超级碰碰| 99久在线精品99re8| 色99最新网址| 99视频精品全部观看10| 人妻综合网| 六月丁香激情网| 亚洲综合99| 91色久| 99精品人人| 日本高清久| 成人五月天丁香婷| 亚洲中文字幕网| www.av视频xx999.com| 亚洲色视频| 五月婷婷综合热| 色综合色综合网| 激情婷婷色色| 五月日韩中文字幕| 久狠狠狠| 六月丁香婷婷拍拍| 色色图五月天| 午夜丁香婷婷| 插插五月天| chaopengdaxiangjiao| 欧美婷婷五月天综合| 九月性爱网| 婷婷五月在线观看| 婷婷五月天视| 亚洲国产另类av| 天天综合精品| 婷婷五月天 偷拍| 天天草天天爱| 玖玖五月丁香| 午夜69成人做爰视频| 国产精品国产VA片国产| 天天肏高清在线| 色婷婷电影| 五月丁香婷婷五月色| 天堂美国久久| 色热久| 综合欧美五月婷婷| 久久综合五月婷婷| 欧美 日韩 人妻 高清 中文| 色五月大| 99亚洲色| 超碰三级秋霞| 五月丁香六月婷婷的女人| 91五月天| 婷婷激情小说| 精品久久人妻热| 五月天婷婷激情四射综合| 99久热在线精品| 五月天亚洲最大成人| 激情性爱五月天网页| 99re8在这里只有精品| 91超碰人人操| 在线综合91| 人人播| 99色最新在线视频网站| 五月丁色AV| 69天堂99| 色婷婷视频| 婷婷色av| 婷婷情色开心五月天99| 天天狠天天叉| 狠狠五月天| 精品成人在线观看| 五月婷久草| 99热6精品| 中文字幕婷婷五月天在线观看| 婷婷激情在线| 免费啪啪啪网站| AAA久久| 久久机热/这里只有精品| 五月丁香激情五月天| 欧美婷婷丁香五月| 十二区无码| 大香蕉综合网| 五月婷婷激情久久| 天天操天天日天天操| 丁香婷婷久久| 超碰93在线观看| 丁香六月天婷婷色| 少妇性按摩无码中文A片| 区美毛片子| 五月开行婷婷色五月| 中文字幕 码精品视频网站| 在线综合91| 亚洲精品V天堂中文字幕| 久久香蕉丁香| 色色色99| 色五月激情五月开心五月| 激情丁香久久| 九九人妻福利| 欧美日韩91| 色五月天成人| 夜夜夜夜撸夜夜操| 五月婷亚洲精品| 五月丁香综合伦理片| 99自拍视频网站| 激情九九九九| 五月丁香六月婷婷的女人| 乱乱av| 九九热最新地址| 色情五月婷婷| 狠狠人人婷婷| 日婷婷久久开心| 天天爽综合| 伦乱美欧| 夜夜操少妇| 天天人人综合| 草操网| 五月天激情国产综合婷婷婷就去爱| 九九www| 99惹 精品在线| 中文字幕日产A片在线看| 五月天成人在线视频网站| 色综合色| 先锋资源婷婷| 成人在线精品| 色色色无码| 婷婷综合色图| 天天插天天爱| 国产精产国品一二三在观看| 影音先锋91在线资源站| 久综合九综合99| 婷婷丁香五月综合网上| 五月婷婷天| 丁香五月精品| 四月丁香五月婷婷久久| 五月丁香综合在线| 丁香激情五月| 99热这里精品| 人妻久久久久久| 99热九九热| 亚洲精品亚洲人成人网| 成人电影一区| 丁香,开心成人,久久| 色色色com| 1024AV视频| ztEJj| 五月婷婷色在线| 伊人久久丁香狠狠婷婷综合香蕉| 丁香婷婷五月激情四射网| 中文字幕91,综合| 色综合中文| 五月综合激情| 亚洲色五月天是什么| 青草视频在线蜜臀| 五月天婷久精视频| 六月丁香五月婷婷| 色五月婷婷在线观看第一页舔| 丁香五月天91| www.久久久久久| 久热99久热| 婷婷干六月综合旧址| 人妖色AV色综合| 超碰超碰在线| 久热无码| 丁香亚洲色综合| 国产亚洲99久久精品熟女| 91久草五月天婷婷| 天天 青草 制服丝袜 在线| 涩五月婷婷| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 成人综合视频在线| 精品色色| 婷色视频| 亚洲Va成人| 婷婷五月天无码视频| 婷婷五月天手机版视频| 国产激情av| 日本五月婷婷| 碰久久精品w| 99碰碰中文| 日韩精品999| 婷婷久久五月| 婷婷五月婷婷| 青青青在线视频国产| 美女久久天堂| av中文在线| 深爱激情九九五月天 | 碰超亚洲| 91网站黄| 激情色情五月天| 性综合网| 日本一级淫| 激情婷婷五月天丁香| 色五月综合网| 丁香五月综合AV在线| www.色综合| 极品少妇高潮啪啪AV无码| 色婷婷五月综合色婷婷| 亚洲五月天第一综合干| 六月激情综合| 夜夜爽77777妓女免费下载| 中文字幕人妻AV| 色综合激情| 丁香婷婷少妇| 欧美va视频| 亚洲字幕AV一区二区三区四区| 久久网婷婷| 激情五月天久久丁香| 男人的天堂五月丁香| 26uuu国产| 99热精品在线观看| 嫩草视频在线观看| 国产精品色婷婷AV综合色色| 丁香网站| 色 免费网站视频| 岛国av电影网站| 99ri在线| 人人操女人| 久久机热这里只有| 思思热这里只有精品| 久久激情四射| 岛国av网| 亚洲久热| 亚洲人成网亚洲欧洲无码久久| 亚洲热久久| 国产毛片精品一区二区色欲黄A片| www.yw色| 直接看的av| 中文字幕在线免费观看视频| 99色网站| 伊久久婷婷| 国产91在线视频| www.sd-xiangsu.cpm| 色色日本欧美| 色99婷婷五月天| 天天爱天天做天天舔| 亚洲婷婷丁香| 国产午夜精品一区二区| 六月丁香六月婷婷欧美| 99欧美精品99日本精品| 五月天四色房丁香| 亚洲在线免费成人| 婷婷中文字幕版| 五月天激情电影| 黄网在线观看免费| 久婷婷色| 亚洲婷婷五月| www.婷婷六月天| 思思久久久婷婷| 色色影院aaaav| 丁香五月婷婷啪啪啪| 国精产品一区二区三区| 激情五月婷婷五月| 婷婷终合色图| 天天做天天爱综合| 91传媒无码人妻精| 五月丁香六月婷婷欧美综合| 久久sp免费视频| 色五月成人网| 久久综合站| 久久婷婷五月丁香| 99干免费视频| 五月停停激情网| 国自产拍偷拍精品啪啪一区二区| 婷婷六月丁香色| 日韩无码专区| 婷婷色播综合五月| 综合久久五| 亚洲九九九九| 大香蕉在线99热| 天天肏天天爽夜夜爽| 国产高清av黄色看片| 66久久视频在线| 色玖玖| 天天摸.天天mo| 激情综合一| 五月花综合网| 三级片AAA久久久AAA久久久AAA | 婷婷五月在线| 五月天播播中文字幕 | 包操45分钟网站| 日日夜夜婷婷| 亚洲精品小视频| 国产精品久久久久久喷浆| 丁香开心深爱| 热99玖玖99玖玖99九九| 日日操夜夜爽| 狼人久草| 久久国产一区二区三区| 丁香激情综合| 五月激情婷婷综合| 色婷婷狠狠| 婷婷激情鹿城五月天| 99婷婷精品推荐在线视频| www.思思99热| 国产资源在线视频| 九九香蕉网| 色婷婷综合五月| 狠狠干五月| 色婷婷综合网站| CAOBIBI| 丁香五月欧美色综合| 这里只有精品视频222| 天天综合色| 99热99这里有免费的精品| 伊人在线另类| 激情五月婷| 久久久人妻不卡| 欧美精品中文字幕亚洲专区| 人人干人人操人人摸| www.91在线观看| 丁香五月色| 五月婷丁香在线视频在线| 超碰人人插| 噜噜狠狠色综无码久久合欧美| 五月色网| 日韩AC在线免费观看| 婷婷五月情| 婷婷久久综合| 色婷婷91激情小说| 强伦轩人妻一区二区电影| 99re思思热这里| 2013AV天堂| 色99网站| 亚洲激情婷婷| 亚洲色爽| 久9热视频| 丁香五月成人| 五月婷婷免费在线视频| 人人操Av| 国产精品国产| 成人做爰黄A片免费看直播室男男| 99视频这里有精品| 丁香五月狠狠综合欧美| 色欲九区| 狠狠婷婷日韩| 色婷视频| 久re热视频| 开心婷婷五月花| 丁香六月婷婷开心婷婷网| 精品久久99| 精品99网站| 亚洲AV第二区国产精品| 逼特逼在线免费播放| 丁香五月天激情视频| 蜜臀A∨在线水帘洞| 色综合久久无码| 丁香婷婷色五月| 精品色色色| 六月丁香啪啪| 国产九九一区二区三区| 91国产精品视频播放| 啊V视频在线观看| 五月人人丁香婷婷五月人人丁香 | 97操碰碰无码视频| 欧美日韩二区在线| 超碰成人免费| 超碰激情网| 久久这里只有精品视频1| 3p久久| 九九操屄| 狠狠精品干练久久久无码中文字幕 | 中文字幕亚洲-区久久99婷婷| 天天综合精品| 九月婷婷久久| 五月婷婷日| 狠狠狠狠狠操| 影音先锋激情网| 99操中文视频| 亚洲99在线| 久久久久久久久久久久久久久久久精典| 女人天堂AV| 欧美乱码国产一级A片| 麻豆123区| 狠狠干五月天婷婷网| 五月婷婷日本| 少妇婷婷五月天| 狠狠婷婷色| 欧美性爱五月天| 九月婷婷激情| 99精品视频在线观看| 五月婷婷手机在线| 久久九九蜜| 丁香五月婷婷动漫视频| 久久黄色免费视频| 99热热九九| 国产亚洲99久久精品| 26UUU欧美激情一区二区| 亲子乱AV-区二区三区| 午夜不卡久久精品无码免费| 色婷婷丁香五月| 五月激情啪啪| 久久婷婷热| 丁香五月婷婷啪啪啪| 亚洲欧洲午夜成人精品av| Www,五月天| 色五月激情基地| 五月激情网五月综合网| 色婷婷五月天天天天天天天天天| 婷婷五月天伦理| anquye伊人| 色狠狠五月天| 亚州精品色情无码A片| 丁香五月婷婷亚洲综合精品| 久久久精品AV| 狠狠色丁香五月婷巨| 1024国产| 看婷婷五月天网| 综合玖玖性爱免费视频| 思恩热国产视频右线观看| 97婷婷丁香| 色色色色色色色色五月先| 97色热| 91色噜噜狠狠狠狠色综合| 看全色黄大色大片| 欧美色久| 日本精品在线噜噜噜| 伊人激情| 狠狠五月丁香色婷| 五月丁香啪啪综合网| 婷婷丁香激情五月天色色| xxxx五月激情| 天天综合亚洲综合| 色色色色色网站| 丁香五月六月婷婷怡红院| 99视频网| 丁香五月婷婷偷拍| 五月激情婷婷丁香| 亚洲爆乳无码精品AAA片蜜桃| 丁香五月激情性色郤| 91fuliwang| 欧美成人AAA片一区国产精品| 五月婷婷 激情按摩| 日本婷婷色| 午夜九九九九九九| 九九99免费视频| 9.1综合网| 襙比视频| 亚洲九九视频| 伊人久久婷婷| 久久激情中文| 婷婷影院欧美| 亚洲激情亚洲激情| 色婷婷丁香中文在线播放| 一级操逼内射在线视频| 99丁香五月婷| 五月天偷拍| 久久婷婷原创视频| 婷婷五月综合色拍| 99热网站在线观看| 日本五月婷婷| 日日色综合| 色五天综合| 丁香色影院| 97视频久久| 无码G高清天| 婷婷五点亚洲| 99热6精品| 激情五月丁香五月色| 美女xx不卡| 91人人操人人| 丁香五月天BBw| 青青草五月天| 欧美大片免费播放器| 丁香五月婷婷激情蜜桃| 婷婷丁香六月| 涩五月色婷婷| 97av在线视频| 五月丁香婷婷老司机| 操逼视频一区| 呦呦视频无码播放| Av大香蕉| 五月婷无码| 久久久WWW| 丁香五月网| 久色激情| 五月色情| 亚洲欧美成人在线| 中文乱子伦视频| 超碰99在线观看| 九九色插| 亚洲 综合中文| 丁香五月天网友自拍啪啪啪视频| 丁香五月婷婷色| 人碰91| 五月天色狠狠| 婷婷丁香五月综合免费视频百花| 99网| WWW,激情五月天,COM| 成人免费va| 91精品91久久久中77777| 婷婷丁香五月天熟女丝袜| 另类五月婷婷| 91欧美日韩综合| 超碰婷婷五月| 亚洲精99| 97香蕉碰碰人妻国产欧美| 国产99久| 玖玖九九99| 99热日本| 9 1在线视频| 色婷婷五月天成人网| www.婷婷亚洲基地| 国产九九一区二区三区| 日本五月视频| www色色色com| 久久久8| 夜夜夜夜夜操| 五月婷A V在线| 成人va在线观看视频| 狠狠色大香蕉| 久久婷婷东京热大香樵| 亚洲丁香五月在线观看| 五月综合久久| 色五月xxx| 97人人操人人| 伊人色五月| 五月丁香激情六月| 99视频在线9| 这里只有精品,日韩视频| 六月丁香综合| 亚洲色综久久五月| 五月天综合婷婷| 国产麻豆视频| 色五月开心开心五月激情五月| 夜夜骑夜夜撸| 大香蕉婷婷色| 91碰超| 97黑人精品区| 性色天| 天天射色五月天| 一级A片天天操夜夜操| 欧美在线视频99| 日日夜夜狠狠婷婷色| 成人AV在线网站| 99九九视频精彩在线| 婷婷夜夜操| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 99操久久| 精品久久9| 色婷五月天| 综合久久久婷| 丁香 亚洲 久久| 99视频在线观看视频| 五月丁香在线综合| 亚洲性爱AV| 婷婷亚洲欧美丁香五月| 久久丁香九| 99热九九热| 五月色婷婷夜色| 99热这里只有精品4| 久久青青日本视频| 婷婷六月色开 | 亚洲精品视频电影| 色色免费网站| 天搞天天天天天| 天天弄天天操| 色婷婷丁香五月高清在线| 五月天开心网| 狠狠色激情综合| 成人AV播放| 九九99一区| 中文字幕人妻AV| 99热免| 97精品自拍视频| 97九色视频| 9久久婷婷国产综合精品性色| 超碰色综合| 先锋五月婷婷丁香草草| 香蕉AV福利精品导航| 五月综合激情图片 | 色五月丁香五月五月婷婷| 五月停停丁香| www网站在线观看| 激情文学第四色婷婷丁香五月| 日韩成人无码片| 嫩草哈哈操| 99热69| 超碰超碰在线| 秋霞学生妹一二级| 天天操综合网站| 97人人操| 国产精品久久久久久久久久免费 | 夜夜骑夜夜撸| 婷婷综合中文字幕| 色五月婷婷大香蕉| 色八月婷婷| 婷婷六月伊人| 99久久极情精品一区| 大地9中文在线观看免费高清| 无码一区精品一区视频| 激情图片婷婷丁香五月| 91精品久久久久久77777| 日韩黄黄| 丁香五月天视频| 五月丁香五月综合欧美| 久久综合66| 五月丁香婷婷久久| 99热只有精品在线观看| 99九九精品视频| 国产毛多水多女人A片| 日韩有码一区| 日韩无码专区| 天天色,天天日,天天做| 思思精品视频| 婷婷久久婷婷色五月| 综合激情五月丁香| 色综合射婷婷| 99操| 超碰人人91| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色婷婷五月天中文字幕| 狠狠草婷婷| 91在线97视频| 婷婷丁香五月激情| 天天撸夜夜爽| 五月丁香婷婷色| 久9久视频精品| 久久精品婷婷| 丁香五月天在线| 欧美婷婷六月丁香综合色| 亚洲岛国电影| 色色色综合| 99在线精品视频在线观看| 开心 五月 综合| 97热超碰| 三人荫蒂添的好舒服A片| 日本天天色| 69er小视频| 色人久久| 婷婷五月丁香色播| 日曰躁夜夜躁2026| 丁香色色网| www.色五月| 色五月天天| 日韩另类在线观看| 天天日天天肏天天奸| 精品思思久久| 六月丁香色色| 婷婷五月无码| 亚洲婷婷乱乱丁香| 国产精品久久..4399| 色婷婷四虎| 强壮的公次次弄得我高潮A片日本 | 五月丁香久久网| 婷婷五月天综合色| 婷婷色五月天第7色| 天天综合网91| WWW.色婷婷.COM| 日本三级中国三级99人妇网站| 爽极品色| 爽极品色| 九九狠狠干| 婷婷的色色五月天| 2022人人操人人看| 九九视频在线观看| 超碰操日| 日韩在线aaa| 狠狠五月婷婷| ss99热| 国产精品天天狠天天看| 天天日夜夜夜操操操操| 色婷婷成人做爰A片免费看网站| 狠狠干综合| 深爱激情五月网| 另类在线| 成功精品影院| 99爱这里只有精品| 99久久国产宗和精品1上映| 91成人性爱视频| 色婷婷五月综合| 人妻综合网| 久久永久网址| 婷婷色导航| 激情美女五月天| 色色婷婷丁香| 五月丁香 啪啪啪| 无码少妇高潮喷水A片免费| 六月五月久久丁香| 99九九这里有免费视频| 日婷婷久久开心| 婷婷激情四射五月天| 99精品在这里| 最新日韩久热免费视频看看| 狠狠操性爱av| 国产淫熟妇| 亚洲看av的网站| 久久精品永久免费| 久久久久久综合五月婷婷| 蜜乳国产网站| 五月丁香啪啪啪啪| 色小说五月婷婷| 精品综合久久久久久五月天| 日韩六十路91性交电影| 九九久久99| 亚洲欧州色情在线观看| 婷婷五月天综合小说网| 5月丁香啪啪啪| 五月婷婷中文字幕| 色玖玖导航| 五月婷婷啪啪网| 91热在线| 精品久久久久久久人妻| 91综合网| 99精品在线播放| 婷婷丁香五| 久久五月天丁香花| 激情五月天视频| 丁香五月综合福利视频导航| 激情网色五月| 天天爽天天日| 这里只精品热在线18| 射久久丁香五月| 亚洲国产成人综合| 男女久久婷婷五月天| 亚洲另类在线观看| 五月天婷婷基地| 玖玖九九超碰| 9婷婷内射| 99碰超| 99er6| 99热在线观看精品免费| 丁香五月人妻| 激情99| 久777| 99热99| 激情综合区| 美臀自射自家人妻| 狠狠色综合网站久久久久| 99视频在线播放大全| 国产欧洲欧洲精品久久| www.久热| 亚洲天堂制| 日韩啪| 成人羞羞啪啪 全 视频| 激情五月丁香五月| 欧美人妻一区二区| 国产精品第一国产精品| 99网址在线观看| 亚洲另类日本| 乱女乱妇熟女熟妇综合网站 | 26uuu亚洲色| 色色色在线观看| 99欧美热| 日本欧美国产| 激情网五月| 人人操人人妻| 九九这里只有精品在线视频| 色婷婷久久综合丁香五月| 久热 91| 五月天sesese| 九九综合| 狠狠操性爱av| 亚洲综合网激情小说| 色 噜噜 九月 婷婷| 亚洲第一综合| 久久久激情视频| 可以看的av| 亚洲综合色五月| 久这里只有精品| 五月婷婷丁香| 超碰国产av| 久久天堂女人| 欧美私人家庭影院| 亚洲欧洲另类| 婷婷色五月天在线观看| 亚洲激情五月天| 五月色网| 五月婷色啪| 色综合爱综合| 天干天天干天天天天天| 青青草性爱视频| 色婷婷狠| 大香蕉久艹| 成人视频在线免费播放| 欧美69色| 日噜噜色| 日本在线wwww| 欧美色必爱| 桃色五月婷婷| 婷婷五月五月丁香| 激情操逼婷婷| 99在线精品免费视频| 夜精品无码A片一区二区蜜桃| 丁香五月电影| 五月婷婷综合网| 五月丁香天堂网| 综合网色| 欧美成人A片AAA片在线播放| 综合色五月| 婷婷激情五月| 开心激情综合| 99精品在线| 韩国19 主播内部福利vip免费播放| 黄页大全十八禁| 五月天另类激情在线| 99热久草| 婷婷六月激情| 九九99精品免费播放| 伊人激情AV一区二区三区| 天堂久久婷婷| 五月天伊人网| 精品九九久久| 九九热精品在线| 国产做A爰片毛片A片美国| 99啪啪视频| 99热这里是精品| 婷婷干六月综合旧址| 五月色精品| 懂色av粉嫩av蜜臀av| 久久精品在线| 日韩成人网址| 另类五月婷婷| 91色噜噜狠狠狠狠色综合| 碰超在线九色| 99爱在线精品视频免费观看| 欧美性生交A片免费看| 成人精品视频99在线观看免费| 九九Av| 色情综合网| 99色在线观看视频者| 欧美男女婷婷| 91大神操美女| 五月婷婷六月激情在线| 五月婷久久| 激情综合网五月婷婷| 五月六月丁香激情视频| 丁香六月综合激情| 五月天丁香啪啪综合| 五月婷婷综合激情| 99成人网站| 丁香五月在线播放| 五月激情丁香五月| 狠狠干婷婷| 五月天激情偷拍| 激情丁香五月婷婷| www,色中色| 日本WwW色偷偷丁香花久久久京东热| 很很干在线视频| 五月丁香色停停啪啪啪| 六月色丁香中文字幕| 伊人大综合| 99热九九热| 婷婷久久图片| 97色天堂| 热中文字幕| 婷婷五月色| 26uuu美女三级视频| 午夜天堂一区人妻| 六月婷婷AV| av在线中文| 天天橾日日橾夜夜橾17| WWW.桔色成人.COM| 丁香五月成人| 99热综合色图| 婷婷激情六月中文| 久久五月激情网| 一点色成人网| 色综合综合网| 玖玖激情网| 久久激情五月| 热无码A∨| 五月天色小说| AV性爱网| 秋霞性爱AV| 精品欧美一区二区三区久久久| 亚洲超碰中文字幕| 婷婷久久精品| 神马久久五月天| 色婷婷导航| 深夜A片| 婷婷六月色| 亚洲久久日| 五月婷婷六月激情网| AV九九| 啪精品| 颜射 精品性爱av| 日日干天天爽| 97超级操操| 99精品视频在线| 婷婷五月天色色| 亚洲视频另类| 手机看片日日做夜夜| 狠狠色婷婷777| 黄页免费一级视频懂色| 欧美综合五月丁香六月婷| 99热.com| 日本久久人| 5月婷婷五月天| 欧美顶级少妇做爰HD | 999热在线视频| 婷婷色六月| 99九九99九九九视频精彩| www.五月天激情| 国产看真人毛片爱做A片| 美女天天艹人人爽| 日韩成人中文字幕| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 色色色色色五月| 99热这里只有精品33| 五月天啪啪啪| 欧洲综合视频| 天堂草在线观看| 九九精品自拍| 激情五月婷婷丁香综合网| 九九99免费视频| 亚洲丁香五月深爱五月| 开心五月婷婷婷美女| 中文字幕无码人妻少妇免费视频| 看全色黄大色大片| 国产26uuu视频| 激情中文在线| 激情6月| 小视频久久久aaa| 天天爽日日爽夜夜爽| 免费AAAAA网| 停停六月 综合| 亚洲日韩一页精品发布| 九色91视频| 一级二级香港秋霞欧美欧美秋霞| 五月丁香综合啪啪| 97狠狠碰| 欧美性猛交XXXX乱大交极品| 婷婷永久在线| 九九热视频精品| 五月天开心色情网| 91操片| 久久五月热| 噼里啪啦在线观看免费完整版视频| 丁香五月六月婷婷综合| 五月天色婷婷视频| 人妻爽爽爽久久久久久久久| 亚洲四色五月| 亚韩精品视频1区| 一区二区三区视频| 午夜爱爱网站| 97色色综合| 久久久精品色| 色色色色色日韩午夜激情| 99精品视频免费观看| 婷婷色偷拍| 久久久久久综合88| 色综天天综合| 中文毛片无遮挡高潮免费| 婷婷五月免费在线| 婷婷福利影院| 99色在线| 欧美色色色| 久久九色| 日本成人噜噜| 99热插| www五月| 久久五月网| 欧美日韩婷婷五月天| 五月丁香网站| 任你爽视频| 国产67194| 五月综合亚洲| 微拍92| 久久久婷婷婷| 欧洲日韩一区二区三区| 国产探花一片区| 色婷婷成人网| 久久99热免费| 99色在线视频观看| 久久综合五月天| 天天拍天天做视频| 天堂网亚洲色图| 久久丁香五月| 高清无码 一区 二区 三区| 影音先锋男人av资源站| 99久在线观看| 亚洲婷婷丁香五月亚洲| 五月综合激情图片| AA丁香综合激情| 五月丁香啪啪啪啪| 九九热精品99| 九九在线视频| 五月天另类小说久久小说网| 98毛片| 五月丁香综合网色欲| 丁香六月色婷婷欧美| 久久er视频6| 欧美男女婷婷| 91九色精品熟女内射| 精品无码色欲AV| 玖玖午夜视频| 99精品偷自拍| 欧美人人操| 激情www.98com| 91九色欧美| 天天揷综合网| 久久9视频欧美| 婷婷五月色亚洲| 婷婷五月天综合网| 欧美黄色一级录像| 亚洲成人网站在线观看| 丁香婷婷中文字幕| 五月色丁香综合| 亚洲狠9| 91色综合网| 色婷五月| 99啪啪视频| 五月婷婷之综合激情在线| 亚洲综合网 665566| 99热99热不卡| 欧美群妇大交乱婬网| 欧美三级韩国三级日本三斤| 99∨VTV| 欧美五月婷婷| 能看的av片| 日韩亚洲视频| 日韩综合久| 婷婷色色网站| 五月天国产| 久久婷婷五月天激情四射| 五月天婷婷影院影院| 亚洲性受XXXX五月丁香| 第五婷婷伊人丁香| 欧美97超碰| 婷婷五月丁香五月| 淫视馆AV在线| 深爱激情丁香五月| 日韩狠狠色婷婷| 五月天婷婷色在线视频免费观看| 天堂网色婷婷| 在线播放 精品| 色色色网站| 亚洲久久激情| 久草视频一,二三四| 夜夜做夜夜愛| 国产精品色色色色| 99免费热在线精品| 五月婷婷激情综合| 天色综合网| 欧美69色| ai97re99一本| 专区无日本视频高清8| 日韩AAAAA| 99色热视频| 91成人电影| 五月综合激情视频在线| 久久这里只| 我要看激情五月天| 国产精品色一哟哟| 激情伊人五月婷婷久久| 丁香五月成人论坛| av婷婷丁香 六月| 狠狠色97| 欧洲综合视频| 成人av在线网址| 超级碰碰91| 婷婷五月天网址| 久9热视频| 六月丁香婷婷色狠狠久久| 九九性爱网| 狠狠草网| 99资源在线视频| 99碰| 色99自拍| 久久婷婷网站| 五月天成人综合| 婷婷久久性爱| 深爱五月天婷综合| 久婷婷婷| 色婷婷在线电影| 亚洲色啪| 可以免费看AV网站| 五月天色不卡| 婷五月天| 激情丰满熟妇五月| 丁香婷婷五月六月久久| 久久精彩视频18| 99超级碰免费视频| anquye五月| 久久久久久久人妻| 热婷婷久| 99视频精品8| 丁香婷婷六月天| 国内精品免费一区二区2009| 99视频内射三四| 丁香六月激情综合| 99热久久这里只有精品| 热久久91| 99re8这里只有精品99re8热视频| 无遮挡国产高潮视频免费观看| 国产成人AV在线播放| 互月天综合| 人人爱国产| 婷婷五月天天激情| 亚洲色爽| aa久久| 欧美三级级99久久| 婷婷色五月天综合网| 色五月婷婷五月天| 99ri精品在线| 色小说五月天| 国产亚洲精品久久久久苍井松 | 亚洲永远av在线播放| 精品一区久热| 人妻激情视频| jiujiu热在线视频| 五月天婷婷黄色| 操一操干一干| 激情婷婷六月天| 强辱丰满人妻HD中文字幕| 丁香五月天激情四射网络不好| 91超级碰在线| 亚州激情在线视频| 五月草影视| 日本久久高清| 性做爰1一7伦| 91打屁股视频网站| 天天色月| 婷婷噜噜| 在线成人网站| 综合色图婷婷| 97五月天婷婷综合激情网| 综合激情五月婷婷| 午夜婷婷五月天在线| 99视频| 天天日夜夜B久久| 九九热免费视频| 五月丁香久久网| 9久热在线视频精品| 大香蕉人人网| 亚洲精品婷婷| 97操碰日本女人| 伊人五月成人| 操逼五月婷婷| 狠狠五月天婷婷激情网。| 强壮公让我夜夜高潮A片视频| 色婷婷婷av| 五月天综合久久| 天天天久久久| 五月亭亭直播| 深爱五月激情综合| 婷婷五月成人| 五月伊人综合| 99精品色| 天天操夜夜爽天天操| 俺去也五月天婷婷| 日日干五月天婷婷| 五月色影院| 久久色频| 久热超碰| 婷婷色色播五月天| 日本三级中国三级99人妇网站| 九九视频这里只有精品在线播放 | 五月丁香六月激情综合网| 婷婷五月天成人| 婷婷五月天激情文学小说| 丁香激情五月| 狠狠搞综合色| 人操综合| 久久成人人妻| 99精品女人天堂| 99热| 色墦五月丁香| 五月综合六月丁| 人妻内射视频| 色色色色色五月| 久久aaaa片一区二区| 久久久五月天| 激情五月天视频| 天天碰夜夜爽| 激情5月婷婷| 深爱激情九九五月天 | 色婷婷国色天香综合| 激情五月婷婷综合网| 亚洲色婷婷视频| av免费在线网站| 亚洲旡码| sS丁香五月婷婷| 亚洲中文字幕在线观看| 亚洲 六月 综合| 色色丁香色五月| 五月丁香久久网| 日操熟女| 天天做天天爱天天摸| 伊人91| 99在线视频播放| 丁香婷五月天开心六月| 5Www色5夜| 夜夜骑福利资源| 国产偷人爽久久久久久老妇APP| 久久五月丁香伊人青草| 女婷久久| 91人人网| 五月婷婷中文字幕| yiqicaoav| 色亭亭五月天丁香综合AV - 百度 - 百度 | 五夜丁香| 天天做天天爱天天要| 日韩AAAAA| 99热精品在线| 日韩AV在线免费观看| 色婷婷五月天在线观看| 色播色丁香五月| 色婷婷激情四射视频| 欧美成人精品A片免费一区99| 五月天基地| 99色日本| 九九成人视频| 成人色色视频| 91久久综合亚洲鲁鲁五月天| 丁香五月综合| 五月天国产婷婷精品视频在线| 26UUU欧美激情一区二区| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | AA片在线观看视频在线播放 | 精品人妻久久久久久| 五月婷婷六月丁香激情深爱| 日本一级淫| 色五月激情| 丁香伊人综合| 久久人人九| 99热在线观看| 99这里有精品| 噜噜噜噜婷婷五月天| 啪啪视频99| 夜夜撸日日操| 开心色五月天久久久久久久| 99热99ai| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 五月婷婷中文字幕| 激情婷婷五月基地| 婷婷五月天成人在线视频| 99热大| 在线99热| 影音先锋91资源站| 婷婷激情五月天在线视频| 五月天激情网址| 97操操| 26uuu丁香婷婷五月| 婷婷深爱网| 91久久久久久久久18| 色五月婷婷91在线| 婷婷五月天视频| 狠狠爱五月婷婷| 丁香五月天啪啪激情综和网| 丁香色色色| 亚州激情九月| 中文字幕丰满孑伦无码专区| AV在线中文| 深爱激情69热| 五月激情另类| 日本久久精品| 青青色com久久| 国产,欧美,学生妹,视频| 97久久人人操| 妻久久人久久| 综合色五月天| 丁香婷婷大香蕉| 狠狠爱婷婷丁香| 久久艹 五月天| 久久色情| 91热爆在线| 79精品视频在线观看,| 天天干天天 亚洲| 色色日韩网| 亚州操操| 激情性爱网站| 97人妻超级碰碰碰碰碰| 在线播放成人网站| 欧美综合五月丁香六月婷| 激情五月天在线视频|