欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ARMATA:自回歸序列生成在多智能體任務(wù)分配中的原理與實踐

ARMATA:自回歸序列生成在多智能體任務(wù)分配中的原理與實踐 1. 項目概述當(dāng)多智能體遇上自回歸決策最近在搞多智能體協(xié)同項目發(fā)現(xiàn)任務(wù)分配這塊真是塊硬骨頭。傳統(tǒng)的集中式調(diào)度器在動態(tài)、大規(guī)模場景下要么算力撐不住要么通信開銷太大。就在琢磨有沒有更“聰明”的分布式方法時我接觸到了“ARMATA”這個思路——Auto-Regressive Multi-Agent Task Assignment翻譯過來就是“自回歸多智能體任務(wù)分配”。這名字聽起來有點學(xué)術(shù)但核心思想其實挺直觀的讓每個智能體像人一樣根據(jù)當(dāng)前已經(jīng)“說出口”即已分配的任務(wù)序列來預(yù)測自己接下來該“說”承擔(dān)什么任務(wù)整個過程是順序的、自回歸的。簡單來說ARMATA試圖用序列決策的視角來解決多對多的任務(wù)分配問題。它不追求一個中央大腦瞬間給出全局最優(yōu)解而是讓每個智能體在局部信息下通過一個自回歸模型依次做出“我要做這個任務(wù)”的決策最終形成一個連貫、高效的任務(wù)分配序列。這種方法特別適合那些任務(wù)有先后依賴、環(huán)境動態(tài)變化或者智能體間通信受限的場景比如無人機(jī)集群搜索救援、分布式機(jī)器人倉庫分揀甚至是游戲里多個角色的協(xié)同控制。2. 核心思路拆解從全局優(yōu)化到序列生成傳統(tǒng)的多智能體任務(wù)分配Multi-Agent Task Assignment, MATA問題通常被建模為一個組合優(yōu)化問題比如廣義分配問題GAP或多維背包問題。主流解法包括拍賣算法、合同網(wǎng)協(xié)議、基于優(yōu)化的方法如混合整數(shù)線性規(guī)劃等。這些方法各有優(yōu)劣但一個共同的挑戰(zhàn)是在智能體數(shù)量N和任務(wù)數(shù)量M都很大時計算復(fù)雜度和通信復(fù)雜度會急劇上升難以實時響應(yīng)動態(tài)環(huán)境。ARMATA的思路來了個“降維打擊”。它不再把任務(wù)分配看作一個需要同時求解N*M個二元變量的靜態(tài)優(yōu)化問題而是將其視為一個序列生成問題。想象一下我們有一個任務(wù)列表需要決定哪個智能體在什么時間點去執(zhí)行哪個任務(wù)。ARMATA的做法是按時間步或決策步一個一個地“吐出”分配決策。在每一步模型會考慮1所有待分配的任務(wù)2所有智能體的當(dāng)前狀態(tài)位置、電量、已承擔(dān)任務(wù)等3之前所有步已經(jīng)做出的分配決策。然后它預(yù)測下一步最應(yīng)該將哪個任務(wù)分配給哪個智能體。這里的“自回歸”Auto-Regressive是關(guān)鍵。它意味著當(dāng)前步驟的決策嚴(yán)格依賴于前面所有步驟已生成的決策序列。這就像寫文章下一個詞寫什么取決于前面已經(jīng)寫好的所有詞。這種建模方式帶來了幾個潛在優(yōu)勢復(fù)雜度可控每一步的決策是在一個固定維度的輸入空間任務(wù)特征智能體特征歷史決策編碼中進(jìn)行的避免了傳統(tǒng)方法中隨N和M指數(shù)增長的動作空間。自然處理序列依賴如果任務(wù)本身有先后順序必須先A后B或者智能體執(zhí)行任務(wù)有準(zhǔn)備時間這種序列生成的模式能很自然地捕捉和尊重這些約束。分布式潛力雖然訓(xùn)練可能需要一個中心模型來學(xué)習(xí)全局協(xié)同策略但在執(zhí)行時理論上可以部署為每個智能體持有相同的策略網(wǎng)絡(luò)。每個智能體根據(jù)自己觀測到的局部信息全局信息經(jīng)過通信或估計得到和已知的歷史分配獨立運行該網(wǎng)絡(luò)產(chǎn)生決策。通過設(shè)計巧妙的特征表示和共識機(jī)制可以避免沖突實現(xiàn)去中心化或部分中心化的決策。當(dāng)然這種思路也引入了新挑戰(zhàn)比如如何設(shè)計模型結(jié)構(gòu)來有效編碼歷史和全局信息如何訓(xùn)練以使生成的整個序列的累計收益如總?cè)蝿?wù)完成時間、總能耗最優(yōu)而不是每一步的即時收益最優(yōu)。2.1 核心組件與工作流程一個典型的ARMATA框架包含以下幾個核心組件任務(wù)與智能體編碼器將每個任務(wù)如目標(biāo)位置、優(yōu)先級、資源需求、時間窗和每個智能體如當(dāng)前位置、速度、能力、剩余資源編碼成固定長度的特征向量。這是模型理解環(huán)境的基礎(chǔ)。歷史決策編碼器這是自回歸特性的核心。需要將之前t-1步已經(jīng)產(chǎn)生的分配決策即(智能體i, 任務(wù)j)對序列編碼成一個上下文向量。常用方法包括循環(huán)神經(jīng)網(wǎng)絡(luò)RNN/LSTM/GRU、Transformer編碼器或者簡單的嵌入池化。評分函數(shù)策略網(wǎng)絡(luò)基于當(dāng)前編碼后的任務(wù)特征、智能體特征和歷史上下文計算一個“得分矩陣”。這個矩陣的每個元素S_{i,j}代表了在當(dāng)前步將任務(wù)j分配給智能體i的“適宜度”得分。決策模塊根據(jù)評分矩陣選擇下一步的分配。可以是確定性的貪心選擇選得分最高的(i,j)對也可以是帶探索的采樣如用Gumbel-Softmax或基于得分概率化后采樣。序列終止判斷決定何時停止生成分配??梢允钱?dāng)所有任務(wù)都被分配或者達(dá)到最大步數(shù)。其工作流程是一個典型的自回歸循環(huán)步驟0初始化。所有任務(wù)標(biāo)記為“未分配”所有智能體狀態(tài)已知歷史決策序列為空。步驟t編碼器工作生成當(dāng)前所有未分配任務(wù)的特征、所有智能體的特征并將前t-1步的歷史決策編碼成上下文向量c_{t-1}。策略網(wǎng)絡(luò)工作綜合上述信息輸出一個N x M_t的評分矩陣M_t是當(dāng)前未分配任務(wù)數(shù)。決策模塊工作根據(jù)評分矩陣選擇一對(智能體i*, 任務(wù)j*)作為第t步的分配決策。更新環(huán)境將任務(wù)j*標(biāo)記為“已分配”更新智能體i*的狀態(tài)例如將其位置虛擬移動到任務(wù)點扣除相應(yīng)資源并將(i*, j*)加入歷史決策序列。重復(fù)步驟t直到滿足終止條件。2.2 與傳統(tǒng)方法的對比為了更直觀地理解ARMATA的定位我們將其與幾種經(jīng)典方法做個對比特性集中式優(yōu)化 (如MILP)分布式拍賣/合同網(wǎng)ARMATA (自回歸序列生成)決策視角全局、靜態(tài)、一次性局部、動態(tài)、迭代協(xié)商全局、動態(tài)、序列化核心優(yōu)勢理論最優(yōu)解小規(guī)??蓴U(kuò)展性好通信靈活平衡復(fù)雜度與協(xié)同性自然處理序列主要劣勢計算復(fù)雜度高不動態(tài)可能陷入局部最優(yōu)通信開銷仍存訓(xùn)練復(fù)雜依賴高質(zhì)量仿真數(shù)據(jù)實時性差求解時間長中等依賴協(xié)商輪次潛在好單步前向傳播快處理任務(wù)依賴需顯式建模為約束困難天然適合歷史編碼包含依賴適用場景小規(guī)模、離線規(guī)劃通信尚可的大規(guī)模動態(tài)場景大規(guī)模、動態(tài)、任務(wù)間有關(guān)聯(lián)的場景注意ARMATA并非要取代所有傳統(tǒng)方法而是提供了一種新的范式。它在問題可以自然表述為序列決策且對長期協(xié)同收益有要求時可能表現(xiàn)出獨特優(yōu)勢。3. 關(guān)鍵技術(shù)實現(xiàn)細(xì)節(jié)要把ARMATA從想法落地有幾個技術(shù)細(xì)節(jié)必須摳明白。這部分我會結(jié)合自己嘗試復(fù)現(xiàn)和實驗的經(jīng)驗分享一些關(guān)鍵點的實現(xiàn)思路和避坑指南。3.1 特征工程如何讓模型“看懂”世界模型再強(qiáng)大喂進(jìn)去的數(shù)據(jù)不對也白搭。對于ARMATA輸入特征的設(shè)計至關(guān)重要。智能體特征通常包括靜態(tài)屬性和動態(tài)狀態(tài)。靜態(tài)屬性能力向量如最大負(fù)載、傳感器類型、最大速度、唯一ID的嵌入向量。動態(tài)狀態(tài)當(dāng)前位置坐標(biāo)、當(dāng)前速度、剩余能量/電量、當(dāng)前負(fù)載、已分配但未完成的任務(wù)列表可編碼為摘要向量。實操心得位置信息非常重要。除了絕對坐標(biāo)我通常會計算智能體到所有未分配任務(wù)的相對距離和方位角作為額外的特征。這相當(dāng)于給了模型一個“空間注意力”的提示。另外剩余能量最好做歸一化如除以最大能量避免數(shù)值范圍差異過大影響訓(xùn)練。任務(wù)特征描述任務(wù)本身的需求和約束?;緦傩匀蝿?wù)位置、優(yōu)先級數(shù)值、預(yù)計耗時、所需資源類型及數(shù)量。時間約束最早開始時間、最晚結(jié)束時間截止期。對于動態(tài)環(huán)境可能還有“出現(xiàn)時間”。依賴關(guān)系前置任務(wù)列表。這是處理復(fù)雜依賴的關(guān)鍵。一種方法是為每個任務(wù)增加一個特征表示“還有多少個前置任務(wù)未分配/未完成”。實操心得如果任務(wù)有多個資源需求如需要特定工具且消耗電量將其編碼為一個多維度資源需求向量與智能體的能力向量進(jìn)行匹配度計算如點積或余弦相似度可以將這個匹配度作為先驗特征輸入能顯著加速模型學(xué)習(xí)“匹配”規(guī)則。歷史決策編碼這是實現(xiàn)自回歸的關(guān)鍵。目標(biāo)是讓模型記住“已經(jīng)分配了哪些任務(wù)給哪些智能體”。簡單方法使用一個循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。每一步將當(dāng)前步選出的(智能體i, 任務(wù)j)的聯(lián)合嵌入向量例如將智能體ID嵌入和任務(wù)ID嵌入拼接后過一個線性層作為輸入更新RNN的隱藏狀態(tài)。這個隱藏狀態(tài)就是歷史上下文的編碼。更強(qiáng)大的方法使用Transformer編碼器。將之前每一步的(智能體任務(wù))聯(lián)合嵌入作為一個序列輸入Transformer編碼器用最后一個位置的輸出或者所有位置輸出的均值作為上下文編碼。Transformer的自注意力機(jī)制能更好地捕捉歷史決策間的長程依賴。避坑指南歷史序列會隨著決策步變長而變長。使用RNN要小心梯度消失/爆炸。使用Transformer則要注意計算開銷。在實際中如果任務(wù)數(shù)很多比如幾百個可能需要對歷史序列進(jìn)行截斷或采樣只保留最近N步的決策但這可能會損失長期依賴信息。一個折中方案是使用Transformer-XL或Compressive Transformer這類能處理超長序列的架構(gòu)。3.2 模型架構(gòu)選擇與設(shè)計ARMATA的核心是一個參數(shù)化的策略網(wǎng)絡(luò)。主流選擇有兩種基于注意力機(jī)制的模型和基于圖神經(jīng)網(wǎng)絡(luò)的模型。1. 注意力機(jī)制模型Transformer變體這是目前序列生成任務(wù)的標(biāo)配??梢詫⑺兄悄荏w和所有未分配任務(wù)的特征視為一個集合歷史決策上下文作為一個全局向量。通過多頭注意力機(jī)制讓每個智能體-任務(wù)對都能“關(guān)注”到其他所有智能體、任務(wù)以及歷史信息從而計算出一個綜合的匹配得分。優(yōu)點表達(dá)能力強(qiáng)能建模復(fù)雜的全局交互。缺點計算復(fù)雜度相對較高對大量智能體和任務(wù)N*M很大時注意力矩陣可能過大。實現(xiàn)提示可以采用編碼器-解碼器架構(gòu)。編碼器處理智能體和任務(wù)特征解碼器自回歸在每一步結(jié)合歷史上下文通過交叉注意力與編碼器輸出交互生成當(dāng)前步的評分。2. 圖神經(jīng)網(wǎng)絡(luò)模型這是一個非常自然的建模方式。可以構(gòu)建一個二分圖一邊是智能體節(jié)點一邊是任務(wù)節(jié)點。智能體節(jié)點和任務(wù)節(jié)點之間的邊表示“分配可能性”。智能體-智能體之間、任務(wù)-任務(wù)之間也可以根據(jù)空間鄰近性或依賴關(guān)系添加邊。GNN通過消息傳遞聚合多跳鄰居信息為每個節(jié)點學(xué)習(xí)豐富的表示最終基于智能體節(jié)點和任務(wù)節(jié)點的表示計算配對得分。優(yōu)點結(jié)構(gòu)歸納偏置強(qiáng)特別適合關(guān)系型數(shù)據(jù)。計算效率可能更高因為可以利用圖的稀疏性。缺點需要精心設(shè)計圖結(jié)構(gòu)對于動態(tài)變化的圖任務(wù)完成、新任務(wù)出現(xiàn)需要動態(tài)更新圖。實操心得在動態(tài)場景中我常用一個“全局節(jié)點”連接到所有智能體和任務(wù)節(jié)點。這個全局節(jié)點可以匯聚全局信息并作為歷史上下文信息的載體在每一步更新時將上一步的決策信息如哪個智能體-任務(wù)對被激活通過該全局節(jié)點傳播給整個圖。3. 混合架構(gòu)也可以結(jié)合兩者比如用GNN作為編碼器來提取智能體和任務(wù)的特征然后將這些特征連同歷史上下文一起輸入一個基于注意力的解碼器進(jìn)行自回歸決策。選擇建議如果智能體和任務(wù)的數(shù)量在幾十到一百左右且交互復(fù)雜Transformer是穩(wěn)妥的選擇。如果數(shù)量更大幾百或者實體間的空間/拓?fù)潢P(guān)系非常重要GNN可能更高效且性能更好。最好的方法是先用小規(guī)模問題快速原型驗證兩種架構(gòu)。3.3 訓(xùn)練策略如何教會模型協(xié)同訓(xùn)練一個ARMATA模型是最大的挑戰(zhàn)因為我們需要優(yōu)化的是整個分配序列的最終累積獎勵如總?cè)蝿?wù)完成時間、總行駛距離的負(fù)值而每一步的決策又是自回歸的。這本質(zhì)上是一個強(qiáng)化學(xué)習(xí)RL問題更具體地說是一個序列決策優(yōu)化問題。1. 強(qiáng)化學(xué)習(xí)范式最直接的訓(xùn)練方法是使用策略梯度方法如REINFORCE或PPO。狀態(tài)當(dāng)前未分配任務(wù)特征、所有智能體狀態(tài)、歷史決策編碼。動作從所有可能的(智能體未分配任務(wù))對中選擇一個。獎勵通常是一個稀疏獎勵在序列結(jié)束時給出。例如負(fù)的總?cè)蝿?wù)完成時間makespan。也可以設(shè)計中間獎勵如成功分配一個高優(yōu)先級任務(wù)給予小獎勵但需謹(jǐn)慎以免引導(dǎo)模型追求短期利益。挑戰(zhàn)動作空間是組合且動態(tài)變化的隨著任務(wù)被分配未分配任務(wù)集會變小。獎勵稀疏探索困難。技巧使用基線Baseline來減少方差至關(guān)重要。這個基線可以是一個價值網(wǎng)絡(luò)Critic它估計當(dāng)前狀態(tài)下從當(dāng)前步開始到結(jié)束的期望累積獎勵。用優(yōu)勢函數(shù)A R - V來更新策略網(wǎng)絡(luò)能穩(wěn)定訓(xùn)練。此外課程學(xué)習(xí)很有用先從簡單場景智能體少、任務(wù)少、無依賴開始訓(xùn)練逐步增加復(fù)雜度。2. 監(jiān)督學(xué)習(xí)與模仿學(xué)習(xí)如果我們有專家演示數(shù)據(jù)例如由傳統(tǒng)優(yōu)化算法在大量小規(guī)模實例上求出的最優(yōu)或近似最優(yōu)分配序列那么可以直接用監(jiān)督學(xué)習(xí)進(jìn)行行為克隆。將專家演示的每一步?jīng)Q策(i, j)作為標(biāo)簽訓(xùn)練模型去預(yù)測這個分布。優(yōu)點訓(xùn)練穩(wěn)定、快速。缺點嚴(yán)重依賴專家數(shù)據(jù)的質(zhì)量和覆蓋度。對于大規(guī)模復(fù)雜問題獲取專家數(shù)據(jù)本身就很困難。而且模型性能上限被專家數(shù)據(jù)限制無法超越專家。混合方法可以先使用模仿學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練讓模型初步學(xué)會合理的分配模式然后再用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)優(yōu)化以超越專家策略。這是我實踐中非常推薦的一條路徑。3. 訓(xùn)練中的工程細(xì)節(jié)數(shù)據(jù)生成需要構(gòu)建一個仿真環(huán)境能夠隨機(jī)生成不同規(guī)模、不同配置智能體數(shù)量、任務(wù)數(shù)量、任務(wù)依賴、空間分布的問題實例。這是訓(xùn)練和評估的基礎(chǔ)。批量訓(xùn)練由于是序列生成每個實例生成的序列長度不同。需要做好padding和masking確保注意力機(jī)制或RNN不會處理到padding部分。貪婪解碼與采樣在訓(xùn)練時為了鼓勵探索通常使用采樣如根據(jù)評分矩陣的softmax概率進(jìn)行采樣來生成動作。在評估和部署時則使用貪婪解碼直接選得分最高的動作以獲得確定性策略。多目標(biāo)優(yōu)化實際場景往往需要權(quán)衡多個目標(biāo)如最小化總時間、最大化任務(wù)完成率、均衡各智能體負(fù)載。可以在獎勵函數(shù)中設(shè)計加權(quán)和或者使用多目標(biāo)強(qiáng)化學(xué)習(xí)算法。4. 實戰(zhàn)演練一個簡化版ARMATA實現(xiàn)理論說了這么多我們動手實現(xiàn)一個簡化版本的ARMATA用于解決一個經(jīng)典的“多機(jī)器人任務(wù)分配”問題在一個二維平面上有N個機(jī)器人和M個任務(wù)點。每個機(jī)器人從各自起點出發(fā)速度相同。每個任務(wù)點只需一個機(jī)器人訪問一次。目標(biāo)是找到一種分配和訪問順序使得最后一個機(jī)器人返回其起點或完成最后一個任務(wù)的時間最短即最小化makespan。我們假設(shè)任務(wù)間無依賴。我們將采用基于注意力機(jī)制的模型并用強(qiáng)化學(xué)習(xí)PPO進(jìn)行訓(xùn)練。4.1 環(huán)境搭建首先我們需要一個簡單的仿真環(huán)境。import numpy as np import gym from gym import spaces import torch class MultiRobotTaskEnv(gym.Env): def __init__(self, num_robots3, num_tasks5, field_size10): super().__init__() self.num_robots num_robots self.num_tasks num_tasks self.field_size field_size # 動作空間: 每一步從所有 (機(jī)器人, 未分配任務(wù)) 對中選擇一個。 # 動作索引 robot_id * num_remaining_tasks task_idx_in_remaining # 這是一個動態(tài)離散空間最大值為 (num_robots * num_tasks - 1) self.action_space spaces.Discrete(num_robots * num_tasks) # 狀態(tài)空間: 我們將狀態(tài)構(gòu)造為模型可處理的張量這里先定義為Dict空間便于理解 # 實際我們會用特征提取器 self.observation_space spaces.Dict({ robot_pos: spaces.Box(low0, highfield_size, shape(num_robots, 2)), robot_id: spaces.Box(low0, highnum_robots-1, shape(num_robots, 1)), # 實際用one-hot task_pos: spaces.Box(low0, highfield_size, shape(num_tasks, 2)), task_status: spaces.MultiBinary(num_tasks), # 0:未分配, 1:已分配 history_actions: spaces.Box(low-1, highnum_robots*num_tasks, shape(num_tasks,), dtypenp.int32) # 存儲歷史動作索引-1填充 }) self.reset() def reset(self): # 隨機(jī)初始化機(jī)器人和任務(wù)位置 self.robot_pos np.random.rand(self.num_robots, 2) * self.field_size self.task_pos np.random.rand(self.num_tasks, 2) * self.field_size self.task_assigned np.zeros(self.num_tasks, dtypebool) self.robot_paths [[] for _ in range(self.num_robots)] # 記錄每個機(jī)器人分配到的任務(wù)序列 self.history_actions np.full(self.num_tasks, -1, dtypenp.int32) # 最多分配num_tasks步 self.current_step 0 self.done False return self._get_obs() def _get_obs(self): # 構(gòu)造觀察值這里返回一個字典實際中會轉(zhuǎn)換為模型需要的張量格式 obs { robot_pos: self.robot_pos.copy(), robot_id: np.arange(self.num_robots).reshape(-1, 1), # 簡單處理實際應(yīng)用one-hot task_pos: self.task_pos.copy(), task_status: self.task_assigned.copy().astype(np.float32), history_actions: self.history_actions.copy() } return obs def step(self, action): # 解析動作action是一個整數(shù)映射到(robot_idx, task_idx_in_remaining) remaining_task_indices np.where(~self.task_assigned)[0] num_remaining len(remaining_task_indices) if num_remaining 0: # 所有任務(wù)已分配可以結(jié)束 self.done True # 計算獎勵makespan的負(fù)值 reward -self._compute_makespan() return self._get_obs(), reward, self.done, {} robot_idx action // num_remaining task_relative_idx action % num_remaining # 檢查動作有效性 if robot_idx self.num_robots: # 無效動作給予懲罰并結(jié)束 reward -100.0 self.done True return self._get_obs(), reward, self.done, {} task_idx remaining_task_indices[task_relative_idx] # 執(zhí)行分配 if not self.task_assigned[task_idx]: self.task_assigned[task_idx] True self.robot_paths[robot_idx].append(task_idx) self.history_actions[self.current_step] action self.current_step 1 reward 0.0 # 中間步驟獎勵為0僅最終結(jié)算 else: # 重復(fù)分配無效任務(wù)嚴(yán)重懲罰 reward -50.0 self.done True # 檢查是否所有任務(wù)都已分配 if np.all(self.task_assigned): self.done True reward -self._compute_makespan() # 最終獎勵為負(fù)的makespan return self._get_obs(), reward, self.done, {} def _compute_makespan(self): # 簡化計算假設(shè)機(jī)器人勻速直線運動速度為1。 # 計算每個機(jī)器人訪問其分配到的任務(wù)序列的總路徑長度包括從起點到第一個任務(wù)以及任務(wù)間移動。 makespan 0.0 for i in range(self.num_robots): path self.robot_paths[i] if not path: continue total_dist 0.0 current_pos self.robot_pos[i] for task_id in path: task_pos self.task_pos[task_id] total_dist np.linalg.norm(task_pos - current_pos) current_pos task_pos makespan max(makespan, total_dist) # makespan是最后一個機(jī)器人完成的時間 return makespan def render(self, modehuman): # 可選可視化 pass4.2 模型定義接下來我們定義一個基于注意力機(jī)制的ARMATA策略網(wǎng)絡(luò)。import torch.nn as nn import torch.nn.functional as F class ARMATA_Model(nn.Module): def __init__(self, robot_feat_dim, task_feat_dim, hidden_dim128, n_heads4, n_layers3): super().__init__() self.robot_feat_dim robot_feat_dim self.task_feat_dim task_feat_dim self.hidden_dim hidden_dim # 特征投影層 self.robot_encoder nn.Linear(robot_feat_dim, hidden_dim) self.task_encoder nn.Linear(task_feat_dim, hidden_dim) # 歷史動作編碼器 (使用LSTM) self.history_encoder nn.LSTM(input_sizehidden_dim*2, # robot_hidden task_hidden hidden_sizehidden_dim, batch_firstTrue) # 核心Transformer編碼器層用于融合機(jī)器人、任務(wù)和歷史信息 encoder_layer nn.TransformerEncoderLayer(d_modelhidden_dim, nheadn_heads, dim_feedforwardhidden_dim*4, batch_firstTrue) self.transformer_encoder nn.TransformerEncoder(encoder_layer, num_layersn_layers) # 輸出評分頭 self.score_head nn.Sequential( nn.Linear(hidden_dim * 3, hidden_dim), # 輸入: robot_emb, task_emb, context_emb nn.ReLU(), nn.Linear(hidden_dim, 1) ) def forward(self, robot_feats, task_feats, task_mask, history_actions_embNone, history_lengthNone): robot_feats: [batch_size, num_robots, robot_feat_dim] task_feats: [batch_size, num_tasks, task_feat_dim] task_mask: [batch_size, num_tasks], 1表示任務(wù)有效未分配0表示無效已分配或填充 history_actions_emb: [batch_size, seq_len, hidden_dim*2] 歷史動作的聯(lián)合嵌入 history_length: [batch_size] 每個序列的實際歷史長度 batch_size, num_robots, _ robot_feats.size() _, num_tasks, _ task_feats.size() # 1. 編碼機(jī)器人和任務(wù)特征 robot_emb self.robot_encoder(robot_feats) # [B, N_r, H] task_emb self.task_encoder(task_feats) # [B, N_t, H] # 2. 編碼歷史決策 if history_actions_emb is not None and history_length is not None: packed_input nn.utils.rnn.pack_padded_sequence(history_actions_emb, history_length.cpu(), batch_firstTrue, enforce_sortedFalse) packed_output, (h_n, c_n) self.history_encoder(packed_input) history_context h_n.squeeze(0) # [B, H] else: # 無歷史時使用零向量 history_context torch.zeros(batch_size, self.hidden_dim, devicerobot_feats.device) # 3. 構(gòu)建Transformer輸入序列 # 我們將每個(機(jī)器人任務(wù))對視為一個元素。但直接組合會導(dǎo)致序列過長(N_r * N_t)。 # 簡化版我們分別處理機(jī)器人和任務(wù)通過交叉注意力交互。 # 這里采用一個簡化方法將機(jī)器人嵌入、任務(wù)嵌入和歷史上下文拼接后通過一個全連接層再輸入Transformer。 # 更復(fù)雜的做法是使用Transformer Decoder進(jìn)行自回歸解碼。 # 為了簡化演示我們這里計算一個粗糙的配對分?jǐn)?shù)。 # 擴(kuò)展維度以進(jìn)行配對 robot_emb_exp robot_emb.unsqueeze(2).expand(-1, -1, num_tasks, -1) # [B, N_r, N_t, H] task_emb_exp task_emb.unsqueeze(1).expand(-1, num_robots, -1, -1) # [B, N_r, N_t, H] history_context_exp history_context.unsqueeze(1).unsqueeze(2).expand(-1, num_robots, num_tasks, -1) # [B, N_r, N_t, H] # 合并特征 pair_feats torch.cat([robot_emb_exp, task_emb_exp, history_context_exp], dim-1) # [B, N_r, N_t, 3H] # 通過評分頭 scores self.score_head(pair_feats).squeeze(-1) # [B, N_r, N_t] # 4. 應(yīng)用掩碼將已分配任務(wù)對應(yīng)的分?jǐn)?shù)設(shè)為極負(fù)值 # task_mask: [B, N_t] - 擴(kuò)展為 [B, 1, N_t] task_mask_exp task_mask.unsqueeze(1) # 對于無效任務(wù)已分配分?jǐn)?shù)設(shè)為 -1e9 scores scores.masked_fill(~task_mask_exp.bool(), -1e9) # 將2D分?jǐn)?shù)矩陣展平為1D動作logits logits scores.view(batch_size, -1) # [B, N_r * N_t] return logits def encode_history_action(self, robot_emb, task_emb, chosen_robot_idx, chosen_task_idx): 根據(jù)選擇的機(jī)器人和任務(wù)索引獲取其嵌入并拼接形成一步歷史動作的嵌入。 robot_emb: [B, N_r, H] task_emb: [B, N_t, H] chosen_robot_idx: [B] 整數(shù)表示批次中每個樣本選擇的機(jī)器人索引 chosen_task_idx: [B] 整數(shù)表示批次中每個樣本選擇的任務(wù)索引 返回: [B, 1, 2H] batch_size robot_emb.size(0) # 收集被選中的機(jī)器人和任務(wù)嵌入 robot_chosen robot_emb[torch.arange(batch_size), chosen_robot_idx] # [B, H] task_chosen task_emb[torch.arange(batch_size), chosen_task_idx] # [B, H] action_emb torch.cat([robot_chosen, task_chosen], dim-1).unsqueeze(1) # [B, 1, 2H] return action_emb4.3 訓(xùn)練循環(huán)與PPO算法由于篇幅限制這里概述使用PPO訓(xùn)練的核心循環(huán)步驟。實際中你需要實現(xiàn)完整的PPO包括價值網(wǎng)絡(luò)Critic、廣義優(yōu)勢估計GAE等。# 偽代碼/步驟說明 def train_armata_ppo(env, model, num_episodes10000): optimizer torch.optim.Adam(model.parameters(), lr1e-4) # 假設(shè)已有PPO相關(guān)的輔助函數(shù)和類 (如 RolloutBuffer, compute_gae_advantages) for episode in range(num_episodes): obs env.reset() done False episode_log_probs [] episode_values [] episode_rewards [] episode_masks [] history_actions_list [] history_lengths [] current_history_emb None current_history_len torch.zeros(1, dtypetorch.long) while not done: # 1. 將obs轉(zhuǎn)換為模型輸入張量 robot_feats, task_feats, task_mask preprocess_obs(obs) # 2. 前向傳播獲取動作logits和狀態(tài)價值 action_logits model(robot_feats, task_feats, task_mask, current_history_emb, current_history_len) dist torch.distributions.Categorical(logitsaction_logits) action dist.sample() log_prob dist.log_prob(action) # 3. 執(zhí)行動作 next_obs, reward, done, info env.step(action.item()) # 4. 編碼這一步的動作添加到歷史中用于下一步 chosen_robot_idx, chosen_task_idx decode_action(action, env) action_emb model.encode_history_action(robot_feats, task_feats, chosen_robot_idx, chosen_task_idx) if current_history_emb is None: current_history_emb action_emb else: current_history_emb torch.cat([current_history_emb, action_emb], dim1) current_history_len 1 # 5. 存儲數(shù)據(jù) episode_log_probs.append(log_prob) episode_rewards.append(reward) # ... 存儲value, mask等 obs next_obs # 6. 一個episode結(jié)束計算優(yōu)勢函數(shù)和回報 # returns, advantages compute_gae_advantages(episode_rewards, episode_values, ...) # 7. 使用PPO更新策略 # loss compute_ppo_loss(episode_log_probs, returns, advantages, ...) # optimizer.zero_grad() # loss.backward() # optimizer.step() if episode % 100 0: print(fEpisode {episode}, Total Reward: {sum(episode_rewards):.2f})4.4 評估與部署訓(xùn)練完成后我們可以用貪婪解碼來評估策略。def evaluate_greedy(env, model, num_eval100): total_makespan 0.0 for _ in range(num_eval): obs env.reset() done False history_emb None hist_len torch.tensor([0]) while not done: robot_feats, task_feats, task_mask preprocess_obs(obs) with torch.no_grad(): action_logits model(robot_feats, task_feats, task_mask, history_emb, hist_len) # 貪婪選擇取logits最大的動作 action torch.argmax(action_logits, dim-1).item() # 執(zhí)行動作并更新歷史 next_obs, reward, done, _ env.step(action) chosen_robot_idx, chosen_task_idx decode_action(action, env) # 注意評估時也需要用模型的嵌入器來編碼動作以保持一致性 action_emb model.encode_history_action(robot_feats, task_feats, chosen_robot_idx, chosen_task_idx) if history_emb is None: history_emb action_emb else: history_emb torch.cat([history_emb, action_emb], dim1) hist_len 1 obs next_obs total_makespan env._compute_makespan() avg_makespan total_makespan / num_eval print(fAverage Makespan over {num_eval} episodes: {avg_makespan:.2f}) return avg_makespan5. 常見問題、挑戰(zhàn)與優(yōu)化方向在實際實現(xiàn)和調(diào)優(yōu)ARMATA模型的過程中我遇到了不少坑也總結(jié)了一些可能的優(yōu)化方向。5.1 訓(xùn)練不穩(wěn)定與收斂困難這是深度強(qiáng)化學(xué)習(xí)的老大難問題在ARMATA中尤為突出因為動作空間大且動態(tài)變化。問題表現(xiàn)獎勵曲線震蕩劇烈長期不增長甚至下降策略很快退化到重復(fù)無效動作。排查與解決獎勵設(shè)計檢查獎勵函數(shù)是否合理。稀疏的最終獎勵很難學(xué)習(xí)??梢試L試稠密化獎勵例如每一步分配后估算一下當(dāng)前分配方案下理論最短完成時間的下界如將剩余任務(wù)分配給最近的空閑機(jī)器人將下界的改進(jìn)作為即時獎勵。這為模型提供了更及時的反饋。基線Baseline必須使用一個強(qiáng)大的價值網(wǎng)絡(luò)Critic來估計狀態(tài)價值并計算優(yōu)勢函數(shù)。Critic網(wǎng)絡(luò)的結(jié)構(gòu)可以和Actor策略網(wǎng)絡(luò)共享大部分編碼層以提升訓(xùn)練穩(wěn)定性。歸一化對輸入特征如坐標(biāo)、距離進(jìn)行歸一化。對獎勵和優(yōu)勢函數(shù)進(jìn)行批次歸一化或標(biāo)準(zhǔn)化。探索策略在訓(xùn)練初期使用較高的熵系數(shù)鼓勵探索??梢圆捎谜n程學(xué)習(xí)從簡單場景如2個機(jī)器人3個任務(wù)開始穩(wěn)定后再逐步增加復(fù)雜度。專家演示如果可能用傳統(tǒng)算法如貪心最近鄰、拍賣算法生成演示數(shù)據(jù)先進(jìn)行模仿學(xué)習(xí)預(yù)訓(xùn)練讓模型有一個好的起點再進(jìn)行強(qiáng)化學(xué)習(xí)微調(diào)。這能極大緩解冷啟動問題。5.2 模型無法處理大規(guī)模問題當(dāng)智能體或任務(wù)數(shù)量增加到幾百時注意力矩陣或全連接層會變得巨大導(dǎo)致內(nèi)存溢出或計算過慢。優(yōu)化方向圖神經(jīng)網(wǎng)絡(luò)GNN如前所述GNN天然適合處理這種關(guān)系數(shù)據(jù)并且計算只與邊數(shù)有關(guān)可以處理更大規(guī)模的稀疏圖。將智能體和任務(wù)建模為節(jié)點分配關(guān)系建模為邊。層次化或分治策略對于超大規(guī)模問題可以先使用聚類方法將任務(wù)和智能體分組在組內(nèi)應(yīng)用ARMATA進(jìn)行精細(xì)分配組間再進(jìn)行協(xié)調(diào)?;蛘哂?xùn)練一個“元控制器”決定如何將大問題分解為子問題。改進(jìn)的注意力機(jī)制使用線性注意力、局部注意力或稀疏注意力機(jī)制來降低Transformer的計算復(fù)雜度使其能處理更長序列更多實體。5.3 泛化能力不足在特定分布下訓(xùn)練好的模型一旦遇到任務(wù)分布、智能體數(shù)量或環(huán)境動態(tài)性變化時性能可能驟降。提升方法數(shù)據(jù)增強(qiáng)在訓(xùn)練時隨機(jī)化智能體的數(shù)量、任務(wù)的數(shù)量、位置分布、任務(wù)屬性如優(yōu)先級、時間窗。讓模型暴露在盡可能多的變化下。歸一化與不變性在模型設(shè)計中引入置換不變性Permutation Invariance。無論智能體或任務(wù)的輸入順序如何輸出策略應(yīng)該相同。這可以通過使用集合編碼如Deep Sets或?qū)ΨQ的網(wǎng)絡(luò)結(jié)構(gòu)如GNN來實現(xiàn)。元學(xué)習(xí)嘗試讓模型學(xué)會快速適應(yīng)新場景??梢栽谟?xùn)練時模擬一個“訓(xùn)練-測試”的內(nèi)循環(huán)讓模型學(xué)習(xí)在少量新場景樣本上快速調(diào)整其策略。5.4 無法滿足硬實時約束ARMATA模型每一步都需要神經(jīng)網(wǎng)絡(luò)前向傳播雖然單步較快但任務(wù)多時總決策時間可能無法滿足毫秒級響應(yīng)的需求。部署優(yōu)化模型輕量化使用知識蒸餾、剪枝、量化等技術(shù)壓縮模型大小提升推理速度。提前規(guī)劃與滾動執(zhí)行在非嚴(yán)格實時的規(guī)劃階段運行ARMATA生成一個完整的任務(wù)分配序列。在執(zhí)行時按照該序列執(zhí)行同時定期如每完成幾個任務(wù)用ARMATA重新規(guī)劃剩余任務(wù)以應(yīng)對執(zhí)行中的擾動。與其他快速方法結(jié)合用ARMATA生成高質(zhì)量的初始解或作為上層協(xié)調(diào)器下層由反應(yīng)式、基于規(guī)則的快速控制器執(zhí)行。ARMATA為我們解決復(fù)雜多智能體任務(wù)分配問題提供了一個充滿潛力的新范式。它將序列建模的強(qiáng)大表達(dá)能力與多智能體協(xié)同的決策需求相結(jié)合。雖然目前實現(xiàn)和訓(xùn)練門檻較高但隨著自動機(jī)器學(xué)習(xí)、更高效的架構(gòu)以及仿真平臺的發(fā)展我相信這類方法會越來越成熟最終在物流、交通、智能制造等領(lǐng)域落地解決那些傳統(tǒng)方法難以處理的動態(tài)、大規(guī)模協(xié)同難題。從我個人的實驗來看這條路雖然挑戰(zhàn)重重但每一次模型學(xué)會了一種更優(yōu)的協(xié)同策略時那種成就感是無可替代的。如果你也對這個方向感興趣不妨從搭建一個簡單的網(wǎng)格世界多智能體環(huán)境開始親手實現(xiàn)一個ARMATA的雛形相信你會對序列決策和協(xié)同智能有更深的理解。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99精品网| 激情美女五月天激情在线| se婷97| www.金莲av| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 大胆伊人久久| 久久青草国| yw国产AV| 日本三日本三级少妇三级66| 五月天久久网站| 99视频九九热| 久久黄A片| 久热99| 五五月五月| 色视频2025| 五月婷五月婷伊人伊人五月婷| 五月婷婷婷综合网| 综合综合色色| 丁香五月激情五月| 天天精品视频免费观看| 丁香狠狠| 色色亚卅| 婷婷五月天色播| 99精品免费视频| 色狠狠色噜噜AV天堂五区| 亚洲久热| 激情熟女网| 99色这里| nvrentiantang av| 搡BBBB搡BBB搡18| 婷婷丁香91综合| 99五丁香月| 一区视频网站| 偷拍九九五月丁香婷婷| 颜射 精品性爱av| 播播网色播播| 色亭亭丁香五月天| 六月五月丁香五月欧美| 色综合色综合色综合| 国产26uuu| 九九在线视频| 怡春院天天干| 久久综合性| 人人操人人爱丁香五月| 色色性爱视频| 99九九视频| 国产中文字幕在线视频免费观看| 久久99久久99精品免观看软件| 五月婷婷色播| 99热网址| 久久九九热视频| 99久在线精品99re8| 婷婷天堂伊人| 中文字幕乱轮| 97碰碰碰免费公开在线视频| 看婷婷五月天网| 五月丁香六月婷婷色日| 蒲京久久无码视频| 五月婷婷在线观看| 免费色婷婷| 婷婷97狠狠干| 1024操逼| 色香欲综合| 桃色五月婷婷| 丁香五月婷婷俺也要去| 久久在线92| 99色色色色| 婷婷狠狠综合网入口| www.五月激情红色| 中文字幕在线免费看线人| 爱射综合| 公的粗大挺进了我的密道| 亚洲啪啪网| 99视频在线精品| 色色色99| 婷婷五月天av网| 777影视理论片大全在线观看| 日本三级黄色大片| 色情五月综合婷婷| 99热中文字幕久久| 色婷婷婷av| 99视频九九热| 免费观看全黄做爰的视频 | 久久a热| 亚洲另类电影| 少妇AB又爽又紧无码网站| www夜夜操comwww| 五月久久丁香| 丁香婷婷色五月| 狠狠色综合网| 99国产精品白浆在线观看免费| 激情丁香五月婷| 3p九色在线| 五月丁香色| 激情色播| 国产亚洲成AV人片在线| 99色在线观看| 无码 色| 色色色色欧洲| 夜夜久久综合网| 爱射综合| 五月天婷婷视频| 丁香五月在线播放| 影音先锋女人av鲁色资源网小说免费 | 六月丁香社区| 看黄的网站18禁| 996re热精品视频| 婷婷色导航| 欧美性色五月天| 久久大香蕉同僚| 色婷婷成人做爰A片免费看网站| 天天夜夜爽| 99热爱爱干干日| 日韩乱轮AV| 五月天啪啪| 久久婷婷五月天激情唯美| 99视频在线观看视频| 99热综合网| 婷婷丁香六月| 影音先锋91| 丁香五月婷婷少妇| 色婷婷六月激情| 91九色精品女同系列| 欧美精品狠狠色丁香婷婷| 亚洲综合婷婷五月天| 中文字幕AV在线播放| 国产欧美第五十五页| 激情性爱婷婷| 开心五月婷婷伊人| 色五月婷婷影院| 欧美天天搞| 五月天桃色深爱网| 亚洲人人操| 五月天社区狠狠| 欧美啄木乌丝袜人妻系列| 五月丁香欧美综合免费视频| 五月婷婷久草在线视频综合| tingting五月天亚洲| www.99在线| 99超在线| www.色五月.com| 婷婷色五月综合| 五月婷色丁香| 青草久久五月婷伊人| 五月情四婷婷| 久热网在线视频| 五月涩涩网| 五月婷婷六月奇米网丁香| 五月婷婷综合色拍| 五月天,激情四射,婷婷频道| 99热精品在线播放| 欧美,日韩成人在线| 成人AV播放| 丁香婷婷影院| 五月天无码| 五月色婷婷激情| 久久香蕉丁香| 激情人妻蜜夜系列区| 五月婷婷婷色| 精品久热| 天堂草在线看www| 乱精品一区字幕二区| 婷婷酒色网| 精品九九网| 99超级碰免费视频| 人妻久久久| 狠狠狠狠狠| 色婷婷瘦婷婷日韩| 欧美性爱特黄一级aaaassss| 欧美美美女性色视频| 五月天综合婷婷| 大香蕉伊人99| 午夜伊人大香蕉| WWW久久久| 99热这里只有精品10| 色综合色| 国产44页| 婷婷五月天成人网| 婷婷五月综合基地| 九九热这里只有精品5| oumeisesewang| 五月天黄色激情小说| 停停五月丁香| www.99视频| 日本免费91| 久久婷婷五月激情网站| 激情开心五月天| 无码动漫AV| 五月丁香无码| 精品视频网| 五月丁香激情深爱婷婷| 九九精品少妇| 国产欧美va| 九九人人看| 六月 丁香 视频| 丁香五月天激情四射网络不好| 五月丁香婷婷久久| 少妇高潮呻吟A片免费看软件| 五月丁香婷婷在线综合蜜桃| BBWCUCKOLD精品熟妇| 99久久国产宗和精品1上映| 亚洲色五月| 狠狠干狠狠干狠狠干狠狠干| 久久99大| 六月丁香综合999| 亚洲啪啪啪啪| 五月丁香综合啪啪啪啪啪| 91男同| www.色九月| 成人开心五月天| 久xxxx| 五月婷婷色色色| 99re66热这里只有精品| 怡红院AV亚洲一区二区三区H| 亚洲色 视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 202丰满熟女妇大| 热99只有里视频| 91疯狂操操操操| 超碰碰碰碰| 色五月六月| 99日韩| 丁香婷婷综合激情五月色| 91精品综合久久久久久五月丁香| 99熟女视频| av操B网站| 大香蕉伊人99| 激情网开心网| 丁香六月色香蕉视频| 天天激情站| 九热视频| 日韩成人av在线| 五月色网| 呦呦v线| 超碰在线观看9| 五月婷婷激情网| 亚洲第一色网站| 狠狠第四色| 亚洲成人av在线观看| 任你草| 熟美女麻豆| 亚洲中文AV网站| 五月婷婷与六月丁香图片激情| 婷婷五月天成人网站| 婷婷成人五月天一区| 五月天久久久| 五月丁香婷婷综合视频| 伊人久久婷婷| 日本丁香五月婷婷| 性色99| 一根材五月婷成人| 亚洲va欧美va国产综合久久久| 天天日,天天插| 性爱视频久久| 精品丁香五月天在线播放| 激情丁香淫荡婷婷| 男人的天堂五月丁香| 五月天精品视频| 人人摸人人| www.精品99| 欧美一级色| 51精品国自产在线| 激情碰碰碰| www.1024久久| 婷婷五月成人有| 婷激情五月| 激情丁香五月天图片| 日韩 中文 欧美| 激情开心五月天| 丁香五月花影院| 婷婷丁香五月91| 中文资源在线a | 欧美日韩123| 天天干天天干天天干天天干天天| 欧美色色色色色| 色情综合| 久久国产高清| 小视频在线亚洲| 五月激情婷婷丁香天堂| www.婷婷五月天.com| 五月J香蕉婷婷| 六月丁香停| 婷婷五月激情丁香激情| 色99色| 伊人五月天在线| 亚洲九N| 国产成人综合网| 婷婷色丁香六月| 99热最新| 丁香五月婷婷狠狠色| 精品色色色| 亚洲久热| 99热只有精品综合| 五月婷婷在线视频| 天天肏天天肏| 激情网婷婷婷| 国产精品久久久久9999小说| 五月婷婷六月天| 婷婷色爱| 九月婷婷人人操人人舔人人爱| 久久精品天| 亚洲综合丁香婷婷六月天| 97碰免费视频在线| 婷婷五月综合社区| 99久久久| 狠狠爱综合网| 97久久视频| AV成人在线播放| 婷婷丁香五月高清| 日韩精品在线观看9| 婷婷五月天天| 色色色成人网| 人人综合久| 婷婷久久精品| 美女网黄| 久久XX| 日本色色色| 色五月婷婷中文字幕| 精品视频99看在线视频| 99热在线观看| 综合激情五月天六月婷免费视频| 人人看人人97| 九九99九九99| 另类图片色五月| 高清不卡一区| 丁香九月婷婷| 夫妇交换刺激做爰| 婷婷色五月在线视频| 丁香色影院| 色播婷婷五月天| 丁香六月综合激情| 激情五月婷婷| 婷婷开心六月| 五月激情小说网| 免费国产VA国产免费| 依人大香蕉| 五月成人网站| 色亭亭五月天网扯| 99爱爱网| 久久精品一区二区三区四区| 激情丁香五月婷婷| 男人的天堂五月丁香| 亚洲综合色色| 婷婷在线操| 婷婷色综合网日韩国产| 色99自拍| 色丁香久综合在线久综合在线观看| 海外网站专业操老外| 五月激情啪啪| 丁香五月天啪啪| 色情五月婷| 婷婷综合| av在线观看网站| 思思热国产| 欧美激情丁香五月| 丁香五月玖玖| 亚洲电影在线观看| 自拍视频在线观看9| 激情五月天综合| 九九热中文| 久久九九囯产| 极品五月天| 无码一区精品一区视频| 人妻久久久| 日本狠狠干| 色五月涩涩婷婷蜜桃| 色哟哟精品| 亚洲精品中文字幕成人片| 99综合视频| 五月婷婷在线免费观看 | 欧美日韩成人综合9| 综合五月婷婷| 激情五月久久| 免费视频无码| 五月婷婷中文网| 91久久1118| 色色五月丁香婷婷| 97在线视频人妻九色| 色操综合| 97丁香视频| 色www久视频| 2025超碰| 日本久久天堂| 五月婷婷色播| 九九热欧美| 综合在线色婷婷| 欧美丁香婷婷五月| 99热99极品观看| 婷婷射丁香| 性爱先锋AV| 五月婷婷色综图片| 久99久视频精品| 中文毛片无遮挡高潮免费| 色中色综合| 97极品在线| 激情伊人| 久久精品99国产精品日本| 午夜精品人妻无码一区二区三区 | 午夜婷婷五月天| 婷婷五月天啪啪| 成人在线99| 五月婷婷激情综合| 亚洲综合五月天| 99干日日干| 五月天色小说| 精品久久99| 99色综合| 狠狠狠狠狠狠| 成人午夜天| 婷婷五月激情丁香| 香蕉综合网| 97色碰碰公开视频| 亚洲激情av| 97人人看| 五月丁香色情| 91操色| 第四色首页| www.婷婷五月天.com| 丁香蜜臀黄色婷婷五月天| 99re免费精品视频| www.激情| 丁香,开心成人,久久| 六月丁香色色| 一起草AV| 亚洲激情丁香五月基地| 成人色图情色成人网 www.5b5b5bcom 五月天 | 99热久只有| 欧美婷婷综合| 天天色天天操天天射| 亚洲AV无码电影| 光棍影院日韩精品| 五月婷婷综合潮喷| 都市激情五月婷婷亚洲| 天天久| 97碰免费视频在线| 97香蕉碰碰人妻国产欧美| 丰满少妇猛烈A片免费看观看| 久久区区一二三av| 激情视频网址| 亚洲视频色色| 六月丁香久久| AV片一区在线观看| 99 色色吧| 婷婷黄色| 狠狠狠狠草草| 色播综合| 91久久1118| 97丁香婷婷| 婷婷激情五月天在线视频| 97人人草| 成人免费视频一区| 人妻操在线看| 色婷婷成人做爰A片免费看网站| 91丨九色丨熟女|老版| 亚洲va欧洲va国产va不卡| 婷婷色情 | 婷婷九月激情| 99热这里只有精品22| 婷婷涩涩五月天| chaopengdaxiangjiao| 91久久久久久| 超碰91在线| 五月丁香婷婷久久| 99热这里只| 婷婷中文字幕版| 色色丁香| 99色色| 国产午夜精品一区二区三区嫩草| 九九偷拍网| 蜜臀嫩草| 乱岳熟女50岁| 国产精品久久久久久久久久| 另类小说婷婷色| 五月丁香综合啪啪| 操操国产| 99热久草| 亚洲欧美日韩另类| 26UUU精品一区二区c〇m| 亚洲综合在线视频| 99久久www| 97 A I色色| 91九色小视频| 天天天干夜夜夜操| 99久久婷婷国产综合精品青桔| 五月婷婷av| 无码AV大香线蕉伊人| 婷婷五月天色播| 伊人久久大香线蕉AV最新午夜| 色色AV色色色东莞| 99久久综合网| 97碰碰人人| 99re思思在线视频| 日韩乱轮AV| 思思国产99| 婷婷月综合| 久久色婷婷| 激情黄色五月天| 欧美三级巜人妻互换| 激情综合网,婷婷五月天| 五月婷婷香蕉| 五月婷婷影院| 丁香五月婷婷婷婷欧美综合| 天天肏天天舔AV| 操一区| 久8色色| 六月大香蕉| 91碰碰碰| 涩涩涩.com| 在线观看av网站| 懂色av粉嫩av蜜臀av| 草逼大片| 亚洲综合无码| 五月天大香蕉视频| 丁香网站| 天天舔日日肏夜夜爽| 久久婷婷五月综合色天| 婷婷五月影院| 伊人久久婷婷| 国产真实乱了老女人视频| 久大香蕉| 色五月天成人| 五月开心啪啪| 另类视在线| 91久久婷婷| 五月丁香大相交| 思思99热这里只有精品6| 伊人婷婷五月天av| 极品嫩草| 操B无码视频国语| 五月婷婷六月激情| 五月天啪啪啪| 播四月婷婷六月丁香| 欧美婷婷丁香五月社区| 思思干精品| 九九这里有精品| 六月丁香色婷婷| 99色看| www色婷婷| 日本婷久久| 青青草大香| 激情婷婷六月天| 五月天成人网在线观看| 玖玖伦理电影| 成人在线综合| 狼人狠狠操| 天天视频精品9| www九月婷婷| 年轻的妺妺伦理HD中文 | 成人啪啪色婷婷久| 麻豆AV一区二区三区| 色五月成人| 激情六月天婷婷| 激情五月五月婷婷| 色婷婷五月综合在线| 久久久妻人人人| 激情婷婷护士激情| 超喷97免费在线视频| 亚洲成人高清在线| 思思热精品在线观看| 九九机热| 丁香婷婷色情| 九九99久久| 色五月天 丁香| 丁香六月激情| 丁香六月激情四射| 日韩三及成人AV片| 严洲天天插| 亚洲 小说 欧美 激情 另类| 亚洲99手机免费看视频| 久热这里只有精品99re| 色欲婷婷五月天丁香| 99热伊人| 99这里只有精品| 久久99大| 9精品在线| 五月天五月色婷婷综合| 97激情五月天| 五月在线| 亚洲色婷婷五月天| 99日热在线视频| 91人人澡人人爽人人看| 亚洲久久视频| 五月天婷婷7米| 五月色网| 婷婷伊人綜合| 婷婷,五月天,丁香,第一| 五月天精品综合在线| 久99久热| 久久婷婷青青草| 激情综合网五月| 丁香五月AV综合激情| 久99久99精品免| 国产毛片欧美毛片久久久| HD久久精品视频| 精品国产va久久久久| 可以免费看AV网站| 日本久久网| 超级碰碰99| 开心丁五月| 性天堂久久| 91九色最新视频| 少妇激情基地| 天天操中文字幕| 日本在线播放97| 七七九九色色| 丁香五月在线| 色婷婷婷婷| 激情亚洲婷婷| 97操碰日本女人| 蜜乳A√| 99热免费在线| 久久综合中文字幕| 婷婷五月六月| 日本婷婷激情四射中文字幕在线观看| 大香蕉五月丁香| 激情小说婷婷| 4399精品一区二区| 影音先锋 婷婷| 99热免费| 欧美内射AA| 免费97碰碰| 色99婷婷五月天| 开心五月天激情网站| 国产精品涩涩涩视频网站| 久久婷婷热| 五月天丁香网站| 5月丁香啪啪啪| 依人大香蕉| 五月丁香久| 亚洲综合另类| 亚洲久久日| 色五月激情五月开心五月| 五月婷中文娱乐综合| 婷婷涩五月天综合| 免费观看全黄做爰的视频| 天干干夜夜操| www.色五月| 久噜久噜| 婷婷五月丁香人妻无码高清| 亚洲色无码| 九九色网| 狠狠色成人影片| 六月婷婷网| 久久WW| www99久久| 91久热| 久热只有这里有精品| 五月天婷婷基地| 久鲁鲁色网| 欧美大片| 九九亚洲视频| 久久最新色| 一本久道综合色婷婷五月| 色五月天激情| 99这里有精品| 天天色天天色天天色天天色天天色| 亚洲一级 片内射网站在线观看| 丁香五月欧美午夜视频| 日本99视频| 香蕉97碰碰碰欧美| 久久九九国产精品怡红院| 香蕉综合在线| Av狠狠色丁香婷| 色五月丁香五月婷婷五月成人网| 欧美日韩国产一二区| 五月天婷久精视频| 婷婷色啪| 婷婷色在线| 天天艹夜夜爽| 伊人综合婷婷| 乱岳熟女50岁| 五月婷婷丁香大陆免费| 91人妻九色大屁股| 99热官网| 九九综合久久| 嫩BBB搡BBBB榛BBBB| 九九精品在线网| 99情色五月天| 91综合国免费久入| 丁香五月久久| aV直接看| 亲子乱AV一区二区三区下载| 欧美黑人巨大性生话| 国产毛多水多女人A片| 婷婷五月天亚洲综合网| 亚洲va久久久噜噜噜久久天堂| 久婷五月| 日本不卡一区二区三区| 超碰99热精品| 在线观看中文字幕亚洲| 六月婷婷无码观看| 日本婷久久| 久久区区一二三av| 五月桃花网综合| 91精品久久久久久77777| 五月天桃色深爱网| 六月丁香婷婷在线波多| 日本激情ⅩXX免费视频| 99riAV国产精品视频| 色色色五月天婷婷| 人妻系列久久久久久久久久久| 成AV人片一区二区三区久久| 国产精品人人做人人爽人人添| 人妻久久久久久| 久色中文| 欧美va欧美va差| 色一情一乱一乱一区91| 天天婬色综合| 超碰免费人妻| 色五月丁香一区在线| 丁香五月婷婷国产av| 色五月色五天免费视频| 久久大香免费| 五月天综合| 99丁香五月婷 | 丁香婷婷六月| 五月丁香精品| 激情综合激情五月| 亚洲啪啪网| 久久久18| 亚洲欧洲中文日韩久久AV乱码| 日本99视频| 久99在线| 超碰免费在线| 综合五月网| av大香蕉| 色99视| 欧美这里只有精品| 丁香色五月婷婷| 伦乱美欧| 久久性刺激| 搡BBBB搡BBB搡18 | 九九视频这里只有精品| 99性视频| 久久精99| 国产又色又爽又黄又免费| 五月丁香网站| 爱婷婷五月| 五月停亭六月,六月停亭的英语| 亚洲黄网AV| 五月婷婷天| 五月天成人小说| 色播丁香五月婷婷操:屄| 超碰人人99| 99精品无码| 丁香色六月婷婷| 亚洲aV写真天天综合网久久| 婷婷热婷婷色| 92久久| 日韩AV成人电影| 国产真实乱了老女人视频| 综合99综合久久久久久久| 人人看人人摸人人| 亚洲激情电影五月天色婷婷丁香一起草| 久久9RE热视频精品98| 精品人妻在线免费观看| 99爱精品| 五月 成人 婷婷| 天天干天干| 五月天婷婷导航| 99热99热在线观看| 亚洲综合婷婷| 狠狠爱婷婷丁香| 九九综合88| 日日噜噜夜夜狠狠久久丁香五月| 天天操加勒比| 色色热| http://www.sd-xiangsu.com/| 色综合五月婷婷狠狠干| 久久五月婷婷电影| 91大神操美女| 久久色五月| 免费AV在线网址| 久久99免费视频| 色色色com| 欧美性生交XXXXX无码小说| 五月天婷婷久久视频| 97在线综合| 欧美日韩123| 色爱综合网| 婷婷五月激情视频在线| 九九热精品6| 伊人婷婷五月天av| 人人爽亚洲| 精品草原久久视频| 26uuuuuuuu国产| 六月婷婷国产| 日本五月视频| 五月天激情电影| 99热精品在线播放| www开心激情网| 久热网在线视频| 99热精品免费在线观看| 激情五月天小说| 婷婷五月天免费视频| 国产色色视频| 色噜噜五月天| 五月丁香六月激情综合| 久久综合五月天| 亚洲九九夜夜| 五月天激情网图片| 五月婷婷色欲| 99热爆在线| 超碰中文字幕在线| 丁香久久九九99| 91人操| 婷婷六月色开| 九色自拍| 亚洲色五月天是什么| 青青草深爱激情网| 五月开心深爱激情网| 五月婷婷色五月| 婷婷五月花| 激情五月久久| 成人精品视频99在线观看免费| 五月综合激情久久| 影院久久久| 97人人搞| 97亚洲色 torrent magnet| 五月婷婷激情综合在线| 五月丁香六月停停| 五月婷婷综合在线视频小说| 九九碰九九爱97超| 在线播放成人网站| 五月婷婷黄网站大全| 久色88| 大香蕉五月天| 九九在线免费观看| 五月综合色播播丁香婷婷| 无码99| 九月色婷婷| 欧美黑人巨大性生话| 婷五月天| 亚洲激情四射| 久久99这里只有精品视频 | 丁香五月综合| 热日韩欧美| 棕合影院色色| 五月婷婷色男女| 色导航色婷婷五月天在线观看| 日本精品99网站| av大香蕉| 色婷av| 婷婷伊人无码| 色激情五月天| 天天射影院| 久久五月天 91| 久久综合综合久久| 丁香久久五月天视频在线观看| 五月丁香综合中文| 五月天激情小说网| 99九九视频精彩在线| A一级操| 婷婷娌伦网| 五月综合激情婷婷六月色窝| 久热爱大香蕉在线蜜臀悦色| 色五月激情问网站| 婷婷六月啪啪 | 久久精品五月天| 春色激情第四色| 热99免费在线| 久婷婷视平| 五月婷婷啪| 婷婷五月天成人小说| 亚洲最大视频| 99色免费在线观看| 97色伦另类图片小说视频| 五月天丁香婷| 热99.com婷婷| 夜夜骑日日操| 五月婷婷激情久久| 新激情五月天| 77799热| 超碰在线观看9| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月丁香色婷婷基地| 在线1青婷| 精品香蕉99久久久久网站| 在线你懂的亚洲欧| 玖玖热视频| 在线理论片| 狠狠搞五月天| 丁香久月| 中文字幕无码成人电影| 婷婷五月天深爱| 午夜五月天| 玖玖激情五月天| 婷婷丁香五月天中文字幕| 乱岳熟女50岁| 五月天激情黄色小说在线观看| 亚洲欧美婷婷五月色综合| 不卡在线视频| 色婷婷最爱五月| 狠狠草狠狠草| 久久99激情| 思思久久精品| 婷婷五月综合基地| 五月丁香六月欧美| 婷婷五月花| 久久精品爱爱| a在线观看| 伊人狠狠丁香婷婷综合尤物| 久久视频这里有精品99| 色色色色色综合| 成人AV免费观看| 五月婷婷五月色| 亚州色综合| 66精品成人免费网站在线观看| 99国产精品久久久久久久久久久| www.主妇. com| AV操操操| 99自拍网| 久草天堂| 日本操碰碰| 国产免费AV网站| 久久综合影院| 久久婷婷网| 丁香五月欧美色综合| 五月天婷婷伊人| 91婷婷五月丁香碰| 玖玖五月丁香| 久久加勒比| 五月天婷婷綜合院| 亚洲性视频| 色五月 五月婷婷| 91oumei| 99热这里只有精品18| 激情色情五月天| 天天色视频| 五月天天综合| 99综合视频| 色播五月婷婷| 99在线精品视频| 亚洲综合干| 九久久九精品视频| 99免费视频在线观看爱| 激情五月黄色| 狠狠干夜夜干| 影音先锋91| 婷婷五月激情综合| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 久久久大香蕉| 91久久久久久久| 91久久久久久| 亭亭色天香| www.com在线操视频免费观看| 99爱视频在线| 91精品久久久久久久| 精品五月天| 四虎婷婷五月天| 亚洲黄色操逼| 國語久久婷| 九九日本视频| 激情 久久 婷婷| 色播五月婷婷五月| 五月婷婷av| 五月天色色色| 色情综合网| 婷婷成人AV| 91久久久久久| 五月的婷婷六月丁香| 免费无码毛片一区二区A片| 国语精品探花| 九九色大香蕉| 专区无日本视频高清8| 夜夜爽天操| 九色91国产| 婷婷久草| 99A片| 日韩操人| 久久丁香网| 亚洲精品影视| 99亚洲大片精品永久在线观看 | WWW,五月| www.爱操com.| 丁香青青五月天| 五月天婷婷基地| 日本五月视频| 99视频内射三四| 九九婷婷五月天| 五月婷六月| 欧美婷婷五月无砖| 九九九九大香蕉| 欧美色五月| 天天影视天天爽天天草| 激情深爱五月婷婷| 亚洲国产网址| 欧美人妻一区二区| www.俺去也com| 色色色激情| 97色综合| 九月婷婷综合| 五月婷婷亚洲| 六月香五月婷| 人妻久热| 九月丁香婷婷网| 五月天婷婷在线播放| 一级操逼内射在线视频| 天天综合网、天天综合色 | 99热这里精| 99精品视频偷拍| avh片在线观看| 亚洲日日操| 99久视频| www.狠狠干| 色综合色色| 久久色吧| 熟女强人妻一区二区三区四区无| PORNY九色9l自拍视频成人| 综合色激情| 久久99最新| 影音先锋一区二区三区| 久久婷五月影院| 99只有精品| 国产精品色色| 99re视频精品| 色婷婷精品小视频| 涩五月婷婷| 亚洲4区国产欧美| 超碰色碰碰| 99热这里是精品| 婷婷香五月天| 六月婷婷视频| 开心五月网 | 91久操| 超碰在线免费9| 色五月婷婷激情| 热久久99视频| 五月天无码| 久久超视频| 五月天大香蕉AV| 99草在线免费观看视频| 国产精品久久久久久妇女6080| 欧美日韩成人在线| 色色五月婷婷久久| 狠狠干无码| 五月婷色啪| 丁香五月亚洲综合| 丁香六月色婷婷欧美| 丁香六月婷婷久久综合| 欧美日韩国产一区| 9热在线观看| 青草青草久9视频在线视频| 久热A片| 丁香激情网| www.夜夜| 日本狠狠色| 婷婷伊人| 九九热在线99| 99黄色性生活| 丝袜大香蕉| 久久五月丁香| 超碰97人人操| 91色五月| 丁香五月区| 夜夜 操无码| 天天肏高清在线| 久碰婷婷视频| 激情综合色婷婷啪啪六月天| 日本九九网| 在线另类视频| 五月丁香婷婷综合久久| 97影院一级片| 99re在线精品视频| 亚洲人妻av| 久久婷婷五月| 99在线精品观看99| 久久伊人大香蕉| 人与禽A片啪啪| 九九热精品| 99精品偷自拍| 琪琪色五月婷婷老师| 成人网在线观看视频| 99热人人艹| aV直接看| 国产中文字幕在线视频免费观看 | 色播综合| 夜夜爽天天干| 国产成人一区二区三区在线观看| 国产精自产拍久久久久久蜜| 极品少妇高潮啪啪AV无码| 精品香蕉99久久久久网站| 国产精品第一国产精品| 婷婷婷久久| 久久一伦| 日本三级日本三级三级人妇四虎| 五月丁香综合啪啪| 日日干日日色| 亚洲婷婷激情888精品久| 婷婷激情六月天视频| 免费观看大片视频 丁香婷婷 六月欧美| 亚洲AV中文在线| 操碰99| 欧美顶级少妇做爰HD| W色综合| 亚洲成人无码网站| 久操福利| 激情欧美婷五月| 丁香五月综合在线观看| 婷婷综合成人| 国产激情视频在线观看| AⅤ网站在线看| a色婷婷| 丁香六月婷月91婷月| 丁香五月婷婷色五月| 婷婷六月丁香欧美视频在线| 97热在线精品| 丁香六月婷婷久久综合| 这里只有精品96| 色99色| 婷五月丁香| 亚洲精品午夜国产va久久成人| 91色在线/日韩| 天天日天天操心| 欧美三级视频下载| 99久久99久久| 思思色综合网站| 欧美影院| 丁香五月激情五月| 九九re视频在线视频| 爱射综合| 日本va欧美va欧美va| 天天操天天曰| 一本久久婷婷| 激情五月天丁香| 色狠狠综合| 九月丁香| 亚洲殴洲精品Av在线| 成人五月丁香社区| 青草激情在线| 激情五月天色网站| 99天堂在线观看免费视频| 97色久| 99热这里有精品24| 91精品久久久久久久| 91男同视频| 伊人www22综合色| 国产色色网站网址| 日日干日日| WWW嗯嗯啊啊啊啊| 亚洲激情视频在线观看| 日日噜狠狠色| 亚洲婷婷免费| 91seAV| 9 大屁股在线视频精品| 丁香六月激情综合| 六月丁香五月天| 狠狠操综合| 另类激情码| 爱草视频在线| 黄色成人网站在线播放| 无码字幕中文| 婷五月天天| 日本天堂免费99| 黄色片avv| 婷婷五月天伊人在线| 色婷婷五月在线| 91黄色五月天视频| 丁香五月另类小说在线阅读| 99自拍网| av五月丁香婷婷网| 婷婷中文字幕版| 天天爽天天爽| 免费婷婷| 丁香五月影院| 操碰99在线视频观看| 五月天激情婷婷五月天久久| 六月婷婷中文字幕| 六月婷婷综合激情| 丁香五月在线观看| 久久五月丁香综合| www.五月婷婷久久.com| 婷婷另类小说| 婷婷丁香成人| 亚欧州精品视频| 亚洲有码在线视频| 五月激情婷婷在线| 精品欧美一区二区三区久久久| 五月丁香六月激情综合网| 色噜噜狠狠色综合网| 亚洲成人综合网在线免费观看| 五月丁香色狠狠干大屄| 成人午夜天| 欧美情月伍月天| 丁香六月啪啪| 婷婷五月天堂| 99这里有精品视频| 五月天色站| 五月婷婷综合潮喷| 婷婷六月天| 激情综合网,婷婷| 天天综合精品| 久久色在线视频| 五月婷婷激情综合| 亚洲五月婷婷| 六月婷婷色综合| 三级黄网站| 亚洲AV人人操| 婷婷久久亚洲| 亚洲a色| 九九色精品| 99在线精品免费视频| 天堂亚洲 在线| 五月婷婷丁香五月| 91丨九色丨熟女丰满| 久久精品五月天| 91成人视频| www.超碰| 91久久精品无码一区二区三区| 婷婷97碰碰| 99综合在线| 99在线视频精品| 91色色色| www.久久| 色必久悠悠影院| 精品一二三区久久AAA片| 97五月天婷婷| 婷婷玖玖丁香| 天堂爱爱| 开心激情站| 天天日人人| 国产真人做爰视频免费| 五月天激情婷婷丁香| 久久五月天精品视频| 丁香五月天啪啪a日本| 99热久97| 色五月首页| 激情五月深爱五月观看| 欧美顶级少妇做爰HD| 天天天摸夜夜夜玩| 91在线看片| 玖玖婷婷五月| 天天天久久久| 99国产精品久久久久久久久久久| 丁香五月欧美色综合| 大香婷婷| 超碰日日操| 天天日天天干天天爱| 狠狠婷婷色综合| 婷婷激情五月综合| 99精品久久久| 亚洲精品久久久久久久久久吃药| 色五月婷婷大| 啪精品| 可以直接看的av| 五月婷婷少妇之| 亚洲黄色av网站| 丁香五月电影| 亚洲综合网激情小说| 夜色.cnm| 成人丁香五月| 天天综合插插| 色99免费视频中文| 九九热视频在线观看| 丰满人妻一区三区三区| 色色色色色五月| 色综合婷婷| 天天综合网亚洲综合网| 操九色| 香蕉久久国产AV一区二区| 亚城区在线| 亚洲激情网| 97超级免费无码| 五月丁香在线观看| 亚州欧美国产久精国产99综合视频| 亚洲mm免费|