欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南 CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解雙路旋轉(zhuǎn)位置編碼反向計(jì)算的融合實(shí)現(xiàn)與調(diào)用指南【免費(fèi)下載鏈接】ops-transformer本項(xiàng)目是CANN提供的transformer類大模型算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-transformerApplyRotaryPosEmbGrad 是 CANN ops-transformer 算子庫(kù)中旋轉(zhuǎn)位置編碼RoPERotary Position Embedding系列的反向算子它將 query 與 key 兩路的 RoPE 梯度計(jì)算融合進(jìn)一次 kernel 調(diào)用同時(shí)可選輸出 cos/sin 的梯度。本文以 README 為主體結(jié)合倉(cāng)庫(kù)內(nèi) aclnn 接口文檔、PyTorch 封裝、tiling 與 kernel 源碼完整講解該算子的數(shù)學(xué)原理、參數(shù)約束、兩種調(diào)用方式以及底層多模板調(diào)度實(shí)現(xiàn)幫助你直接上手訓(xùn)練場(chǎng)景下的 RoPE 反向計(jì)算。一、算子功能與應(yīng)用場(chǎng)景該算子是雙路旋轉(zhuǎn)位置編碼算子 ApplyRotaryPosEmb 的反向算子核心功能如下執(zhí)行雙路反向計(jì)算同時(shí)計(jì)算query和key的 rope 反向梯度融合為一次 kernel 調(diào)用節(jié)省開(kāi)銷相比分別對(duì) query、key 各執(zhí)行一次反向 kernel融合實(shí)現(xiàn)節(jié)省了 cos/sin 的重復(fù)加載和 kernel launch 開(kāi)銷可選計(jì)算 cos/sin 梯度當(dāng)正向輸入query、key同時(shí)傳入時(shí)額外計(jì)算grad_cos與grad_sin供需要更新 cos/sin 參與反傳的場(chǎng)景使用。從產(chǎn)品支持情況看該算子目前僅面向Ascend 950PR / Ascend 950DT產(chǎn)品即源碼配置目錄 config/ascend950 對(duì)應(yīng)的 SoCAtlas A2/A3、Atlas 200I/500 A2、Atlas 推理/訓(xùn)練系列等產(chǎn)品均不支持。表格如下產(chǎn)品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 訓(xùn)練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品×Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品×Atlas 200I/500 A2 推理產(chǎn)品×Atlas 推理系列產(chǎn)品×Atlas 訓(xùn)練系列產(chǎn)品×二、數(shù)學(xué)原理與計(jì)算公式旋轉(zhuǎn)位置編碼RoPE的核心思想是在 Head-Dim 維度上將每個(gè)頭的向量按 D/2 拆成前后兩半通過(guò) cos/sin 旋轉(zhuǎn)矩陣完成位置信息注入。反向計(jì)算即對(duì)該旋轉(zhuǎn)過(guò)程求導(dǎo)。取正向計(jì)算中cos、sin發(fā)生 broadcast 的軸列表為dims即 cos/sin 中取值為 1、而grad_query_embed/grad_key_embed中對(duì)應(yīng)維度大于 1 的軸包含 N 軸以及 BSND、SBND 布局下可選的 B 軸rotary_mode為half時(shí)的計(jì)算公式如下。1對(duì)輸入梯度做末維對(duì)半切分$$ grad_q_1, grad_q_2 chunk(grad_query_embed, chunks2, dim-1) $$$$ grad_k_1, grad_k_2 chunk(grad_key_embed, chunks2, dim-1) $$$$ cos_1, cos_2 chunk(cos, chunks2, dim-1) $$$$ sin_1, sin_2 chunk(sin, chunks2, dim-1) $$2構(gòu)造旋轉(zhuǎn)后的正向向量用于 cos/sin 梯度$$ query_rotate cat((-query_2, query_1), dim-1) $$$$ key_rotate cat((-key_2, key_1), dim-1) $$3計(jì)算 query/key 的梯度$$ grad_query cat(cos_1 * grad_q_1 sin_2 * grad_q_2, cos_2 * grad_q_2 - sin_1 * grad_q_1, dim-1) $$$$ grad_key cat(cos_1 * grad_k_1 sin_2 * grad_k_2, cos_2 * grad_k_2 - sin_1 * grad_k_1, dim-1) $$4當(dāng)同時(shí)傳入 query 和 key 時(shí)沿廣播軸 dims 歸約得到 cos/sin 梯度$$ grad_cos sum(grad_query_embed * query grad_key_embed * key, dims) $$$$ grad_sin sum(grad_query_embed * query_rotate grad_key_embed * key_rotate, dims) $$倉(cāng)庫(kù)中的測(cè)試 golden 腳本 tests/assets/golden.py 以注釋形式完整復(fù)現(xiàn)了上述公式并注明“所有路徑統(tǒng)一升 FP32 計(jì)算結(jié)果轉(zhuǎn)回輸入 dtype”可供理解參考。三、參數(shù)說(shuō)明各參數(shù)的完整說(shuō)明如下表參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式grad_query_embed輸入正向輸出 query 的導(dǎo)數(shù)對(duì)應(yīng)公式中 $grad_q_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDgrad_key_embed輸入正向輸出 key 的導(dǎo)數(shù)對(duì)應(yīng)公式中 $grad_k_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDcos輸入正向計(jì)算輸入 cos需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDsin輸入正向計(jì)算輸入 sin需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDquery可選輸入正向計(jì)算輸入 query。如果為空指針則不計(jì)算 grad_cos 和 grad_sin必須與 key 同時(shí)傳入或同時(shí)不傳入。BFLOAT16、FLOAT16、FLOAT32NDkey可選輸入正向計(jì)算輸入 key。如果為空指針則不計(jì)算 grad_cos 和 grad_sin必須與 query 同時(shí)傳入或同時(shí)不傳入。BFLOAT16、FLOAT16、FLOAT32NDrotary_mode屬性旋轉(zhuǎn)模式僅支持 half。STRING-layout屬性輸入 Tensor 的布局格式。1BSND2SBND4TND。默認(rèn)值為 1。INT64-grad_query輸出正向計(jì)算輸入 query 的導(dǎo)數(shù)shape 與 grad_query_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_key輸出正向計(jì)算輸入 key 的導(dǎo)數(shù)shape 與 grad_key_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_cos輸出正向計(jì)算輸入 cos 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時(shí)有效。BFLOAT16、FLOAT16、FLOAT32NDgrad_sin輸出正向計(jì)算輸入 sin 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時(shí)有效。BFLOAT16、FLOAT16、FLOAT32ND關(guān)于 layout 的補(bǔ)充說(shuō)明BBatch批量大小SSeq-Length序列長(zhǎng)度NHead-Num多頭數(shù)DHead-Dim每個(gè)頭的隱藏維度大小TB 和 S 的合軸layout4時(shí)輸入為 3 維 Tensor其他 layout 下為 4 維。從 算子定義源碼 可以看到host 側(cè)注冊(cè)的輸入輸出 dtype 均為DT_FLOAT16 / DT_FLOAT / DT_BF16格式為FORMAT_ND屬性默認(rèn)值分別為rotary_modehalf、layout1與上述參數(shù)表完全對(duì)應(yīng)同時(shí)注冊(cè)了DynamicCompileStaticFlag / DynamicRankSupportFlag / DynamicShapeSupportFlag表明算子支持動(dòng)態(tài) shape。四、約束說(shuō)明輸入輸出 Tensor 只支持 3 維或 4 維layout 為 1 或 2 時(shí)為 4 維layout 為 4 時(shí)為 3 維。輸入輸出 Tensor 的 dtype 必須相同。輸入輸出 Tensor 不支持空 Tensor各維度必須大于 0。輸入輸出 Tensor 的 layout 必須相同。輸入輸出 Tensor 的 D 軸必須相同在 half 模式下必須 ≤ 1024 且能被 2 整除。grad_query_embed、grad_query的 shape 必須相同grad_key_embed、grad_key的 shape 必須相同。對(duì)于任意 layoutgrad_query_embed和grad_key_embed除 N 維度外其它維度必須相同。cos、sin的 N 維度必須等于 1layout 為 1BSND或 2SBND時(shí)cos、sin的 B 維度可以等于 1也可以和grad_query_embed的 B 維度一致layout 為 4TND時(shí)cos、sin的 T 維度必須和grad_query_embed的 T 維度一致除 N及 BSND、SBND 布局下可選廣播的 B維度外其余維度需與grad_query_embed一致。cos、sin、grad_cos、grad_sin的 shape 必須相同。query維度需與grad_query_embed一致key維度需與grad_key_embed一致且query和key必須同時(shí)傳入或同時(shí)不傳入。rotary_mode僅支持 half。layout僅支持 {1, 2, 4}對(duì)應(yīng) {BSND, SBND, TND}。3BNSD 為預(yù)留暫不支持。這些約束在 tiling 源碼中均有對(duì)應(yīng)的顯式校驗(yàn)。例如 apply_rotary_pos_emb_grad_tiling.cpp 中CheckRotaryModeShapeRelation()校驗(yàn) D 軸≤ 1024D_LIMIT且% 2 0HALF_MODE_COEFValidateBroadcastByLayout()按 BSND/SBND/TND 分別校驗(yàn) cos/sin 的 B/S/T 與 N 軸廣播關(guān)系TND 下 cos 的 T 軸必須等于 grad_query_embed 的 TN 軸必須為 1BSND/SBND 下 cos 的 B 軸必須為 1 或等于輸入 BS 軸必須一致CheckShape()校驗(yàn)grad_query_embed與grad_key_embed除 N 軸4D 布局下的 dim 2外各維度相同CheckOptionalInput()校驗(yàn) query 與 grad_query_embed、key 與 grad_key_embed、cos 與 grad_cos、sin 與 grad_sin 的 shape 全等。五、aclnn 調(diào)用方式兩段式接口aclnn 調(diào)用遵循 CANN 單算子調(diào)用的兩段式接口規(guī)范必須先調(diào)用第一段aclnnApplyRotaryPosEmbGradGetWorkspaceSize完成入?yún)⑿r?yàn)并計(jì)算 workspace 大小再調(diào)用第二段aclnnApplyRotaryPosEmbGrad執(zhí)行計(jì)算。函數(shù)原型如下aclnnStatus aclnnApplyRotaryPosEmbGradGetWorkspaceSize( const aclTensor *gradQueryEmbed, const aclTensor *gradKeyEmbed, const aclTensor *cos, const aclTensor *sin, const aclTensor *queryOptional, const aclTensor *keyOptional, char *rotaryModeOptional, int64_t layout, const aclTensor *gradQueryOut, const aclTensor *gradKeyOut, const aclTensor *gradCosOut, const aclTensor *gradSinOut, uint64_t *workspaceSize, aclOpExecutor **executor)aclnnStatus aclnnApplyRotaryPosEmbGrad( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)5.1 第一段接口參數(shù)與返回值第一段接口的參數(shù)細(xì)節(jié)完整見(jiàn) aclnnApplyRotaryPosEmbGrad 接口文檔參數(shù)名輸入/輸出描述使用說(shuō)明數(shù)據(jù)類型維度(shape)非連續(xù)TensorgradQueryEmbed輸入正向輸出 query 的導(dǎo)數(shù)對(duì)應(yīng) grad_q_embed不支持空 TensorBFLOAT16/FLOAT16/FLOAT324(layout 1/2)或 3(layout 4)√gradKeyEmbed輸入正向輸出 key 的導(dǎo)數(shù)對(duì)應(yīng) grad_k_embed與 gradQueryEmbed 類型和維度一致不支持空 Tensor同上同上√cos輸入正向計(jì)算輸入 cos與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√sin輸入正向計(jì)算輸入 sin與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√queryOptional可選輸入正向輸入 query空指針時(shí)不計(jì)算 gradCos/gradSin與 keyOptional 必須同時(shí)傳入或同時(shí)不傳同上同上√keyOptional可選輸入正向輸入 key空指針時(shí)不計(jì)算 gradCos/gradSin與 queryOptional 必須同時(shí)傳入或同時(shí)不傳同上同上√rotaryModeOptional輸入旋轉(zhuǎn)模式僅支持 halfSTRING--layout輸入輸入 Tensor 布局1-BSND2-SBND4-TND3-BNSD(預(yù)留)INT64--gradQueryOut輸出query 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradKeyOut輸出key 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradCosOut輸出cos 的導(dǎo)數(shù)query/key 非空時(shí)有效與 gradQueryEmbed 類型和維度一致同上同上×gradSinOut輸出sin 的導(dǎo)數(shù)query/key 非空時(shí)有效與 gradQueryEmbed 類型和維度一致同上同上×workspaceSize輸出Device 側(cè)需申請(qǐng)的 workspace 大小----executor輸出op 執(zhí)行器包含算子計(jì)算流程----第一段接口完成入?yún)⑿r?yàn)出現(xiàn)以下場(chǎng)景時(shí)報(bào)錯(cuò)具體錯(cuò)誤碼定義見(jiàn) aclnn 返回碼返回值錯(cuò)誤碼描述ACLNN_ERR_PARAM_NULLPTR161001必選輸入 gradQueryEmbed、gradKeyEmbed、cos、sin 和必選輸出 gradQueryOut、gradKeyOut 是空指針ACLNN_ERR_PARAM_INVALID161002輸入輸出數(shù)據(jù)類型/格式不在支持范圍、shape 不滿足校驗(yàn)、維度不在支持范圍、queryOptional 與 keyOptional 未成對(duì)傳入、或 rotaryMode/layout 不符合支持值第二段接口接收workspace、workspaceSize、executor與stream四個(gè)參數(shù)workspace為 Device 側(cè)申請(qǐng)的臨時(shí)內(nèi)存地址workspaceSize由第一段接口計(jì)算得出executor為第一段接口返回的 op 執(zhí)行器stream指定任務(wù)執(zhí)行的 Stream 流。注意第二段接口不可重復(fù)調(diào)用每次執(zhí)行需重新走兩段式流程。5.2 完整調(diào)用示例倉(cāng)庫(kù)提供了可參考的完整示例 examples/test_aclnn_apply_rotary_pos_emb_grad.cpp核心流程如下編譯與運(yùn)行方法參考編譯與運(yùn)行樣例#include acl/acl.h #include aclnnop/aclnn_apply_rotary_pos_emb_grad.h #include iostream #include vector // 1. 資源初始化aclInit / aclrtSetDevice / aclrtCreateStream固定寫(xiě)法 // 2. 構(gòu)造輸入輸出以 BSND layout、D128 為例 std::vectorint64_t gradQEmbedShape {1, 1, 1, 128}; std::vectorint64_t gradKEmbedShape {1, 1, 1, 128}; std::vectorint64_t cosShape {1, 1, 1, 128}; // N 維必須為 1 std::vectorint64_t sinShape {1, 1, 1, 128}; std::vectorint64_t queryShape {1, 1, 1, 128}; std::vectorint64_t keyShape {1, 1, 1, 128}; std::vectorint64_t gradQueryOutShape {1, 1, 1, 128}; std::vectorint64_t gradKeyOutShape {1, 1, 1, 128}; std::vectorint64_t gradCosOutShape {1, 1, 1, 128}; std::vectorint64_t gradSinOutShape {1, 1, 1, 128}; int64_t layout 1; // BSND const char *rotaryModeOptional half; // 通過(guò) aclrtMalloc aclrtMemcpy 將 host 數(shù)據(jù)搬入 device // 再以 aclCreateTensor(..., ACL_FORMAT_ND, ...) 構(gòu)造各 aclTensor // 3. 第一段接口計(jì)算 workspace 大小并創(chuàng)建 executor uint64_t workspaceSize 0; aclOpExecutor *executor; ret aclnnApplyRotaryPosEmbGradGetWorkspaceSize( gradQueryEmbed, gradKeyEmbed, cos, sin, query, key, const_castchar *(rotaryModeOptional), layout, gradQueryOut, gradKeyOut, gradCosOut, gradSinOut, workspaceSize, executor); // 4. 按 workspaceSize 申請(qǐng) device 內(nèi)存 void *workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); } // 5. 第二段接口執(zhí)行計(jì)算 ret aclnnApplyRotaryPosEmbGrad(workspaceAddr, workspaceSize, executor, stream); // 6. 同步并取回結(jié)果 ret aclrtSynchronizeStream(stream); ret aclrtMemcpy(resultData.data(), ..., gradQueryOutDeviceAddr, ..., ACL_MEMCPY_DEVICE_TO_HOST); // 7. 釋放 aclTensor、device 內(nèi)存與 stream示例中 shape 均取{1, 1, 1, 128}BSN1、D128滿足 D ≤ 1024 且可被 2 整除query/key 同時(shí)傳入以觸發(fā) grad_cos/grad_sin 計(jì)算。實(shí)際使用時(shí)可根據(jù)模型配置替換為 BSND、SBND 或 TND 布局并注意 cos/sin 的 N 維必須為 1。六、PyTorch API 調(diào)用方式PyTorch 側(cè)封裝位于 torch_extension/apply_rotary_pos_emb_grad.py通過(guò)torch.library注冊(cè)自定義算子并以PrivateUse1后端分發(fā)到 NPU。函數(shù)原型如下完整文檔見(jiàn) torchapi_apply_rotary_pos_emb_gradcann_ops_transformer.apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, *, queryNone, keyNone, rotary_modehalf, layout1, ) - (Tensor, Tensor, Optional[Tensor], Optional[Tensor])6.1 參數(shù)說(shuō)明參數(shù)名參數(shù)類型可選/必選描述數(shù)據(jù)類型維度(shape)grad_query_embedTensor必選正向輸出query_out的梯度bfloat16、float16、float32layout4 時(shí)為 (T, Nq, D)其他 layout 下為 4 維 Tensorgrad_key_embedTensor必選正向輸出key_out的梯度除 N 維度外 shape 需與 grad_query_embed 一致同 grad_query_embedlayout4 時(shí)為 (T, Nk, D)其他 layout 下為 4 維 TensorcosTensor必選正向計(jì)算輸入的余弦值張量N 維度必須等于 1同 grad_query_embed與輸入布局對(duì)應(yīng)的 3 維或 4 維 TensorsinTensor必選正向計(jì)算輸入的正弦值張量shape 需與 cos 一致同 grad_query_embed同 cosqueryTensor可選正向計(jì)算輸入 query傳入時(shí)計(jì)算 grad_cos 和 grad_sin必須與 key 同時(shí)傳入或同時(shí)不傳入默認(rèn) None同 grad_query_embed與 grad_query_embed 一致keyTensor可選正向計(jì)算輸入 key傳入時(shí)計(jì)算 grad_cos 和 grad_sin必須與 query 同時(shí)傳入或同時(shí)不傳入默認(rèn) None同 grad_query_embed與 grad_key_embed 一致rotary_modestr可選旋轉(zhuǎn)編碼模式僅支持 half默認(rèn) half--layoutint可選1 表示 BSND2 表示 SBND4 表示 TND默認(rèn) 1--返回值說(shuō)明grad_queryTensor正向輸入 query 的梯度shape 和數(shù)據(jù)類型與 grad_query_embed 一致grad_keyTensor正向輸入 key 的梯度shape 和數(shù)據(jù)類型與 grad_key_embed 一致grad_cosOptional[Tensor]正向輸入 cos 的梯度query 和 key 均傳入時(shí) shape 與 cos 一致否則為Nonegrad_sinOptional[Tensor]正向輸入 sin 的梯度query 和 key 均傳入時(shí) shape 與 sin 一致否則為None。封裝源碼中的_check_inputs函數(shù)在 Python 側(cè)提前完成了與上節(jié)約束一致的校驗(yàn)dtype 僅支持 float16/float32/bfloat16 且必須一致、維度必須為 3 或 4、TND(4) 布局要求 3 維輸入、query/key 必須成對(duì)出現(xiàn)、query 與 grad_query_embed shape 相等、key 與 grad_key_embed shape 相等、rotary_mode 僅支持 half 等。Meta 實(shí)現(xiàn)apply_rotary_pos_emb_grad_meta則負(fù)責(zé) shape/dtype 推導(dǎo)支撐 Autograd 與 FakeTensor 場(chǎng)景。6.2 單算子模式調(diào)用示例import torch import torch_npu from cann_ops_transformer.ops import apply_rotary_pos_emb_grad torch_npu.npu.set_device(0) B 1 S 64 N 8 D 128 grad_query_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_key_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) cos torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) # N 維為 1可廣播 sin torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) query torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) key torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_query, grad_key, grad_cos, grad_sin apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, queryquery, keykey, rotary_modehalf, layout1, # BSND ) print(fgrad_query shape: {grad_query.shape}) print(fgrad_key shape: {grad_key.shape}) print(fgrad_cos shape: {grad_cos.shape}) print(fgrad_sin shape: {grad_sin.shape})該示例展示了 BSND 布局下帶 cos/sin 梯度的完整調(diào)用cos/sin取(B, S, 1, D)N 維為 1 從而沿 N 軸廣播若不需要 grad_cos/grad_sin將query、key均置為None即可返回的 grad_cos/grad_sin 為None。6.3 與正向算子的配套使用該算子為 apply_rotary_pos_emb 的反向算子。正向接口使用rotary_modehalf時(shí)對(duì) loss 執(zhí)行.backward()會(huì)自動(dòng)觸發(fā)本算子僅在需要顯式控制梯度時(shí)才需要手動(dòng)調(diào)用本接口。該接口支持訓(xùn)練場(chǎng)景下單算子模式調(diào)用且默認(rèn)支持確定性計(jì)算aclnn 與 torch API 文檔均明確標(biāo)注“默認(rèn)確定性實(shí)現(xiàn)”。七、底層實(shí)現(xiàn)從算子定義到多模板調(diào)度7.1 算子定義與 shape 推導(dǎo)apply_rotary_pos_emb_grad_def.cpp注冊(cè) 6 個(gè)輸入grad_query_embed、grad_key_embed、cos、sin 為 REQUIREDquery、key 為 OPTIONAL、4 個(gè)輸出grad_query、grad_key 為 REQUIREDgrad_cos、grad_sin 為 OPTIONALdtype 支持 FLOAT16/FLOAT/BF16格式統(tǒng)一 ND并聲明DynamicCompileStaticFlag(true)、DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)AICore 配置僅注冊(cè) ascend950。apply_rotary_pos_emb_grad_infershape.cppgrad_query 繼承 grad_query_embed 的 shape、grad_key 繼承 grad_key_embed 的 shape、grad_cos 繼承 cos 的 shape、grad_sin 繼承 sin 的 shapeSetGradOutputShapedtype 同理逐輸出透?jìng)鲃?dòng)態(tài) shape 下以 -2unknown rank/-1unknown dim占位。7.2 tiling 階段的廣播判定與三模板調(diào)度tiling 核心邏輯位于 apply_rotary_pos_emb_grad_tiling.cpp 及三個(gè)模板實(shí)現(xiàn)文件_bab/_ab/_a。host 側(cè)先執(zhí)行一整套參數(shù)校驗(yàn)dtype、維度、D 軸上限與奇偶、cos/sin 廣播關(guān)系、query/key 成對(duì)性等隨后按 shape 關(guān)系判定內(nèi)部ApplyRopeGradLayoutTND 布局3 維輸入退化為 B1 的 BSND 處理若 N1 則走 NO_BROADCASTA 模板BSND 布局cos 的 B 軸等于 1 時(shí)進(jìn)入 BSND 廣播BAB 模板cos 的 B 軸與輸入 B 一致時(shí)進(jìn)入 SBNDAB 模板若 cos 與輸入各維度完全一致含 gk 的 N 軸則判定為無(wú)廣播A 模板SBND 布局shape 完全一致時(shí)回落 NO_BROADCASTA 模板否則按 AB 模板處理。最終通過(guò)三種 kernel tiling key 調(diào)度見(jiàn) apply_rotary_pos_emb_grad_apt.cpp 中的枚舉Tiling Key枚舉值適用場(chǎng)景TILING_KEY_BAB203BSND 布局 cos B 軸1B/S/N 三層廣播迭代TILING_KEY_AB204SBND 布局或 BSND 下 cos B 軸與輸入一致TILING_KEY_A205無(wú)廣播shape 完全一致最簡(jiǎn)路徑7.3 kernel 執(zhí)行流程與 workspacekernel 側(cè)以__global__ __aicore__模板函數(shù)實(shí)現(xiàn)AIC 核直接返回、僅 AIV 核執(zhí)行。計(jì)算分為兩個(gè) PhasePhase 1計(jì)算 grad_query / grad_key。BAB/AB 模板下若同時(shí)需要 grad_cos/grad_sinDcosFlag1會(huì)在 kernel 內(nèi)同步累加 grad_cos/grad_sin 的部分積并寫(xiě)入 workspaceA 模板則分三個(gè)階段先算 dx再預(yù)計(jì)算rotate(query)/rotate(key)寫(xiě)入 workspace最后通過(guò)ApplyDcosDsin高層 Mul 與 Q/K 累加直接寫(xiě)回 GM。Phase 2Reduce 歸約。僅廣播模板BAB/AB需要——將 Phase 1 產(chǎn)生的 dcos/dsin 部分積沿廣播軸N 軸等跨核歸約得到最終的 grad_cos/grad_sinA 模板因無(wú)廣播無(wú)需 Reduce。workspace 大小由 tiling 計(jì)算并寫(xiě)入 tiling datausrWorkSpaceSize b * s * max(nQ, nK) * d * partialTypeSize * INPUT_OUTPUT_NUM兩份部分積廣播模板下 partialTypeSize 為 float 大小A 模板還有 16MB 的系統(tǒng) workspace 預(yù)留這與第一段接口返回的workspaceSize直接對(duì)應(yīng)。7.4 配置與測(cè)試驗(yàn)證算子二進(jìn)制按 dtype 拆分為三個(gè) binApplyRotaryPosEmbGrad_1/2/3對(duì)應(yīng) float16/bfloat16/float32見(jiàn) apply_rotary_pos_emb_grad_binary.json單測(cè)覆蓋 infershape 與 tiling 校驗(yàn)邏輯tests/ut/op_hostkernel 級(jí) UT 直接包含_apt.cpp源碼完成模板實(shí)例化覆蓋 BAB/AB/A 三條路徑tests/ut/op_kernel/arch35/test_apply_rotary_pos_emb_grad.cpp多路徑 golden 腳本 tests/assets/golden.py 同時(shí)為 kernel spec、aclnn spec 與 E2E spec 提供參照實(shí)現(xiàn)q/k 兩路分別歸約以兼容 Nq ≠ Nk。八、總結(jié)ApplyRotaryPosEmbGrad 是 CANN ops-transformer 中面向 Ascend 950PR/950DT 的雙路 RoPE 反向算子它一次 kernel 調(diào)用同時(shí)產(chǎn)出 grad_query、grad_key并在傳入 query/key 時(shí)額外產(chǎn)出 grad_cos、grad_sin內(nèi)部依據(jù)布局與廣播關(guān)系在 BAB/AB/A 三種模板間自動(dòng)選擇配合 Reduce 歸約與部分積 workspace 完成帶廣播的反向計(jì)算。實(shí)際使用時(shí)重點(diǎn)把握三類約束D 軸 ≤ 1024 且為偶數(shù)、cos/sin 的 N 維必須為 1、query 與 key 必須成對(duì)出現(xiàn)。相關(guān)接口文檔與示例代碼可直接參考 aclnnApplyRotaryPosEmbGrad 文檔、torchapi 文檔 與 調(diào)用示例?!久赓M(fèi)下載鏈接】ops-transformer本項(xiàng)目是CANN提供的transformer類大模型算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-transformer創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久大香蕉丁香| 综合99视频| 婷婷爱五月天| 九九sese| 五月玖玖| WWW久久99久久99久久| 日本欧美成人片AAAA| 亚洲婷婷五月天在线激情综合网| 91人人操人人看| 色婷婷丁香五月| 日韩精品无码99| 97人人操在线| 婷婷五月a| 五月天婷婷小说| 久久九九囯产| 黄色片久久| 丁香五月婷婷在线| 色五月亚洲开心网| 天天综合色综合| 台湾无码A片一区二区| 色99日韩| 色五月涩涩婷婷| 五月激情综合激情五月| 色吧综合网| 99爱在线| 超碰av在| 北条麻妃九九九国产精品视频| 97九色视频| 人妻熟妇六区| 婷婷五月激情丁香激情| 99热免费精品热久久66| 九九热a| 婷婷丁香综合| 久久久免费图片视频| 激情综合五月天| 综合久久高清| 99综合| 玖玖精品资源| 99.色| 久久久月丁香| aa久久| 伊人午夜综合色啪| 五月停停999| 国产精品成人网站| 婷婷六久久| 伊人久久艹| 欧美丁香五月97色| 丁香九月激情| 日本色色图| 67194中文字幕| 五月天啪啪啪| 97九色视频| 人五月天婷婷喷水| 大鸡巴伊人网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色五月91| 婷婷色导航| 九九99热| 午夜免费试看| 色五月xxx| 丁香六月婷婷综合激情欧美 | 婷婷五月情| 视频一二区| 一级二级香港秋霞欧美欧美秋霞| 玖玖热视频| 婷婷中文字幕版| 久久亚洲网| 狠色综合网| 青草青草久热这里只有精品| 久久人妻乱子伦| 91精品久久久久| 日韩av在线免费观看| 操婷婷基地| 色五月中文字幕| 五月婷婷色欲| 婷婷五月天丁香久久| 91VIP在线观看| 天天激情站| 丁香五月婷在线| 亚洲视频在线网站| 日韩狠狠色| 亚洲av成人在线| 亚洲AV日韩无码| 激情亭亭五月| 99色精品| 亚洲色五月婷婷| 任我鲁这里有精品视频| 四季AV综合网| jiqingtaose五月天| 亚洲网站999| 99热主页日本| 五月丁香激情综合六月涩涩爱| 思思99精品视频在线观看| 五月丁香综合啪啪| 婷婷五月AV| 热九九精品| 日韩三级片一区二区| 色婷婷五月天av在线| 影音先锋777xfplay色资源网站| 婷婷五月花| av首页在线| 有码人妻久久| 国产五月天欧美色| 2015WWW永久免费观看播放| AV在线大香蕉| 五月婷婷无码| 一区二区三区四区牛| 色狠狠综合入口| 激情久久久久| 这里只有精品在线免费视频| 五月色网| 日本久久99| 久久er99热精品一区二区| 亚洲区在线| 天天久久婷婷| 激情五月天www| 99热在线观看精品| 天天拍久久| 九九精品在线网| 婷婷激情五月| 色色色色丁香| 狠狠爱综合| 色婷五月丁香久亚洲| 色婷婷五月天激情在线观看| 99区视频| 99操免费视频| 人人操人人妻| 六月米奇色综合| 亚洲六月婷婷| 国产精品成人AV在线观看春天| 亚洲啪啪精品| 激情美女五月天激情在线| 久久伊人9| 久久性综合| 8区视频在线| 天天操天天操天天操| 激情五月婷婷五月| 91在线人| 老司机午夜福利视频金瓶梅| 成人av播放| 96丁香婷婷九月蜜桃综合久久| 97在线干| 婷婷色av| 97碰精品| 亚洲色情激情丁香五月| 五月天色区| 97碰碰人人视频| 亚洲人人96@| 99这里| 国产乱妇无乱码大黄AA片| 午夜婷婷久久 | 91AV视频| 色五月丁香婷婷久草| 激情综合网激情五月天| 狠狠色噜噜狠狠亚洲A∨| 色。 日日日| 狠狠婷婷色综合| 91操片| 夜夜操,天天撸| 一级黄色影片| 久久免费9| 五月色精品| 五月婷婷啪啪| 婷婷五月激情四月综合| 六月丁香啪啪| 青草青草久热这里只有精品| 丁香九月激情| 99久久99久久| 久艹大香蕉| 丁香五月婷婷在线视频| 爱久久小说下载网| 婷婷视频在线| 五月天久久www| 国产成人综合网| 久久 无毛。| 啪啪小说五月天| 九九成人电影婷婷| 啪到高潮激情丁香五月| 亭亭丁香97| 性色99| 欧美成人精品A片免费一区99| 成人av免费观看| 亚洲免费观看高清完整版AV线| 色色色色色日韩午夜激情| 激情综合五月色丁香婷婷| 尤物一区二区| 色婷婷精品| 91人人人人人人人| 五月婷婷婷婷| 91九色在线视频| 91久久电影| 嫩草国产| 五月婷婷婷丁香播| 婷婷五月丁香基地在线视频官网| 久草婷婷| wwwwww.色| 色婷婷五月影视| 久久人妻系列| 久婷自拍视频| 国产精品久久..4399| 97色女人在线| 1024操逼视频| 日日日,com| 综合激情五月丁香| 狠狠草综合网| 香蕉视频91| www99精品| 激情综合网五月婷婷| 97精品综合久久| 激情五月久久| 婷婷五月天天aV| 国产免费av网站| 色五月中文网| 婷婷五月丁香基地在线视频官网| 欧美电影在线观看| 校园激情 亚洲| 亚洲岛国电影| www超碰| 国产色丁香| 色综合久久99色| 婷婷综合九月| 婷婷丁香日韩五月| 色综合综合网| 日本少妇AA一级特黄大片| 国产精品久久久丁香五月八戒视频| 婷婷五月丁香图片人人操| 17.c黄色| 久热这里只有精品6官网亚洲| 欧美搡BBBBB摔BBBBB| 99色1| 丁香激情五月天| 97碰| A片试看50分钟做受视频| 五月天狠狠干| www.精品99| 九九www| 99视频| 97久久久久| 欧美丁香五月天| 人人爱操| www.91.com黄| 97色啪| 久久曰9| 天天日天天舔| 深爱激情综合网| 26uuu欧美亚洲日韩| 天天久综合网永久入口17v| 成人av在线网址| 色播丁香婷婷五月激情| 亚洲色域网| 久久精品91视频| 天天干天天拍| 香蕉AV福利精品导航| 婷婷五月六月| 5月婷婷6月六月丁香| 激情小说五月天中文字幕| 久久9精品| 欧美激情 日韩无码 婷婷 五月天| 色婷视频| 久久在线视频免费观看| 熟妇内谢69XXXXXA片| 久久人妻久久| 色综合婷婷| 4399在线日本A片| 99综合网| 超碰97人人操| 亚洲综合99| 激情亚洲婷婷| 亚洲激情四射| 国产激情av| 婷婷五月色激情欧美激情| 色婷婷九月| 激情五月六月丁香| 五月色婷婷综合| 99爱视频在线播放| 伊人色综合久久久| 色婷婷av在线观看| 大地资源色婷婷视频在线| 天堂成人久久| 激情综合文学| 丁香五月综合无码趴趴| 天天狠狠夜夜狠狠2023| 丁香五月婷婷香| 天天成人综合视频| 亚洲色色香蕉| 成人在线视频网| 九九RE视频在线精品| 超碰人人操在线| 天天爱天天操| 五月丁香综合影院| 超碰在线人人| 草操网| 日本噜噜色网| 久久这里只有精品1| 5月婷婷视频网站综合| 五月总合激情网| 91玖玖| 91久久久久久| 丁香五月aV| 久8色色| 久久天堂| 丁香婷婷六月天| 人人操婷婷| 国产精典视频在线观看| 久久精品日| 国产婷伊人| 性爱久久| 色色欧美色色色| 狠狠干婷婷| 丁香五月婷婷影院| 久色五月丁香视频| 婷婷国产成人| 亚洲无码11| 婷婷狠狠97| 五月天.com| 激情五月婷婷六月丁香| 九九在线精点品| 婷婷九月丁香| 五月丁香婷婷久久| 99热婷婷| 99爱在线| 日韩AV在线免费观看| 五月婷婷久久久久| 国产免费一区二区在线A片视频| 99熟女| 婷婷开心深爱五月天| anquye伊人| 激情网开心网| 99色在线| 99久久综合网| 影音先锋男人AV资源站| 欧美视频五区| 婷婷六月爽| 久久99久久99精品免视看婷婷| 99色看| 婷婷五月六月丁香综合| 久久怡红院| 综合久久97| 六月激情婷婷| 丁香五月 性爱| 人人操女人| 4438激情网| 久久婷婷精品| 人人天堂操| 新激情五月天色播| 婷婷欧美综合| 亚洲无码色色| 大香蕉伊然在亚洲90| 91九色无码内射| 91色色色18| 丁香五月在线伊人| 久久久噜噜噜久久人妻| 成人日韩欧美| 婷婷色色丁香| 五月天婷婷色紫薇阁| 婷婷色成人| 五月天久久网站| 91狠狠色| av超碰在线| 色播婷婷大香蕉| 欧美日韓成人亚洲精品另类| 日本99在线| 九九人人操| 婷婷五月天天| 玖玖在线视| 熟女乱论网| 五月丁香婷婷基地| 国产伦亲子伦亲子视频观看| 五月天丁香综合| 99热这里只有国产精品| 第五色婷婷| 丁香五月天堂亚洲社区| 婷婷五月天色丁香| 婷婷五月在线观看| 99色在线| 伊人网啪啪| 久久五月天精品视频| 日日日天天干| 国产午夜成人AV在线播放| www.久久婷婷| 婷婷五月色亚洲| 久婷| 懂色av粉嫩AV蜜臀AV| 97色碰碰公开视频| 内射激情在线| 五月天婷婷激情| 综合九九久久| 天天色激情| 我爱大香蕉| 精品人妻一区二区三区四区不卡在| wwwss在线观看| 色综合播放| 性色欲情 网站| 天天干,夜夜爽| 免费超碰在线观看| 婷婷五月四狠狠| 亚洲va成人va成人va在线观看| 精品无码久久久久久久久| 开心五月婷婷婷美女| 青草视频在线蜜臀| 婷婷色综合| 婷婷五月天丁香社区| 狠狠色精品综合| 一级黄色影片| 97丁香花五月天激情小说| 九九这里是免费的视频5| 婷婷九月丁香中文| 99免费视频网| 五月丁香色色色| 九九草热在线观看| 校花娇喘呻吟校长陈若雪视频| 色情婷婷| 操操碰| 婷婷久久大香蕉| www.色婷婷.com| 五月天丁香啪啪啪啪| 五月久久丁香| 大香蕉久久久久久久久| 丁香五月深爱五月婷婷| 天堂成人A片永久免费网站| WWW·天天操·视频?| 五月综合色| 午夜爱插插| 日韩欧美一级大黄网站| 国产暴力强伦轩1区二区小说| 久久婷婷五月综合啪| 婷婷性爱五月天| 潮汕成人AV片在线| 天天爱天天做天天操| 2005天天干天天1| 天天做天天爱天天玩夜夜爽 | 中文精品在| 久久久久久97| 色情五月婷婷| 婷婷五月色| 99热在线免费观看精品| 狠狠婷婷色| 人人看人人97| 九伊人网| 99热亚洲综合| 免费亚洲婷婷| 超碰在线人人| 五月丁香影院| 亚洲精品操一操、噜一噜、摸一摸、爽 | 中文字幕 久久9999| 九九99九九精品免费| 日本a片网址| 婷婷五月丁香综合| 久99| 狠狠做六月爱婷婷综合aⅴ| 色色色色色色网站| www.狠狠操.co m| 九九视频在线观看视频6| 久久99这里只有精品视频| 久久免费高| 激情婷婷五月| 五月婷婷天堂| 色色国产| 亚洲婷婷免费| 激情久久久久久久久| 色色吧综合| 台湾综合丁香五月蜜桃| 一本色道久久综合狠狠躁一二三| 五月丁香成人网| 91在线日| 丁香婷婷啪啪| 五月天另类小说久久小说网| 吊色AV男人的天堂| 精品亚洲国产成人A片在线鸭王| 亚洲欧洲国产精品| 激情五月四色| 五月婷啪| 激情五月天偷拍综合网| 金桔一区二区ab地址| 婷婷成人基地| 成人永久免费视频在线观看| 六月丁香婷婷网| 九月丁香久久网| 日本爆乳片手机在线播放| 日木狠狠干| 亚洲99热| 久久久久这里只有精品| 天天做天天爱天天要| PORNY九色9l自拍视频成人| 午夜少妇在线观看视频| 国色天香伊人狠狠色| 99色五月| 婷婷香蕉精品| 九九碰九九爱97超碰| www.俺去也com| 五月婷婷九九热| 天天插天天插天天操| 亚洲精品又粗又大又爽A片| 丁香婷婷激情六月五月开心| 七七九九色色| 色婷婷久久综| 五月婷婷激情啪啪| 激情五月天色色| 国产色色视频| 五月丁香激情综合网官网| 婷婷99丁香| 中文幕无线码中文字蜜桃| 综合伊人久久| 九九精品在线观看视频6| 精品乱码视频| 97日在线视频| 丁香婷婷五月份| 色色婷婷五月天| 99热在这里只有精品| 九九热10| 99热久| 久操人| 丁香情色五月| AV九九| 欧美日韩成人免费在线| 五月综合激情视频在线| 天堂AV在线看| 婷婷玉月丁香五月在线视频| 激情色播| av在线免费播放| 国产精品18久久久| 99九九在线视频| 五月婷婷激情中心| 青青草深爱激情网| 日韩色色色色色| 国产精品电影网| 色日本颜射| 另类激情综合| 久久综合九九| 99ri在线视频| 人妻久热| 婷婷久久五月天丁香| 五月丁香婷婷潮喷中文字幕| 三级大香蕉网| 99re热视频| 日本婷婷网| 人妻中文在线| 伦乱天堂| www.99在线| 97婷婷在线| 日本少妇AA一级特黄大片| 九月停停| 丁香社92视频| 狠狠色婷婷丁香五月| 182无码| 人妻熟人中文字幕一区二区| 99噜噜噜在线播放| 激情文学综合婷婷五月天丁香花| 精品人妻午夜一区二区三区四区| 成人无码髙潮喷水A片| 蜜桃五月天| 亚洲激情婷婷| 五月婷婷久久综合| 久久久久这里只有精品| 日本久久99| 五月丁香六月婷综合成人综合| 色99网| 五月综合久久| 五月丁香色情| 综合av在线| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 天天xxxxxx天天日| 热99这就是精品视频| 99这里只有精品|v| 国产亚洲色婷婷久久99精品91| 日本美女97在线视频| 色婷婷超碰| 少妇激情五月婷婷| 99视频| 黄色录像网点| 亚洲av电影在线| 无码免费人妻A片AAA毛片西瓜| 无码色| 亚洲成人影视在线| 婷婷色基地在线看 | 日本婷婷| 碰97 久| av婷婷丁香| 综合五月丁香97| 欧美在线97| 99婷婷五月天| 狠狠狠五月婷婷六月丁香| 影音先锋xfplay资源男人网| 99热这里只有精品50| 婷婷色正月| 综合五月婷婷| 五月婷婷激情久久| 色一色综合| 天色综合网| 超碰狠狠操| 激情小说五月丁香在线视频观看视频| 婷婷五月六月丁香综合| 丁香婷婷五月色成人网站| 天天插天天插| 1024久婷| 丁香色五月直播| 99爱免费视频在线观看| 超碰91人人操| 日韩在线观看网址| www.婷婷亚洲基地| 99九九视屏| 在线中文亚洲| 91人在线观看| 色狠狠999综合| 九九视频这里是精品五月| 激情小说视频图片| 婷婷五月天av| 色99视| 激情五月天在线观看色婷婷| 五月丁香六月婷婷在线播放| 中文字幕在线资源| 九月丁香婷婷网| 久久9视频| 婷婷丁香激情五月天色色| 久99综合婷婷| 无码一区精品一区视频| 婷婷四色五月| 五月婷婷五月天激情网| 九九碰九九爱97超碰| 夜色五月天| 久久久久激情| 丁香五月天天高清在线| 五月婷婷AV| 五月丁香啪啪啪| 996热re视频在线观看视频| 久久五月天精品视频| 色五月婷婷在线| 中文字幕丰满孑伦无码专区| 五月丁香另类图片| 这里只有精品在线视频在线观看| 精品无码久久久久久久久| 波多野结衣AV无码Porn| 五月丁香婷婷激激激综合网色播| 久久99网| 亚洲在线资源| 五月久视频| 男人操女人高潮91视频| 亚洲网站在线鸭子av| 午夜丁香综合婷婷| 婷婷综合性爱网| 久久丁香婷婷五月天| 天天色天天日天天舔| 五月色综合| 九九大香蕉黄色影院| 久久久五月四色| 夜夜爽77777妓女免费下载 | 99精品国产在热久久| 五月丁香狠狠爱| 色激情五月| 色都都狠狠色都都色综合色| 视色综合| 在线视频九色97| 五月色婷婷综合丁香精品无遮挡| 狠狠干婷婷| 丁香六月色婷婷| 天天爽夜夜爽夜夜爽精品视频| 这里只有精品96| 日本五月丁香| 国产又爽又猛又粗的视频A片| 九九热10| 91欧美日韩综合| 五月婷婷色播| 青青草tp| 婷婷中文无码| 综合激情五月丁香| 久久黄A片| 啪啪综合网| 色欲天天综合| 五月婷婷基地| 99色婷婷| 99热这里只有精品青草| 色色激情五月天| 成人看片网站| 五月亭亭六月色| 开心激情婷婷| 六月欧美综合色情| 狠狠精品干练久久久无码中文字幕| 亚洲视频在线观看99| 六月丁香婷| 午夜天堂一区人妻| 婷婷五月天丁香综合网| 久热网在线视频| 久久丁香婷| 色激情五月| 色婷婷影视99| 色五月大| 激情丁香婷婷| 丁香五月自拍| 深爱激情五月天色婷婷| 五月婷婷影视| 天天干天干| 金品在线视频99| 97人凄人人操人人爽| 五月丁香成年黄色| 丁香五月天婷婷中文字幕| av无码电影| 丁香五月色情| 激情伊人六| 97色精品视频 | 99热这里只有精品 搜| chaopeng在线人人| 亚洲黄3级片网站欧美| 色综合色| 九九色色| 九久久婷婷| 久热这里只有精品6| 五月天激情日色在线| 丁香婷婷色九月| 欧美情月伍月天| 国产69久久久欧美黑人A片| 狠狠色综合网站| 第1影院之五月婷婷| 91无码高清| 欧美色婷婷| 五月天大香蕉| 色偷偷色婷婷| 99热免费网站| 超碰啪啪网| 日本一毛片| 五月婷婷狠天天色综合| 丁香五夜激情四射夜夜夜| 99精品在线| 精品成人在线观看| 双性美人被调教到喷水A片| 婷婷六月啪啪| 人人色人人摸人人看| 美女久久天堂| 婷婷内射视频在线| 九九亚洲小视频| 99色在线观看视频| 天天爱天天做天天操| 开心五月深爱激情| 另类小说五月天| 一级黄色片看看| 综合久久9| 久色网五月| 999婷婷综合| 综合色七七| 国产精品电影| 色情五月停停丁香| 亚洲五月丁香综合网| 婷五月天| 少妇性BBB搡BBB爽爽爽视頻| 久久香蕉丁香| 另类视频在线| 99ri视频在线观看| 囯产精品一品二区三区| www.久久爱.com| 欧美熟女视频 色婷婷| 激情五月六月| 久热中文字幕在线线观看 | www激情网| 91狠狠综合久久| 操逼视频网址| 精品人妻伦九区久久AAA片| 噜噜在线| 丁香五月婷婷骚视屏| 色色无码日韩| 91婷色| 欧美成综合在线观看| 国产这里只有精品| 激情综合网五月激情| 99热这里只有精品中文字幕| 亚洲性爱99在线| 大香蕉久久| 婷婷综合在线播放| 9l视频自拍九色9l黑人| 538在线精品| 色婷婷影院| 五月天婷婷免费视频| 丁香五月激情无码视频| 久色视频首页| 久久网站免费亚洲| 成人在线网| 欧美精品A片一区在线观看| 色五月综合激情网| 色色色网站| 99久视频| 婷婷五月丁香六月| 欧美狠狠色| 99亚洲无码| 色情一区二区播放| 五月丁香婷婷激情在线视频| 超碰亚洲天堂| 久久精典| 9久久久久久久久久久| 婷婷色偷拍| 9久操| 亚洲无码猫咪| 熟妇天天综合| 大香蕉久久久久久久久| 狠狠色综合图片| 久久大香蕉丁香| 人妻丰满精品一区二区A片| 欧洲色| 少妇性按摩无码中文A片| 五月丁香久久| 丁香六月婷婷久久综合| 性爱综合网| 婷婷五月花| 女人高潮内射99精品| 思思久久99| 九九RE视频在线精品| 深爱五月天| 97色碰| 五月婷婷激情| 中国丰满熟女A片免费观| 九九视频在线观看| 亚洲啪啪网| 91日本在线| 玖玖爱资源站| 六月激情婷婷| 国产精品一区在线观看你懂的| 免费精品99| 河北真实伦对白精彩脏话| 欧美色图片88| 极品五月天| 婷婷丁香激情五月天色色色| 天天射影院| 超碰九热| 在线99精品| 超碰爱爱爱| 91干| 久久婷婷五月综合激情国产| 六月婷婷激情小说网| 久久开心五月天激情| 婷婷五月综合色拍| 四色99久久| 天天综合精品| 中文字幕欧美日韩VA免费视频| 婷婷五月天国产传媒| 婷婷狠狠狠爱| 久久色情| 婷婷中文字幕版| 丁香五月综合AV在线| 26UUU欧美激情一区二区| 五月天婷婷久久视频| 免费无码毛片一区二区A片 | 激情五月婷婷综合色播小说| 激情五月天综合网| 99色视频| 开心五月婷婷99| 天天操婷婷| 99re这里| 99精彩视频| 日操| 丁香婷婷激情五月天无毒不卡蜜桃| 在线观看五月婷婷网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丝袜激情网| 91精产品自偷自偷综合| 久久丁香婷婷五月天| 婷激情五月| 99这里有精品视频| 色婷婷狠狠| Y11111111111少妇电影院| www.色九月| 色色色色五月天| 婷婷色色综合激情| 久久婷婷六月综合| 丁香五月婷婷网| 奇米影视在线视频| 婷婷五月在线综合| 色婷婷五月天激情在线观看| 久草大| 五月丁香婷婷伊人日韩| 这里只有精品亚洲| 丁香五月天啪啪a日本| 丁香蜜臀黄色婷婷五月天| 99年操人人爽| 五月丁香啪啪啪啪| 日本激情综合| 五月丁香亭亭| 91视频免费后入强操| 五月色婷婷综合丁香精品无遮挡| 九九热思思| 天堂成人A片永久免费网站| 亚洲精品中文字幕成人片| 五月天伊人av| 久久婷婷91| 色亭亭九月| 亚洲精品欧洲精品| 亚洲综合视频网| 超碰啪啪网| 六月丁香婷婷色综合| 色综合五月| 成人国产欧美大片一区| 99er热精品视频| 91精品91久久久中77777| 久热这里| 99热亚洲精品| 丁香五月综合图片在线观看| 久久只有18视频| 丁香五月激情综合婷综| 26uuu亚洲欧美| 99久久综合| 9191avse| 九九这里只有精品| 嫩草AV久久伊人妇女超级A| 色综合久久综合中文综合网| 思思久热| 精品香蕉99久久久久网站 | 99ER热精品视频| 97人人操| 天天日 天天草| 婷婷五月丁香基| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 狠狠干综合网| 国产日韩欧美| 天天爽在线视频| 丁香五月首页| 五月丁香婷草| 深爱激情综合| 国产婷婷久久| 婷婷五月花丁香| 亚洲欧美成人在线观看| 激情丁香五月婷| 五月婷婷丁香五月| 91视频久久久| 人人视频人人干人人做| 九一九九黄色| 五月天婷婷视频30| 嫩模草| 性生活久久人妻| 久碰视频| 一区二区中文字幕| 亚洲激情综合网| 丁香五月区| 91碰| 人妻人人操| 婷婷久久网| 激情色色| 狠狠干综合| 综合婷婷六月| 国产69久久久欧美黑人A片| www.sd-xiangsu.cpm| 狠狠色婷婷| 2015好吊操| 99热啪啪| 色情五月天se| αv中文字幕在线观| 亚洲五月丁| 国产肥白大熟妇BBBB视频| 婷婷五月AA五月在线| 国产69久久久欧美黑人A片| 九九热这里只有精品556| 超碰在线国产| 欧美黑人巨大猛烈cuckold| 天天久综合网永久入口18| 99热精品在线播放观看| 亚洲亚洲人成综合网络| www.色欲丁香婷婷| 婷婷成人五月天成人文学小说| 日韩欧美不卡| 天天日人人爽| 97人碰人操| 丁香五月婷婷在线视频| 99啪在线视频| www.天天干| 99在这里有精品| 99久热在线精品99re6热| 五月天六月色| 99久视频| 五月丁香综合激情| 丁香丁香激情网| 久操香蕉| AV成人在线播放| 欧美婷婷| yazhoujiqingav| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 伊人大香蕉综合在线| 伊人久久大香蕉网| 91在线日| 国产SUV精品一区二区883| 久久丁香久久| 99热新网址| av国产精品| 四色99久久| 久久婷婷色色| 国产精品久久久久久久久久免费| 丁香六月婷婷综合啪啪| 大香蕉婷婷五月天| 国产真实乱对白精彩| 色综合伊人网| 狠狠色丁香综合| 中文字幕成人日韩| 日韩成人综合网| 在线,国产,色,热视频| 97涩婷婷| 五月丁香六月成人| 久色五月| 99热99色| 91国产精品视频播放| 综合色99| 欧美VA在线观看| av中文在线| 热99.com婷婷| 91婷婷丁香| 亚洲激情精品| 丁香五月激情宗合网| 婷婷久久爱| www.zbzhongsen.com| 99精品22| 欧美婷婷六月丁香综合色| 天天色凹凸| 99久久网站| 九九在线精点品| 五月夜丁香| 4399在线日本A片| 丁香五月婷婷av影院| 成片免费观看视频大全| 婷婷五月天干干| 996热re视频精品视频| 日本婷婷激情四射中文字幕在线观看| www.91操| 婷婷五月激情五月激情| 秋霞三级影视资源| 97人人操在线| 五月丁香婷婷激情| 婷婷色六月| 曰韩少妇内射免费播放| 综合久久97| 操一操插一插| 五月丁香综合激情在线观看| 婷婷五月天久久综合88| 99热传媒| 婷婷久久五月天| 亚洲成人av在线| 亚洲欧美999| 五月丁香在线精品| 色婷婷五月天中文字幕| 久婷婷五月综合欧美| 五月天丁香啪啪网| 色五月婷婷网| 五月天激情四射| 激情六月婷| 中国AV性爱观看| www.99久| 97性高潮久久久| 爱穴久久| 国产精品涩涩涩视频网站| 日本色色色| 91操片| 五月天婷婷视频小说| 亚洲人妻一区二区| 亚洲色情免费网| 欧美在线视频99| WWW,五月| 国产综合81p| 操操操91| 丁香花综合永久入口| 高潮毛片又色又爽免费| 伊人激情影院| 超碰色色综合| 色色免费网站| 少妇真实被内射视频三四区| 26uuu| 无码动漫AV| 丁香五月综合AV在线| 婷婷五月天97干| 99热这里只有精品官网| a级毛片一区二区免费视频| 狠狠色噜噜狠狠| 综合99在线| 99re视频在线播放| 情婷婷五月天在线| 婷婷五月激情网站| av人人操| 婷婷丁香色女人| 西西4r午夜剧场| 色婷婷成人色网| 国产乱妇无乱码大黄AA片| 狠狠草在线观看| www.五月天婷婷| 五月丁香六月婷综合成人综合| 色色色综合网| 97人人射| 无码日本精品XXXXXXXXX | 超碰99久久| 欧美在线视频免费播放| 99色| 97碰超级人人看| 久久草大香蕉| AA丁香综合激情| 色播丁香| av一级棒av| 九九久久偷拍| 五月天停婷基地| 色色色地址| WWW.99热| 亚洲色综合| 丁香婷婷久久 | 大香蕉 婷婷| 国产日产亚系列精品版优势| 草草女人亚洲| 亚洲殴洲精品Av在线| 亚洲AV无码一区二| 亚洲、欧美、国产另类笫二区| 亚洲激情网| 开心激情色婷婷五月天| 日逼免费视频| 丁香五月婷婷色情综合| 激情久久久久久久久久久| 久99热| 精品一区二区三区免费毛片爱| 六月五月天婷婷涩播在线| 激情五月天第四色| 免费婷婷| 色综合天天网| 婷婷成人五月天成人文学小说| 狠狠干在线| 丁香午夜天| 香蕉AV777XXX色综合一区| 欧美三级大片AA在线看| 97性视频| 国产Va视频| www,99热| 97精品自拍| 俺去也五月| 99热全是精品| 久久五月丁香婷婷| 区区欧美你爱| 久久久久久久人妻| 天天操天天操天天操天天操天天操 | 操久久网| 啄木鸟黑丝一区二区| 丁香婷婷五月| 夜夜撸日日操| 无语停婷丁香网| 色欲婷婷五月天| 翔田千里无码| 亚州操操| 亚洲国产精品二二三三区| www.99免费视频| 婷婷欧美偷拍综合| 婷婷六月激情综合| 色五月偷偷| 久久免费精彩视频| 1234操逼网| 激情的五月婷婷蜜桃| 天天干夜夜想| 天天干,夜夜爽| 日本大逼91| 婷婷五月成人有| 丁香五月婷婷视频| 国产精品久久久久久久久久久久 | 亚洲精品网址| 五月婷婷成人网首页| 日本色色网站| 天海翼中文字幕高| 色婷婷A| 五月天社区狠狠| 综合激情视频| 天堂网色婷婷| 色五月涩涩婷婷蜜桃| 99热官网| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 丁香五月另类小说在线阅读| 99这里热| 色五月综合激情网| 超碰人人艹| 99无码黄色视频| 中文字幕在线免费看线人| 色婷婷五月在线| 五月天六月婷婷电影| 九九99精品视频在线观看| 色色色99| 丁香五月婷婷香| 中文久久久人妻| 色色免费网站| 97偷拍在线视频| 开心四月婷婷在线色播播| 中文字幕av在线| 91九色偷拍| 5月色亭亭视频| 91操碰| 婷婷午夜综合| 五月婷婷我| 91 欧美| 五月天婷婷午夜丁香| AV在线大香蕉| 丁香六月综合激| 色噜噜狠狠狠综合曰曰曰| 欧洲色区| 玖玖色综合网| 狠狠干综合| AV六月丁香| 五月天婷婷激情春色小说| 欧美性丁香色色五月天综合爱爱| 久99久在线| 99精彩视频| 婷婷WWW久久| 一起草AV| www.99久| 色你久久| 99资源在线视频| 日韩啪啪视品| 色婷婷成人影片| 成人av中文字幕| 六月婷婷综合久久| 色婷狠狠| 久草免费福利视频| 六月亭亭久久综合激情| 成人做爰黄A片免费看直播室男男| 第2色五月婷| 99九九在线精品热动漫| 日本丰满久久| 天天日天天爱天天噪| 五月丁香婷久久| 久久婷婷五月天亚洲欧美| 2050人人操免费工开爱 | 夜夜骑天天操| 久久久精品免费啪啪国| 视频这里只有精品| 久婷| 99热伊人| 99热精品无码| 深夜男女福利刺激影院一区完整| 五月天激情久久| 国产综合视频婷婷| 亚洲精品影视| 91干| 亭亭五月丁香五月天激情| 狠狠搞五月天| 9久久精品| 噜一噜免费视频| 激情99| 日日撸天天干| 九九艹女| 色色射| 韩国19 主播内部福利vip免费播放| 日本色婷婷| 色综合丁香婷婷| 五月丁香婷婷色色| 99re热视频这里只有综合亚洲| 1024操逼视频| 婷婷色色五月| 国产精产国品一二三在观看| 狠狠干狠狠干狠狠干狠狠干| 曰韩五月丁香色婷婷无码| 亚洲bt丁香五月天婷婷激情小说| 亚洲视频在线网| 超碰在线免费9| 亚洲色婷婷| 日欧一片内射VA在线影院| 婷婷另类开心| 色日本颜射| 日本欧美国产| 五月婷婷色啪| 夜色综合网| 99久久九九| 欧洲第一无人区观看| 五月天婷婷五月| 成人丁香五月婷| 亚洲精品无码久久| 99超在线| 亚洲人成网站999综合| 日本色天堂| 99在线爽| 色综久久久| 9久久久久久久久久久| 婷婷五月天伊人在线| 狠狠色噜噜狠狠狠777奇米| 色婷婷先锋| 亚洲激情网站无码| www.wuyuetian啪啪|