欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

AI芯片架構(gòu)深度解析:從計(jì)算陣列到存儲(chǔ)墻的權(quán)衡之道

AI芯片架構(gòu)深度解析:從計(jì)算陣列到存儲(chǔ)墻的權(quán)衡之道 1. 從算力饑渴到專(zhuān)用計(jì)算AI芯片這十年的三條岔路過(guò)去十年AI圈子里有個(gè)很有趣的“剪刀差”做算法的同學(xué)每年都在抱怨模型越來(lái)越大、訓(xùn)練越來(lái)越慢而做硬件的同學(xué)則在拼命堆晶體管、提頻率。兩邊都很努力但總感覺(jué)隔著一條河。直到我真正跳進(jìn)AI芯片這個(gè)坑才明白問(wèn)題不在“算力不夠”而在“算力用不對(duì)地方”。2012年AlexNet在GPU上跑出驚人效果之后行業(yè)其實(shí)面臨一個(gè)岔路口。第一條路是把GPU這條通用并行計(jì)算路線(xiàn)做到極致靠CUDA生態(tài)和Tensor Core持續(xù)迭代第二條路是走FPGA用可重構(gòu)邏輯去適配快速變化的算法第三條路則是押注ASIC直接為神經(jīng)網(wǎng)絡(luò)“刻”一塊專(zhuān)用硅片。當(dāng)時(shí)誰(shuí)也不敢說(shuō)哪條路一定贏但十年后回頭看三條路都活了下來(lái)只是各自找到了完全不同的生存空間。這背后的邏輯并不復(fù)雜。AI計(jì)算和傳統(tǒng)計(jì)算最大的區(qū)別在于傳統(tǒng)計(jì)算是“控制密集”比如操作系統(tǒng)、數(shù)據(jù)庫(kù)這類(lèi)負(fù)載大量的時(shí)間花在分支判斷、地址跳轉(zhuǎn)、中斷處理上需要的是強(qiáng)大的控制邏輯和通用性而AI計(jì)算是“數(shù)據(jù)密集”卷積、矩陣乘、激活函數(shù)、歸一化這些操作結(jié)構(gòu)高度規(guī)整數(shù)據(jù)可以流水線(xiàn)式地灌進(jìn)去幾乎不需要復(fù)雜的控制流。一旦負(fù)載形態(tài)變成了這樣通用CPU那種“每一條指令都要先取指、解碼、再執(zhí)行”的流水線(xiàn)方式就顯得笨重了——大量晶體管和功耗都消耗在“準(zhǔn)備執(zhí)行”這個(gè)過(guò)程里而不是真正“執(zhí)行”上。所以AI芯片架構(gòu)設(shè)計(jì)的核心命題從第一天起就不是“怎么把芯片做快”而是“怎么把晶體管花在刀刃上”。這個(gè)“刀刃”就是計(jì)算單元本身。圍繞這個(gè)命題不同團(tuán)隊(duì)給出了截然不同的答案。本文不打算寫(xiě)成教科書(shū)式的綜述只是想把我在實(shí)際接觸和評(píng)估各種AI芯片架構(gòu)時(shí)看到的門(mén)道、走過(guò)的彎路、以及那些在PPT上看不到的真實(shí)權(quán)衡系統(tǒng)地?cái)傞_(kāi)來(lái)聊一聊。適合正在做AI基礎(chǔ)設(shè)施選型、做算法工程化落地、或者想從軟件側(cè)理解硬件邏輯的讀者。2. 計(jì)算陣列、存儲(chǔ)墻與片上互聯(lián)拆開(kāi)一塊AI芯片的三個(gè)橫截面拿到任何一款A(yù)I芯片的架構(gòu)圖無(wú)論是NVIDIA的Hopper、Google的TPU還是國(guó)內(nèi)廠商的各類(lèi)NPU第一眼看上去都會(huì)覺(jué)得眼花繚亂。但如果拆開(kāi)看其實(shí)所有AI芯片都在回答同一個(gè)問(wèn)題的三個(gè)子問(wèn)題計(jì)算怎么做、數(shù)據(jù)怎么喂、數(shù)據(jù)怎么搬。2.1 計(jì)算陣列從二維到三維的MAC組織方式計(jì)算單元是AI芯片的心臟而心臟的基本跳動(dòng)單元叫MAC也就是乘累加操作。一次MAC做的事情很簡(jiǎn)單兩個(gè)數(shù)相乘再加到累加器上。但神經(jīng)網(wǎng)絡(luò)里的矩陣乘法動(dòng)輒上百億次MAC怎么把這些MAC組織起來(lái)直接決定了芯片的面積效率、功耗效率和時(shí)鐘頻率。主流的組織方式有三種。第一種是二維脈動(dòng)陣列TPU是典型代表。數(shù)據(jù)像波浪一樣在二維陣列里“流動(dòng)”每個(gè)計(jì)算單元只和相鄰單元通信不需要全局廣播。這種做法的好處是數(shù)據(jù)復(fù)用率極高、布線(xiàn)短、功耗低壞處是陣列利用率受矩陣形狀影響很大——如果矩陣維度和陣列尺寸不匹配會(huì)有大量計(jì)算單元空轉(zhuǎn)。第二種是SIMD風(fēng)格的寬向量單元GPU的Tensor Core和我見(jiàn)過(guò)的一些NPU都走這條路。數(shù)據(jù)被切成固定寬度的向量比如16x16、32x32的tile一條指令驅(qū)動(dòng)整個(gè)陣列同步執(zhí)行。這種設(shè)計(jì)對(duì)編譯器非常友好利用率容易做高但對(duì)數(shù)據(jù)在片上存儲(chǔ)器的布局要求苛刻排不好就會(huì)出現(xiàn)大量bank沖突。第三種是近兩年開(kāi)始流行的一些分布式/可重構(gòu)陣列計(jì)算單元之間通過(guò)片上網(wǎng)絡(luò)動(dòng)態(tài)連接理論上可以靈活映射任意結(jié)構(gòu)的計(jì)算圖實(shí)際落地難度確實(shí)也比較大。我在實(shí)際評(píng)估芯片時(shí)很少只看峰值算力更關(guān)心“有效算力密度”——也就是在給定芯片面積和功耗下持續(xù)跑到70%以上利用率的算力是多少。這個(gè)指標(biāo)才真實(shí)反映MAC組織方式的優(yōu)劣。2.2 存儲(chǔ)層級(jí)為什么說(shuō)“存儲(chǔ)墻”是AI芯片的第一瓶頸很多芯片的Datasheet上寫(xiě)著幾十甚至上百TOPS的算力跑個(gè)小模型也確實(shí)能跑到接近理論峰值。但一上真實(shí)模型性能直接腰斬甚至膝斬。絕大多數(shù)情況下問(wèn)題不是出在計(jì)算單元上而是出在存儲(chǔ)上。AI芯片的存儲(chǔ)層級(jí)大致分四層HBM或者LPDDR這樣的片外DRAM、片上SRAM有些廠商叫Shared Memory、有些叫Buffer、寄存器堆、以及計(jì)算單元內(nèi)部的累加器/暫存器。帶寬從上到下是數(shù)量級(jí)的提升容量則是數(shù)量級(jí)的下降。真實(shí)計(jì)算中要跑一個(gè)矩陣乘你得先把A矩陣的塊和B矩陣的塊從DRAM搬到SRAM算完之后把結(jié)果C搬回去然后再搬下一塊。如果搬數(shù)據(jù)的時(shí)間比計(jì)算時(shí)間還長(zhǎng)計(jì)算單元就只能閑著等數(shù)據(jù)。這就是“存儲(chǔ)墻”的本質(zhì)算力漲得比存儲(chǔ)帶寬快得多導(dǎo)致喂數(shù)據(jù)的速度跟不上消耗數(shù)據(jù)的速度。解決思路無(wú)外乎三條路一是把數(shù)據(jù)盡量留在片上通過(guò)tiling切分讓數(shù)據(jù)反復(fù)復(fù)用典型如CUTLASS、triton這類(lèi)庫(kù)在做的事二是設(shè)計(jì)更大的片上SRAM比如有些芯片把SRAM做到幾十兆甚至上百兆目的就是能放下更大的tile三是做近存計(jì)算或存內(nèi)計(jì)算把計(jì)算邏輯直接懟到存儲(chǔ)單元旁邊甚至里面這是架構(gòu)層面的終極解法后面會(huì)專(zhuān)門(mén)講。從軟件側(cè)來(lái)看存儲(chǔ)層級(jí)設(shè)計(jì)直接決定了算子的實(shí)現(xiàn)策略。同樣一個(gè)卷積在A芯片上要分成四段來(lái)搬數(shù)據(jù)在B芯片上也許一次就能裝下整張feature map。編程模型再抽象最終都是要映射到物理的存儲(chǔ)層級(jí)上的。所以評(píng)估一款A(yù)I芯片我一定先要拿到它片上SRAM的容量和帶寬數(shù)據(jù)再去看峰值算力——順序不能反。2.3 片上互聯(lián)多核架構(gòu)最容易忽略的暗坑現(xiàn)在的AI芯片沒(méi)有單核打天下的。即便單die內(nèi)部也會(huì)拆分成多個(gè)計(jì)算核比如NVIDIA的SM、Habana的TPC、各家NPU的NPU Core多核之間怎么通信是芯片能不能“人多吃上飯”的分水嶺。ARM架構(gòu)的SoC一般用AMBA總線(xiàn)簡(jiǎn)單直接適合小規(guī)模互聯(lián)。AI芯片上常見(jiàn)的互聯(lián)方式有三種網(wǎng)格片上網(wǎng)絡(luò)、環(huán)形總線(xiàn)、以及高帶寬的crossbar。網(wǎng)格片上網(wǎng)絡(luò)代表是某些云端AI芯片的優(yōu)點(diǎn)是可擴(kuò)展性好核多了也能掛得住代價(jià)是通信延遲不可控?cái)?shù)據(jù)從一個(gè)核到另一個(gè)核要跳很多跳編譯器必須做精確的通信編排否則性能穩(wěn)定性很難保證。環(huán)形總線(xiàn)NVIDIA GPU的NVLink片上版本可以近似這么理解還有不少ASIC沿用實(shí)現(xiàn)簡(jiǎn)單廣播效率高但環(huán)一旦做大了單跳帶寬和整體延遲會(huì)惡化。Crossbar是最奢侈的方案任意核到任意核都是直達(dá)延遲低、編程簡(jiǎn)單但面積和布線(xiàn)開(kāi)銷(xiāo)隨著核數(shù)平方級(jí)上漲超過(guò)一定規(guī)模就完全不經(jīng)濟(jì)了。我見(jiàn)過(guò)不少項(xiàng)目在選型時(shí)只看每個(gè)核的算力忽略了核間通信能力。結(jié)果就是單核跑一個(gè)算子很快但一旦模型是并行度要求高的結(jié)構(gòu)通信帶寬就成了瓶頸。這個(gè)坑在2D卷積這類(lèi)本來(lái)就有空間局部性的算子里不太明顯但在Transformer的注意力計(jì)算里會(huì)非常顯著——因?yàn)镼、K、V矩陣要頻繁做跨頭的拼接和切分片上數(shù)據(jù)搬運(yùn)量極大。3. 指令集架構(gòu)上行那些繞不開(kāi)的SIMD、VLIW與可重構(gòu)軟件開(kāi)發(fā)者說(shuō)“架構(gòu)”腦子里浮現(xiàn)的往往是操作系統(tǒng)的分層、微服務(wù)怎么拆、前后端怎么通信。但芯片領(lǐng)域的“架構(gòu)”最初的落腳點(diǎn)是指令集架構(gòu)——也就是軟件和硬件之間的那條合同。AI芯片的指令集設(shè)計(jì)其實(shí)暴露了芯片公司對(duì)“軟件棧應(yīng)該長(zhǎng)什么樣”的基本立場(chǎng)。3.1 SIMD與向量化GPU走通的那條康莊大道SIMD不是新概念上世紀(jì)六十年代就有向量機(jī)的雛形但把它在AI時(shí)代發(fā)揚(yáng)光大的是GPU。GPU的哲學(xué)是“大量簡(jiǎn)單計(jì)算單元聽(tīng)同一個(gè)指揮做同樣的事”。每個(gè)線(xiàn)程執(zhí)行同一條指令但操作不同的數(shù)據(jù)。這個(gè)模式下編譯器或者程序員要操心的問(wèn)題只有一個(gè)把數(shù)據(jù)打包成合適的向量寬度確保所有線(xiàn)程都在工作。放到AI芯片的語(yǔ)境下SIMD風(fēng)格最典型的代表就是Tensor Core和各類(lèi)NPU的MAC陣列指令。比如英偉達(dá)的wmma或者mma指令一次可以算一個(gè)16x16x16的矩陣乘。如果你寫(xiě)CUDA寫(xiě)過(guò)這種指令你一定會(huì)感覺(jué)到它本質(zhì)上是在“教”硬件怎么切分矩陣、怎么排列數(shù)據(jù)。這種模式的優(yōu)點(diǎn)是想清楚之后效率可以做到極高缺點(diǎn)則是軟件棧的復(fù)雜度被轉(zhuǎn)移給了開(kāi)發(fā)者——如何把一個(gè)大矩陣乘拆成無(wú)數(shù)個(gè)tile并且保證每個(gè)tile的加載和計(jì)算重疊得嚴(yán)絲合縫這不是一個(gè)輕松的活。3.2 VLIW的誘惑與陷阱編譯器把命脈握在自己手里的野心VLIW和SIMD容易混淆但思路完全不同。SIMD是“一條指令操作很多數(shù)據(jù)”VLIW是“一條指令里有好幾個(gè)操作并行發(fā)射到不同功能單元”。VLIW把亂序執(zhí)行、動(dòng)態(tài)調(diào)度這些讓CPU頭疼的硬件邏輯全部搬到了編譯期。編譯器靜態(tài)分析代碼把能并行的操作打包成一條很長(zhǎng)的指令硬件只需要無(wú)腦執(zhí)行。這套哲學(xué)在DSP領(lǐng)域統(tǒng)治了很久在AI芯片領(lǐng)域也曾被寄予厚望。誘惑在于它省掉了大量亂序執(zhí)行的硬件面積和功耗都能降下來(lái)對(duì)追求極致能效比的推理芯片非常有吸引力。陷阱則在于編譯器需要完美預(yù)測(cè)運(yùn)行時(shí)的情況一旦遇到緩存未命中、分支跳轉(zhuǎn)這類(lèi)不確定事件指令流水線(xiàn)就會(huì)氣泡叢生性能大幅回退。AI計(jì)算里最典型的就是動(dòng)態(tài)shape——序列長(zhǎng)度不是固定的導(dǎo)致循環(huán)次數(shù)、內(nèi)存訪問(wèn)模式全部動(dòng)態(tài)化。VLIW編譯器的靜態(tài)分析在這類(lèi)場(chǎng)景下非常痛苦。我實(shí)際接觸過(guò)的態(tài)度是純VLIW適合算法高度固定的專(zhuān)用芯片比如某個(gè)特定檢測(cè)模型、某個(gè)固定尺寸的推薦模型。一旦要做多模型、動(dòng)態(tài)shape、復(fù)雜控制流的通用AI推理VLIW的優(yōu)勢(shì)會(huì)迅速被編譯器的力不從心吞噬。3.3 RISC-V對(duì)AI芯片的影響不只是“開(kāi)源”兩個(gè)字可以概括這幾年幾乎每個(gè)做AI芯片的創(chuàng)業(yè)公司都會(huì)在PPT里提一句“基于RISC-V”。但RISC-V對(duì)AI芯片的意義并不是“免費(fèi)用一個(gè)指令集”而是“可以干凈地?cái)U(kuò)展自定義指令”。傳統(tǒng)CPU有x86和ARM兩座大山指令集僵化想加一條AI加速指令需要走復(fù)雜的生態(tài)流程。RISC-V則劃出了一大片自定義指令空間芯片公司可以把自己的MAC操作、激活函數(shù)、甚至專(zhuān)用的數(shù)據(jù)搬運(yùn)指令直接做成ISA的一部分。這帶來(lái)的直接收益是編譯器、匯編器和調(diào)試工具可以無(wú)縫支持這些新增指令而不是靠“inline asm”或者“intrinsic函數(shù)”在標(biāo)準(zhǔn)ISA里打補(bǔ)丁。另外一個(gè)容易被忽視的點(diǎn)是RISC-V的向量擴(kuò)展讓AI芯片可以更優(yōu)雅地處理“非矩陣”計(jì)算。神經(jīng)網(wǎng)絡(luò)里除了矩陣乘還有大量element-wise操作比如LayerNorm里的均值方差、Softmax里的指數(shù)歸一化、注意力里的mask操作。這些操作用MAC陣列跑是殺雞用牛刀靠通用CPU核跑又太慢。RISC-V向量單元正好補(bǔ)上這個(gè)空白。所以你會(huì)看到很多AI芯片采用“通用RISC-V核專(zhuān)用NPU陣列”的異構(gòu)設(shè)計(jì)前者管控制流和element-wise后者管重計(jì)算各司其職。4. 從CNN到Transformer神經(jīng)網(wǎng)絡(luò)的演進(jìn)如何反向重塑芯片架構(gòu)AI芯片領(lǐng)域有個(gè)很有意思的現(xiàn)象大多數(shù)芯片架構(gòu)的生命周期比它要跑的模型的生命周期長(zhǎng)很多。一款芯片從設(shè)計(jì)到流片要兩三年而算法社區(qū)半年就能把主流模型換一遍。這意味著芯片架構(gòu)在定義的時(shí)候必須對(duì)“未來(lái)兩三年跑的模型”有足夠強(qiáng)的預(yù)判。4.1 傳統(tǒng)CNN邏輯架構(gòu)在芯片上的映射與優(yōu)化CNN時(shí)代的AI芯片設(shè)計(jì)是相對(duì)“安逸”的因?yàn)榫矸e的結(jié)構(gòu)非常規(guī)整一個(gè)卷積核在輸入特征圖上滑動(dòng)數(shù)據(jù)的空間局部性極好。芯片設(shè)計(jì)者不需要太多創(chuàng)新就能通過(guò)脈動(dòng)陣列、數(shù)據(jù)復(fù)用、行緩沖器這些經(jīng)典手段把卷積跑得很高效。但CNN內(nèi)部其實(shí)也已經(jīng)分化出不同的架構(gòu)流派。以YOLOv8為代表的目標(biāo)檢測(cè)網(wǎng)絡(luò)主干網(wǎng)絡(luò)是卷積、頸部是FPN/PANet做多尺度特征融合、頭部是解耦檢測(cè)頭。這類(lèi)結(jié)構(gòu)在芯片上的映射挑戰(zhàn)在于多尺度特征圖帶來(lái)的內(nèi)存訪問(wèn)不規(guī)律——不同層的特征圖尺寸不同數(shù)據(jù)布局差異大對(duì)存儲(chǔ)帶寬的消耗非?!八槠?。另一類(lèi)是以MobileNet為代表的深度可分離卷積計(jì)算密度低內(nèi)存訪問(wèn)占比高對(duì)MAC陣列的壓力小但對(duì)片上存儲(chǔ)帶寬的壓力反而更大。所以在我做芯片評(píng)估的時(shí)候CNN時(shí)代有個(gè)經(jīng)驗(yàn)法則不要只看理論TOPS要看“有效內(nèi)存帶寬”。一個(gè)TOPS很高但內(nèi)存帶寬捉襟見(jiàn)肘的芯片跑MobileNet這類(lèi)輕量模型可能還不如一個(gè)TOPS稍低但帶寬充裕的芯片。這個(gè)經(jīng)驗(yàn)在Transformer時(shí)代更是被放大到極致。4.2 Transformer架構(gòu)及其工作原理帶來(lái)的三重計(jì)算特征Transformer架構(gòu)及其工作原理對(duì)芯片的沖擊是架構(gòu)層面的。第一重沖擊是注意力機(jī)制的內(nèi)存復(fù)雜度。Q和K矩陣做點(diǎn)積得到注意力分?jǐn)?shù)時(shí)需要產(chǎn)生一個(gè)序列長(zhǎng)度平方級(jí)的中間矩陣。序列長(zhǎng)度從CNN時(shí)代的幾百暴漲到了Transformer時(shí)代的幾千甚至幾萬(wàn)這個(gè)中間矩陣的尺寸直接爆炸——它在片上SRAM里根本放不下必須被頻繁寫(xiě)回DRAM。計(jì)算本身的FLOPs反而還好但數(shù)據(jù)搬運(yùn)的量級(jí)上升了一個(gè)維度。第二重沖擊是動(dòng)態(tài)shape。語(yǔ)言模型的序列長(zhǎng)度是不固定的推理的時(shí)候用戶(hù)輸入的token數(shù)量每次都不同。這讓很多針對(duì)固定shape做過(guò)極致優(yōu)化的靜態(tài)編譯方案失效。我測(cè)試過(guò)一些機(jī)器學(xué)習(xí)編譯器跑固定尺寸的CNN模型可以做到非常接近理論峰值但一旦切換成動(dòng)態(tài)sequence length的GPT類(lèi)模型性能掉一半是常事。原因就在于編譯期無(wú)法預(yù)知循環(huán)邊界指令流水線(xiàn)和數(shù)據(jù)預(yù)取策略全部被打亂。第三重沖擊是計(jì)算和訪存的分離傾向。Transformer里真正“算得多”的是線(xiàn)性層也就是矩陣乘但真正“影響性能”的往往是那些計(jì)算量不大、卻要反復(fù)來(lái)訪存的算子比如Softmax、LayerNorm、Residual Add、以及各種permute和reshape操作。如果芯片的架構(gòu)把MAC陣列做得極其強(qiáng)大卻在element-wise算子和數(shù)據(jù)搬運(yùn)動(dòng)作上偷工減料跑Transformer的時(shí)候整個(gè)流水線(xiàn)會(huì)嚴(yán)重失衡。4.3 為T(mén)ransformer而生的新架構(gòu)方向FlashAttention思路的硬件化軟件層面有一個(gè)很好的解決思路正在快速硬件化那就是FlashAttention的思路。它的核心洞察是不要讓注意力分?jǐn)?shù)矩陣完整地落到DRAM里而是通過(guò)分塊計(jì)算、在線(xiàn)softmax、增量更新讓盡可能多的計(jì)算在SRAM內(nèi)完成。這個(gè)概念看似是一個(gè)算法層面的優(yōu)化實(shí)際上它對(duì)硬件架構(gòu)提出了相當(dāng)具體的訴求片上SRAM要大、計(jì)算單元和SRAM之間的帶寬要足、并且計(jì)算陣列要能高效地流水線(xiàn)化執(zhí)行element-wise操作。我做架構(gòu)評(píng)估時(shí)特別關(guān)注一款芯片對(duì)FlashAttention風(fēng)格算子的支持程度。有些芯片的軟件棧直接提供了融合的Attention算子調(diào)起來(lái)很方便性能也穩(wěn)定有些芯片則要求用戶(hù)自己去手工tile和編排雖然有靈活性但門(mén)檻確實(shí)偏高。這個(gè)差別不僅僅是工程實(shí)現(xiàn)的問(wèn)題本質(zhì)上反映的是芯片架構(gòu)對(duì)數(shù)據(jù)流形態(tài)的適應(yīng)能力——是那種“為矩陣乘而生、其他一概不管”的架構(gòu)還是“理解模型計(jì)算模式、主動(dòng)做算子融合”的架構(gòu)。5. 分布式訓(xùn)練與推理當(dāng)算力從一顆芯片走向一片集群芯片單點(diǎn)的性能再?gòu)?qiáng)在千億參數(shù)模型面前都是杯水車(chē)薪。真正的系統(tǒng)級(jí)問(wèn)題是讓幾千顆芯片協(xié)同工作像一個(gè)整體一樣完成訓(xùn)練或者推理任務(wù)。這個(gè)層面的架構(gòu)設(shè)計(jì)考慮的問(wèn)題從晶體管轉(zhuǎn)移到了機(jī)架、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心。5.1 三種并行策略背后的通信拓?fù)湫枨蟠竽P陀?xùn)練的基本功是三種并行數(shù)據(jù)并行、張量并行、流水線(xiàn)并行。三種并行對(duì)芯片間通信的需求截然不同。數(shù)據(jù)并行最簡(jiǎn)單每個(gè)芯片持有完整模型的副本喂不同的數(shù)據(jù)定期同步梯度。同步梯度的通信量取決于模型大小但通信是周期性的、突發(fā)性的可以靠帶寬換延遲。張量并行則是把一層算子的計(jì)算切分成多份讓多顆芯片各算一部分然后通過(guò)AllReduce合并部分結(jié)果。這種并行的通信頻率極高幾乎每做一次矩陣乘就要同步一次對(duì)芯片間互連的延遲和帶寬都是極限壓力。流水線(xiàn)并行稍微溫和一些是把不同層放在不同芯片上數(shù)據(jù)像流水線(xiàn)一樣一層一層往后流通信頻率低但需要足夠大的互連緩沖來(lái)吸收不同層執(zhí)行速度的差異。這三者并不是互斥關(guān)系真實(shí)訓(xùn)練里往往是混合使用的。而混合并行策略對(duì)芯片集群的互連拓?fù)涮岢隽艘粋€(gè)硬性要求不能假設(shè)通信只會(huì)發(fā)生在相鄰節(jié)點(diǎn)之間。所以現(xiàn)代AI集群的互連架構(gòu)基本都采用胖樹(shù)或全連接變體配合RDMA網(wǎng)卡和RoCEv2或者InfiniBand網(wǎng)絡(luò)。芯片本身的片上互聯(lián)能力反而退居其次跨芯片的通信質(zhì)量被網(wǎng)絡(luò)架構(gòu)主導(dǎo)了。5.2 緊耦合與松耦合AI芯片互連架構(gòu)的兩條路線(xiàn)在芯片層面多芯片互連也有兩種路線(xiàn)之爭(zhēng)。一種是緊耦合的典型如NVIDIA的NVLink/NVSwitch方案、NVIDIA的GB200 NVL72這種整機(jī)柜級(jí)互連方案。做到極致的情況下多顆芯片在軟件看來(lái)就像一顆巨大的芯片共享內(nèi)存、統(tǒng)一尋址通信對(duì)上層基本透明。這種方案開(kāi)發(fā)效率極高也是目前大模型訓(xùn)練最順暢的路徑。另一種是松耦合的芯片之間走標(biāo)準(zhǔn)以太網(wǎng)或者定制的高速通信接口每顆芯片獨(dú)立運(yùn)行通過(guò)軟件層的通信庫(kù)類(lèi)似NCCL的機(jī)制來(lái)同步數(shù)據(jù)。這種方案的好處是成本低、靈活性強(qiáng)壞處是通信延遲高、編程復(fù)雜。近年業(yè)界有一些專(zhuān)門(mén)為大模型設(shè)計(jì)的定制化以太網(wǎng)方案例如RoCEv2的擁塞控制算法針對(duì)多對(duì)一通信也就是AllReduce中最容易出現(xiàn)的流量模式做了很多優(yōu)化實(shí)際效果已經(jīng)接近專(zhuān)有網(wǎng)絡(luò)。我在評(píng)估AI芯片集群方案時(shí)會(huì)特別關(guān)注芯片是不是原生支持PCIe點(diǎn)到點(diǎn)通信和NVMe over Fabric這類(lèi)高速互訪協(xié)議。很多芯片單卡跑分很漂亮但互聯(lián)能力孱弱做數(shù)據(jù)并行訓(xùn)練時(shí)效率下降得厲害。芯片之間的通信帶寬、延遲、擁塞控制能力是決定訓(xùn)練集群擴(kuò)展性的隱形天花板。5.3 分布式框架的架構(gòu)層級(jí)從PyTorch DDP到Megatron-DeepSpeed的演進(jìn)分布式訓(xùn)練框架的架構(gòu)層級(jí)演變也值得聊一聊。PyTorch的DDP模式只是實(shí)現(xiàn)了數(shù)據(jù)并行通信邏輯簡(jiǎn)單粗暴每個(gè)step結(jié)束AllReduce同步一次梯度。這個(gè)方案在模型不大、顯卡數(shù)量不夸張的情況下夠用但一旦模型大到單卡裝不下就需要引入張量并行和流水線(xiàn)并行。Megatron-LM提供了完整的張量并行實(shí)現(xiàn)DeepSpeed加入ZeRO零冗余優(yōu)化器來(lái)切分優(yōu)化器狀態(tài)和梯度兩者結(jié)合一般叫Megatron-DeepSpeed就成了大模型訓(xùn)練的標(biāo)配。但對(duì)于AI芯片架構(gòu)師來(lái)說(shuō)這套軟件棧其實(shí)隱含了一層硬件假設(shè)它假設(shè)芯片之間的通信方式是以NCCL為底座的、類(lèi)似GPU的通信語(yǔ)義。一旦要適配新的AI芯片就必須實(shí)現(xiàn)一套類(lèi)似NCCL的通信庫(kù)并且針對(duì)新的互連拓?fù)渥鲂阅苷{(diào)優(yōu)。很多做芯片的公司低估了這部分工作量芯片做出來(lái)之后通信庫(kù)接不上分布式訓(xùn)練根本跑不動(dòng)。所以AI芯片選型時(shí)一定要看它的分布式通信棧成熟度而不光是通信硬件的理論指標(biāo)。6. 架構(gòu)的未來(lái)存算一體、chiplet與軟件定義硬件聊完已經(jīng)落地的方案再往前看一步。AI芯片架構(gòu)的演進(jìn)遠(yuǎn)沒(méi)有到收斂的階段反而因?yàn)槟P鸵?guī)模的膨脹而進(jìn)入了新的爆發(fā)期。三個(gè)方向在我看來(lái)值得特別關(guān)注。6.1 存算一體繞過(guò)存儲(chǔ)墻的終極手段還是工程烏托邦存算一體Computing-in-Memory的思路非常誘人既然數(shù)據(jù)搬運(yùn)是瓶頸那就不搬了。把計(jì)算單元做成和存儲(chǔ)單元貼合的結(jié)構(gòu)讓數(shù)據(jù)在存儲(chǔ)里就被直接算掉。阻變存儲(chǔ)器RRAM、相變存儲(chǔ)器PCM、甚至靜態(tài)隨機(jī)存儲(chǔ)器SRAM都能做存內(nèi)計(jì)算乘累加操作可以在存儲(chǔ)陣列的字線(xiàn)Word Line和位線(xiàn)Bit Line上直接完成模擬域或數(shù)字域都有實(shí)現(xiàn)案例。但這個(gè)方向的工程挑戰(zhàn)極大。模擬域的存內(nèi)計(jì)算精度受限8bit以上的定點(diǎn)計(jì)算信噪比就很難保證對(duì)主流AI模型尤其是訓(xùn)練場(chǎng)景對(duì)精度要求是FP16起步根本不適用。數(shù)字域的存內(nèi)計(jì)算面積開(kāi)銷(xiāo)又上去了SRAM存內(nèi)計(jì)算的密度相比專(zhuān)用計(jì)算陣列并無(wú)數(shù)量級(jí)優(yōu)勢(shì)。我個(gè)人的判斷是存算一體在未來(lái)幾年很難成為云端訓(xùn)練芯片的主流方案但在端側(cè)推理、模型參數(shù)固定的應(yīng)用場(chǎng)景比如離線(xiàn)推薦、語(yǔ)音喚醒里有機(jī)會(huì)率先落地因?yàn)樗鼘?duì)精度要求相對(duì)寬松、對(duì)功耗極度敏感、且模型一般不常變。6.2 chiplet與異構(gòu)集成把不同工藝的芯片拼成一個(gè)系統(tǒng)傳統(tǒng)的單芯片方案Monolithic在所有功能上都使用同一種工藝但AI芯片里不同模塊對(duì)工藝的要求差異很大——邏輯運(yùn)算需要先進(jìn)工藝的高頻率SRAM需要高密度DRAM的工藝則完全不同。Chiplet思路的核心就是“不再?gòu)?qiáng)求所有功能做在同一塊die上”而是把CPU核、NPU陣列、IO、SRAM分別做成小芯片再用先進(jìn)封裝比如CoWoS、InFO-LSI把它們高密度地拼裝到一個(gè)基板上。這樣做的好處有兩個(gè)一是良率改善明顯小芯片的制造良率遠(yuǎn)高于一顆巨大的SoC所以綜合成本反而更低二是設(shè)計(jì)靈活性提升可以像搭積木一樣組合不同能力的芯片模塊。但配套的難點(diǎn)也在這里——芯片之間的die-to-die接口協(xié)議比如UCIe必須足夠成熟信號(hào)完整性、電源完整性、散熱在封裝級(jí)的協(xié)同設(shè)計(jì)非常復(fù)雜。chiplet本身倒是早就大規(guī)模商用了AMD的EPYC服務(wù)器處理器就是多個(gè)chiplet拼出來(lái)的只是AI芯片場(chǎng)景下的chiplet互連對(duì)帶寬的訴求更加激進(jìn)。6.3 軟件定義硬件可重構(gòu)計(jì)算架構(gòu)是否卷土重來(lái)FPGA是“可重構(gòu)”的元老但傳統(tǒng)FPGA因?yàn)樵贏I計(jì)算上的面積效率太差一直沒(méi)能在主流AI市場(chǎng)打開(kāi)局面。但“軟件定義硬件”這個(gè)理念本身沒(méi)有死反而在新興的架構(gòu)形態(tài)里重新冒頭。一個(gè)是動(dòng)態(tài)可重構(gòu)的NPU陣列芯片的互聯(lián)網(wǎng)絡(luò)和計(jì)算單元的配置可以在運(yùn)行周期內(nèi)修改讓硬件拓?fù)鋭?dòng)態(tài)適配不同模型的算子依賴(lài)關(guān)系。這本質(zhì)上是對(duì)VLIW哲學(xué)的一種延伸——把“硬件怎么連”的決策權(quán)交給編譯器而編譯器可以根據(jù)當(dāng)前模型結(jié)構(gòu)實(shí)時(shí)生成配置位流。另一個(gè)是更徹底的“空域計(jì)算”Spatial Computing方案典型代表是SambaNova家的架構(gòu)。它把計(jì)算圖直接映射到硬件資源的三維結(jié)構(gòu)中數(shù)據(jù)流在計(jì)算單元間流動(dòng)而不是被“取指-譯碼-執(zhí)行”的指令流水線(xiàn)驅(qū)動(dòng)。這種架構(gòu)在編譯器和運(yùn)行時(shí)上投入非常大但一旦映射成功計(jì)算效率確實(shí)能做到非常接近理論上限。這類(lèi)方案的軟件棧復(fù)雜度極高短時(shí)間很難成為主流但它代表了一種重要的思路通用性和高性能并不是天然矛盾的只要你愿意讓軟件做更多事。從架構(gòu)演進(jìn)的角度看未來(lái)三到五年的AI芯片大概率不會(huì)是某一種“終極架構(gòu)”勝出而是多種架構(gòu)在不同場(chǎng)景里長(zhǎng)期共存。云端訓(xùn)練繼續(xù)由GPU和GPU-like方案主導(dǎo)端側(cè)推理被更多專(zhuān)用NPU和存內(nèi)計(jì)算蠶食數(shù)據(jù)中心邊緣則可能出現(xiàn)更多為特定模型定制的“半通用”芯片。7. 一句話(huà)看懂一款A(yù)I芯片架構(gòu)的實(shí)用框架最后分享一個(gè)我自己常用的框架幫助技術(shù)決策者快速判斷一款A(yù)I芯片架構(gòu)的成色。不需要讀懂每一份Datasheet抓住下面五個(gè)維度就能避免大部分選型陷阱。第一是看片上SRAM的容量和帶寬。這決定了單算子能裝多大的tile、算子融合能做到什么程度。低于一定閾值的芯片跑Transformer類(lèi)模型會(huì)非常吃力。第二是看MAC陣列的數(shù)據(jù)流形態(tài)。是脈動(dòng)陣列還是SIMD風(fēng)格還是可重構(gòu)陣列每種形態(tài)都有配套的編譯難度要結(jié)合團(tuán)隊(duì)自己的軟件能力選擇。如果團(tuán)隊(duì)主要靠C/CUDA生態(tài)SIMD風(fēng)格上手更快如果團(tuán)隊(duì)能接受更接近硬件編程模型的學(xué)習(xí)成本脈動(dòng)陣列的上限更高。第三是看軟件棧的支持深度。一個(gè)成熟的AI芯片不只是硬件好編譯器、算子庫(kù)、通信庫(kù)、調(diào)試工具這些“軟件底盤(pán)”決定了一個(gè)小團(tuán)隊(duì)能不能真正用起來(lái)。我經(jīng)常用“從拿到開(kāi)發(fā)板到跑通第一個(gè)Transformer推理需要多久”來(lái)衡量這個(gè)芯片軟件棧的成熟度。第四是看集群互連能力。芯片之間是標(biāo)準(zhǔn)以太網(wǎng)、RoCE還是專(zhuān)用高速互連是否原生支持分布式訓(xùn)練框架的通信原語(yǔ)這決定了你從單卡擴(kuò)展到多卡的平滑程度。第五是看生態(tài)綁定程度。芯片背后的生態(tài)是封閉的還是開(kāi)放的底層編程接口是不是對(duì)上層算法足夠友好這些看似“軟性”的指標(biāo)在實(shí)際生產(chǎn)效率上的影響往往比某些硬指標(biāo)更關(guān)鍵。架構(gòu)設(shè)計(jì)從來(lái)都是在“通用性”和“效率”之間走鋼絲。芯片設(shè)計(jì)如此軟件工程如此做一個(gè)好的技術(shù)選型決策也是如此。評(píng)估一款A(yù)I芯片架構(gòu)不只是在評(píng)估一塊硅片而是在評(píng)估一個(gè)團(tuán)隊(duì)對(duì)計(jì)算本質(zhì)的理解深度以及那個(gè)團(tuán)隊(duì)選擇把未來(lái)押在哪種計(jì)算哲學(xué)上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
26UUU精品一区二区c〇m| 97人人操在线| 啪啪激情综合| 综合激情五月丁香| 亚洲婷婷欧美婷婷| 9久热| 婷婷丁香六月天| 色色99| 亚洲午夜在线视频| 一本色道久久88加勒比—| 91精品无码久久久久久五月天| 伊人激情综合网| 五月丁香美女视频| 国产丁香五月天婷婷| 久久婷婷五月综合伊人| 久久99网站| 97操碰| www99精品在线观看| 国产婷婷久久| 色婷久久| 久久亚洲婷婷| 热九九精品| 五月激情啪啪| 美欧成人视频| 六月丁香深深爱| 丁香五月综合在线视频| 激情第四色| ..真实国产乱子伦毛片| 91色操| 色噜噜,噜噜色| 99热a片免| 激情综合五月天| 无码激情AAAAA片-区区| 91亚洲天堂| 伊人色综合影院视频| 五月天激日本色情在线| 色五月激情网| 96精品成人无码A片观看金桔 | 九九九九成人| 欧美综合激情五月丁香| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 免费视频WWW在线观看网站| 久久免费少妇高潮99精品| 婷婷九九视频| 大香婷婷| 色色色视频免费无码 | 成AV人片一区二区三区久久| 激情中文在线| 香蕉人在线香蕉人在线 | 六月丁香婷婷综合影院| 久久久久久人妻| 色玖玖综合| 99热在线这里| www.久久婷婷| 丁香五月天天高清在线| 婷婷综合网伊人| 婷色五月| 人人爱干人人爱草| 热九九精品| 五月婷色啪| 97超碰人人操| 亚洲AVDVD| 这里只有精品,日韩视频| 综合网狠狠| 五月丁香六月久久| 狠狠狠狠狠狠色| 中国无码av| 五月婷婷亚洲| 激情综合网五月婷婷| 亚洲色五月| 67194中文字幕| 先锋资源996| 99操久久| 五月婷婷激情久久| 九九久热| 99热在线播放精品| 99福利视频| 婷婷色网| 婷婷激情性爱| 在线中文亚洲| 探花搜索结果 - 黄上黄| Av狠狠色丁香婷| 婷婷五月天美女21p| 99国产精品久久久久久久久久久 | 激情超碰网| 天天爱天天做天天舔| 色五月婷婷大香蕉| 九九青草热| anquye五月| 色99视频| 久久五月视频| 婷色五月| 色婷婷色99国产综合精品| 激情五月综合婷婷| 日韩无码乱轮| 色色 亚洲| 超碰亚洲欧美| 能直接看的AV网站| 123日本不卡在线| 99热99日…..| 欧美肉大捧一进一出免费视频| 97av在线视频| 婷婷社区五月天| 日本 欧美在线| 国产精品国产| 在线观看av网站| 亚洲另类日本| 999九九九久久久99HD| 在线观看玖玖资源免费观看| 亚洲狠狠爱婷婷| 二人电影免费版在线观看| 丁香六月在线| 99色综合网| 五月天婷婷成人网| 金品在线视频99| 99热在线这里| 九月av在线| 婷婷五月花西瓜| 99热xx| 亚州日本欧州韩美高青高潮一| 日本一级一级一级一级| 天天日狠狠| 人妻久久久久久| 99噜噜噜在线播放| 99在线免费观看| 色啪综合| 97人人操人人干| 色之综合网| 97人人操人人干| 五月婷婷中文字幕| 饮料下药迷倒漂亮女同事强干| 婷婷五月情| 五月丁香 啪啪| 五月激情综合网| 激情五月丁香五月| 人妻内射麻豆视频| 久9热视频在线| www.色五月.com| 色都都狠狠色都都色综合色| 99爱视频| 婷婷综合久久| A片试看50分钟做受视频| 99er免费在线观看| 亚洲久久视频| 操啊操av| 色玖玖玖| 色婷婷五月在线| 激情综合5| 综合婷婷久久| 色综天天综合| 性爱网五月婷婷| 婷婷丁香五月综合激情视频| 狠狠99| 亚洲高清在线| 五月婷婷免费| 九九中文字幕九| 激情九九六月激情免费视频| 亚洲中文丁香| 婷婷综合伊人| 一级性爱视频| 99热99这里有免费的精品| 久草婷婷网| 午夜丁香五月天综合| 97操| 色婷婷久久| 激情五月亚洲综合网| 欧美色必爱| 婷婷五月草| 99色热视频| 五月天综合在线| 丁香五月激情澎湃一区| 91在线视频综合| 久9热| 丁香五月图片| 亚洲自拍天堂| 色婷婷激情| 五月激情网综合| 五月天停停日日| 精品人妻一区| 99热在线看| 五月婷婷综合激情网| WWW.国产| 操逼巨乳91| 激情综合五月激情XXXX| 中文成人在线| 五月丁香无码| 五月丁香九九九综合| 九九综合五月欧美| 99热在线观看| 久婷婷色| 人人看人人草人人摸| 婷婷九月在线| 免费无码毛片一区二区A片| 久色视频| 国产寻花在线| 色啪影院| 97日日碰碰| 六月婷婷五月天| www.夜夜騎夜夜狠| 91精品久久久久久| 亚洲国产网址| 免费观看的av| 激情AV在线| 亚洲婷婷婷| 狠狠色97| 综合另类激情| 婷婷亚洲天堂| 久久九九@| 无码G高清天| 久久宗合影| 五月丁香啪啪网| 99思思热只有在这里看| 99热精品在线播放观看| 亚洲熟女色| 色综合综合综合| 日韩 中文 欧美| 丁香婷婷浪潮AV久久综合| 五月丁香精品| 婷婷久久天堂网| 久久97| 播五月,色五月,开心五月播放器| 五月社区婷婷激情| 思思热闹这里只有精品| 欧洲亚洲午夜| 99在线视频喷水| 性做久久久久久久免费看| 色色热| 欧美激情五月综合| 五月丁香啪啪综合| 99热99| 大伊香蕉精品视频在线 | 99热地址| 五月四色婷婷| 久久这里只有精品07| 久草a片| 2025神马午夜福利| 粉嫩AV久久一区二区三区| 伊人五月婷婷| 人人摸人人澡人人| 无码人妻一区| 人人人va亚洲视频在线| 六月婷婷网站| 亚洲激情高潮| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月婷色色| 色99www.| 涩婷婷视频快播人妻| 国产成人精品一区二三区熟女在线| 超碰人人操在线| 婷婷五月天 偷拍| 99在线热| 成人丁香五月| 成人网页在线观看| 激情五月婷婷啪啪| 一级性爱大片| 超碰在线观看caop| 月色色综合婷婷网| 久久99久久久| 91色吧网| 九色自拍| 日韩综合天堂| www久久99| 天天肏天天肏天天肏| 中文字幕久久婷九女同| Y11111111111少妇电影院| 婷婷五月天成人| www.五月丁香| www.99热在线| 99热亚洲精品| 97碰啪啪| 久久九色| 91蜜桃婷婷狠狠久久综合9色| 欧美成人A片AAA片在线播放 | 成 久久| 青草久久五月婷伊人| sS丁香五月婷婷| 天天操夜夜爽天天操| 再次出发二| 91尤物九色在线| 超碰97久久| 欧美婷婷丁香五月| 91视频人人做97| 色婷婷情片| 激情久久网| 婷婷国产欧美97| 婷婷欧美激情| 97碰碰人人| 国产激情视频在线观看| 涩涩涩,com| 久久黄色免费视频| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 中文成人在线| 久久se 综合网| 婷婷五月天99综合网站| 五月婷av| 玖玖婷婷五月| 九九国产视频| 五月综合激情图片| 色五月第四色| 久久3p| 婷婷欧美| 五月婷在线观看| 色约约视频一区二区三区四区五区| 国产真实乱对白精彩| 色婷婷导航| 激情99热| 久久ww| 色五月天丁香| 婷婷六月色| 人人草开心五月天| 婷婷成人AV| 婷婷六月色| 久久影视婷婷五月| 色婷婷9| 操操自拍| 99九九99九九九视频精彩| 五月丁香花激情综合网| 99精品自拍| 爱操人妻| 狠狠搞狠狠操| 5月婷婷6月丁香aV| 久久九九激情五月天 | 亚洲天堂aaa| 婷五月天| 成人电影在线免费试看| 色婷婷影院| 五月天.com| 综合激情伊人影视在线| 中文字幕人妻熟女在线| 五月天全国最大成人网| 黄色片avv| 久久机热/这里只有精品| 久久五月天激情婷婷| 婷婷五月天堂| 亚洲免费99| 九九精品自拍| 亚洲精品va| 最近中文字幕大全免费版在线 | 蜜臀嫩草| www激情网站| 亚洲综合视频网| www.婷婷五月| 可以看的av| 久久五月视频| 婷婷在线播放| 激情五婷网| jiZZdr| www.夜夜夜| 狠狠干五月| 丁香五月天啪啪a日本| 91 九色 入口| 97碰久久| 天天插天天狠| 五月桃花网综合| 久久思思热| www.婷婷亚洲基地| 色情五月婷婷| 丁香久久九九99| 五月丁香五月综合欧美| 国产五月天婷婷| 久久久这里有精品| 成人国产欧美大片一区| 五月婷色丁香| 九九99九九精品视频| 91主播在线| 欧美色色色色色色| 色97综合婷婷天天色| 性热视频99精品| 国产精品18久久久| 婷婷伊人久久| 丁香五月婷婷在线观看| 五月丁香无码| 9视频在线成人网站| AV成人在线播放| 国产乱子轮XXX农村| 这里只有精品视频| 颜射 精品性爱av| 9色91视频| 人人操五月天| 极品少妇婷婷五月| 91五月天| 天天日天天干天天插天天射| 97色女人在线| 搡BBBB搡BBB搡五十| 丁香六月综合| www婷婷亚洲| 91av视频在线观看最新网址| 亚洲乱码精品久久久久..| 丁香婷婷视频一区二区| 婷婷综合五月| 免費观看aV在线网址| 97香蕉久久超级碰碰高清版| 亚洲性色XXXXX| 黄色精品五月婷婷| 亚洲综合五月天婷婷| 亚洲免费99| www.日日日.com| 婷婷五月天久久综合88| 国产成人精品一区二区三区视频 | 婷婷精品在线| 人人操人人爱丁香五月| www,五月天com| 久热精彩视频98| 偷拍五月丁香| 开心婷婷中文字幕| 俺去也在线官网| 色欲天天综合| 天天久久婷婷| 色欲天天综合网| 五月丁香六月婷婷啪啪| 99色丁香婷婷综合网| 狠狠99| 99热精品在线| 狠狠色狠狠| 99日韩网站| 丁香无月在线观看| 六月婷基地| 久久AAAA片一区二区| 大香蕉婷婷五月天| 999热在线视频| 丁香五月婷婷六月婷婷| 夜色综合网| 九九99九九精品免费 | 99在线观看精品| 激情五月婷婷中文字幕| 中海油常州环保涂料有限公司| 国产色香蕉精品五夜婷| 婷婷五月天天| 九九色影院| 五月婷婷激情综合网| 国产五月丁香在线| 色综合色五月| 色色色色色色色色色色色色色五月天| 日韩AV免费看| www久| 色婷婷a| 狠狠擼综合| 丁香婷婷五月综合色情| 五月天婷婷AV| 大香蕉久久久久久久久| 97日本在线播放| 99热自拍| 综合色播| www.色婷婷| 丁香五月天婷婷中文字幕| 亚洲国产va| 日本无va视频| site:pzdcoin.com| 天天看A片| 五月婷久久草| 日韩成人电影av| www.丁香黄色五月天人与| 久久xx| 日本综合色图| 开心五月综合激情网| 激情五月天激情小说| 另类小说五月天综合网| 9久热| 伊人网欧美在线男人天堂五月丁香| 天天弄天天操| 婷婷伊人五月| 婷婷五月天亚洲激情戏精品| 丁香五月色播中文在线播放| 六月丁香视频网站| 丁香五月天偷拍| 人人干99| 97婷婷丁香| 青青草Avb在线| 北京熟妇搡BBBB搡BBBB| 天天拍天天操| 婷婷深爱五月天| 色女人久久| 五月婷婷五月天在线| 色色网站免费观看| 亭亭色网| 玖玖无码中文| 色激情综合| 久操综合| 99玖玖在线视频| 玖色色综合| 久久婷婷大香蕉| 91蝌蚪窝视频在线| 99天堂在线观看免费视频| 成人午夜天| 粉嫩AV久久一区二区三区| www.91在线观看| 99熟女啪啪视频| 女人天堂 AV| 色婷婷五月综合网| 五月天婷网| 天天舔天天摸天天透| 五月丁香婷婷综合网色欲| 亚洲久久婷婷丁香五月天| 亚洲综合新99视频| 欧美性爱特黄一级aaaassss| 色另类五月天| 九九久久综合网站| 天天爽天天摸人妻综合网| 人人草人人爱手机视频看看| 噜噜色噜噜网| 偷偷操99| 日韩成人无码人妻| 日韩无码色色| 99热精品中文字幕| 爆乳熟妇一区二区三区爆乳| 丁香五月婷婷六月| 伊人激情| 99精品网| 性色九九| 六月天婷婷| 国产乱妇无乱码大黄AA片| 国产成人精品一区二三区熟女在线| 中字幕视频在线永久在线观看免费| 99精品综合| 五月天丁香| 嫩BBB槡BBBB搡BBBB| 亚洲妇女熟BBW| 国产精品色情AAAAA片软件| 亚洲经典三级| 操日本99| 日本三级第一页| 色偷偷人人| 超碰色人妾| 五月婷婷丁香网| 任你日视频| 欧美久久婷婷| 精品国产va久| 五月丁香六月综合激情无码软件亮点| 天天影院色| 色婷婷综合久久久久| 九九热在线精品视频| 亚洲V国产V欧美V久久久久久| 九九九干精品| 欧美久久网| 久久久这里都是精品| 五月天婷婷在线观看精品男人| 五月婷婷久久开心网| 久热A| 五月天婷婷基地综合网| 婷婷啪啪| 亚洲成人AV一区在线观看| 很很操很很操| 色五月婷婷DVD| 六月丁香婷婷拍拍| 午夜性爱影视一区77| 六月婷婷在线视频| 99热这里有精力| 少妇人妻丰满做爰XXX| 日美三级| 啪啪综合网| 日日噜狠狠色综合久久| 国产精品国产| 国产精产国品一二三在观看| 婷婷干六月综合旧址| 超碰激情五月| 狠狠做六月爱婷婷综合aⅴ| 天天狠狠色| 99热1| 亚洲V国产V欧美V久久久久久| 99在线播放| 婷婷激情六月综合| 婷香五月网在线| 九九热在线视频,| 五月天激情久久| 色色丁香五月婷婷| 都市激情蜜桃婷婷五月天 | 女人天堂AV| 丁香av网| 五月色婷婷亚洲| 丁香社区婷婷五月| 9色在线| 波多野结衣不卡AV| 久久99网站| 丁香五月婷在线| 日本久久性| 最近中文字幕2019视频1| 色玖玖玖| 777久久综合视频| 九九热精品视频| 99久热| 九热视频精品| 亚洲第精品| 狠狠五月激情丁香六月| 婷婷激情五月呦呦| 99热99成人| 79精品视频在线观看,| 中文字幕 码精品视频网站| 最近中文字幕大全免费版在线| 久久久婷婷色五月资源网| 五月天色狠狠| 婷婷激情九月| 久久久久久久久久久久久久久久久精典| 97人妻碰碰中文无码久热丝袜| 丁香六月婷婷姐网| 激情婷婷| www.五月婷婷久久.com| 99乱视频| 五月丁香六月婷婷久久| 一区二区传媒视频| 亚洲视频丁香网va| 无码髙清| 99色综合| 亚洲色99综合天堂| 久久99综合| 甈吧vv| 激情伊人五月天| 婷婷丁香综合| 激情综合色五月丁香六月亚洲| 99色精品| 亚洲久艹| 六月婷五月丁香| 色偷偷综合| 日本二级毛片二级毛片| 激情五月图| 狠狠色五月天| 91伦| 色五月天综合| 夜色综合网| 五月婷九月| 色综久久AV| 五月天综合激情网| 丁香五月成人丝袜| 婷婷噜噜| 97人人妻人人艹| 欧美99热| 人人摸人人干| 99日韩| 婷婷五月,偷窥偷拍网| 99热久久这里只有精品| 色色综合成人网| 久久在这里99| 激情五月瑟瑟| 九九色热视频| 色五月婷婷7777| 天天爱天天做天天舔| 99热综合网| 在线成人网站| 在线天堂9| 色约约视频一区二区三区四区五区 | 丁香婷婷AV| 五月婷网| 婷婷五月六月丁香综合| 精品亚洲国产成AV人片传媒| 久久三级视频| 婷婷丁香熟妇综合网| 五月婷婷日| 激情五月丁香六月| 热婷婷av| 亚洲日日操| 激情五月天婷婷| 五月天丁香啪啪啪啪| 丁香久久久| 国产毛片操B| 婷婷五月天亚洲精品| 婷婷色综合| 99热这是里只有精品| 五月天色五月| 五月总合激情网| 欧美婷婷| 99色色热| 欧美色五月| 久久九九视频网站| 久色网| 亚洲视频在线观看99| 婷婷色综合| 激情开心五月婷婷| 麻豆AV一区二区三区| 91热er| 国产又爽又猛又粗的视频A片| 婷婷伊人激情婷婷| 五月天婷婷小说| 国产精品五月丁香| 色香欲综合| 91九九| 人人摸人人| 婷婷5月色| 无码人妻精品一区二区蜜桃色欲| 激情婷婷丁香色情五月天| 欧美69久成人做爰视频| 五月婷婷手机在线| 欧洲区自拍| a久久免费视频| 婷婷九月丁香中文| 少妇人妻人伦A片| 色域五月婷婷丁香| 综合色播| 亚洲丁香五月美女| 欧美一级a| 天天久| 天天综合五月| 天天干天天干天天干天天干天天干| 婷婷的激情五月| BBWCUCKOLD精品熟妇| 婷婷五月激情在线| 777影视理论片大全在线观看| 五月天五月色| 久久日曰| 五月综合视频| 五月丁香狠狠爱| 欧美黄色一级录像| 五月天婷婷久久| 五月丁香色综合| 欧美va亚洲va在线播放| 午夜日日| 大香蕉婷婷| 色婷婷国色天香综合| 婷婷97色| 婷婷娌伦网| 亚洲成人免费电影| 一本色道久久88综合日韩精品| 五月 婷婷 成人| 97色色综合| 国产67194| 深爱五月天婷综合| 亲子乱av一区二区三区的| 碰97久久| 色色啊| 国产精品黑丝| 综合色99| 色高清无码视频| 4438国产免费看| 99热这里只有精品9| 99这里只有精品视频免费| 无码日本精品XXXXXXXXX| 五月丁香六月婷婷视频| 91疯狂操操操操| 五月婷婷激情综合| 婷婷成人五月天成人文学小说| 五月婷婷激情性爱| 亚洲亚洲人成综合网络| 99热日本| 99热99| 91精品久久久久久久| 琪琪理论片| 丁香五月综合激情久久潮喷| 99九色视频在线观看| 五月天成人伊人| 亚洲4区国产欧美| 日本色婷婷| 婷婷丁香色情| 啪啪色激情五月天| 日韩成人影片在线观看| 欧洲色| 五月激情婷婷丁香天堂| 五月色婷婷综合色| 国产毛片欧美毛片久久久| 色五月婷婷基地| oumeisesewang| 九九九午夜视频| 色色亚洲| 99热精品无码| 婷婷五月天激情综合| 天堂五月婷婷| 久久免费精彩视频| 伊人婷婷色| anquye伊人| 亚洲另类av| 国产激情久久| 在线中文亚洲| 五月婷在线视频免费播放| 久久曰曰| 一级黄色操B| 色色激情五月天| 丁香五月欧美午夜视频| 久久草婷婷丁香网站| 五月丁香激情综合网| 亚洲一区二区 成人网站戴套| 亚洲六月婷婷| 99色色| 丁香五月婷婷激情小说| OUMEIRIHANCHENGREN| www。88热在线视频免费观看| 婷婷情色激情| 婷婷五月天BBw| 婷婷操超碰| 色五月综合激情网| 影视av久久久噜噜噜噜噜三级| 综合99在线| 天天色宗合| 国产 码在线成人网站| 色域五月婷婷丁香| 丁香五月婷婷色| 日韩淑女人妻luan伦激情精品一区二| 人妻丰满精品一区二区A片| 五月婷婷色五月| 久久久久人妻| www.色五月| av在线不卡播放| 91丁香五月| 天天拍夜夜爽| 丁香五月网络网络| www.久久久久久久| 天天插夜夜爽| www色色色com| 五月婷婷基地| 丁香五月电影| 天堂资源欧日浪女在线播放| 五月开心色| 日韩在线视频9色| 欧美丁香六月激情视频| 国产熟妇的荡欲午夜视频| 亚洲午夜AV| 可以免费观看的av| 天天综合影院| 激情亚洲婷婷六月| 九九视频这里只有精品在线播放| 久久大香蕉视频| 久久久五月天婷婷成人网| 日韩国产在线精品| 国自产拍偷拍精品啪啪一区二区| 久久狠狠干| 99热人人| 99操无码视频观看| 色五月婷婷基地| 激情五月,激情综合网| www.热99热| 五月丁香六月激情狠狠| 婷婷的五月天另类视频| 久久婷婷成人视频| 精品乱码视频| www狠狠| 男人天堂99| 99精品国产在热久久婷婷| 久久婷婷的综合色丁香五月| 天天综合色99| WWW色色色COM| 久久性都花花世界成人免费视频| 亚洲午夜成人av电影网| 欧美成人AAA片一区国产精品| 成人看片网站| av九九| 91超级碰碰碰| 另类图片色五月| 五月天淫乱视频| 五月激情婷婷丁香天堂| 久久五月婷天天干| 婷婷六月天亚州| 久色国产| av中文网站| 丁香五月综合网亚洲综合欧美狠狠| 五月天婷婷青青草| 婷婷精品性性性性性性性| 婷婷五月图片小说视频| 26uuu欧美宗合| 这里只有精品网站| 婷婷五月天六点丁香五月| 六月丁AV| 思思久久精品| 大天天伊人| 日本色天堂| 综合久久婷婷| 五月天桃色深爱网| 国产超碰在线| 激情文学综合婷婷五月天丁香花| 综合色、色综合| 99热精品在线| 97精品人人A片免费看| 国产精品涩涩涩视频网站| 黄色国久久| 欧美熟女视频 色婷婷| 五月天久久小说| 欧美碰碰| 任你操精品免费| 99九九在线| 秋霞黄色一级久久| 综合丁香婷婷五月天| 婷婷黄色五月天在线视频| 九九久久综合网站| 激情综合激情五月一起草| 日日爱699| 久久这里只精品| 国产无人区大片| 97碰在线视频| 五月婷婷六月色| 97超碰,人人舔,人人操,人人摸 | 91主播在线| 激情九色| 国产激情综合五月久久| 色频玖玖五月天| 狠狠操狠狠狠| 99re这里有精品手机在线| 99re热视频这里只精品| 婷婷五月色惰| 91大神操美女| 人人草人人舔| 色情终和网| 亚洲在线成人| 欧美久久婷婷| 538午夜激情| 五月天婷婷色播在线网| 婷婷五月天免费视频| 2017狠狠干| 欧美色频| 碰超亚洲| 久久婷婷五月综合色丁香| 国产精品久久久久久白浆色欲| 五月天丁香啪啪综合| WWW.开心五月天.COM| 五月丁香六月玩女人| 99久久久久| 五月天激情小说| 伊人大香蕉爱聚| 日本一级大片| 天天日天天舔天天摸| 激情五月天婷婷视频| 五月丁香激情综合网| 玖玖在线视频| 色婷婷五月综合激情中文字幕| 男人天堂AV在线一区二区| 91狠狠综合久久| 九九这里精品| 天天操天天插| 婷婷久热| 屁股翘好撅高迎合跪趴| 久久天堂色| 色九月婷婷| 激情九九综合网| 色玖玖综合网| 精品国产一区二区三区四区阿崩 | 天天狠狠夜夜狠狠2023| 色五月丁香婷婷| www。五月,com| 99在线69| 天天插天天| 97资源碰碰| 久久99最新地址| 九九99九九99| 日本在线噜噜| 丁香五月婷婷激情网| 亚洲色无码A片一区二区麻豆| 久久丁香婷婷五月| 婷婷五月天777| 深爱五月婷婷| 亚洲精品一区无码A片| 嫩草视频观看| 四五月婷婷| 99热99极品观看| 超碰97在线操| 中美日韩成人在线| 性色99| 久久精品66| 超碰久热| 天天操天天插天天射| 那里有AV网址| 五月天婷婷丁香视频| 五月婷婷色影院| 思思久久久婷婷| 中文字幕黄色片| 婷婷综合色播网| 色综合99| 五月婷婷日| 丁香久久五月天视频在线观看 | 久久婷婷五月天| 天堂久久性| 婷婷色丁香五月| 色婷婷小说| 色婷婷综合在线| 天天插天天很| 无码激情| 五月开心啪啪| www.久久66| 五月丁香婷婷中文| 婷婷94s| 日韩狠狠色婷婷| 色婷婷先锋| 97色五月丁香婷婷| 成人超碰AV| 大香蕉五月婷婷| 九九99九九精品视频| 婷婷丁香六月影视| 久久伊人婷婷| 中文字幕不卡视频| 千人斩操逼| 夜夜操狠狠操| 日本精品人妻无码77777| 五月丁香六月成人| 国产26uuu| 婷婷综合五月天| av国产精品偷| 婷婷开心激情| 婷婷最新地址| 丁香五月色播中文在线播放| 五月停亭六月,六月停亭的英语 | 天堂成人A片永久免费网站| www久久久| 综合99视频| 色综合播放| 99热这里只有精品50| 久久丁香五月天| www999日韩精品| 丁香久久| 超碰cap| 天天色,天天操,天天射| 五月丁香激情综合网| 五月丁香花激情综合网| 国产VA亚洲VA96| 精品亚洲国产成AV人片传媒| 变态另类9| www.夜夜| 久久天堂女人| 五月天黄色激情小说| 五月激情综合网| 婷婷五月天激情四射| 丁香六月激情| 久久99看免费| 亚洲视色| 丁香影院五月综合| 色婷婷亚洲在线| 97色婷婷| 六月婷伊人| 九九碰九九爱97| 天天狠狠婷婷在线| 九九五月天| www.91在线观看| 人人摸人人干| 玖玖婷婷婷丁香五月| 亚州操人在线视频| Av在线不卡一区| 逼逼AV| 国产真人做爰视频免费| 玖玖在线资源视频| 色五月网址| 大香蕉婷婷| 久久综合五月天| 五月天激情久久| 丁香婷婷激情六月五月开心| 超热久碰.com| 日日天天干| 99免费青青蜜臀| 久久a热| 中文在线成人| 播五月开心婷婷欧美综合| 亚洲操B视频| 天天干,天天日| 人人操女人| 99热99久久| 色久女| 国产成人网| 五月天日日操夜夜操 | 噜一噜免费视频| 日本色色色| 99精品自拍| 丁香色婷婷五月天| 五月婷婷丁香啪啪| 九月色婷婷| 五月天婷婷久色| 三级黄色大片视频| 久久99久久99精品免观看软件| 俺来也狠狠| 天天干狠狠艹| 97AV人人插人人操| 99人妻碰碰碰久久久久视| 手机旧版看人妻1025| 91男同| 五月婷成人| 日本99视频| 一二三区视频韩国| 久久婷婷原创视频| 亚洲另类视频| 99久久精彩视频| 超碰超碰在线| 99久久精彩视频。| 久久怕怕视频| 激情99热| 激情五月综合网丁| 色五月丁香五月婷婷五月成人网 | 9久久精品| 五月婷婷co.m| 色天使久久综合| 五月天开心婷婷激情网站| 国产精品操| 五月婷婷激情综合网| 天天做天天爱天天搞| 人妻丰满精品一区二区A片| 色婷婷狠狠色| 天天透天天干| 97在线视频人妻九色| 久久新地址| 婷婷五月天社区| 欧美综合在线五月天色婷婷| 亚洲丁香婷婷| 五月开心网| 亚洲区,视频区,视频区免费| 久久久久人妻| 婷婷五月天亚洲图片| 亚洲色99综合天堂| 99精品无码| 色五月首页| 狠狠精品干练久久久无码中文字幕| 婷婷六月花| av激情在线| 这里只有精品视频| 丁香五月亚洲婷婷| av在线免费网站 | 精品乱码久久久久| 综合色图区| 伊人色综合网| 九九婷婷五月天影视| 婷婷日本在线| 综合激情在线| 热热久久精品视频| 色99久草在线| 99热亚洲| 狠狠狠人妻| 色综合香蕉视频| 久久99网| 草做免费在线观看| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 射婷婷中文字幕| 五月激情六月丁香| 欧美日本黄色| 免费做A爰片77777| 日日色综合| site:hcxsz888.com| 99色在线观看视频者| 色5月婷婷色| 森林影视大全,最好看的2019年视频 | 五月丁香久久| 思思热久热| 狠狠做五月| 九色综合网| 99操逼视频| 深爱五月亚洲| 精典久久| 日婷婷久久开心| 久婷婷视平| 大香蕉欧美在线| AV九九| 丁香狠狠干| 思思热在线视频精品| 婷婷香香五月| 欧美婷婷色| 99久在线观看| 超碰精品手机在线| 国产日韩av片| 91人在线观看| 五月天久久婷婷| 久99久热只有精品国产99| 亚洲熟女色| 99超超碰| 日韩啪啪视频| 天天视频亚洲| 久久视屏这里只有久久| 蜜桃婷婷狠狠久久综合| 婷婷在线视频| 色五月在线播放| 立川无码av| 九热免费视频| 99久久超级| 亚洲色网络| 第四色五月天| 欧美婷婷五月激情| 伊人狠狠丁香婷婷综合尤物| 亚洲人操亚洲人| 天天搞天天爽| 丁香五月五月婷婷| 五月色综合网欧美网| 在线成人av播放| 无码成人AAAAA毛片AI换脸| 影视av久久久噜噜噜噜噜三级| 亚洲无码成人性爰网| 99视频久久| ady狠狠入| 少妇AB又爽又紧无码网站| 99在线视频精品| 精品A√| 狠狠干2007| 综合色99| 国产4P视频精品五区| 超碰成人公开| 丁香六月婷| 久re热视频| 丁香五月天天高清在线| 色99视| 啊v视频在线观看| 亚洲天堂制| 日日夜夜狠狠| 久99在线视频| 99热这里只有在线| 亚洲精品乱码久久久久99| 婷婷丁香九月| 色爱综合五月| 国产偷人爽久久久久久老妇APP| 天天天天天日| 偷拍91九色| 丁香五月六月婷婷殴美综合| 五月天a婷婷伊人| 欧美伊人9| 啪啪操网| 五月婷婷爽爽爽| 久久伊人大香蕉| 亚洲成人影视在线观看| 日本色婷婷| 五月天色婷婷伊人网| 五月社区婷婷激情| 综合激情五月四射婷婷| 五月激情婷婷综合| 婷婷九月丁香天堂丁香天堂| 亚洲丁香婷婷| 五月丁香婷婷啪啪综合| www.第四色99| 操逼巨乳91| 婷婷五月花免费视频在线| 久草五月丁香婷婷综合| 伊人热在线大香蕉| 久草视频一,二三四| 激情小说五月天社区丁香 | 色色色图| 色综合五月| 亚洲成人中文字幕| 天天舔夜夜操www com| 久草五月天| 九九人人操| 五月婷婷丁香五月| 狠狠色五月激情| 五月天狠狠色| 曰韩少妇内射免费播放| 亚州操逼网| 热成人网| 久久色情| 亚洲啪| 98毛片| 最新久久网址| WWW久久99久久99久久| 天天上天天爽| 九九九九综合| 久久综合五月天激情小说网站 | 色色亚洲| 天天射影院| 色999五月色| 最新丁香六月婷婷| 大战熟女丰满人妻AV| 99自拍视频网站| 五月天婷婷青青草| 极品少妇XXXX精品少妇偷拍| 久久总和99| 色婷婷狠狠色| 丁香婷婷激情| 婷婷综合五月| 99爱在线观看视频| 亚洲中字AV电影在线网站| 秋霞三级色戒| 日本一道久久| 夜夜躁婷婷AV| 99热在线看| 色99综合色88| 五月丁香六月婷婷综合网| 婷婷九月在线| 丁香婷婷综合影院| 国产高清精品色| 国产毛片操B| 亚洲激情综合五月婷婷啪啪| 黄色国久久| 色情五月天se| 国外亚洲成AV人片在线观看| 丁香五月亚洲激情婷婷射| 久久免片| 久久精品视频99| 在线播放成人网站| 99婷婷| 九九热精品| 天天人人天天爽| 99热在线观看| 五月婷婷欲色| 五月天小说激情| 天天色,天天日,天天做|