欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

PYNQ上跑BNN手寫數(shù)字識別:從模型訓(xùn)練到FPGA部署全流程

PYNQ上跑BNN手寫數(shù)字識別:從模型訓(xùn)練到FPGA部署全流程 簡介這是一份圍繞PYNQ平臺實現(xiàn)二值神經(jīng)網(wǎng)絡(luò)BNN數(shù)字識別的完整工程資源包適合研究FPGA加速深度學(xué)習(xí)、嵌入式AI以及Zynq異構(gòu)計算的開發(fā)者與學(xué)習(xí)者也適用于數(shù)字識別、低功耗推理等應(yīng)用場景。資源共1843個文件整體約82.12MB內(nèi)容涵蓋大量bin權(quán)重文件、Python腳本py、ipynb notebook、Tcl/C工程源碼、bit/hwh硬件比特流與so動態(tài)庫直觀覆蓋BNN模型定義、訓(xùn)練、部署及FPGA加速鏈路文件中既有訓(xùn)練好的模型參數(shù)也有可直接運(yùn)行的推理腳本和硬件配置。附帶多個訓(xùn)練權(quán)重文件便于在PYNQ上直接加載復(fù)現(xiàn)實驗并結(jié)合FPGA并行計算與定制邏輯提升識別速度。目前已有2085人學(xué)習(xí)下載適合作為理解BNN低精度推理、FPGA硬件加速的工程范例也是開展相關(guān)課程設(shè)計或科研項目的有力參考。 別人問我為什么要在PYNQ上跑BNN識別手寫數(shù)字我一時間還真不知道怎么簡短回答。CPU和GPU跑MNIST已經(jīng)非常成熟了用TensorFlow寫個LeNet幾分鐘就能達(dá)到99%的準(zhǔn)確率。但如果你把同樣的問題放到邊緣端、放到功耗只有幾瓦的FPGA板卡上情況就完全變了——這時候BNN二值化神經(jīng)網(wǎng)絡(luò)幾乎是天然適配的選擇。這篇文章記錄的是我用PYNQ-Z1實現(xiàn)BNN手寫數(shù)字識別的完整過程從模型訓(xùn)練、二值化量化、硬件生成到板卡部署所有踩過的坑和最終的實現(xiàn)結(jié)果都會交代清楚。如果你也想在FPGA上跑AI推理或者想找個能完整摸一遍“訓(xùn)練→量化→部署”鏈路的小項目這篇應(yīng)該能幫你省下不少時間。這篇文章面向兩類讀者一是自學(xué)FPGA但被Verilog勸退的Python開發(fā)者PYNQ這套玩法能讓你用純Python觸碰可編程邏輯二是已經(jīng)在做邊緣AI、想把手頭CNN模型進(jìn)一步壓縮部署到嵌入式設(shè)備的人。我會把關(guān)鍵原理、代碼、參數(shù)和避坑點(diǎn)全部鋪開盡量做到拿過去就能照著跑。1. 為什么是PYNQ和BNN邊緣端數(shù)字識別的選型邏輯1.1 PYNQ的核心價值把FPGA變成Python工具PYNQ的全稱是Python Productivity for ZYNQ由Xilinx官方維護(hù)。它解決的痛點(diǎn)非常直接FPGA開發(fā)門檻高、工具鏈重、調(diào)試鏈路長。PYNQ把ZYNQ SoC上的ARM處理器和FPGA可編程邏輯統(tǒng)一包裝成了一個Python運(yùn)行環(huán)境FPGA邏輯部分被預(yù)編譯成Overlay一個包含bitstream、硬件描述文件和Python驅(qū)動庫的封裝你只需要在Jupyter Notebook里調(diào)用Overlay(xxx.bit)就能把硬件加載進(jìn)去再用類似讀寫內(nèi)存的方式操作硬件IP。我用的PYNQ-Z1開發(fā)板搭載的是Zynq-7020雙核ARM Cortex-A9加一塊85K邏輯單元的FPGA板上512MB DDR3這配置在今天的AI硬件里看著毫不起眼但對BNN來說完全夠用。ARM核跑Linux系統(tǒng)負(fù)責(zé)Python解釋、數(shù)據(jù)預(yù)處理和控制FPGA部分專心做卷積、全連接這類計算密集操作。這個異構(gòu)架構(gòu)決定了它的定位不是去跟GPU比浮點(diǎn)算力而是在幾瓦功耗內(nèi)、以極低延遲完成特定模型的推理。1.2 BNN和FPGA是天作之合的底層原因BNNBinarized Neural Network把神經(jīng)網(wǎng)絡(luò)里的權(quán)重和激活值全部約束成兩個值1和-1。這個限制在GPU上看起來像自廢武功因為GPU的強(qiáng)項是浮點(diǎn)矩陣乘你把它變成位運(yùn)算TensorCore反而不舒服。但在FPGA上情況完全顛倒過來。FPGA最擅長什么查表LUT、位操作、并行流水線。BNN的計算恰恰就是這三件事的集合。權(quán)重只有1bit意味著不用在外存和片上邏輯之間反復(fù)搬運(yùn)浮點(diǎn)數(shù)組乘法變成XNOR邏輯門累加變成popcount位計數(shù)整個卷積層可以用一長串LUT和布線直接搭成流水線數(shù)據(jù)像流水一樣從輸入流到輸出幾乎沒有等待開銷。而常規(guī)CNN需要的DSP乘法器在BNN里大量空閑資源可以全部讓位給存儲和路由邏輯。從工程角度再看一組對比對比項普通CNNfloat32二值化CNNBNN權(quán)重位寬32bit1bit單次卷積計算浮點(diǎn)乘加XNOR popcount存儲占用高可降低約32倍FPGA資源依賴DSP、BRAMLUT、FF為主典型功耗高極低這個差距在MNIST這種小模型上也許不明顯但放到大規(guī)模網(wǎng)絡(luò)和邊緣硬件上就是能不能部署、部署成本高低的本質(zhì)差別。1.3 MNIST為什么是最好的入門載體手寫數(shù)字識別是深度學(xué)習(xí)世界的“Hello World”。它的數(shù)據(jù)簡單直觀28×28像素的灰度圖輸出是0到9的分類。很多人覺得這題目太簡單、不夠有挑戰(zhàn)性但從項目落地角度看它恰恰是驗證“訓(xùn)練到硬件部署”全鏈路的最佳規(guī)模。模型太小的話環(huán)境配置和工具鏈調(diào)試的時間會遠(yuǎn)多于訓(xùn)練本身模型太大硬件資源又會成為干擾項讓你分不清問題出在網(wǎng)絡(luò)設(shè)計還是板卡能力。所以在PYNQ上跑BNN識別數(shù)字核心目的并不是去刷MNIST的精度榜而是建立一套可復(fù)用的方法論怎么用量化感知訓(xùn)練保住精度、怎么把ONNX模型編譯成FPGA數(shù)據(jù)流、怎么在板卡上做內(nèi)存對齊和數(shù)據(jù)搬運(yùn)。這條鏈路跑通之后換成CIFAR-10、換成更深的網(wǎng)絡(luò)、換成別的邊緣芯片都是同一套打法。2. BNN的二值化原理從浮點(diǎn)乘加到XNOR位運(yùn)算2.1 二值化的數(shù)學(xué)本質(zhì)傳統(tǒng)卷積對每個輸出點(diǎn)的計算是y sum(w_i * x_i) bw和x是浮點(diǎn)數(shù)乘加是真正的乘法器操作。BNN把w和x限制為1或-1后四個組合的乘積變成一張極簡真值表1×11、1×(-1)-1、(-1)×1-1、(-1)×(-1)1。細(xì)看會發(fā)現(xiàn)這其實就是XNOR同或邏輯門加上一個正負(fù)號映射。硬件實現(xiàn)時我們通常把1編碼成二進(jìn)制1、把-1編碼成二進(jìn)制0這樣兩個二值向量對應(yīng)位做XNOR得到的結(jié)果里1的個數(shù)就反映了內(nèi)積大小。再通過公式內(nèi)積 2 * popcount(XNOR(a, b)) - 長度還原出數(shù)值整個過程沒有一次乘法全是位邏輯和計數(shù)。放到具體硬件里popcount可以用查找表和加法樹實現(xiàn)一個時鐘周期就能完成幾十個bit的統(tǒng)計。這種特性讓BNN天然適合FPGA的高并行結(jié)構(gòu)也正是它跑得快的根本原因。2.2 精度不崩的三個關(guān)鍵設(shè)計既然把權(quán)重壓到只剩正負(fù)號肯定會有人質(zhì)疑精度不會崩嗎早期實驗確實會后來大家摸索出三個關(guān)鍵設(shè)計第一訓(xùn)練時用STEStraight-Through Estimator做反向傳播。前向傳播時sign()函數(shù)把實數(shù)映射成1/-1但梯度無法通過sign函數(shù)傳回STE的做法是讓梯度在實數(shù)域直接穿透即把sign函數(shù)的導(dǎo)數(shù)近似當(dāng)作恒等函數(shù)處理。這個技巧雖然簡單粗暴卻是BNN能正常訓(xùn)練的基石。第二BatchNorm層放在二值激活之前。BNN里的BatchNorm不是一個可選優(yōu)化而是必需品。sign函數(shù)對輸入分布極其敏感沒有BatchNorm把特征分布拉回合適的均值與方差網(wǎng)絡(luò)很快會飽和到所有激活值坍縮成同一個符號梯度消失。正確順序是卷積輸出 → BatchNorm → sign激活這能讓網(wǎng)絡(luò)自動學(xué)習(xí)尺度避免信息過早損失。第三網(wǎng)絡(luò)通道數(shù)通常要加寬。單個二值權(quán)重的表達(dá)能力不如浮點(diǎn)權(quán)重但通過增加通道數(shù)、讓網(wǎng)絡(luò)變“胖”可以在維度上彌補(bǔ)單bit精度的損失。這也是為什么BNN論文里推薦的網(wǎng)絡(luò)結(jié)構(gòu)普遍比同任務(wù)普通CNN寬1到2倍的原因。2.3 為什么FPGA能把這些運(yùn)算做到極致你可以在CPU或GPU上模擬XNOR和popcount但模擬畢竟是模擬最終還是比特邏輯在跑數(shù)據(jù)依然要按32位或64位放在寄存器里。FPGA不同F(xiàn)PGA的自由在于你能把數(shù)據(jù)位寬、電路結(jié)構(gòu)、時序流水全部定制成符合算法本身的樣子。BNN的卷積核可以生成在LUT陣列里權(quán)重直接硬化成查找表的輸入連接圖像一行一行地流進(jìn)流水線根本沒有取指令、緩存讀寫的開銷。更直白地說通用計算平臺是“先造好一個通用發(fā)動機(jī)再讓不同算法去適配它”FPGA是“按算法本身的結(jié)構(gòu)去布線造一條專用流水線”。BNN把算法簡化到極致FPGA也就能把電路壓縮到極致二者在數(shù)學(xué)結(jié)構(gòu)和物理實現(xiàn)上高度同構(gòu)所以才會說這是天作之合。3. 訓(xùn)練與硬化Brevitas建模到FINN生成Overlay3.1 工具鏈版本選擇整個流程需要三套東西Brevitas做量化感知訓(xùn)練QAT、FINN做模型編譯和硬件生成、PYNQ做板卡運(yùn)行環(huán)境。工具鏈的版本匹配問題值得單獨(dú)提醒因為Brevitas和FINN都在快速迭代版本不匹配會導(dǎo)致ONNX模型編譯失敗這是新手最容易卡住的地方。我用的是PyTorch 1.10配合Brevitas 0.6對應(yīng)的一套容器鏡像。FINN官方發(fā)布也是以Docker鏡像為主建議直接拉取官方鏡像而不是自己從源碼編譯鏡像內(nèi)部已經(jīng)鎖定了ONNX、PyTorch和FINN的兼容版本。PYNQ板卡端相對獨(dú)立只要燒錄官方PYNQ鏡像推薦v2.5以上它自帶完整Python開發(fā)環(huán)境。這里有個經(jīng)驗所有版本信息要記錄在項目文檔里。暢快跑通一周后如果你需要重建環(huán)境面對一堆含糊的“我裝了這個那個”會非常痛苦。我后來養(yǎng)成的習(xí)慣是每個項目根目錄放一個env.yaml或versions.txt把當(dāng)前環(huán)境的所有關(guān)鍵依賴版本釘死。3.2 網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練代碼MNIST的BNN結(jié)構(gòu)不需要太復(fù)雜參考FINN官方示例的common network設(shè)計我用的是兩層卷積加兩層全連接import torch import torch.nn as nn import brevitas.nn as bnn class BNN_MNIST(nn.Module): def __init__(self): super(BNN_MNIST, self).__init__() self.features nn.Sequential( bnn.QuantConv2d(1, 32, kernel_size3, padding1, weight_bit_width1, biasFalse), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), bnn.QuantConv2d(32, 64, kernel_size3, padding1, weight_bit_width1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2) ) self.classifier nn.Sequential( bnn.QuantLinear(64 * 7 * 7, 128, weight_bit_width1, biasFalse), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(0.5), bnn.QuantLinear(128, 10, weight_bit_width1) ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x注意QuantConv2d里我顯式設(shè)置了weight_bit_width1這就是二值化的開關(guān)。biasFalse是為了方便FINN后續(xù)折疊與量化。訓(xùn)練代碼幾乎是標(biāo)準(zhǔn)流程model BNN_MNIST().cuda() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) criterion nn.CrossEntropyLoss() for epoch in range(30): model.train() for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() loss criterion(model(images), labels) loss.backward() optimizer.step() scheduler.step()數(shù)據(jù)集直接用torchvision的MNIST加上隨機(jī)仿射變換做簡單增廣。實測訓(xùn)練30輪測試集準(zhǔn)確率能到98.5%左右。對MNIST來說BNN的精度已經(jīng)接近浮點(diǎn)CNN的水平而參數(shù)量只有約5萬字節(jié)量級折疊壓縮后更小。訓(xùn)練階段的幾個經(jīng)驗Adam初始學(xué)習(xí)率設(shè)在1e-3附近太大會直接不收斂太小會讓訓(xùn)練變得很鈍。BatchNorm的momentum保持默認(rèn)不用調(diào)整。如果發(fā)現(xiàn)訓(xùn)練過程中準(zhǔn)確率震蕩特別厲害優(yōu)先考慮降低學(xué)習(xí)率而不是改網(wǎng)絡(luò)結(jié)構(gòu)。3.3 導(dǎo)出ONNX與FINN編譯訓(xùn)練完成后把模型導(dǎo)出成ONNX格式這是把PyTorch網(wǎng)絡(luò)送進(jìn)FINN的標(biāo)準(zhǔn)接口model.eval() model.cpu() dummy_input torch.randn(1, 1, 28, 28) torch.onnx.export(model, dummy_input, bnn_mnist.onnx, opset_version11, input_names[input], output_names[output])導(dǎo)出時有三個細(xì)節(jié)容易踩坑一是模型必須切成eval模式否則BatchNorm里那些小buffer會直接影響ONNX結(jié)構(gòu)二是dummy_input的尺寸要與實際推理尺寸完全一致FINN后續(xù)會按這個形狀做數(shù)據(jù)流布局三是ONNX的opset_version需要和FINN容器里ONNX Runtime匹配通常11以上即可我去掉了動態(tài)軸的設(shè)置固定batch size為1這樣FINN處理起來最省心。接下來進(jìn)入FINN容器編譯硬件docker pull xilinx/finn:latest docker run -it --rm -v $(pwd):/workspace xilinx/finn bash在容器里運(yùn)行FINN的構(gòu)建腳本核心邏輯是from finn.builder.build_dataflow import build_dataflow build_dataflow( model_filename/workspace/bnn_mnist.onnx, output_dir/workspace/output, steps[step_qonnx_to_finn, step_tidy_up, step_streamline, step_convert_to_hls, step_synthesize, step_stitch, step_make_pynq_driver] )這里的每一步都對應(yīng)一個完整的處理階段step_streamline會把浮點(diǎn)BatchNorm等算子折疊成量化算子step_convert_to_hls把張量算子轉(zhuǎn)成硬件邏輯描述step_synthesize用Vivado HLS生成RTL并綜合step_stitch把各個模塊拼接成最終數(shù)據(jù)流step_make_pynq_driver輸出PYNQ驅(qū)動。整個編譯過程從ONNX到bitstream大約需要40到60分鐘取決于網(wǎng)絡(luò)規(guī)模和電腦性能。中途如果報錯最常見的原因就是ONNX里有FINN不支持的算子比如某些高維Reshape或者非量化裁減解法是回到Brevitas模型里把結(jié)構(gòu)改成FINN兼容的標(biāo)準(zhǔn)化模式。4. PYNQ板卡部署Overlay加載與推理代碼4.1 文件傳輸與Overlay加載編譯結(jié)束后output目錄里會生成三個關(guān)鍵文件.bitFPGA比特流、.hwh硬件描述、driver相關(guān)的Python文件。把這三個文件放到PYNQ板卡上我的做法是直接用scp傳scp output/bnn_mnist.bit xilinx192.168.1.100:/home/xilinx/bnn_mnist/ scp output/bnn_mnist.hwh xilinx192.168.1.100:/home/xilinx/bnn_mnist/ scp output/driver/*.py xilinx192.168.1.100:/home/xilinx/bnn_mnist/然后通過板卡自帶的Jupyter或SSH連接到PYNQ執(zhí)行from pynq import Overlay overlay Overlay(bnn_mnist.bit)PYNQ會讀取同名.hwh文件自動識別bitstream里包含哪些IP核并建立內(nèi)存映射。加載完成后FPGA里的BNN計算模塊就已經(jīng)待命了剩下的就是怎么把數(shù)據(jù)喂進(jìn)去、把結(jié)果拿出來。4.2 完整推理腳本FINN生成的driver結(jié)構(gòu)可能因版本而異但核心交互方式是一致的分配一塊連續(xù)的物理內(nèi)存緩沖區(qū)把輸入圖像數(shù)據(jù)寫進(jìn)去啟動加速器再從輸出緩沖區(qū)讀出分類結(jié)果。下面這段是我整理過的可運(yùn)行示例from pynq import Overlay, allocate import numpy as np import cv2 overlay Overlay(bnn_mnist.bit) accel overlay.bnn_mnist_0 # 分配DMA一致內(nèi)存緩沖區(qū) in_buf allocate(shape(784,), dtypenp.uint8) out_buf allocate(shape(10,), dtypenp.uint32) # 讀取并預(yù)處理一張手寫數(shù)字圖 img cv2.imread(digit_7.png, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (28, 28)) img_normalized (img 127).astype(np.uint8).flatten() in_buf[:] img_normalized accel.execute(in_buf, out_buf) pred int(np.argmax(out_buf)) print(識別結(jié)果:, pred)allocate不是普通numpy數(shù)組它分配的是物理地址連續(xù)的內(nèi)存這樣才能和FPGA里的AXI DMA進(jìn)行數(shù)據(jù)交換。普通numpy數(shù)組位于虛擬內(nèi)存物理地址不連續(xù)DMA會直接傳輸錯誤數(shù)據(jù)甚至page fault。這個細(xì)節(jié)如果不注意跑出來的結(jié)果會非常離譜。execute方法內(nèi)部做的是把輸入緩沖區(qū)的地址傳給DMA控制器啟動FPGA里的數(shù)據(jù)流處理等計算完成后輪詢中斷或寄存器狀態(tài)最后把輸出DMA結(jié)果搬回out_buf。整個調(diào)用從Python層看就一行但底層控制時序全都封裝在PINN生成的驅(qū)動里。4.3 輸入預(yù)處理最容易翻車的環(huán)節(jié)如果你照上面的代碼跑下來發(fā)現(xiàn)識別準(zhǔn)確率慘不忍睹那不是模型壞了而是輸入預(yù)處理和訓(xùn)練時不匹配。訓(xùn)練階段我們把像素值除以255歸一化到0到1之間并做了標(biāo)準(zhǔn)化而部署時如果直接拿0-255的原始值塞給網(wǎng)絡(luò)分布完全對不上精度掉到接近隨機(jī)也算正常。雖然BNN在全連接層之前有一個二值激活但它前面的量化卷積層對輸入幅度仍然有預(yù)期。我在這個項目里采用的方式是既然MNIST手寫數(shù)字本身是灰度輪廓而BNN的輸入層也接受二值化后的比特表示干脆在預(yù)處理階段把圖像閾值化成0/1?;叶戎荡笥?27的像素視為前景映射成1低于127視為背景映射成0。這樣輸入數(shù)據(jù)在硬件管線里占用極小推理速度也最快。但要注意這個閾值策略需要和你在訓(xùn)練時對輸入的處理保持一致否則訓(xùn)練和推理的輸入分布依然不一致。如果你想保留灰度信息也可以不做閾值化直接把歸一化的浮點(diǎn)值量化到8bit傳給硬件。前提是你的FINN編譯流程里輸入層保留了非二值量化這需要在build_dataflow里額外增加量化配置。對我這個部署目標(biāo)來說閾值化為0/1是最省事、性能最好的方案。5. 實測數(shù)據(jù)與踩坑復(fù)盤5.1 資源與性能實測數(shù)據(jù)編譯完成后我查看了Vivado的實現(xiàn)報告這組數(shù)據(jù)是基于Zynq-7020芯片的實際占用資源類型已用可用利用率LUT321685320060%Flip-Flop2377610640022%BRAM18Kb122804%DSP48E42201%URAM000%資源大頭消耗在卷積層的LUT陣列上DSP幾乎閑置這正是BNN的典型特征。BRAM使用率不高說明中間特征圖完全可以通過片上邏輯緩存不需要頻繁訪問外部DDR。延遲方面我在板卡上做了100次推理取平均圖像讀取加預(yù)處理0.35msDMA數(shù)據(jù)搬入0.62msFPGA IP計算0.028ms28微秒DMA數(shù)據(jù)搬出結(jié)合結(jié)果解析0.21ms端到端平均約1.4ms也就是說一張28×28的數(shù)字圖從進(jìn)入C到Python程序拿到分類結(jié)果總共在1.5毫秒以內(nèi)其中FPGA純計算時間只有30微秒左右剩下全被Python層和DMA搬運(yùn)吃掉了。如果進(jìn)一步優(yōu)化用C語言直接寫在ARM核上、用雙緩沖DMA隱藏傳輸開銷端到端延遲可以再壓到幾百微秒。5.2 延遲剖析到底快在哪兒慢在哪兒這個延遲分解很有代表性FPGA計算本身快到極致但ARM端和DMA的搬運(yùn)開銷變成了瓶頸。FPGA數(shù)據(jù)流的吞吐能力可以達(dá)到每秒幾十萬張圖片但你用Python一層層地調(diào)用驅(qū)動接口每次調(diào)用的固定開銷就有幾百微秒這產(chǎn)生了一個矛盾——硬件很快軟件管線卻很慢。如果你追求極致性能思路是讓數(shù)據(jù)在DMA和FPGA之間流式循環(huán)避免每個Batch都做一次新的內(nèi)存分配和地址配置。比如一次把幾百張圖連續(xù)搬運(yùn)到內(nèi)存緩沖區(qū)FPGA流式處理完連續(xù)輸出再用一次DMA把所有結(jié)果搬回。這樣單張平均延遲幾乎完全由硬件流水線決定可以得到一個非常漂亮的數(shù)字。我做批量測試后發(fā)現(xiàn)把1000張圖打包輸入平均單張耗時能降到0.1ms左右但這不是單張延遲而是批量吞吐的體現(xiàn)工時預(yù)算和測試目標(biāo)需要分清楚。5.3 五個高頻坑及解決方案圍繞這條鏈路我實際踩過不少坑揀五個最典型的分享出來第一Brevitas和FINN版本不匹配導(dǎo)致ONNX算子無法識別。現(xiàn)象是FINN構(gòu)建到step_streamline時報Unsupported ONNX node。解決方法是嚴(yán)格使用官方容器鏡像不要自己在本地分別升級兩個庫版本只要差一個minor版本生成的OP結(jié)構(gòu)就可能不同。第二訓(xùn)練時BatchNorm的位置搞錯。把ReLU放在了BatchNorm前面網(wǎng)絡(luò)死活不收斂。BNN的訓(xùn)練對BatchNorm位置極其敏感標(biāo)準(zhǔn)范式就是卷積輸出直接接BatchNorm再接激活中間不要插其他層。第三第二層全連接層忘了加bias導(dǎo)致導(dǎo)出ONNX后FINN在折疊量化時結(jié)構(gòu)不匹配。量化感知訓(xùn)練里bias和BatchNorm的折疊有其固定假設(shè)建議所有QuantLinear和QuantConv2d都統(tǒng)一設(shè)置為無偏置biasFalse把可學(xué)習(xí)偏置留給BatchNorm去表達(dá)這是FINN編譯器最期望看到的拓?fù)洹5谒腜YNQ板Jupyter內(nèi)存爆了。PYNQ-Z1的內(nèi)存只有512MB我在Notebook里面分配多個大numpy數(shù)組做實驗執(zhí)行到一半整個內(nèi)核崩潰。后面改用腳本方式運(yùn)行并且每次只保留必要緩沖區(qū)好很多。如果不小心開了多個Notebook內(nèi)核也會導(dǎo)致內(nèi)存疊加耗盡勿要同時開太多。第五最隱蔽的坑驅(qū)動生成后沒有加載xrt環(huán)境或者權(quán)限問題導(dǎo)致allocate報錯。PYNQ官方鏡像里一般自帶所需內(nèi)核模塊但如果你手動更新過系統(tǒng)或者換了Linux發(fā)行版需要確認(rèn)/dev/xdma等設(shè)備節(jié)點(diǎn)存在且有讀寫權(quán)限否則底層DMA調(diào)用必然失敗。這個問題會在accel.execute那一步突然冒出來前面一切看起來都正常排查起來確實需要一點(diǎn)內(nèi)核設(shè)備知識。關(guān)于后續(xù)擴(kuò)展我在項目里把單張圖片推理封裝成HTTP接口用Flask跑在PYNQ的ARM核上手機(jī)上傳一張手寫數(shù)字照片板卡返回識別結(jié)果整個響應(yīng)時間在10ms左右包含網(wǎng)絡(luò)傳輸。這個演示效果很好也讓這塊FPGA板卡的定位更清楚它不是萬能加速器但在“特定模型 極低功耗 極低延遲”這個組合下它比任何通用處理器都更合適。如果你打算復(fù)現(xiàn)這個項目我的建議是第一次不要改任何結(jié)構(gòu)先按默認(rèn)參數(shù)把閉環(huán)跑通再去研究網(wǎng)絡(luò)寬度、折疊倍數(shù)對資源占用和吞吐的影響。等你真正理解了FINN每一步在做什么再動手去替換模型、調(diào)整位寬會順利得多。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷六月天激情| 夜色综合网| 亚洲色 视频| 久久电影五月天丁香电影| 色五月第四色| 97久久久免费福利网址| 人妻操逼视频| 色情一区二区播放| 日本久久性| 日本三级大片| 99在线视频在线观看| 日韩色色色色| 99热免费精品| 狠狠干2007| 久久色大香蕉| 婷婷久久五月天丁香| 综合亚洲六月婷婷在线| 丁香五月激情综合久久| 色丁香五月天| 天天综合插插| 日本色色网站| 国产精品久久久久久久久久免费| 久久综合五月天| 久操人妻| 真实的国产乱XXXX在线91| 五月六月伦理| 99re思思在线视频| 综合爱久久| 欧洲一区二区| 天天爽人人爽| YJLZZJLZZ亚洲乱熟无码| 97干在线| 九九性爱网| 色婷婷综合网| 伊人大香久久| 伊人99热| 九九大香蕉黄色影院| 激情精品久久| 99九九视频精彩在线| 欧美精品18| 夜夜爽天操| 色色色综合色| 色色色香蕉五月婷| 99这里只有| 婷婷五月色丁香在线看| 超碰只有精品在线| 99视频在线观看网址| 国产亚洲99久久精品| 最近免费中文字幕大全高清大全1| 婷婷丁香五月色| 五月综合亚洲色| 亚洲成人电影在线免费观看| 91啪啪视频| 91精品综合久久久久久五月丁香| 亚洲激情校园| 婷婷五月天综合网| www:99热视频| 国产,欧美,学生妹,视频| 香焦网五月天| 开心婷婷五月中文字幕组| 日本久久性| 国产色色色色| 色婷婷婷综合五月天| 色情婷| 99免费视频| 亚洲第一综合| 97五月天婷婷| 丁香5月综合啪啪| 猫咪伊人久久| 色五月开心久久网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久98| 伊人五月综合网| 亚洲激情图文小说| 婷婷色九月| 婷婷综合九色伊人| 女人高潮内射99精品| 五月 成人 婷婷| 丁香五月婷婷成人网| 99re免费精品视频| 69久久99精品久久久久婷婷| 精品视频网| 五月天开心网| 无码啪啪| 婷婷五月丁香综合激情| 99热这里只有精品无码| 六月婷婷色五月| www98日本小时间到了| 秋霞九九无码| 激情色色| 九九99久久| 九九在线视频| 播五月,色五月,开心五月播放器 | www久| 五月丁香偷拍| 激情小说 五月天| 激情五月黄色小说| 久久无码激情视频| 五月丁香综合| www婷婷| 狠狠色综合网站久久久久| 五月天婷婷久久| 四虎成人精品永久免费AV九九| 99综合色| 啪到高潮激情丁香五月| 天天做天天爱天天玩夜夜爽 | 9久久久久久久久久久| 婷婷五月天免费视频在线观看| 99 色色吧| 色欲天天综合网| 91丨九色熟女丨首页| 99色人| 专区无日本视频高清8| jiZZdr| 五月丁香成年黄色| 天天干一干| 婷婷涩涩五月天| 思思综合热| 电影蜘蛛女| 色色丁香| 久久66er久久| 久久五月六月| www.精品99| 五月天婷婷综合久久| 五月丁香精品| 99精品久久久| 色五月婷婷操逼| 97五月天婷婷综合激情网| 色婷小说| 9久久久| 9久操| 色婷婷很很十八禁| 九九色婷婷Av| 一级性爱大片| 2017人人操| 伊人九九热| 天天色综| 九九精品综合| 日本色99| 性爱动图国产麻豆一区二区三区| 久久性视频| 丁香五月最新地址| 级情九色| 狠狠狠狠狠狠草| 天天操夜夜夜夜爽| 亚洲综合婷婷| 综合色激情| 婷婷综合爱| 天天综合亚洲| 超碰爱爱爱| 色五月婷婷小说亚洲中文字幕组| 美女网黄| 特级西西4444www无码| 99九九热在线观看| 久99热| 极品少妇高潮啪啪AV无码| 亚洲视频在线观看| 丁香五月激情五月| 久久婷婷五月综合色丁香| 色色色区| 丁香六月婷婷开心| 人妻尝试久久久久久久久久久久| 深爱激情婷| 婷婷色五月在线视频| 久久99网| 99热18| 成人电影一区| 午夜微拍福利| 激情四射婷婷| 热久久思思热思思| 武汉美女啪啪视频免费一级片| 色欲AV导航| 亚洲中文乱字字幕在线永久| 九色无码| 天天插天天插| 五月天色小说| 五月婷天堂视频| 欧美日韩国产一区| 婷婷五月天在线综合导航| 内射丰满人妻| 日本婷婷| 国产成人网| 五月婷婷色在线| 综合五月激情| 欧美97色| 啪啪干伊人婷婷| 深爱五月日韩| 97自拍视频在线| 狠狠精品干练久久久无码中文字幕| 久久久久久五月天| 久久丝袜婷婷| 97丁香五月天| 综合久久99| 久久婷色| 超碰在线网站9| 91在线人| 亚洲艹网| www色五月| 操人无码| 丁香婷婷综合影院| AV伊人青草丁香六月| 91啪级电影| 婷婷五月天在线视频网站| 日韩啪啪视频| 日本欧美成人片AAAA| 99热免费18| 激情综合五月天| 国产成人VA| 五月亭亭直播| 色婷婷丁香五月| 五月丁香在线观看国产| 99色热| 久久九九99字幕| 色天五月天在线观看视频| 婷婷丁香色五月| 婷婷五月丁香激情| 99超级碰免费视频| 久色国产| 国产激情久久久| 色婷插| 欧美精品99| 天天干天天干天天干天天干天天干天天 | 婷婷五月另类网站| 天天插天天插| 久一网站| 婷婷六月天亚州| 97人人看| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 久99热| 五月丁香花婷婷玉莉AV| 五月天婷婷色| 久久总和99| 五月丁香综合啪啪啪啪啪| 激情综合丁香五月| 无码少妇高潮喷水A片免费| 97色图片中文字幕视频在线观看| A A色色| 九九五月天| 日木WWW视频| 黄网免费看| 人人人操97| 亚洲成人免费在线| 99视频91| 久久久久久五月天| 国产69久久久欧美黑人A片| 日韩高清久久| 亚洲aV写真天天综合网久久| 强壮公让我夜夜高潮A片视频| 亚洲视频国产一区| 99在线亚洲| 久久亚洲婷婷| 久9视频| 狠狠色婷婷777| 色狠狠综合| 67194中文字幕| 久久九九99亚洲国产久精综合| 国产成人99久久亚洲综合精品| 亚洲天堂AV综合网| 国产精品国产VA片国产| 色五月婷婷五月天| 五月婷婷六月丁香| 超碰免费99| 91在线人| 伊人网色婷婷五月天| 五月婷婷影院| 久久综合99| 亚洲精品大片| 丁香五月激情五月色综合| 99爱这里只有精品| 26uuu亚洲| 色五月婷婷大香蕉| 99久视频| 丁香五月手机视频| 五月婷婷激情综合网 | 五月婷婷五月天激情网| 99热在线极品极品| 思思热99在线| 国产AV一区二区三区日韩| 日日爱678| 91人操| 成人AV综合在线| 国产精品色一哟哟| 日本色色影片| 99色播| 超碰免费人人| 色婷婷91激情小说| 国产亚洲精品久久久久久牛牛| 婷婷五月香蕉| 伊人超碰| 日本婷久久| 色五月五月天色婷婷色五月| 狠狠九九婷婷韩| 亚洲成人黄色网| 思思re最新视频| 婷婷伊人激情婷婷| 99ree6| 欧美综合激情五月丁香| 中国丰满熟女A片免费观| 黄色99视频| 99综合网| 99热这里在线精品| 天天干天天干天天| 再次出发二| 九九综合| 丁香桃色综合网| 性做久久久久久久免费看| 色五月婷婷天天干| 亚洲精品久久久久久久久久吃药| 久久婷婷色丁香| 五月婷婷激情综合| 婷婷五月天激情偷拍| 久热无码| 激情校园 亚洲| 三人荫蒂添的好舒服A片| 狠狠操天天操综合| 色五月丁香A欧美com | 偷拍九九热| 五月天电影网| 操操熟女| 丁香六月狠狠干| 玖玖在线视| WWW.99热| 五月在线婷色| 欧美日韩二区在线| 综合色激情| 一级七香蕉| www.婷婷五月| BT综合在线视频观看| 91九色精品女同系列| 色噜噜夜夜夜综合网| 五月综合丁香婷婷| 久久久久久久丁香五月天婷婷| 深爱开心激情| 婷婷色5月天在线。| 国产SUV精品一区二区6| 亚洲最大五月天成人网| 91嫩草久久| 九九99精品视频| 任你擦免费视频| 欧美影院婷婷| 婷婷五月天成人动漫 | 婷婷成人五月天| 99热这里只有精品69| 九色99视频| 五月天最新网| 九九99免费视频| 亚洲操操| 国产熟女日日骚五月丁香爱| 天天操精品| 五月婷婷激情久久| 综合亚洲五月天| 中文字幕有多少字| 婷婷丁香18| 大香蕉五月婷婷| www.夜夜操.com| 婷婷丁香六月激情综合| 伊人9草在线观看| 五月玖玖| 色综合色欲综合天天免费| 中文AV网站| 另类图片五月天| 青草青草久热这里只有精品| 色婷婷呢狠禁久禁| 婷婷色片| 色亚洲视频| 97成人在线视频| 欧美天堂久久| 狠狠色综合777| ww超碰在线| 91狠狠综合网| 六月香五月婷| 国产资源在线视频| 日日日日日| 色五婷婷| 丁香九月婷婷| http://www.com久久久精品一区| 99玖玖在线视频| 人人亚洲| 91丨九色熟女丨首页| 欧美色婷婷| 五月天婷婷色播在线网| 五月婷三级片| 综激情网| 日日夜夜婷婷| 人妻操在线看| 婷婷无码视频| 伊人99久久| 9久热在线视频精品| 九九热九九| 青青操成人福利| www99热| 丁香五月成人在线| 乱码操操| 99ri精品在线观看| 激情丁香婷婷| www.99热这里精品| mmm1717.6dbm人人爱人人操| 丁香五月婷婷亚洲色图| 免费看欧美成人A片无码| 丁香成人五月天| 六月丁香啪| 五月情涩综合婷婷| 免费做A爰片77777| 九九热啪啪| 婷婷丁香五月精品| 碰碰女| 婷五月天影院| 天天日天天操心| 精品人妻一区二区三区四区不卡在| site:xiongshengzz.com| 91热在线观看视频| 狠狠狠狠狠狠| 99在线69| 久久99激情丁香婷婷小说网| peg 2区三区四区的| 一操久久| 一本色道久久综合狠狠躁一二三| 色色日本| 看全色黄大色大片| 欧洲第一久色| 婷婷久久夜| 久超超碰| 色色色五月| 亚洲无AV在线中文字幕| 99超级碰免费视频| 欧美25p| 激情图片婷婷| 91狠狠综合久久久久久| 国产精品丝| 3p九色在线| 日本色五月| 99热只有| 五月伊人婷婷| 这里只有精品久| 婷婷激情小说网| 色婷婷狠狠久久YY| 伊人影院久久网| 中文字幕免费高清电视剧| 婷婷激情综合网| 久久这里只有精品8| 国产丁香五月天婷婷| 国产熟女一区二区三区五月婷| 99久久婷婷五月| 中国女人做爰A片| 激情五月婷婷五月| 91玖玖| 五月丁香婷婷激情澎湃四射| 久久婷婷欧美| 五月综合婷婷开心网| 三级三久久线久久99久目本WW| 超碰色天堂| 操日本99| 色色色com| 97色色视频| 五月丁香999| 激情综合一| 五月婷婷色激情| 99热这里有精品2| www.99热视频在线观看| 五月天婷婷综合久久| 97视频.干com| 激情久久久久久久久久久| 99精品网址| 国产av网| 懂色av粉嫩AV蜜臀AV| 日本色色影片| 日本黄色一级| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狠狠爱青青草| 99热66| 色综合伊人网| 亚洲最大视频| 色无码| 伊人婷婷五月天| 色婷婷99| 五月婷婷在线网站| 五月天婷婷激情干干| 免费AV黄在线播放| 日韩黄黄| 五月婷婷co.m| 激情丰满熟妇五月| 天堂婷婷丁香六月网| 夜夜操夜夜姧| 色射婷婷五月天| 色婷婷丁香五月天在线视频| 色国产五月| 激情5月婷婷狠狠干| 六月激情婷婷色| 色色永久| 激情综合网,五月| 婷婷五月天天| Www.婷婷五月| 欧美色爱五月天| 欧州色色| 另类 在线| 香蕉视频91| 五月天综合激情网| 五月婷婷婷婷| 亚洲色综合| 欧美99| A片试看120分钟做受视频红杏 | 亚洲操女| 久久久久久久久久婷婷| 婷婷六月天天| 玖玖国产视频一区| VA国产在线综合网站| 久久五月天合网| 五月婷婷综合激情| 久久开心五月婷婷| 五月久久婷婷成人网| 女人天堂久久| 夜夜干夜夜操| 97热91| 91se视频| 69综合在线| 99狠狠色| 5月婷婷综合| 蜜臀九九九九| 久久金品黃色| 99自拍视频在线| 狠狠色婷婷7777久| 伊大人久久| 97爱综合| 天天爽在线视频| 精品婷婷五月天| 激情婷婷五月天在线观看| 99性感视频| 丁香婷婷视频| 五月丁香综合激情| 日本人妻伦在线中文字幕| 蜜臀综合久草| 天天肏高清在线| 一起草AV| 丁香五月激情视频在线| 六月激情综合| 丁香五月天综合| 国产成人综合亚洲| 97碰人人操| 激情五月天久久丁香| 提提热五月天婷婷| 婷婷五月六| 色色五月天激情| 99成人| 日本玖玖在线| 超碰在线人妻| 五月婷婷丁香av| www.久久综合| 免费看欧美成人A片无码| 日本全黄一级999| 色五月婷婷中文字幕| 亚洲AAAA网| 啪啪色区| 亚洲乱码日产精品BD| 久久久精品99| 六月亚洲婷婷6月中文字幕| 激情婷婷丁香色五月| 激情五月天啪啪| 国产毛片欧美毛片久久久| 亚洲另类AV| 五月天激情综合网俺也去| 天天夜天天色天天| 亚洲熟女色| 777精品久无码人妻蜜桃| 综合婷| 人妻自慰在线| 五月天婷婷成人| 超碰99在线观看| 久久伊人婷| 丁香六月天AV| 久久久人妻| 成人综合网站| 色婷婷A| 婷婷丁香五月视频| 久久性操| 婷婷9月天| 啪啪啪综合网| 99视频精品全部观看10| 欧美成人AAA片一区国产精品 | 婷婷五月天成人动漫 | 欧美色色色色色| 99久久久久| 人妻操日日| 婷婷色五月亚洲| 99国产精品久久久久久久久久久 | 色婷婷成人做爰A片免费看网站 | 欧美色频| 九月丁香八月婷婷加勒比| 婷婷天堂综合| 欧美α√| 一二线视频 另类| 超碰在线人人| 激情五月天在线视频| 成人做爰A片免费看视频| A级毛片高清免费不卡播放谢谢谢谢| 五月丁香婷婷激情在线视频| 日日噜噜夜夜狠狠久久丁香六月| 99色精品| 色444综合网| 五月婷婷色男女| 激情综合网五月| Av中文在线| 伊人青草成人| 最新色色五月天| 一区二区你懂的| 五月天堂婷婷| 久久五月丁香| 国产操B视频| 激情婷婷网| 国产精品第一国产精品| 国产亚洲在线观看| www.久久99热地址发布| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 亚洲性图一区二区三区| 97人人操人人干| 色色色色色五月| 五月天激情无码高清 | 色综合久久综合中文综合网| 色婷婷影音| 蜜桃五月天色| 中国丰满熟女A片免费观| 热99这里只是精品| 婷婷情色五月天| 久久精彩视频99| 5月丁香六月情| 99久久婷婷国产综合精品草原| 伊人色综合影院视频| 亚洲欧美一区二区三区爱爱动图| 久久R激情| 国产视频久色| 亚洲成人网站在线观看| 五月开心婷婷极品激情| 亚洲综合1024| 91丁香五月| 五月婷婷丁香五月 | 人妻在线观看视频| 五月成人网天天| 乱精品一区字幕二区| 天天弄天天爽| 狠狠插狠狠插| 丁香五月天无码AV| 国产成人99久久亚洲综合精品| 五月天伊人综合| 99热精品在线| 亚洲视频国产一区| 色噜噜狠噜噜视频| 久久精品五月| 丁香五月婷婷在线| 9视频1在线| 婷婷五月丁香六月| 五月丁香六月婷婷综合| 五月婷婷官网色| www.色情五月天.com| 亚洲热久久| 丁香五月中文字幕| 97色久| 玖玖色综合网| 99色色网| 激情五月五月婷婷| 天天操夜夜啊| 色五月av| 巴基斯坦粉嫰无码视频| 青青久久五月| 人人人舔人人人操人人人摸人人人97 | 999激情视频| 日本美女上人| 久操大香蕉| 直接看的av| 久色视频在线| 精品人妻伦九区久久AAA片| 丁香开心深爱| 婷婷丁香红五月91C| 丁香五月婷婷骚视屏| 91fuliwang| 丁婷婷五月天在线播放| 婷婷久久免费| 九九色逼| 狠狠 婷婷| 午夜不卡久久精品无码免费| 亚洲精品国产精品乱码不99| 99久久高清视频| 五月天天天天天天天天天天天天天天天婷婷婷 | 大香蕉福利导航| 99精品福利视频| 五月天停婷基地| 99在线视频播放| 超碰三级片| 激情伊人五月天| 99 色色吧| 色婷婷8| 99精在线| 亚洲啪啪视频| www.狠狠| 99精品免费欧美小视频| av线电影| 99亚州综合精品成人网| 丁香五月日本| 激情婷婷黄色五月| 久re热视频| 99九九久久| 极品人妻VIDEOSSS人妻| 噜噜噜噜噜色| yellow视频在线观看91| 996热| 亚洲中文乱字字幕线在永久| 久久精品五月| 天天操天天曰| 久热中文字幕在线线观看| 国产在线视频1234| 色域五月婷婷丁香| 九九人人看| 91人妻PORNY九色大屁股| 人妻系列久久久久久久久久久| 热91久| 五月丁香六月在线| 欧美天天草人人草| 99欧美精品99日本精品| 欧美在线视频免费播放| 狠狠干天天内射| 丁香九月激情在线视频| 久大香蕉| 五月色欧洲| 五月天大香蕉AV| 婷婷五月天久久久| 色色色色色色综合| 日本色图综合| 性按摩玩人妻HD中文字幕| 天天舔天天摸视频| 久久久久9| 大香蕉伊人丁香五月| 少妇人妻人伦A片| 伊人青草成人| 97婷婷五月激情六月丁香伊人| 激情视频网址| 婷婷六月伊人| 婷婷五月综合在线| 色婷婷yy久| www.久久久久| 五月天色视频| 色色丁香| 丁香五月婷婷高清| 色婷婷丁香五月| 激情六月日韩| 视频综合网| 久久香视频| 亚洲综合婷婷| 婷婷无码五月天| 丁香六月婷婷综合色| 操操熟女| 777精品久无码人妻蜜桃| 亚洲视频色婷婷| 五月激情丁香六月狠狠干| 99啪视频在线观看| 激情五月综合| 婷婷六月综合激情| 色国产五月| 日本高清久| 亚洲丁香五冃97色| 五月天婷婷在线播放| 五月婷婷激情久久| 91操色| 成人综合视频在线| 九月丁香很很色| 色99网站| 99爱在线免费视频| 伊人婷婷激情| 五月婷婷综合激情网| 一区二区你懂的| 激情婷婷| 殴美日比视频| 色婷婷五月天天天干天天操天天爽| 色婷婷久久| 久久九九re热| 草草色情综合网| 五月亭亭开心网| 国精产品一区一区三区有限公司杨 | 亚洲精品444久久久久久| 五月婷婷激情| 九九99免费视频| 婷婷五月丁香六月天亚洲综合| 人人草公开操| 9久热在线视频精品| 狠狠一日| h在线看免费版在线看| 久热一本| 无套内射极品大美女| 天天操天天谢| 丁香五月图片| 日韩欧美一级大黄网站| 日韩美女羞羞网站在线观看| 伊人狼人干| 99国产精品白浆在线观看免费| 人妻综合网| 婷婷色导航| 婷婷激情六月天视频| 婷婷五月天在线观看av| 色月九九| 成人网丁香五月| 五月丁香婷婷狠狠操| 日韩色色视频| 色播六月| 久久9精品视频| 99热这里只有精品3| 六月丁香五月激情婷婷| 5月色亭亭视频| 色婷婷基地在线| 國語久久婷| 操人精品| 操婷婷久久| 男同色五月开心五月激情五月| 无码免费人妻A片AAA毛片西瓜| 婷婷五月综合网| 亚洲精品电影| 欧美色宗和激情| 丁香五月六月婷婷综合| 另类综合婷婷五月天欧美视频| wwwxxx五月婷婷小说| 三区激情四射av| 五月婷婷开心深| 热99国产精品| 97久久超碰| 色婷婷www| 亚洲六月色婷婷| 操逼三区| 91久久九久久九久久九久久九久久| bukadeavzaixian| 亚洲午夜国产成人电影VA国产欧…| 日韩中文字幕| 婷婷五月成人| 天天天天操| 婷婷五月天激情网| 久久九九色| 婷婷深爱五月| 99热偷拍| www.久久99| 国产激情综合五月久久| 五月丁香人妻| 久久这里只有精品8| 五月激情偷拍| 国产色色视频| 婷婷色五月激情| 五月亭亭直播| 欧美日韩91| 激情小说五月天| 91精品综合久久久久久五月丁香| 色久天| 久久激情五月| 丁香六月久久| 六月丁香激情网| 色五月播五月| 熟妇无码乱子成人精品| 97超碰婷婷五月天| 色综合99无码| 日韩AC在线免费观看| 99精品九九| 婷婷丁香五月天大香蕉| 97se视频在线| 91精品无码| 天天曰夜夜爽| 深爱婷婷色| 国模淫穴色图| 五月花激情| 99激情视频| 久久久99久久| 激情五月久久| 五月丁香啪啪网| AA片在线观看视频在线播放| 五月伊人91| 丁香综合久久| 日本久久人人| 天天射影| 白天AV月月| 另类五月激情| 久大香蕉| 国产精品色| 爱久久小说下载网| 久久99久久99www| 日韩AC在线免费观看| 婷婷自拍| 丁香六月婷婷综合激情欧美| 丁香五月六月久久综合 | 精品亚洲国产成AV人片传媒| 久cao香蕉影院| 丁香五月九九| 黄网网站在线播放| 色色成人網| 狠狠干思思热| 亚洲成人av在线播放| 婷婷久久综合| 精品9197碰| 人妻在线网站| 久久激情五月| 手机激情网| 99re8在这里只有精品| 思思99久久| 婷婷综合在线| 一本久久婷婷| 日本九九视频| 色婷婷综合网| 五月天婷婷影院影院| 色色色色色色网站| 五月丁香婷婷色| 欧美槡BBBB槡BBB少妇| 99啪在线视频| 亚洲色婷婷| 色婷婷九月综合| 天天操夜夜操| 91九色精品熟女内射| 色天使久久综合| 99热综合网| 亚洲欧洲色色| 99热最新| 色婷婷成人| 久久九九一區| 久久中文人妻系列| 婷婷五月天BBw| 五月婷婷AV| 色八戒操婷婷| 99久久久| 色五月天在线观看| 激情六月婷婷| 人妻Av在线| 天天爽夜夜爽夜夜爽精品| 涩涩涩.com| 五月色网| 波多婷婷久久| 婷婷综合网站| 五月激情基地| 国产67194| 色吧网91| 久久久久8888| 婷婷播播五月天| 色爱五月天| 99热这里| 九九成年视频| 婷婷六月丁香在线| 天天天干夜夜夜操| 99re在线播放| 草榴视频网| 插插干干干色| 亚欧州精品视频| 91色呦哟| 亚洲1区| 婷婷色av| 天天色天天日| 亚洲精品网址| 99热20| www.日韩国产| 婷婷五月激情黄色| 91丨九色丨43老版熟女| 情婷婷五月天在线| 色婷婷88| 婷婷亚洲在线| 人妻久久久久久久久妻久久久久久久久 | 91无码高清| 婷婷色情 | 欧美性爱五月天| 五月婷婷中文| 亚洲日韩乱码一区二区三区四区 | 森林影视大全,最好看的2019年视频 | 久久五月人人摸| 成人永久免费视频在线观看| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 成人欧美日韩| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 热99只有里视频| 91超级碰碰碰| 久婷婷五月综合欧美| 深爱五月天天| 99无码视频| 久久久A级视频| 思思热在线视频99| 天天色播| 最新日韩久热免费视频看看| 五月色丁香激情| 久久激情综合| 激情黄色小说色五月| 色五月av| 丁香五月伊人| 伊人狠狠综合| 亚洲人妻av| 综合大香蕉| 丁香激情四射| 99久久色| 精品久久66| 丁香五月天大香蕉啪啪| 99热这里只有在线播放| 天天操天天操天天操天天操天天操| 成人丁香五月婷| 丁香婷婷综合激情五月色| 少妇出轨做爰高潮A片| 丁香婷婷综合精品六月初| 久久久久9| 成人婷婷| 国产日韩欧美性爱| 色色色色色五月| 亚洲天堂AAA| 99热网站| 另类五月婷婷| 亚洲激情婷婷| 五月婷婷综合激情网| 久久婷婷综合网| 99热欧美偷拍| 五月天婷婷AV| 3p久久| 日本丁香五月| 婷婷色导航| 五月丁香大香蕉| 欧美三级欧美一级| 伊人久久中文网| 这里只有精彩视| 久久艹 五月天| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月天开心婷婷久久| 色色色无码| 99碰碰| 久久99精品九九久久久婷婷| 婷婷激情六月综合| 婷婷操久久| 欧美日韩国产一区| 五月天婷婷AV| 激情婷婷网| 蜘蛛女侠2003满天星免费观看| 美女被肏网站在线看| 婷婷五亚洲| 婷婷基地成人五月天| 色五月丁香六月欧美综合| 五月丁香亚州综合网| 97色色综合| 97超级免费无码| www夜夜操comwww| 婷婷色资源| 中文字幕乱轮| 超碰京东热av男人的天堂| 俺去也五月天婷婷| 久久五月天精品视频| 久色欧美| 亚洲AV永久无码影院黑人| 91婷婷五月天嫩女| 日hao1区| 妻久久人久久| www.久久9| 久久99精品久久久久久三级| 五月天三级久久| 在线不卡视频| 色视频2025| 亚洲乱码精品久久久久..| 99热这里只有精品69| 69热91天堂| 五月婷婷啪| 婷婷情色五月天| 久久久婷婷婷| 婷香五月网在线| 99国产精品久久久久久久久久久 | 九热网站| 十一月婷婷激情四射| 色综合久久44| 99热这里是精品| 激情综合婷婷| 97久久超级| 影音先锋91资源站| 欧美天天草人人草| 亚洲字幕AV一区二区三区四区| 亚洲噜色| 欧美天天搞| 婷婷狠狠操| 天天色综合色| 日逼影音先锋AV男人资源站| 丁香五月色五月| 成人日韩欧美| 99精彩视频| 99精品网站| 亚洲AV永久无码影院黑人| 五月天啪啪视频| 国产ava| 日韩成人电影AV| 99爱无码| 777久久久| 另类专区在线| 日日干日日s| 色玖玖网| 色欲丁香| 婷婷五月天色网久| 成人AV网站在线| 亚洲欧美成人在线| 99色热视频| 九九精品亚洲| 99这里只有| 天天干-天天日| 色情开心五月| 五月天婷婷久久视频| www.人人操人人看人人想人人摸 人人人人操,COM | 色135综合网| 婷婷激情视频欧美视频自拍视频欧美剧| 婷婷情色五月天| 亚洲激情综合| 男人的天堂五月丁香| 狠狠狠狠狠狠色| 狠狠五月天| 五月婷婷性| 婷婷五月电影| 熟妇无码乱子成人精品| 婷婷成人五月天成人文学小说| 激情五月天啪啪| 热九九精品| 热久久99热欧美国产亚洲| 色伊人啪| 91精品久久久久久久久久| 婷婷激情六月| 天天日天天舔天天摸| 九九无毛| 婷婷九月| 亚洲五月色| 丁香五月性| 色婷丁香91| 91色久| 久久久久久综合五月婷婷| 91婷婷色| 九九婷婷激情综合网| 亚洲人人操| 久久欧洲久久| 高清av在线国产| 人人摸人人搞| 五月丁香做爱视频| 婷婷激情综合网| 嫩草免费视频| 欧美一级色| 久热这里只有精品在线| 日韩成人无码人妻| 99天天操夜夜操| 九九热中文| 五月婷婷色吧!| 五月天社区| 丁香五月色情av| 久久久久久久97| 思思热再线视频| 五月天日日操夜夜操| 色吊丝99| 欧美日韩一区二区三区四区| 五月丁香中文字幕| 大功率国产在线| 色色五月综合| 国产日产亚洲系列最新| 亚洲五月婷| 欧美综合五月丁香五月天| 婷婷五月在线免费| 九九视屏| 国产欧美日韩综合精品一区二区| www.色婷婷.com| 丁香五月在线看| 日韩成人五月天| www.久久爱.com| 超碰在线资源| 大地资源色婷婷视频在线 | 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 五月天婷婷三级黄| enecarbon-materials.com污K127封锁请涟系@wip1688 | 狠狠色噜噜狠狠| 亚洲AV日韩在线观看| 丁香五月在线观看| 99热热这里只精品996小说| 狠狠色噜噜狠狠狠888了| 丁香五月亚洲AV| 97成人在线视频精品| 丰满少妇猛烈A片免费看观看| 99热国产这里只有精品| 丁婷婷五月天在线播放| 天天操天天谢| 99五月丁香丁| 91在线视频综合| 天天干天天av天天射| 大地9中文在线观看免费高清| 亚洲精品视频电影| 婷婷激情六月天视频| 99re久热只有精品6在线直播| 激情av在线| 97人人操人人拍| http:色情日本com| 另类专区在线观看| 色色网站在线| 天天操天天谢| 婷婷五月激情丁香激情| 五月婷婷黄色| 91精品久久久久久久久久久久| 日本天堂网站99| 久久无码成人| 国产精产国品一二三在观看| 婷婷久久综合久| 日日干日日| 婷婷婷婷婷开心无码播放| 欧美大片免费播放器| 天天色天天日天天舔| 天天日夜夜爽。| 99精品在| 爱爱色五月天| 激情五月天啪啪| 婷婷五月a| BlACKEDRAW视频一区二区| 色婷婷基地 | 六月丁香啪啪啪| 啪啪黄页网| 草综合14| 婷婷五月天综合色| 日韩一66精品| WWW丁香五月| 日本va欧美va欧美va精品| 久草视频一,二三四| 人妻在线网站| 久久婷婷五月天丁香| 国产黄色在线观看| 少妇高潮A片无套内谢麻豆传| 久久99综合| 超碰在线免费| 97性视频| 久久久久激情网| 99精吕视频在线观看了| 日日夜夜小色哥| 大伊久久| 天天影视色综合网| 婷婷5月开心6月| 久久成人性爱| 日韩 欧美 国产 一区 二区| 色婷婷婷av| 色999亚洲人成色| 丁香色色网| 久9视频| 激情婷婷| 色婷婷狠狠| 69精品人人人人| 99热婷婷| 国产精品久久久99视频| 99热这里在线精品| 午夜婷婷丁香| 婷婷月五天在线在线看| 久久机热这里只有精品免费视频| 亚洲一区国产传媒| 大胆伊人久久| 婷婷丁香视频| 手机在线日韩视频中文字幕| 日本3级片偷拍网站| 国产操碰| 丁香五月电影| 精品无码av丁香五月激情| 五月天婷婷色播综合在线| 日韩六六久久电影| 九热视频这里只有精品| 丁香五月欧美激情| 成人va在线播放| 久久五月网| 99热啪啪| 久草热在线视频| 在线理论片| 日韩精品呦呦va| 丁香五月久久社区| 婷婷丁香综合| 中文字幕av久久爽一区| 做爱夜夜干天天操| 天天天天天天天干| 天天日人人| 性生活久久朋友人妻| 色五月欧美| 五月丁香啪啪激情| 思思久久99| 黄桃AV无码免费一区二区三区| 丁香婷婷激情网站| 亚洲AV成人无码电影| 婷婷99狠狠躁天天躁中|