欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

WebGPU加速的瀏覽器端以圖搜圖:MobileNet特征提取與本地向量檢索實(shí)戰(zhàn)

WebGPU加速的瀏覽器端以圖搜圖:MobileNet特征提取與本地向量檢索實(shí)戰(zhàn) 你有沒有遇到過這種情況客戶要一個(gè)“以圖搜圖”功能圖片又不想傳到服務(wù)器上要求在瀏覽器里直接完成而且速度還不能慢。傳統(tǒng)前端想都不敢想的任務(wù)現(xiàn)在靠瀏覽器端 AI 加上 WebGPU 加速已經(jīng)能跑得很舒服了。我這次做的項(xiàng)目就是讓瀏覽器加載一個(gè) MobileNet 特征提取模型把用戶上傳的圖片變成 1024 維向量再拿這個(gè)向量去全本地索引里搜相似圖整個(gè)鏈路不依賴 GPU 服務(wù)器也不把圖片發(fā)出去。這套方案的核心技術(shù)點(diǎn)有三個(gè)MobileNet 這種輕量 CNN 為什么適合在瀏覽器端跑WebGPU 和傳統(tǒng) WebGL 推理的差異到底在哪里以及 1024 維特征向量怎么支撐起一套可用的以圖搜圖鏈路。適合看這篇文章的人我大概歸了三類想做前端 AI 應(yīng)用但卡在性能和兼容性上的開發(fā)者正在做素材管理、相冊(cè)去重、版權(quán)比對(duì)這類圖片檢索需求的工程師還有想低成本給自己的網(wǎng)頁應(yīng)用加“相似圖片”搜索能力的產(chǎn)品和技術(shù)決策者。文章里的代碼基于 onnxruntime-web 實(shí)現(xiàn)模型用 MobileNetV2 結(jié)構(gòu)推理走 WebGPU向量檢索在前端用純 JavaScript 完成。我會(huì)把從模型導(dǎo)出、環(huán)境準(zhǔn)備、代碼拆解到踩坑記錄全流程講一遍你跟著操作就能在自己項(xiàng)目里復(fù)現(xiàn)。1. 為什么非要在瀏覽器里跑特征提取1.1 用戶要的“不傳圖”實(shí)際上要的是隱私和速度先說個(gè)挺有意思的現(xiàn)象。做后端推理的兄弟可能覺得客戶端傳圖、服務(wù)器返回結(jié)果不是挺成熟的方案嗎確實(shí)成熟但落地的時(shí)候有三個(gè)問題很難繞開。第一是隱私。相冊(cè)類應(yīng)用、企業(yè)內(nèi)部素材庫、醫(yī)療影像系統(tǒng)的用戶對(duì)圖片數(shù)據(jù)極其敏感圖片一旦上行合規(guī)、加密、審計(jì)的流程就全來了。很多項(xiàng)目根本不是技術(shù)做不到是“圖片能不能出域”這一條直接被客戶否掉了。第二是延遲。圖像上傳要看帶寬服務(wù)器排隊(duì)要看負(fù)載。哪怕后端推理只要 50 毫秒一張兩兆的圖傳上去再加上網(wǎng)絡(luò)抖動(dòng)用戶感知到的就是“轉(zhuǎn)圈”。而瀏覽器端直接處理圖片從本地文件到特征向量幾百毫秒內(nèi)完成這種反饋是實(shí)打?qū)嵉?。第三是成本。做圖片特征抽取要吃 GPU 資源如果只是偶爾查一次專門起一個(gè) GPU 服務(wù)就是浪費(fèi)。把計(jì)算挪到用戶設(shè)備上服務(wù)器只負(fù)責(zé)靜態(tài)資源分發(fā)成本結(jié)構(gòu)完全不一樣。所以“瀏覽器端跑 AI”聽起來像炫技實(shí)際上是在隱私、速度、成本三個(gè)維度上都更優(yōu)的選擇。尤其是圖庫規(guī)模不大比如幾千到幾萬張、查詢頻率不高的場(chǎng)景純前端方案是性價(jià)比最高的一條路。1.2 WebGPU 相比 WebGL 到底強(qiáng)在哪可能有人問瀏覽器端跑神經(jīng)網(wǎng)絡(luò)又不是今天才有WebGL 時(shí)代就有人用 TensorFlow.js 跑過模型了。為什么現(xiàn)在要提 WebGPU因?yàn)檫@個(gè)差距實(shí)在太大了。WebGL 本質(zhì)上是為二維和三維圖形渲染設(shè)計(jì)的 API想在它上面跑神經(jīng)網(wǎng)絡(luò)得把卷積、矩陣乘法這些算子偽裝成片段著色器把數(shù)據(jù)塞進(jìn)紋理再把計(jì)算結(jié)果從紋理里讀回來。這個(gè)過程中紋理讀寫的限制很多內(nèi)存分配和算子控制也很粗糙遇到復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)性能損耗非常明顯。WebGPU 不一樣它引入了 compute shader 的概念能夠直接操作 GPU buffer做通用并行計(jì)算。這意味著卷積、矩陣乘法這類重計(jì)算算子可以用更接近底層的方式組織數(shù)據(jù)不必反復(fù)在紋理和 CPU 之間倒騰。對(duì)神經(jīng)網(wǎng)絡(luò)推理來說WebGPU 還有一個(gè)天然優(yōu)勢(shì)支持更靈活的 tensor 布局比如直接用 NCHW 布局減少推理框架內(nèi)部的 transpose 開銷。我用同一個(gè) MobileNet ONNX 模型做過對(duì)比在同樣的機(jī)器上WebGL 后端跑一次推理大約 300 到 500 毫秒WebGPU 后端降到 30 到 60 毫秒差距接近一個(gè)數(shù)量級(jí)。這種差距決定了“在瀏覽器里做實(shí)時(shí)圖片檢索”是可行的還是只能停留在玩具階段。1.3 選型MobileNet ONNX Runtime Web 的組合怎么定下來的模型選 MobileNet理由很直接。MobileNet 的核心設(shè)計(jì)是深度可分離卷積把標(biāo)準(zhǔn)卷積拆成逐通道卷積和逐點(diǎn)卷積兩步參數(shù)量和計(jì)算量大幅下降很適合瀏覽器這種算力受限的環(huán)境。MobileNetV2 在 ImageNet 上的精度雖然不如 ResNet 這類大模型但作為特征提取器它的瓶頸層輸出已經(jīng)能很好地表達(dá)圖像語義足夠支撐相似圖片檢索。推理引擎我選了 ONNX Runtime Web。這里要說說為什么不用 TensorFlow.js。TensorFlow.js 對(duì) TensorFlow 模型生態(tài)的支持確實(shí)好但我日常更多是 PyTorch 訓(xùn)練模型ONNX 作為中間格式更通用。onnxruntime-web 對(duì) ONNX 算子的覆蓋度一直在提升而且從 1.17 版本開始加入 WebGPU 執(zhí)行后端走的是官方維護(hù)的路線。特征維度定在 1024不是拍腦袋。維度太低相似圖片容易誤判維度太高索引和檢索的開銷明顯增加。人臉識(shí)別領(lǐng)域常見的特征維度是 512 或者 1024這個(gè)區(qū)間在語義區(qū)分度和計(jì)算量之間比較平衡。MobileNetV2 原版瓶頸層輸出是 1280 維我在項(xiàng)目里對(duì)模型做了一點(diǎn)調(diào)整輸出層改成 1024 維的 embedding 頭后面會(huì)詳細(xì)說導(dǎo)出方式。2. 動(dòng)手前的準(zhǔn)備環(huán)境、模型導(dǎo)出與工程骨架2.1 瀏覽器端 WebGPU 能不能用的自檢方法寫代碼之前先確認(rèn)目標(biāo)環(huán)境下 WebGPU 到底可不可用。WebGPU 需要瀏覽器和硬件驅(qū)動(dòng)雙重支持不是裝了新瀏覽器就一定行。最直接的檢測(cè)方法是看navigator.gpu是否存在。Chromium 內(nèi)核的瀏覽器從 Chrome 113 開始默認(rèn)支持 WebGPUEdge 113 也同步支持。Firefox 目前是部分支持Safari 在較新版本里也開始跟進(jìn)。開發(fā)階段建議優(yōu)先用 Chrome 或 Edge 調(diào)試。還有一個(gè)隱藏條件WebGPU 要求安全上下文。也就是說頁面必須在 HTTPS 環(huán)境下打開或者本地 localhost 調(diào)試普通的 HTTP 頁面是拿不到 GPU 權(quán)限的。我寫過一個(gè)簡(jiǎn)單的檢查函數(shù)頁面加載時(shí)直接跑一遍function checkWebGPU() { if (gpu in navigator) { console.log(WebGPU 可用GPU 設(shè)備:, navigator.gpu); return true; } console.warn(當(dāng)前瀏覽器不支持 WebGPU請(qǐng)使用 Chrome 113 或 Edge 113); return false; }如果navigator.gpu存在但推理速度異常慢建議打開chrome://gpu頁面看一下 WebGPU 相關(guān)的狀態(tài)和驅(qū)動(dòng)告警。有時(shí)候是顯卡驅(qū)動(dòng)版本太舊WASM 和 WebGPU 本身沒問題但硬件加速?zèng)]跑起來。2.2 把 MobileNet 導(dǎo)出成 1024 維特征模型這一步把 PyTorch 模型轉(zhuǎn)成 ONNX 格式。我用的 MobileNetV2 來自 torchvision默認(rèn)的分類頭輸出 1000 類現(xiàn)在要把它替換成 1024 維的特征輸出。注意一個(gè)細(xì)節(jié)MobileNetV2 在全局池化之后classifier包含兩層第一層是 Dropout第二層是Linear(last_channel, 1000)其中l(wèi)ast_channel是 1280。要改成 1024 維特征直接替換最后的 Linear 層即可。import torch import torchvision import torch.nn as nn model torchvision.models.mobilenet_v2(weightstorchvision.models.MobileNet_V2_Weights.DEFAULT) model.classifier[1] nn.Linear(model.last_channel, 1024) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, mobilenet_v2_feat.onnx, input_names[input], output_names[feature], opset_version17 ) print(導(dǎo)出完成輸出維度應(yīng)在 ONNX 中為 [1, 1024])這里要提醒一句隨機(jī)初始化的 Linear 頭在沒經(jīng)過微調(diào)時(shí)特征質(zhì)量不一定比原版 1280 維好。我在實(shí)際項(xiàng)目里用的是在業(yè)務(wù)數(shù)據(jù)集上用度量學(xué)習(xí)微調(diào)過的 1024 維 head。如果你只是驗(yàn)證流程可以暫時(shí)用隨機(jī)初始化的 head相似圖片檢索的結(jié)果會(huì)有一點(diǎn)下降但流程能跑通。另一個(gè)方案是直接用原版 1280 維輸出在前端用固定投影矩陣降維到 1024這個(gè)后面再聊。MobileNet 的輸入預(yù)處理要和訓(xùn)練時(shí)保持一致resize 到 224x224像素歸一化到 0 到 1然后按 ImageNet 的 mean 和 std 做標(biāo)準(zhǔn)化。導(dǎo)出 ONNX 時(shí)沒有把歸一化層放到模型里所以這些步驟要在前端預(yù)處理完成。2.3 工程結(jié)構(gòu)、依賴與 wasm 文件放置項(xiàng)目使用 npm 安裝 onnxruntime-web 的穩(wěn)定版本。注意 WebGPU 后端還處于快速迭代期API 有變化建議鎖定一個(gè)大版本不要每次盲目升級(jí)。npm install onnxruntime-web1.19.2onnxruntime-web 底層是 WASM瀏覽器需要加載對(duì)應(yīng)的 wasm 文件。最簡(jiǎn)單的做法是把node_modules/onnxruntime-web/dist/下的 wasm 文件復(fù)制到項(xiàng)目的public/wasm/目錄然后用ort.env.wasm.wasmPaths指定路徑。項(xiàng)目目錄結(jié)構(gòu)參考project/ ├── public/ │ ├── models/ │ │ └── mobilenet_v2_feat.onnx │ └── wasm/ │ ├── ort-wasm-simd-threaded.wasm │ └── ... ├── src/ │ ├── feature-extractor.js │ ├── image-search.js │ └── main.js └── index.htmlfeature-extractor.js負(fù)責(zé)加載模型、圖像預(yù)處理和推理image-search.js負(fù)責(zé)向量歸一化、相似度計(jì)算和圖庫管理。這樣拆開之后模型相關(guān)的邏輯和檢索邏輯可以獨(dú)立測(cè)試。初始化代碼是這樣的import * as ort from onnxruntime-web/webgpu; ort.env.wasm.wasmPaths /wasm/; const session await ort.InferenceSession.create(/models/mobilenet_v2_feat.onnx, { executionProviders: [webgpu], graphOptimizationLevel: all });這里把executionProviders指定為[webgpu]onnxruntime-web 會(huì)用 WebGPU 后端執(zhí)行算子。如果某些算子不支持 WebGPU會(huì)自動(dòng)回退到 CPU。后續(xù)調(diào)試的時(shí)候可以打開日志確認(rèn)算子有沒有發(fā)生回退。3. 核心代碼拆解從圖片到 1024 維向量3.1 圖像預(yù)處理resize、歸一化、布局轉(zhuǎn)換預(yù)處理是整個(gè)流程里最容易寫錯(cuò)的地方因?yàn)槟P蛯?duì)輸入布局極其敏感。ONNX 模型的輸入一般是 NCHW 格式也就是[batch, channel, height, width]在 JavaScript 里就是一個(gè)Float32Array數(shù)據(jù)順序是先放所有像素的 R 通道再放 G 通道最后放 B 通道。下面這段代碼把圖片畫到 canvas 上縮放到 224x224再按 ImageNet mean/std 做標(biāo)準(zhǔn)化輸出ort.Tensorasync function imageToTensor(imageSource) { const width 224; const height 224; const canvas document.createElement(canvas); canvas.width width; canvas.height height; const ctx canvas.getContext(2d, { willReadFrequently: true }); ctx.drawImage(imageSource, 0, 0, width, height); const imageData ctx.getImageData(0, 0, width, height); const data imageData.data; const float32Data new Float32Array(3 * width * height); const mean [0.485, 0.456, 0.406]; const std [0.229, 0.224, 0.225]; for (let i 0; i width * height; i) { const r data[i * 4] / 255.0; const g data[i * 4 1] / 255.0; const b data[i * 4 2] / 255.0; float32Data[i] (r - mean[0]) / std[0]; float32Data[width * height i] (g - mean[1]) / std[1]; float32Data[2 * width * height i] (b - mean[2]) / std[2]; } return new ort.Tensor(float32, float32Data, [1, 3, height, width]); }有幾個(gè)細(xì)節(jié)要提一下。getContext(2d, { willReadFrequently: true })這個(gè)參數(shù)在頻繁讀取像素時(shí)能避免 canvas 使用 GPU 加速導(dǎo)致的問題。如果圖片帶透明通道data[i * 4 3]是 alpha 值這里直接忽略因?yàn)?MobileNet 訓(xùn)練時(shí)用的是 RGB 三通道圖像。如果你用的是createImageBitmap(file)讀取本地圖片得到的ImageBitmap對(duì)象可以直接傳給drawImage性能比先把文件轉(zhuǎn)成img標(biāo)簽再畫要好尤其在批量處理場(chǎng)景下明顯。3.2 用 WebGPU 執(zhí)行推理并拿到特征向量預(yù)處理完之后推理代碼其實(shí)只有三行但背后發(fā)生的事情很多const output await session.run({ input: tensor }); const feature outputs[feature].data;session.run會(huì)走 WebGPU 計(jì)算管線輸入 tensor 上傳到 GPU buffer算子按圖執(zhí)行最后結(jié)果從 GPU buffer 讀回 CPU。第一次調(diào)用時(shí)WebGPU 需要完成管線編譯會(huì)有明顯的等待所以正常做法是在頁面加載后先“預(yù)熱”一次后面會(huì)專門講。拿到outputs[feature].data之后它是一個(gè)類型化數(shù)組長(zhǎng)度理論上應(yīng)該是 1024。但 ONNX 輸出可能帶 batch 維度最好先確認(rèn)一下形狀const shape outputs[feature].dims; // 例如 [1, 1024] const feature new Float32Array(outputs[feature].data); console.log(特征維度:, feature.length);這里用new Float32Array(...)復(fù)制一份很有必要。output.data可能引用的是 onnxruntime 內(nèi)部緩沖區(qū)后面再次推理時(shí)會(huì)被覆蓋復(fù)制出來可以避免臟數(shù)據(jù)。完整的抽取封裝大概長(zhǎng)這樣let session null; async function initFeatureExtractor(modelPath) { if (session) return session; session await ort.InferenceSession.create(modelPath, { executionProviders: [webgpu], graphOptimizationLevel: all }); await warmup(); return session; } async function extractFeature(imageSource) { const tensor await imageToTensor(imageSource); const outputs await session.run({ input: tensor }); const feature new Float32Array(outputs[feature].data); return normalize(feature); }warmup就是拿一張全黑或全白的 224x224 圖先跑一次推理把 WebGPU 管線編譯和算子調(diào)度預(yù)熱完成這樣用戶真正查詢時(shí)就不會(huì)卡在那幾秒的編譯等待里。3.3 把特征向量喂給檢索模塊歸一化與余弦相似度特征向量做檢索之前先做 L2 歸一化。歸一化之后兩個(gè)向量的余弦相似度等于它們的內(nèi)積計(jì)算量小很多而且這種查詢方式在索引層面也更友好。export function normalize(vector) { let sum 0; for (let i 0; i vector.length; i) { sum vector[i] * vector[i]; } const norm Math.sqrt(sum) || 1; const normalized new Float32Array(vector.length); for (let i 0; i vector.length; i) { normalized[i] vector[i] / norm; } return normalized; } export function cosineSimilarity(a, b) { let dot 0; for (let i 0; i a.length; i) { dot a[i] * b[i]; } return dot; }注意如果a和b都已經(jīng)歸一化cosineSimilarity返回的就是余弦相似度值域在 -1 到 1 之間。以圖搜圖場(chǎng)景里返回結(jié)果一般按相似度從高到低排序。我在項(xiàng)目里會(huì)額外保存每個(gè)特征的平方和用來排查向量是否因?yàn)槟撤N原因變成全零向量全零向量直接跳過不參與排序。4. 圖片庫構(gòu)建與檢索鏈路打通4.1 離線入庫批量抽取圖片特征以圖搜圖不止需要“查詢端”能抽特征圖片庫里的每張圖也得有特征。項(xiàng)目初期圖庫不大可以直接在瀏覽器里批量入庫把圖片庫的圖片逐張丟給extractFeature生成特征后存起來。批量入庫比單張查詢更容易做性能優(yōu)化。MobileNet 輸入是動(dòng)態(tài) batch 維度的我可以把多張圖拼成一個(gè)[N, 3, 224, 224]的輸入張量一次推理同時(shí)輸出 N 個(gè) 1024 維向量。這個(gè)優(yōu)化在 WebGPU 后端下收益很大GPU 并行能力被充分用起來。批量特征抽取的示意代碼async function extractFeaturesInBatch(imageSources) { const tensor await batchImagesToTensor(imageSources); const outputs await session.run({ input: tensor }); const data outputs[feature].data; const shape outputs[feature].dims; const [batch, dim] shape; const features []; for (let i 0; i batch; i) { const vec new Float32Array(dim); vec.set(data.subarray(i * dim, (i 1) * dim)); features.push(normalize(vec)); } return features; }batchImagesToTensor就是把預(yù)處理的循環(huán)從單張變成多張構(gòu)造Float32Array(batch * 3 * 224 * 224)。我建議入庫過程放在 Web Worker 里跑避免 UI 卡死這個(gè)后面講工程化時(shí)展開。4.2 特征存儲(chǔ)IndexedDB 與二進(jìn)制編碼入庫生成的特征需要持久化否則每次刷新頁面都要重新抽一遍特征。瀏覽器端的自然選擇是 IndexedDB它支持結(jié)構(gòu)化克隆Float32Array可以直接保存。我的存儲(chǔ)結(jié)構(gòu)很簡(jiǎn)單每條記錄一個(gè) id、一個(gè)Float32Array特征向量、還有圖片的縮略圖 Blob 和元信息。查詢時(shí)把圖庫全部向量取出來在內(nèi)存里做相似度計(jì)算。function saveFeatureToDB(id, vector, thumbnailBlob) { return new Promise((resolve, reject) { const request indexedDB.open(image-search-db, 1); request.onupgradeneeded () { const db request.result; if (!db.objectStoreNames.contains(features)) { db.createObjectStore(features, { keyPath: id }); } }; request.onsuccess () { const db request.result; const tx db.transaction(features, readwrite); tx.objectStore(features).put({ id: id, vec: vector, thumb: thumbnailBlob, createdAt: Date.now() }); tx.oncomplete () { resolve(); }; }; }); }要提醒一句IndexedDB 的結(jié)構(gòu)化克隆在保存Float32Array時(shí)是安全的但所有讀出來的Float32Array都是新的副本不會(huì)和內(nèi)存里的引用沖突這一點(diǎn)用起來很省心。如果你的項(xiàng)目圖庫超過十萬張1024 維 float32 的向量就是 400 多兆純前端暴力檢索的內(nèi)存壓力會(huì)非常大必須引入索引剪枝策略這個(gè)放到最后一節(jié)講。4.3 在線查詢一次完整的上傳檢索流程在線查詢的完整鏈路是用戶選擇圖片 -createImageBitmap讀取 -extractFeature抽特征 - 從 IndexedDB 讀取庫向量 - 逐個(gè)計(jì)算余弦相似度 - 排序取 TopK - 展示結(jié)果。檢索函數(shù)核心代碼async function searchByImage(imageSource, db, topK 10) { const queryVec await extractFeature(imageSource); const allFeatures await loadAllFeatures(db); const results []; for (const item of allFeatures) { const score cosineSimilarity(queryVec, item.vec); if (Number.isFinite(score)) { results.push({ id: item.id, score, thumb: item.thumb }); } } results.sort((a, b) b.score - a.score); return results.slice(0, topK); }細(xì)節(jié)上有一個(gè)性能優(yōu)化點(diǎn)查詢向量在循環(huán)外只歸一化一次庫向量在入庫時(shí)也已經(jīng)歸一化所以內(nèi)循環(huán)就是純乘加運(yùn)算。對(duì)于一萬張圖就是一萬次 1024 維的內(nèi)積主線程上大概 10 到 20 毫秒體驗(yàn)完全能接受。如果查詢過程中發(fā)現(xiàn)結(jié)果明顯不對(duì)先別急著改模型檢查一下查詢向量和庫向量是不是都做了歸一化這是我踩過最多的坑。5. WebGPU 推理的坑我替你踩了一遍5.1 打開頁面發(fā)現(xiàn) navigator.gpu 是 undefined這是最常見的兼容性問題。用戶瀏覽器版本太老或者頁面不在 HTTPS/localhost 環(huán)境下都會(huì)導(dǎo)致 WebGPU API 不可用。我的處理方式是在應(yīng)用入口做雙保險(xiǎn)先檢查navigator.gpu不可用時(shí)給出提示同時(shí)給用戶一個(gè)回退按鈕用 CPU 執(zhí)行器跑同一個(gè)模型。const useWebGPU gpu in navigator; const executionProviders useWebGPU ? [webgpu] : [cpu];不過要把預(yù)期管理好CPU 后端跑 MobileNet一次推理大概在 200 到 400 毫秒小圖庫勉強(qiáng)能接受大圖庫就差很多。項(xiàng)目上線前一定提前確認(rèn)目標(biāo)用戶群用的瀏覽器版本不要指望所有用戶都有最新版 Chrome。5.2 首次推理慢得像假死預(yù)熱能解決多少WebGPU 的“首次運(yùn)行慢”是新手遇到最多的現(xiàn)象明明同一個(gè)模型第二次跑快得很第一次卻可能要等好幾秒。原因是 WebGPU 后端需要把計(jì)算管線編譯成 GPU 指令這個(gè)編譯過程在第一次用一組算子形狀時(shí)觸發(fā)。方案就是預(yù)熱。session 創(chuàng)建完成后立即用一張和真實(shí)輸入尺寸完全一樣的假圖跑一次推理。這里強(qiáng)調(diào)“尺寸完全一樣”因?yàn)?WebGPU 管線編譯是按輸入形狀緩存的你用 224x224 預(yù)熱之后如果突然來一張別的尺寸輸入會(huì)再次觸發(fā)編譯。因此我在項(xiàng)目里把所有輸入都固定 resize 到 224x224避免形狀變化。預(yù)熱還有一個(gè)副作用就是能把 wasm 實(shí)例跑熱后續(xù)的線程調(diào)度也會(huì)更穩(wěn)定。5.3 WebGPU 結(jié)果和 CPU 推理不一致心里慌不慌這個(gè)現(xiàn)象我遇到的時(shí)候也慌了一下。同一張圖CPU 推理出來 Top1 結(jié)果和 WebGPU 推理出來有一點(diǎn)偏差尤其是在 FP16 支持不完整的顯卡上。原因在于 WebGPU 后端為了性能在部分 GPU 算子上會(huì)使用半精度浮點(diǎn)計(jì)算而 CPU 后端通常用全精度 float32。MobileNet 這類模型對(duì)浮點(diǎn)精度誤差有一定容忍度最終特征向量的歸一化數(shù)值不會(huì)差很多但如果你在兩個(gè)后端上對(duì)比精確值會(huì)有細(xì)微差異。處理方式要分場(chǎng)景。如果是檢索排序微小的特征數(shù)值波動(dòng)一般不影響 TopK 結(jié)果不用過度擔(dān)心。如果你在做嚴(yán)格的精度對(duì)比實(shí)驗(yàn)可以在創(chuàng)建 session 時(shí)把 WebGPU 后端的浮點(diǎn)精度設(shè)置調(diào)整一下。具體參數(shù)在不同版本里命名不一樣建議查 onnxruntime-web 官方文檔。我在項(xiàng)目里用的策略是用搜索結(jié)果的相似度閾值來判斷是否可信低于閾值的查詢直接提示用戶“可能沒有相似圖片”而不是讓用戶盯著一個(gè)不靠譜的 Top1 猜來猜去。5.4 跨域與 WASM 加載報(bào)錯(cuò)最容易讓人連夜排查onnxruntime-web 是 WASM 程序要跑多線程還需要 SharedArrayBuffer。瀏覽器對(duì) SharedArrayBuffer 有嚴(yán)格限制要求頁面處于跨域隔離狀態(tài)也就是必須帶上Cross-Origin-Opener-Policy: same-origin和Cross-Origin-Embedder-Policy: require-corp這兩個(gè)響應(yīng)頭。如果你的頁面部署在普通靜態(tài)服務(wù)器上沒配置這兩個(gè)頭控制臺(tái)會(huì)報(bào)一堆跟 WASM 相關(guān)的錯(cuò)誤最常見的是 “SharedArrayBuffer is not defined” 或者 wasm 加載失敗。很多人會(huì)誤以為是模型文件路徑寫錯(cuò)了其實(shí)問題出在響應(yīng)頭。解決方法是讓靜態(tài)服務(wù)器加上響應(yīng)頭同時(shí)給模型文件、wasm 文件等所有跨域資源加上Cross-Origin-Resource-Policy: cross-origin。如果你用的是 Nginx配置大概是這樣add_header Cross-Origin-Opener-Policy same-origin always; add_header Cross-Origin-Embedder-Policy require-corp always; add_header Cross-Origin-Resource-Policy cross-origin always;如果模型文件和頁面在同域也要確保模型文件響應(yīng)里帶上 CORP 頭。這個(gè)坑很容易出現(xiàn)在“本地開發(fā)好好的一部署到線上就崩”的場(chǎng)景里排查順序應(yīng)該是先看控制臺(tái)報(bào)錯(cuò)再檢查響應(yīng)頭最后才懷疑模型文件。5.5 內(nèi)存問題session 重復(fù)創(chuàng)建和 canvas 泄漏瀏覽器端跑推理內(nèi)存泄漏通常不是 GPU 顯存問題而是 JavaScript 堆內(nèi)存被悄悄吃掉。最容易踩的一個(gè)坑是每查詢一次就調(diào)用一次InferenceSession.create。創(chuàng)建 session 要加載模型、實(shí)例化 wasm、初始化 WebGPU 管線這些對(duì)象在多次創(chuàng)建后如果沒有被正確釋放堆內(nèi)存會(huì)持續(xù)上漲。我一開始為了“保險(xiǎn)”每個(gè)查詢都新建 session結(jié)果瀏覽器內(nèi)存從 100 多兆一路漲到 800 多兆頁面開始卡頓。后來改成全局單例 session問題直接消失。另一個(gè)坑是 canvas 對(duì)象。每次預(yù)處理都創(chuàng)建新的 canvas 并保留在局部變量里沒問題但要避免把 canvas 存在全局?jǐn)?shù)組或者事件回調(diào)里。用ImageBitmap讀取圖片后要記得調(diào)用close()釋放底層資源尤其是在批量入庫幾百張圖時(shí)不釋放的話內(nèi)存漲得飛快。6. 工程化優(yōu)化從能跑到跑得穩(wěn)6.1 會(huì)話復(fù)用、預(yù)熱與內(nèi)存回收的落地工程化第一步就是把基礎(chǔ)的資源管理做好。session 全局唯一啟動(dòng)時(shí)創(chuàng)建進(jìn)程級(jí)復(fù)用。預(yù)熱跑一次假推理。索引查詢時(shí)給Float32Array用完后及時(shí)置空引用讓 GC 可以回收。這里給一個(gè)我在項(xiàng)目里用的初始化流程順序很重要checkWebGPU()檢查環(huán)境。創(chuàng)建 session指定executionProviders。執(zhí)行預(yù)熱推理捕獲異常如果 WebGPU 失敗則回退 CPU。從 IndexedDB 加載圖庫特征構(gòu)建內(nèi)存索引。注冊(cè)文件上傳、拖拽等事件。初始化是異步過程要給用戶一個(gè) loading 狀態(tài)。瀏覽器端 AI 應(yīng)用最常見的體驗(yàn)問題就是“沒有任何反饋地白屏幾秒鐘”用戶以為頁面壞了。我習(xí)慣在首屏渲染一個(gè)進(jìn)度條至少告訴用戶模型正在加載。6.2 別讓主線程卡死Web Worker 與多請(qǐng)求并行推理和向量檢索都是 CPU/GPU 密集任務(wù)放在主線程會(huì)阻塞頁面交互。工程化方案是 Web Worker。在 Worker 里創(chuàng)建 onnxruntime session主線程通過postMessage傳ImageBitmap給 WorkerWorker 完成推理后把特征向量傳回來。ImageBitmap在結(jié)構(gòu)化克隆時(shí)是零拷貝的性能影響很小而且 Worker 里跑推理不會(huì)卡住頁面。多請(qǐng)求并行的實(shí)現(xiàn)要特別注意WebGPU 并不適合無限并發(fā)。GPU 的計(jì)算隊(duì)列本身是串行調(diào)度的同時(shí)發(fā)起幾十個(gè)session.run只會(huì)增加線程切換開銷并不會(huì)加快總吞吐。我的做法是在 Worker 內(nèi)維護(hù)一個(gè)任務(wù)隊(duì)列同一時(shí)間最多執(zhí)行一個(gè)推理任務(wù)。如果收到多個(gè)查詢請(qǐng)求按順序排隊(duì)處理。const taskQueue []; let running false; self.onmessage async (event) { taskQueue.push(event.data); if (!running) await processQueue(); }; async function processQueue() { running true; while (taskQueue.length 0) { const task taskQueue.shift(); const imageBitmap task.imageBitmap; const vec await extractFeature(imageBitmap); self.postMessage({ id: task.id, vec: Array.from(vec) }); } running false; }注意postMessage傳Float32Array也是結(jié)構(gòu)化克隆如果向量很大可以改用transferable轉(zhuǎn)移緩沖區(qū)所有權(quán)避免拷貝開銷。但轉(zhuǎn)移之后原數(shù)組就不能用了要確保 Worker 側(cè)不再持有引用。6.3 大圖庫檢索暴力枚舉不是終點(diǎn)純暴力枚舉在幾千張圖的時(shí)候表現(xiàn)不錯(cuò)但圖庫到了十萬張數(shù)量級(jí)每查詢一次就要計(jì)算十萬次 1024 維內(nèi)積主線程就撐不住了。優(yōu)化思路是聚類剪枝。離線入庫時(shí)用 K-Means 把全部特征聚成 K 個(gè)類存下每個(gè)類的中心向量。在線查詢時(shí)先用查詢向量和 K 個(gè)中心計(jì)算相似度選出最相近的幾個(gè)類再只對(duì)這幾個(gè)類里的特征做精確比對(duì)。K 的取值我一般取 64 到 256取決于圖庫總量和目標(biāo)延遲。這個(gè)方案在純前端實(shí)現(xiàn)起來不復(fù)雜效果卻非常明顯十萬張圖可以剪到只比對(duì)幾千張查詢時(shí)間從幾百毫秒降到幾十毫秒。如果向量維度可以降也可以降維。MobileNet 的瓶頸層特征本身有很強(qiáng)的信息冗余我在另一個(gè)項(xiàng)目里用 PCA 把 1024 維降到 256 維檢索 Top10 的召回率只下降了 2% 左右但內(nèi)存和計(jì)算量直接縮小到原來的四分之一。這個(gè)方向?qū)η岸藞?chǎng)景很實(shí)用。6.4 更多落地場(chǎng)景相冊(cè)去重、商品同款、素材管理這套方案能做的事不止“以圖搜圖”一個(gè)場(chǎng)景。做相冊(cè)應(yīng)用時(shí)可以批量抽取相冊(cè)圖片特征然后做去重和相似聚類用戶不用手動(dòng)整理幾千張照片。做電商場(chǎng)景時(shí)用戶拍一張商品圖瀏覽器直接在本地的商品庫里找同款不上傳圖片購物流程更順暢。做素材管理系統(tǒng)時(shí)設(shè)計(jì)師上傳一張參考圖本地檢索相似素材響應(yīng)速度遠(yuǎn)超云端方案。如果你往里再疊加一個(gè)人臉檢測(cè)模型做區(qū)域裁剪檢索精度還能進(jìn)一步提升。我的經(jīng)驗(yàn)是MobileNet 提取的是全局特征對(duì)整圖的配色、構(gòu)圖、物體布局比較敏感但沒法做到精細(xì)的局部匹配。遇到這類需求可以在 MobileNet 之前接一個(gè)檢測(cè)模型或者換用多尺度特征融合的方案別指望一個(gè)全局特征解決所有問題。這個(gè)工程的延展性其實(shí)很好。模型文件可以換后端執(zhí)行器可以切索引策略可以升級(jí)但整體的“瀏覽器端特征抽取 本地向量檢索”架構(gòu)是穩(wěn)定可復(fù)用的。只要把extractFeature這個(gè)函數(shù)的輸入輸出協(xié)議定好后面換成任何其他特征提取模型業(yè)務(wù)代碼都不用改。這也是我在實(shí)際項(xiàng)目中比較受益的一個(gè)設(shè)計(jì)決策。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色综合播放| www色婷婷| 久久久色婷婷五月天| 大香蕉久久久久| 五月天婷婷久草丁香| 超碰超碰在线| 婷婷丁香色五月| 婷婷久久内射| 色色婷婷综合| 久久99网站| 久久机热这里只有精品| 五月丁香久久网| 九九无码AV| 激情婷婷五月天| 日韩成人五月天| 日韩欧美不卡| 亚洲国产99| 人人爱操| 色综合网页| 久久久香| 日日干干天天干| 色婷插| 91精品综合久久婷婷九色| 婷婷五月蜜桃成人桃色丁香| 婷婷五月天大香蕉在线视频观看| 亚洲AV免费国产电影| 啪啪小说五月天| 99re6热在线精品视频播放速度 | 99色精品| 涩涩涩,com| 欲求不满的人妻| 噜噜噜久久| 思思99精品视频| 五月婷久久草| 五月婷婷色白丝| 亚洲无线视频| 操一操| 99色日本| www久久久久| 五月丁香在线| 色色色五月婷| 丁香五月婷婷视频| 丁香五月天五码婷婷| 色玖玖综合网| 9 9热这里有精品| 天天天天干| 中文字幕不卡+婷婷五月| 婷婷丁香77777| 一起草无码| 五月天色综合| 久操97| 韩国婷婷丁香五月| 激情网站五月| 色综合网上班开心婷婷久久| 区啪精品| 99久久97久久欧美综合网| 开心激情婷婷| 777精品久无码人妻蜜桃| 综合另类视频| 在线另类视频| 五月天婷婷色色首页| 欧美69久成人做爰视频| 九月激情婷婷丁香| 婷婷综合玖玖五月| 色99婷婷五月天| 九九99九九精品视频| 天天碰夜夜操| 九九在线精品| 婷婷五月电影| 成人在线99| 26uuu国产色| 99热伊人| 91一起操| 五月综合视频在线| 啪啪五月天啪啪| 亚洲精品网站色视频| 变态另类9| 91丨九色丨首页| 思思热这里只有精品| 丁香成人视频| 丁香五月婷婷色| 婷婷五月中文字幕国产| 久er7久热| 亚洲精品色色| site:pzdcoin.com| caopeng97日韩| 五月天婷婷久色| 亚洲精品乱码久久久久久综合| 干一干xxxx| 综合99久久天天综合| 久久大香蕉丁香| 色婷婷五月天在线观看| 丁香六月婷婷基地| 五月丁香趴趴| 久久日九九| 亚洲自拍天堂| 超碰国产av| www.五月天婷婷姐姐| 狠狠肏综合网| 成人欧美Va| 79精品在线视频| 伊人超碰| 久久九九蜜| 色天天综合色| 这里只有精品在线看| WWW.激情| 深爱五月激情| 色婷婷五月综合| 亚洲V国产V欧美V久久久久久| 字幕网AV中文字幕| 蒲京久久无码视频| 99久久亚洲国产| 九九中文色色| 九色在线观看91av| 色婷婷丁香五月| 人妻中文在线| 丰滿爆乳一区二区三区| 99精品久久久久久久婷婷| 色五月激情视频在线综合| 激情综合色五月六月婷婷| 丁香五月婷在线| 久青草影院| www.婷婷五月天| 色色欧美色色色| 激情五月婷婷她| 丁香六月啪| 色综合播放| 黄色91在线观看| 久久五月婷| 色婷婷色久综| 丁香五月大香蕉| 国产精产国品一二三在观看| 99操| 思思久久99热只有频精品66| 久久99热这里只频精品6学生| 九九无毛| 26uuuu精品一区二区| 五月天久久婷婷| 色五月亚洲| 丁香婷婷五月人体| 亚洲人人操BD| 北京熟妇搡BBBB搡BBBB| 五月婷啪| 99精品视频网站| 99热99色| www.99在线| 亚洲va欧美va国产综合久久久| 狠狠操综合| 久久3级片| 成人五月天综合网| 久久网日本| 色图亚洲91| 久久99网站| 天天插天天干天天舔| 中文字幕不卡+婷婷五月| 日韩乱轮AV| 大香蕉AV在线| 色婷婷狠狠爱| 极品另类| 色天堂操| 婷婷色六月| 国产日产亚系列精品版优势| 婷婷久久免费看| 91视频一起草| 国产操B视频| 成人免费va| 日韩ww| 超碰免费在线| 五月丁香婷婷基地| 婷婷丁香社区网| 五月天婷婷基地| 操精品9| 五月天婷婷午夜丁香| 99ri精品在线| 97人人搞| 秋霞AV淫| 丁香五月天网站| 婷婷色五天| 99丁香婷婷综合网| 五月天社区狠狠| 亚洲亚洲人成综合网络| 69婷婷丁香午夜| 久9热| 五月丁香久人妻中文| 久久免费操| 大香蕉丁香| 色噜噜在线| 婷婷五月精品在线| 六月丁香婷婷爱| 亚洲婷婷激情888精品久| 99热超碰| 色色网站观看| 婷婷五月天免费99| 久久a热| 国产亚洲AV人片在线| 六月婷婷私欲| 99精品久| 在线网黄| 亚洲欧美婷婷五月色综合| 色伊人婷婷| 激情婷婷在线中文字幕| 99热这里只有精品中文字幕| 秋霞电影理论| 日本欧美999久久久三级片| 久久综合激情婷婷激情| 天堂成人久久| 日韩成人综合网| 色六月天天激情综合网| 亚洲亚洲人成综合网络| 婷婷丁香综合成人| 玖玖五月| 99热久久这里只有精品| 久草xx性爱视频| 丁香五月婷婷久久久| 天天色天天爱天天爱天天爱y| 综合久久六月| 另类天堂| 久久婷婷五月天激情唯美| 久久久久久久久人妻| 久久久久久久久久久久63| 天天日夜夜爽| 综合激情啪啪| 色婷婷五月综合色婷婷| 五月天久久久| 九玖欧洲亚洲| 超碰色婷婷| 色吧五月婷婷| 婷婷丁香色五月久久88| 成人在线视频网| 色五月天电影| 婷婷五月天开心激情网| 天天做天天爱天天摸| 牛色色碰| 大香蕉啪啪啪| 色色亚洲五月天| 久久久久亚洲AV成人无码电影| 日日夜夜干| 五月丁香婷婷伊人| 超碰av在线| 一本道在线电影| 色五月天成人| 77799热| 97操碰日本女人| 中文字幕av久久爽一区| 六月婷婷国产| 91精品人妻少妇无码影院| 五月婷婷在线免费观看| 激情五月综合婷婷| 9九热视频| 91九九九色在| 丁香婷婷大香蕉| www.五月天社区| 成人电影一区| 综合www色| 伊人综合网站| 99啪| 丁香五月成人社区| 九九热区一区二区三区| 色婷婷综合网| 成人精品人妻| 日本9区视频| 五月天综合| 亚洲碰碰碰| 五月婷婷色情| 国产热精品| 天天开心天天色| 天堂综合久| 五月丁香婷婷欧美色图视频五月丁香777电影 | 伊人日日干| 久久 婷婷 五月天| 亚洲黄3级片网站欧美| 中文字幕免费高清电视剧| 91狠狠色| 色情五月丁香| 久久 婷婷 五月天| 亚洲熟女色| 日本色视| 六月丁香网| 综合激情网激情五月。| 香蕉AV777XXX色综合一区| 激情婷婷亚洲五月| 情五月亚洲婷婷| 九九AV| 色久影院| 五月婷婷丁香综合| 久久99网站| 97热精品| 人人操AV| 久久久妻人人人| 99久在线| 热99国产精品| 久久这里只有精品07| 五月丁香婷婷综合网| 日韩超碰在线| 婷婷五月天综合激情| 五月天丁香综合| 九九色之九九色88| 超碰91在线| 九九色人| 婷婷久久五月| 亭亭五月天黑人2014| 天天干天天 亚洲| 五月四色婷婷| 婷婷五月天成人小说| 国语精品探花| 开心五月天激情网| 日韩操人| 全部老头和老太XXXXX| 538在线精品| 熟女人妻一区二区三区免费看 | 99热这里| 欧美性丁香色色五月天综合爱爱| 日日噜狠狠色综合久久| 色色色成人网| 伊人婷婷五月天| 99热在线播放| 午夜天天精品视频| 日韩无码系列| 亚洲色涩视频| 婷婷五月天另类网站| 久久久久er热| 99色性爰网络| 万月丁香狠狠爱| 色综合9| 最新日韩久热免费视频看看| 婷婷亚洲色| 国产Va视频| 丁香五月23111| 天天插天天操| 久机视频这只有精品| 五月婷婷大香蕉| 色综合视频在线| 丁香六月综合激| 色五月91| 久久九九在线视频| 91丨九色丨高潮丰满日本| 91久久久久久| 亚洲色综久久五月| 婷婷在线午夜| 久久99精品久久久久久噜噜| 久久久久久久人妻| 操操精品| 五月天色婷婷视频| 色婷婷六月天| 天天操天天干天天射| 丁香六月激情综合网| 怕怕視頻| 天天日天天干天天操| 99热官网精品在线| 久久久精品99| 美女100%露全身无挡网站| 九九热99热| 五月丁香婷婷基地| 日日噜噜久久婷婷五月天| 97成人丁香婷婷| 婷婷五点亚洲| 九九AV| 91婷婷五月丁香碰| 天天橾日日橾夜夜橾17| 九九青青草成人| 人五月天婷婷喷水| 亚洲精品五十一区| av色婷婷| 97伊人综合婷婷| 精品一区二区三区四区五区六区介绍| 亚洲综合在线播放| 五月色情精品| 色五月婷婷激情五月| 久久婷婷综合基地| 丁香五月婷婷综合91| 99丁香五月婷| 97香蕉碰碰人妻国产欧美| 97五月婷| 黄涩毛片| 久久XX| 婷婷色操| 婷婷开心激情| 五月天婷婷激情六月久久 | www.色综合.com| 色青五月天| 开心深爱激情网| 丁香六月婷婷色XXXXX| 色色色在线免费视频| 六月婷婷久久| 久久九九九九| 婷婷五月天在线综合| 少妇熟女视频一区二区三区| 久久五月婷婷电影| 久9热| 99热欧美偷拍| 五月天婷婷丁香基地在线观看| 六月成人网| 五月丁香日本一抹本| 欧美乱码国产一级A片| 婷婷五月丁香基| 日本a片网址| 色噜噜狠狠色综合网| 丁香五月 无码| 玖玖资源天天无码| 婷婷性爱五月天丁香网| 丁香六月无码播放| 91精品综合久久久久久五月丁香 | 综合狠狠干| 男人天堂AV在线一区二区| 丁香五月激情六月综合| 五月天婷婷婷| 激情婷婷综合五月少妇| 97婷婷五月| 五月婷婷乱| 五月Huangsewang| oumeisesewang| 丁香五月色情| 日逼免费视频 | 青青操绿aaa一区日v| 精品人妻伦一二三区久| 噜一噜免费视频| 狠狠插狠狠插| 亚洲性爱干干| 丁香花社区av| 丁香六月色婷婷| www,99色| 在线观看免费狠狠色丁香香综合| 激情AV在线| 五月天久久婷婷| 99日本黄站| 久久久久久久97| 99超级碰免费视频| 色波激情五月天| 丰满老熟妇BBBBB搡BBB| 互月天综合| 人人妖人人97| 99热这里只有精品55| 激情婷婷九月| 五月天开心激情综合网| 欧美精品久久久久久视频观看| 丁香六月激情| 夜夜爽天操| 久久久九九九 99| 欧美色五月| 婷婷丁香九月| 婷婷色色五月| 婷婷五月天精品| www.久久爱.c n| AV在线免费播放| 九九精品网站| 亚洲天堂婷婷| 婷婷综合亚洲| 婷婷丁香午夜综合影视| 五月丁香六月婷婷激情四射| 久久色情| 五月天激情无码高清| 免费超碰在线| 五月激情影院| 99er久久| 黄色AV日韩| 最近中文字幕在线中文视频| 99亚洲精品视频| 综合大香蕉| 少妇高潮A片无套内谢麻豆传| 婷婷伊人五月| 色玖玖综合网| 激情五月天。| 激情五月综合网| 五月色导航| 九九激情视频| 欧美黑人巨大性生话| 亚洲欧美另类在线23p| 激情五月天综合网| 一起草AV入口| 操碰99| 五月天色综合服务平台| 日本视频99| AA片在线观看视频在线播放| 激情爱爱网站超大免费| 天天舔天天| 久久综合首页| 岛国AAAV| 色五月首页| 丁香六月五月天| 9.1综合网| 99操不停| 亚洲乱码日产精品BD| 激情99| 午夜不卡成人一区二区| 五月丁香999| 狠狠色综合图片| 99亚洲精品视频| 天天插,天天射| 六月五月丁香五月欧美| 99男人天堂| αv中文字幕在线观| 成人av在线网站| 五月婷婷婷自由综合| 六月激情婷婷| 九九热在线99| 综合久久8| 日韩成人综合网| 五月天久久网站| 色婷婷狠狠干芒果TV| 九九蜜臀精品| 久热九九| 天堂色婷婷| 中文字幕成人日韩| 草草色情综合网| 啪啪啪综合网| 久久免片| 久9热| 99精品网| 五月婷婷官网色| 五月丁香在线偷拍视频| 99极品视频| 成人AV在线电影| 五月婷婷导航| 婷五月天六| 久久男人网婷婷| 无人区码一码二码三码医生系列| 99久视频| 激情五月天丁香| 色优久久| 综合激情五月丁香| a在线观看| 伊人网碰碰| www.天天干| 久久婷婷综合五月天| 五月丁香激情六月| 激情五月婷婷综合色播小说| 色五月婷婷天天操夜夜操| 天天草天天爱| 色综合久久伊伊婷婷五月| 26uuu淫色| 99免费热在线精品| 99re这里只有精品国产99| 国产亚洲99久久精品| 99热最新精品| 色五月首页| 久草大| 国产 亚洲 在线| 99自拍视频网站| 99A级片| 丁香五月婷婷AV| 日本色图综合| 色很很96| 婷婷六月婷婷| 久久婷婷婷婷伊人| 成人九九视频| 天天摸天天日天天舔| 亚洲一区二区无码蜜乳av| 丁香五月综合在线播放| 嫩BBB槡BBBB搡BBBB视频| 在线A色| 国产成人va在线| 中文网av| 国产日韩欧美性爱| 激情五月综合网最新| 成人五月天丁香婷| 成人片在线播放| 大香蕉520| 亚洲激情网| 欧美色图片88| 久热精彩视频98| 碰碰碰91| 在线中文av| 婷婷五月色| 色色色综合视频| 亚洲婷婷五月草久| 婷婷丁香五月天中文字幕| www激情婷婷com| 丁香在线视频| 综合五月丁香六月婷婷| 色综合激情| 嫩草AV久久伊人妇女超级A| 666555。COm毛片| 99久久婷婷国产综合精品| jiujiuxiangjiaowang| 激情久久网 | 丁香五月天天| 欧美va欧美va差| 欧州色色| 国产免费一区二区在线A片视频| 欧洲亚洲精品| A片天天| 日本三级片片| 久久婷婷激情| 日本不卡五月婷婷丁香| 久久婷婷五月天激情| 五月婷婷五月| 影音先锋五月天婷婷丁香在线观看| 夫妻超碰在线| sS丁香五月婷婷| 丁香五月婷婷骚视屏| 可以免费观看的AV| 99精品偷自拍| 婷婷的色色五月天| 婷婷久草| 丁香欧美| 9色视频在线| 国产,欧美,学生妹,视频| 极品少妇婷婷五月| 入口五月婷婷六月香| 五月丁香激情婷婷综合| 色综合婷婷| 色www99| 粉嫩av懂色av蜜臀av熟妇| 九九九九九无码| 天天综合网站| 疯狂做受XXXX高潮A片| 99热伊人综合| 五月天激情网图片 - 百度| 丁香五月电影| XX色综合| www色婷婷| 五月色俺婷婷| 99久久99久久综合| 五月天狠狠色| 国模淫穴色图| 日韩操人| 欧美色色色色色色色色色色| 综合综合网| 欧美va在线| 丁香色五月AV在线| 丁香五月狠狠综合欧美| 成人短视频在线| 99热色综合| 天天 青草 制服丝袜 在线 | 色色色97| 九九热思思热| 超碰狠狠操| 色偷偷人人| 欧美综合在线五月天色婷婷| 亚洲av骚货| 99在线综合视频| 噜色精品| 思思热精品在线| 97久久五月丁香婷婷| 99色热视频| 九九在线精点品| 激情五月色婷婷| 五月丁香婷婷激情澎湃四射| 欧美色综合天天久久综合精品| 欧美丁香五月97色| 五月色色激情网| 99综合五月免费视频色婷婷| 色99视| 99色在线视频| 激情五月天色网站| www.狠狠艹| 亚洲天堂色| 另类图片五月天婷婷| 思思久久精品| 婷婷综合网性| 玖玖婷婷五月天| 久久人人做人人妻人人玩精品va| 久久久久久久久久久久久久人妻视频| 亚洲色综合| 秋霞A V毛片| 天天综合色丁香| 五月丁香婷婷狠狠操| 台湾佬天天日丁香婷婷五月天| 五月综合色| 伊人大香五月天| 夜夜撸日日操| 色5在线| 六月激情婷婷| 99黄色性生活| 久操热线| 狠狠狠狠免费| 欧美日韩二区在线| 五月丁香另类网| 日本少妇裸体做爰高潮片| 色狠狠六月| 被强行糟蹋的女人A片| 国产寻花在线| 四季8848精品成人免费网站| 色五月婷婷DVD| 深夜婷婷 丁香| 婷婷色网站| 99视频啪啪| jiuse91在线| www,99热| 免费人人操| caop在线视频| 亚洲人成网亚洲欧洲无码久久| 久久激情五月| 五月婷婷成人w| 99视频只有精品| 婷婷丁香五月天亚洲| 亚洲一级 片内射网站在线观看| 香蕉AV777XXX色综合一区| 97婷婷久久丁香| 五月天丁香久久| 亚洲AV成人在线| 五月激情小说| 亚洲、热| 亚洲成人av在线播放| 色九月| 亚洲亚洲激情| 日本9区视频| 超碰a女人的天堂| 免费黄色视频网址| 久热婷婷综合| 色五月婷婷很很操| 操操操操操操婷婷五月天| 激情99| 五月婷婷 激情五月| 欧洲一区二区| 久久五月综合| 中文网av| www99久久| AA片在线观看视频在线播放| 五月婷婷丁香瑟瑟视频| 99黄色性生活| 99在线视频操999| 美女网黄| 久久这里只有精品无码| 另类国产区| 91丨九色丨大屁股| 狠狠狠夜夜夜| 成人天天爽| httpwww色com日本| 99综合| 色婷婷丁香五月色综合网| 久久久大香蕉| 丁香六月婷婷缴情欧美| 天堂久久性| 五月天婷婷爱丁香中文字幕| www.精品久9| 熟妇内谢69XXXXXA片| 草综合14| 狠狠色噜噜狠| 情色婷婷五月天| 五月丁香久久综合| 99热热这里只精品996小说| 精品一二三区久久AAA片| 国产激情在线| 99久久综合精品五月天| 婷婷久久综合久| 色情网综合| 91丨九色丨东北熟女| 永久精品| 色噜噜狠狠色综合AV兰草影视| 午夜av网| 国产偷人爽久久久久久老妇APP| 久久久五月五丁香| 五月天婷婷中文字幕在线播放| www.色婷婷| 香蕉色色网| 国产真实乱了老女人视频| 91九色熟女| www,五月天激情| 新久久五月天激情| 五月婷婷丁香啪啪| 日本A片一区| 99热这里只有精品99| 婷婷六月激情| 99精品视频免费| 欧美性爱特黄一级aaaassss| 人妻人人操| 久久精品A片777777| 五月天婷婷视频| 亚洲欧美婷婷五月色综合| 99热在线观看免费| 天天干天天日天天插| 99热福利| 在线另类视频| www.五月天婷婷| 久久九九99.www| 久久您您综合网| 色情五月婷婷| 欧美日综合| 色色五月婷婷| 日本五月婷婷| 久久久8| 亚洲综合另类| 亚洲激情久久| 五月天婷婷色综合| 这里只有精品在线观看视频| 五月婷丁香亚洲| 亚洲99在线视频| 夜夜www| 六月婷伊人| 爱之国产色情综合| 欧美天天五月丁香免费观看| 激情综合网五月在线播放| 在线播放中文字幕| 婷婷的99视频网站| 伊九九三级区| 婷婷六月色| 色色五月丁香婷婷| 26uuu精品一区二区| 天天爽天天干| 五月丁香久久| 26UUU欧美激情一区二区| 亚卅毛片| 外国碰视频网站97| 成人在线精品| 这里只有精品1| 亚洲高清在线| 成人做爰A片免费看视频| 中字幕视频在线永久在线观看免费| 丝袜大香蕉| 三人荫蒂添的好舒服A片| 色五月激情五月| 狠狠爱青青草| wwww.9免费视频| 操逼巨乳91| 五月丁香啪综合| 激情五月天福利| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 激情欧美丁香五月| 五月天婷婷影院| 色婷婷五月天视频网站| 97人人看| 99精品视频网| 欧美 色婷婷| 99操不停| 9久久久久久久久久久| 91超碰人人操| 色狠狠伊人久久五月丁香| 26UUU精品一区二区c〇m| 五月丁香五月婷婷在线观看| 丁香五月天视频| 色五月婷婷综合| 婷婷亚洲综合| 1囯产午夜仑鲁鲁| 欧美色图天堂网色| 久久性爱视频免费| 天天色综合综合| 超碰猛烈的性猛交| 天天综合网站| 丁香婷婷综合影院| 亚洲色夜| 欧美激情xxxXX| 五月天色婷婷网| 99综合一区| 大香蕉五月天| 亚洲成人AV一区在线观看| 丁香五月婷婷亚洲色图| .操區COm| 丁香六月色婷婷| 色五月综合在线| 麻豆AV一区二区三区| 99久久.www| 色噜噜狠狠色综| 色久激情在线| 在线观看中文字幕亚洲| 精品香蕉99久久久久网站| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 久青青久| 日韩精品二三区| 色五月综合网| 久久久国产精品黄毛片 | 超碰猛烈的性猛交| 日日做A爰片久久毛片A片英语 | 九九色中文| 亚洲精品影视| 九九性视频| 99这里只有| 99精品手机在线视频| 久久久性爱视频| www,婷婷五月天777me,com| www.夜夜操| 99热久久这里只有精品| 日本成人综合| 丁香五月婷婷骚视屏| 亚洲无码另类| 欧美人人草草| 狠狠艹狠狠艹| 丁香五月开心亚洲| 国产婷婷婷| 天天久久66xxx| 天天插,天天射| 裸体做A爰片毛片A片免费| 天天肏高清在线| 色色欧美色色| 97操操| 日本久久性| 蜜臀嫩草| 国产成人+综合亚洲+天堂| av婷婷丁香| 开心久久xxx色| 99热这里只有精品在线| 欧美婷婷色| 色区久久| 五月丁香好婷婷A片网| 潘金莲AAAAAAAAAA| 丁香女人五月天| www.色婷婷.com| 影音先锋91视频| 亚洲第一色色色色| 久久久久人妻网址| 婷婷五月中文字幕| 婷婷噜噜| 激情五月婷| www.狠狠| 人人综合久| 碰超在线九色| 色区域网站视频| 噼里啪啦在线观看免费完整版视频| 九九色大香蕉| 五月丁香中文字幕| 五月丁香美女| 九九综合伊人| 激情图片婷婷| 九九这里有精品| 久久综合香蕉国产国产蜜臀AV| 日韩精品999| 激情五月天婷婷激情| 成人免费网站免费看| 丁香五月在线观看| 久久久这里有精品| 日日日,com| 五月香蕉婷婷| 嫩BBB搡BBBB榛BBBB| 99热免费精品| 天天爽综合| 五月天日日操夜夜操| 国产精品A片在线| 亚洲无码99| 国产在这里只有精品| 久久五月婷综合网| 91色五月| 丁香97综合| AA片在线观看视频在线播放| 欧美日韩成人一区二区| 66精品成人免费网站在线观看| 超碰chaompinm| 五月丁香综合网| a在线观看| 综合另类视频| 婷婷五亚洲| 天天插天天草人人玩| 丁香五月黄色| 91制片厂久久久国产电影| 九九99久久| 97久久草草超级碰碰碰| 妻久久人久久| sewuyuejiqingwang| www.激情五月天。com| caopeng97人人| 九色综合五月天婷五月| www99热| 日韩欧洲亚洲| 久久99热这里只有精品 | 狠狠操狠狠插| 97人人干人人操| 99热| 人妻操逼视频| va亚洲中文在线| 婷色成人| 台湾综合丁香五月蜜桃| 九九色欲网| 操碰久| 日本nghangse中文字幕| 这里只有精品96| 婷婷五月天基地| 伊人久久大香线蕉av最新| 亚洲综合色网| 五月天激情啪啪| 激情五月婷在线精品| 26uuu.| 人人色婷婷五月天| 久久久激情| 91久操| 色婷婷AⅤ| 色 噜噜 九月 婷婷| 丁香九月激情在线视频| 在线成人va| 精品人妻在线免费观看| 俺去也婷婷| 色情综合网| 久99久视频| 久久久久9| 色婷婷亚洲婷婷| 人人爱国产| 婷婷五月天色| 99在线精品观看99| 九九热免费| 久草五月| 激情五月五月婷婷| 天天爽夜爽| 六月丁香五月天| 激情五月综合亚洲另类| 99爱在线免费视频| 97色色婷婷| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 欧美激情五月天| 99久久婷婷| 大香蕉久久| 国产古装妇女野外A片| 少妇人妻偷人精品无码视频新浪| 少妇被下春药玩弄A片| 色播播五月天| 激情AV| 精品人妻午夜一区二区三区四区 | 亚洲夜夜操| 丁香丝袜五月| 淑女丝袜bi操逼123| 免费精品99| 九九热re99re6在线精品| 色婷婷综合久久久久| 99视频精品| 国产精品成人在线| 亚洲精品久久久久久久久久飞鱼| 国外亚洲成AV人片在线观看| 色五月天 丁香| 婷婷久久天堂网| 人人干99| 91碰碰| 四五月婷婷| 欧美日韩AAAA| 五月天婷婷激情| 九九热视频精品| 97人人干人人操| 丁香婷婷成年| 欧美日韩成人综合9| 亚洲婷婷丁香五月| 秋霞成人毛片一级A片| 九九精品热| 另类国产综合| 99re思思热久久| 成人 在线 日韩| 最近中文字幕在线中文视频| 99五月香婷婷丁香在线视频| 91丨九色熟女丨首页| 五月婷网| 精品99爱免费视频在线观看| 亚洲最大视频| 日韩黄黄| 国产欧美日韩综合精品一区二区| 婷婷情色五月| 99在线播放视频| 色999;丁香五月| 天天拍久久| 久久精品系列| 婷婷五月天成人| 亚洲成人丁香花| 天天艹| 五月丁香六月婷婷综合在线| 视色综合| 99热综合在线| 香蕉久久av一区二区三区| 亚洲AV成人无码精品| 成人午夜免费电影| 日日色五月天| 九九久久网| 超碰人人色| 丁香五月婷婷图片综合| 人橾人| 伊人干练久| 欧美色性色好| 激情开心五月天| 懂色av蜜臀av粉嫩av永陈冠希 | 超碰碰碰碰| 欧美情色电影一区二区| 婷婷免费无马| 五月婷综合性中心| 亚洲成人网在线观看| WwW色婷婷| 九热免费视频| 婷婷丁香基地在线| 色五月天电影| 另类少妇人与禽zOZZ0性伦| 久久婷婷五月激情综合| 色婷婷色五月另类综合| 丁香五月天堂网| 中字幕视频在线永久在线观看免费| 六月婷婷最新网址| 婷婷五月免费观看| 99热精品在线观看| 成人草榴视频| 婷婷丁香五月亚洲欧美| 婷婷五月天狠狠| CHINESE熟女老女人HD视频| 五月丁香激情啪啪网| 日韩综合成人| 亚洲五月天,激情视频| 99热中文字幕久久| 激情综合五月婷婷| 九九热自拍| 五月香六月婷| 九九亚洲| 久99热在线观看| 婷婷五月中文字幕国产| 婷婷九月| 99热欧美精品| 天天射综合网夜夜操| www.日日夜夜.com| www.久久爱.c n| 可以直接看的AV网站| 99热免费在线| 国产激情在线| 热久久66| 人妻22p| 色五月婷婷综合| 毛片色五月| 人人人操 超碰| 综合欧美五月婷婷| 九色无码| 99视频极品在线香蕉| 色色色色av777| 狠狠穞A片一區二區三區| 中文字幕丰满人妻无码专区| 伊人久久五月天| 亚洲中文字幕在线观看| 丁香色色网| 五月丁香影视| av五月丁香| 激情综合五月色丁香婷婷| 色婷婷九月| 99操碰| 五月天婷婷免费视频| 日本天堂网站99| 丁香五月婷婷激情视频播放| 五月天色区| 午夜色婷婷| 久久久香| 五月婷婷导航| 亚洲va在线∨a天堂va欧美va| 女同在线9| 操逼在线视频| 青草视频在线观看视频| 婷婷五月天视| 丁香九月激情| AV在线免费播放| 五月婷婷片| 日日操夜夜操中国无码| 五月六月激情| 国产AV影片| 天天综合色综合| 人与禽A片啪啪| 电影爱拉战争免费观看| 这里有精品| 色五月成人婷婷| 亚洲99热| 噜噜噜噜噜在线| 26uuu欧美| 五月丁婷香| 五月婷婷丁香六月| 五月丁香激情综合啪| 丁香五月五月婷婷| 丁香九月综合| 思思热在线视频精品| 丁香五月天激情网址| 另类图片五月天| 六月婷婷俺也去| 超碰碰碰碰| 五月天婷婷在看| 五月天婷a在线| 噜噜噜精品欧美成人在线观看| 噢美99| 夜夜爽天操| 天天色五月婷婷91久久久久久久| 久久久精品色色色| 欧美日韩国产一二区| 2025年最新亚洲在线欧美| 综合99在线| 婷婷综合色播网| 三级99热| 91狠狠综合网| 六月婷婷综合久久| 日韩无码专区| 色色色在线免费视频| www.超碰| 天色综合网站| 91制片厂久久久国产电影| 精品无吗va视频免费观看| 亭亭玉月丁香| 在线婷婷| 久久网站观看免费欧洲国产 | 91碰碰视频在线观看| 人人射人人高潮| 免费人人操| 九九激情网| www.狠狠操.com| 色五月亚洲| 中文av网站| 综合网色| 五月综合视频| 99热这里只有精品最新| 殴美日韩成人| 九九热黄色| 六月伊人婷婷| 99在线播放| 色综合久久99色| 久久99这里| 久久久久九九九九视屏小说88| 九九热视频精品| 色综合久久综合中文综合网| 九九99久久| 久久视频在线| 色情婷婷。| 激情综合五月| 六月丁香影院| 六月撸婷婷| 年轻的妺妺伦理HD中文| 婷婷五月丁香基地| 丁香五月网址| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 六月丁香婷婷色狠狠久久| 丁香五月香蕉| 五月丁香亚洲五月| 色婷婷影视99| 在线日韩视频| 1010日日无码| 丁香密臀AV激情网| 欧美色色色| 日本熟女二区| 婷婷综合网| 91大操| 日韩啪啪视频| 激情都市五月天| 天堂综合久| 中文字幕网伦射乱中文| 色播五月婷婷| 桃色Av色哟哟| 9色免费网| 婷婷天堂站| 婷婷五月激情在线视频| 99热国产| 热久免费视频9| 俺去也综合| 99色最新在线视频网站| 久久9视频| 啪啪啪丁香五月| 六月色色| 五月亭亭六月天| 亚洲丁香婷婷五月天综合色| 激情骚五月| 99热官网| 久久九九国产精品怡红院| 日韩激情婷婷五月天| 超碰国产AV| 少妇被下春药玩弄A片| 性色天| 激情影院免费视频婷婷五月天| 伊人玖玖网| 日韩人妻白浆视频系列| 97人人超| 色色亚洲五月天| 久久成人性爱| 久久狠狠干| 影音先锋五月天婷婷丁香在线观看| 中文字幕AV网址| 丁香六月婷婷综合在线| 亚洲美女婷婷五月天| 9精品视频在线| 日本黄 色 片| 97人人搞| 综合图区激情| 色色是色N一| 五月亭大香蕉| 极品人妻VIDEOSSS人妻| 99热精品在线| 综合伊人久久| 婷婷五月天激情丁香| 人人亚洲| 婷婷伊人久久| 激情综合色婷婷啪啪六月天| 日操夜操天天操不卡| 色色a| 婷婷射丁香| 婷婷丁香18| 伊人五月天婷婷| 欧美日韓成人亚洲精品另类| 色色吧综合| 九九婷婷综合|