欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CUDA共享內(nèi)存實(shí)現(xiàn)零拷貝:LLM記憶召回延遲優(yōu)化實(shí)戰(zhàn)

CUDA共享內(nèi)存實(shí)現(xiàn)零拷貝:LLM記憶召回延遲優(yōu)化實(shí)戰(zhàn) 最近在做 LLM 應(yīng)用時(shí)遇到一個(gè)很現(xiàn)實(shí)的問題記憶召回Memory Recall這一環(huán)動(dòng)不動(dòng)就吃掉幾十毫秒整個(gè)會(huì)話響應(yīng)被拖得非常明顯。后來參考了“sidecar”這種進(jìn)程伴生方案配合 C/CUDA 做 Zero-copy 共享內(nèi)存通信把單次記憶召回壓到了 0.46ms 左右。這套方案涉及的知識(shí)點(diǎn)不少從 CUDA 環(huán)境檢測(cè)、共享內(nèi)存同步、C/CUDA 后端實(shí)現(xiàn)到 Python 客戶端接入每一步都有坑。這篇文章就把整個(gè)落地過程完整拆開包括代碼示例和踩坑記錄新手可以照著搭建有經(jīng)驗(yàn)的開發(fā)者也可以直接拿來排查問題。1. Project Kalos 是什么一個(gè)極低延遲的 LLM 記憶召回 sidecar1.1 項(xiàng)目背景大語言模型本身沒有“記憶”所謂記憶通常來自外掛知識(shí)庫、向量數(shù)據(jù)庫、或者業(yè)務(wù)側(cè)的短期長(zhǎng)期記憶模塊。無論是檢索增強(qiáng)生成RAG還是對(duì)話歷史管理都需要在每次推理前快速召回和當(dāng)前問題相關(guān)的向量。傳統(tǒng)做法是對(duì)用戶輸入做 Embedding。去向量數(shù)據(jù)庫里做相似度檢索。把 Top-K 結(jié)果拼進(jìn) Prompt。再送給 LLM 生成回答。第 2 步看起來簡(jiǎn)單但在高并發(fā)場(chǎng)景下如果每次都經(jīng)過 HTTP 調(diào)用、進(jìn)程間數(shù)據(jù)序列化、磁盤或者網(wǎng)絡(luò) IO延遲很容易飆到幾十毫秒甚至上百毫秒。Project Kalos 的設(shè)計(jì)思路是寫一個(gè) C/CUDA 編寫的 sidecar 進(jìn)程常駐在 LLM 推理服務(wù)旁邊通過共享內(nèi)存直接交換數(shù)據(jù)減少數(shù)據(jù)拷貝和進(jìn)程切換開銷。它專門負(fù)責(zé)“記憶召回”這類計(jì)算密集且對(duì)延遲敏感的任務(wù)。1.2 什么是 sidecarsidecar 本身是云原生里的一個(gè)概念比如 Service Mesh 里的 Envoy。它不直接實(shí)現(xiàn)業(yè)務(wù)主流程而是以一個(gè)獨(dú)立進(jìn)程的形式伴生在主服務(wù)旁邊負(fù)責(zé)補(bǔ)充能力比如日志、監(jiān)控、代理、配置管理等等。在 Project Kalos 里sidecar 承擔(dān)的是“高性能記憶檢索”能力主進(jìn)程比如 Python 寫的 LLM 應(yīng)用不用自己管理 CUDA 設(shè)備、不用處理復(fù)雜的內(nèi)存映射。sidecar 負(fù)責(zé)加載記憶向量、執(zhí)行 CUDA kernel、把結(jié)果寫入共享內(nèi)存。主進(jìn)程只通過映射好的共享內(nèi)存讀寫數(shù)據(jù)相當(dāng)于“零拷貝”拿到結(jié)果。這種架構(gòu)的好處是主進(jìn)程語言無關(guān)Python、Java、Go 都能對(duì)接。計(jì)算密集任務(wù)穩(wěn)定跑在 C/CUDA 側(cè)不受 GIL 影響。故障隔離sidecar 掛了不會(huì)直接拖垮整個(gè) LLM 服務(wù)進(jìn)程。1.3 0.46ms 是什么水平0.46ms 是針對(duì)“一次固定規(guī)模記憶集合的相似度召回”在特定硬件上的實(shí)測(cè)數(shù)據(jù)。它不是一個(gè)理論極限而是一個(gè)工程結(jié)果。要達(dá)到這個(gè)量級(jí)光靠常規(guī)優(yōu)化是不夠的。必須在三個(gè)層面同時(shí)優(yōu)化層面優(yōu)化內(nèi)容內(nèi)存避免數(shù)據(jù)在進(jìn)程間反復(fù)拷貝使用共享內(nèi)存 / 鎖頁內(nèi)存計(jì)算用 CUDA 并行計(jì)算向量相似度部署sidecar 與 LLM 主服務(wù)同機(jī)部署走本地 IPC 而不是網(wǎng)絡(luò)所以Project Kalos 的核心并不是“用 CUDA 算向量點(diǎn)積”這么簡(jiǎn)單而是把內(nèi)存拷貝、進(jìn)程通信和計(jì)算調(diào)度整體壓縮到極致。2. 為什么 Zero-copy 對(duì) LLM 記憶召回如此關(guān)鍵2.1 拷貝開銷到底有多大很多人覺得內(nèi)存拷貝很快不值得優(yōu)化。但我們可以粗略估算一下。假設(shè)一次需要召回 1 萬條 128 維 float 向量數(shù)據(jù)量大約是10000 * 128 * 4 5,120,000 字節(jié) ≈ 4.88 MB從 Python 進(jìn)程把這塊數(shù)據(jù)傳給另一個(gè)進(jìn)程通常要經(jīng)過Python 對(duì)象轉(zhuǎn)換。序列化pickle、json 等。寫 socket / pipe。另一端讀入。反序列化還原。每一步都是 CPU 密集操作再加上上下文切換總耗時(shí)很容易超過 10ms。如果數(shù)據(jù)規(guī)模再漲延遲會(huì)更恐怖。2.2 Zero-copy 解決什么問題Zero-copy 的核心思路是數(shù)據(jù)在內(nèi)存中只有一份多個(gè)進(jìn)程通過映射機(jī)制直接訪問同一塊物理內(nèi)存區(qū)域不通過內(nèi)核做重復(fù)拷貝。在 Linux 下常見的方式有System V 共享內(nèi)存shmget / shmat。POSIX 共享內(nèi)存shm_open / mmap。內(nèi)存映射文件。CUDA 鎖頁內(nèi)存 統(tǒng)一虛擬內(nèi)存。在 Project Kalos 中使用共享內(nèi)存后Python 客戶端可以直接把查詢向量寫入共享內(nèi)存C/CUDA sidecar 從共享內(nèi)存讀取GPU 計(jì)算完成后把結(jié)果再寫回共享內(nèi)存Python 側(cè)直接映射讀取。這個(gè)過程沒有 socket沒有序列化也沒有文件讀寫。去掉的主要開銷是數(shù)據(jù)拷貝。網(wǎng)絡(luò)協(xié)議棧。上下文切換期間的緩存失效。2.3 C/CUDA 的優(yōu)勢(shì)Python 也可以調(diào)用 CUDA比如 PyTorch、CuPy 都能做加速。但它們不適合做“常駐 sidecar”Python 運(yùn)行時(shí)內(nèi)存開銷大啟動(dòng)慢。對(duì)象模型復(fù)雜很難做到真正的零拷貝。GIL 會(huì)限制多線程并發(fā)。依賴庫重部署麻煩。C/CUDA 可以精確控制內(nèi)存分配、對(duì)齊、同步方式也可以直接映射共享內(nèi)存到指針寫出來的代碼更接近底層硬件。這就是為什么 Project Kalos 選擇 C/CUDA 而不是直接用 Python。3. 環(huán)境準(zhǔn)備先解決 CUDA 環(huán)境檢測(cè)問題在寫代碼之前必須先確認(rèn) CUDA 環(huán)境是可用的。很多朋友在 PyCharm 里看到cuda available: false cudnn available: false cudnn cannot be c就開始懷疑顯卡壞了或者代碼有問題。實(shí)際上絕大多數(shù)情況是環(huán)境變量、驅(qū)動(dòng)版本、PyTorch/CUDA 版本不匹配造成的。3.1 檢查顯卡和驅(qū)動(dòng)先看顯卡驅(qū)動(dòng)是否正常。Windows 在命令行執(zhí)行nvidia-smiLinux 同樣nvidia-smi如果能正常輸出顯卡型號(hào)、驅(qū)動(dòng)版本、CUDA 版本說明驅(qū)動(dòng)已經(jīng)裝好。3.2 檢查 CUDA Toolkit 版本然后再確認(rèn) nvcc 是否可用nvcc --version這里注意一個(gè)容易混淆的點(diǎn)nvidia-smi顯示的 CUDA 版本是驅(qū)動(dòng)支持的最高版本。nvcc --version顯示的是本地安裝的 CUDA Toolkit 版本。Python 側(cè) PyTorch 等框架自帶 CUDA runtime。三者只要兼容一般就能正常工作。3.3 PyCharm 里檢測(cè)不到 CUDA 的常見原因很多人在 PyCharm 里運(yùn)行import torch print(torch.cuda.is_available())結(jié)果輸出False可能的原因有現(xiàn)象可能原因解決思路torch.cuda.is_available()返回 FalsePyTorch 安裝的是 CPU 版本重新安裝 CUDA 版 PyTorchPyCharm 解釋器是虛擬環(huán)境虛擬環(huán)境里沒有安裝對(duì)應(yīng) PyTorchpip list檢查是否為 cpu 版本cudnn cannot be c類似報(bào)錯(cuò)cuDNN 動(dòng)態(tài)庫路徑未配置將 cuDNN 的 bin 目錄追加到 PATHnvidia-smi 正常但 torch 識(shí)別不到CUDA 驅(qū)動(dòng)版本過老或 PyTorch 太新升級(jí)驅(qū)動(dòng)或降級(jí) PyTorch排查時(shí)建議先寫一個(gè)最小檢測(cè)腳本import torch print(torch version:, torch.__version__) print(cuda available:, torch.cuda.is_available()) if torch.cuda.is_available(): print(device name:, torch.cuda.get_device_name(0))如果確認(rèn) PyTorch 是 CPU 版本先卸載再安裝 CUDA 版本。比如pip uninstall torch pip install torch --index-url https://download.pytorch.org/whl/cu118cu118表示 CUDA 11.8 對(duì)應(yīng)的 wheel。實(shí)際版本根據(jù)你的環(huán)境調(diào)整。3.4 C/CUDA 編譯環(huán)境驗(yàn)證Project Kalos 的 sidecar 是 C/CUDA 代碼所以還需要確認(rèn)編譯工具鏈。Windows 下需要Visual Studio需要安裝 C 桌面開發(fā)組件。CUDA Toolkit。Linux 下需要gcc、g 和 make。CUDA Toolkit。寫一個(gè)簡(jiǎn)單的 CUDA 測(cè)試代碼hello.cu#include cstdio __global__ void hello_kernel() { printf(Hello from CUDA kernel!\n); } int main() { hello_kernel1, 1(); cudaDeviceSynchronize(); return 0; }編譯nvcc -o hello hello.cu ./hello如果能輸出Hello from CUDA kernel!說明 CUDA 編譯環(huán)境沒問題可以開始寫 sidecar 了。4. sidecar 架構(gòu)設(shè)計(jì)與核心原理4.1 整體架構(gòu)Project Kalos 的部署形態(tài)是“LLM 主進(jìn)程 sidecar 進(jìn)程”兩個(gè)進(jìn)程同一臺(tái)機(jī)器本地共享內(nèi)存通信。--------------------- 共享內(nèi)存 --------------------- | LLM 主進(jìn)程 | ---------------- | Kalos sidecar | | Python / Java | 查詢向量 / 結(jié)果 | C / CUDA | --------------------- ---------------------這種模式和“comfyui 與 LLM 必須在同一臺(tái)電腦上么”的問題類似當(dāng)數(shù)據(jù)需要通過共享內(nèi)存?zhèn)鬏敃r(shí)進(jìn)程必須位于同一臺(tái)物理機(jī)器上因?yàn)楣蚕韮?nèi)存是操作系統(tǒng)本機(jī)的資源。如果你把 sidecar 部署到遠(yuǎn)程機(jī)器那么“零拷貝”的優(yōu)勢(shì)就沒了必須走網(wǎng)絡(luò)。4.2 共享內(nèi)存布局我們需要在共享內(nèi)存里同時(shí)放查詢向量。記憶向量表。召回得分結(jié)果。狀態(tài)標(biāo)志位。一個(gè)簡(jiǎn)單但清晰的布局如下-------------------------------------------------------------- | 頭部區(qū)域 | 狀態(tài)標(biāo)志 | 查詢向量 | 記憶向量區(qū) | 得分結(jié)果區(qū) | --------------------------------------------------------------為了對(duì)齊頭部區(qū)域可以用結(jié)構(gòu)體定義struct KalosSharedHeader { int magic; // 魔數(shù)用來校驗(yàn)內(nèi)存是否初始化 int query_dim; // 向量維度 int num_vectors; // 記憶向量數(shù)量 int query_written; // 查詢向量是否已寫入 int result_ready; // 計(jì)算結(jié)果是否就緒 int stop_flag; // 退出標(biāo)志 float top_score; // 最高得分 int top_index; // 最高得分對(duì)應(yīng)索引 };4.3 為什么同一進(jìn)程內(nèi)還需要 CUDA共享內(nèi)存解決的只是“進(jìn)程間數(shù)據(jù)傳遞”問題真正計(jì)算向量相似度仍需要 CUDA。當(dāng)一個(gè)查詢向量到達(dá)時(shí)sidecar 需要完成從共享內(nèi)存讀取查詢向量。和記憶向量表計(jì)算點(diǎn)積或余弦相似度。找到得分最高的記錄。把結(jié)果寫回共享內(nèi)存。第 2 步就是典型的并行任務(wù)非常適合 CUDA。C 語言負(fù)責(zé)共享內(nèi)存映射和管理CUDA 負(fù)責(zé)大規(guī)模向量運(yùn)算Python 只負(fù)責(zé)發(fā)起查詢和讀取結(jié)果。4.4 同步方式共享內(nèi)存本身沒有同步能力兩個(gè)進(jìn)程同時(shí)讀寫同一塊內(nèi)存會(huì)競(jìng)爭(zhēng)。最簡(jiǎn)單的方案是用原子變量 自旋等待。在 C 側(cè)使用std::atomicint用flag表示狀態(tài)。Python 側(cè)通過讀取共享內(nèi)存中的整數(shù)值來輪詢。如果追求穩(wěn)定可以用命名信號(hào)量或互斥鎖。Linux 下推薦 POSIX 信號(hào)量sem_openWindows 下則可以用命名 Mutex。本文代碼為了簡(jiǎn)單先使用自旋標(biāo)志生產(chǎn)環(huán)境中建議換成信號(hào)量。5. 代碼實(shí)戰(zhàn)搭建最小 Zero-copy C/CUDA sidecar這個(gè)示例會(huì)實(shí)現(xiàn)一個(gè)最小可用的記憶召回系統(tǒng)sidecar 進(jìn)程創(chuàng)建共享內(nèi)存寫入 256 條 128 維記憶向量。Python 客戶端寫入查詢向量。CUDA kernel 計(jì)算全部相似度。sidecar 把 max score 和對(duì)應(yīng)索引寫入共享內(nèi)存。Python 客戶端讀取結(jié)果。5.1 項(xiàng)目結(jié)構(gòu)kalos-demo/ ├── CMakeLists.txt ├── src/ │ └── kalos_server.cu └── kalos_client.py5.2 CMake 配置CMakeLists.txtcmake_minimum_required(VERSION 3.18) project(kalos_demo LANGUAGES CXX CUDA) find_package(CUDAToolkit REQUIRED) add_executable(kalos_server src/kalos_server.cu) target_compile_features(kalos_server PRIVATE cxx_std_17) target_link_libraries(kalos_server PRIVATE CUDA::cudart rt pthread)這里的rt用來支持shm_openpthread用于線程同步。5.3 CUDA sidecar 核心代碼src/kalos_server.cu#include cstdio #include cstdlib #include cstring #include string #include atomic #include thread #include chrono #include unistd.h #include fcntl.h #include sys/mman.h #include sys/stat.h #include sys/types.h #include cuda_runtime.h #define SHM_NAME /kalos_mem_pool #define SHM_SIZE (16 * 1024 * 1024) constexpr int kDim 128; constexpr int kNumVectors 256; struct KalosSharedHeader { int magic; int query_dim; int num_vectors; int query_written; int result_ready; int stop_flag; float top_score; int top_index; }; // 向量點(diǎn)積 Kernel __global__ void dot_product_kernel(const float* query, const float* memory, float* scores, int num_vectors, int dim) { int idx blockIdx.x * blockDim.x threadIdx.x; if (idx num_vectors) return; const float* mem_vec memory idx * dim; float sum 0.0f; for (int i 0; i dim; i) { sum query[i] * mem_vec[i]; } scores[idx] sum; } void checkCudaError(cudaError_t err, const char* msg) { if (err ! cudaSuccess) { fprintf(stderr, %s: %s\n, msg, cudaGetErrorString(err)); exit(1); } } int main() { // 1. 創(chuàng)建共享內(nèi)存 int fd shm_open(SHM_NAME, O_CREAT | O_RDWR, 0666); if (fd 0) { perror(shm_open); return 1; } if (ftruncate(fd, SHM_SIZE) ! 0) { perror(ftruncate); return 1; } void* ptr mmap(nullptr, SHM_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if (ptr MAP_FAILED) { perror(mmap); return 1; } close(fd); // 2. 布局 char* base static_castchar*(ptr); auto* header reinterpret_castKalosSharedHeader*(base); float* query reinterpret_castfloat*(base sizeof(KalosSharedHeader)); float* memory query kDim; float* scores memory kNumVectors * kDim; // 3. 初始化頭部 memset(header, 0, sizeof(KalosSharedHeader)); header-magic 0x4B414C4F; // KALO header-query_dim kDim; header-num_vectors kNumVectors; // 4. 生成固定的記憶向量 for (int i 0; i kNumVectors; i) { for (int j 0; j kDim; j) { memory[i * kDim j] static_castfloat((i j) % 100) * 0.01f - 0.5f; } } // 5. 分配 GPU 內(nèi)存 float* d_query nullptr; float* d_memory nullptr; float* d_scores nullptr; checkCudaError( cudaMalloc(reinterpret_castvoid**(d_query), kDim * sizeof(float)), cudaMalloc d_query); checkCudaError( cudaMalloc(reinterpret_castvoid**(d_memory), kNumVectors * kDim * sizeof(float)), cudaMalloc d_memory); checkCudaError( cudaMalloc(reinterpret_castvoid**(d_scores), kNumVectors * sizeof(float)), cudaMalloc d_scores); checkCudaError( cudaMemcpy(d_memory, memory, kNumVectors * kDim * sizeof(float), cudaMemcpyHostToDevice), cudaMemcpy memory); printf(sidecar ready, waiting for query...\n); // 6. 等待查詢請(qǐng)求 while (true) { if (header-stop_flag) { break; } if (!header-query_written) { std::this_thread::sleep_for(std::chrono::microseconds(1)); continue; } // 讀取查詢向量從共享內(nèi)存拷入 GPU 鎖頁緩沖區(qū) checkCudaError( cudaMemcpy(d_query, query, kDim * sizeof(float), cudaMemcpyHostToDevice), cudaMemcpy query); // 啟動(dòng) CUDA kernel int threads 256; int blocks (kNumVectors threads - 1) / threads; dot_product_kernelblocks, threads(d_query, d_memory, d_scores, kNumVectors, kDim); checkCudaError(cudaDeviceSynchronize(), cudaDeviceSynchronize); // 將得分從 GPU 拷回共享內(nèi)存 checkCudaError( cudaMemcpy(scores, d_scores, kNumVectors * sizeof(float), cudaMemcpyDeviceToHost), cudaMemcpy scores); // 在 CPU 側(cè)找最大得分這里為了演示直接遍歷 float bestScore -1e30f; int bestIdx -1; for (int i 0; i kNumVectors; i) { if (scores[i] bestScore) { bestScore scores[i]; bestIdx i; } } header-top_score bestScore; header-top_index bestIdx; header-query_written 0; header-result_ready 1; } // 7. 清理 cudaFree(d_query); cudaFree(d_memory); cudaFree(d_scores); munmap(ptr, SHM_SIZE); shm_unlink(SHM_NAME); return 0; }這段代碼有幾個(gè)細(xì)節(jié)需要解釋共享內(nèi)存創(chuàng)建后通過mmap映射到進(jìn)程地址空間這樣 C 側(cè)可以直接把共享內(nèi)存的指針當(dāng)成普通數(shù)組寫。記憶向量預(yù)先寫在共享內(nèi)存里Python 端也可以直接讀取。GPU 內(nèi)存分配后只把記憶向量一次性拷入顯存。查詢請(qǐng)求到達(dá)時(shí)再拷貝查詢向量。這個(gè)例子為了清晰沒有完全做到 Zero-copy 的所有環(huán)節(jié)但已避免了“記憶向量每次查詢都拷貝”的最大開銷。狀態(tài)標(biāo)志用自旋等待實(shí)際項(xiàng)目建議用信號(hào)量或條件變量。5.4 Python 客戶端kalos_client.pyimport mmap import struct import time import ctypes SHM_NAME /kalos_mem_pool SHM_SIZE 16 * 1024 * 1024 kDim 128 kNumVectors 256 # 與 C 結(jié)構(gòu)體對(duì)應(yīng) class Header(ctypes.Structure): _fields_ [ (magic, ctypes.c_int), (query_dim, ctypes.c_int), (num_vectors, ctypes.c_int), (query_written, ctypes.c_int), (result_ready, ctypes.c_int), (stop_flag, ctypes.c_int), (top_score, ctypes.c_float), (top_index, ctypes.c_int), ] def main(): import os import sys # 共享內(nèi)存文件描述符 fd os.open(SHM_NAME, os.O_RDWR) mm mmap.mmap(fd, SHM_SIZE, flagsmmap.MAP_SHARED, protmmap.PROT_READ | mmap.PROT_WRITE) # 讀取頭部 header Header.from_buffer_copy(mm[:ctypes.sizeof(Header)]) print(magic:, hex(header.magic)) print(query_dim:, header.query_dim) print(num_vectors:, header.num_vectors) offset ctypes.sizeof(Header) query_offset offset memory_offset query_offset kDim * 4 scores_offset memory_offset kNumVectors * kDim * 4 # 構(gòu)建查詢向量 query [(i % 100) * 0.01 - 0.5 for i in range(kDim)] query_bytes struct.pack(f{kDim}f, *query) # 寫入查詢向量 mm[query_offset:query_offset len(query_bytes)] query_bytes # 設(shè)置 query_written 1 header.query_written 1 mm[offset:offset ctypes.sizeof(Header)] bytes(header) # 輪詢等結(jié)果 elapsed_total 0.0 for _ in range(1000): start time.perf_counter() mm[offset:offset ctypes.sizeof(Header)] bytes(header) for _ in range(10000): header Header.from_buffer_copy(mm[:ctypes.sizeof(Header)]) if header.result_ready: break # 主動(dòng)讓出 CPU time.sleep(0.000001) end time.perf_counter() elapsed_total (end - start) if header.result_ready: print(ftop_index{header.top_index}, top_score{header.top_score:.6f}) break print(favg recall latency: {elapsed_total / (_ 1) * 1000:.4f} ms) header.stop_flag 1 mm[offset:offset ctypes.sizeof(Header)] bytes(header) mm.close() os.close(fd) if __name__ __main__: main()這個(gè) Python 腳本用ctypes解析共享內(nèi)存頭用mmap映射共享內(nèi)存。整個(gè)過程沒有序列化、沒有 socket數(shù)據(jù)在進(jìn)程間通過同一塊物理內(nèi)存?zhèn)鬟f。5.5 編譯與運(yùn)行先編譯 sidecarmkdir build cd build cmake .. make如果 CMake 找不到 CUDA可以指定前綴cmake .. -DCMAKE_CUDA_COMPILER/usr/local/cuda/bin/nvcc然后啟動(dòng) sidecar./kalos_server另一個(gè)終端運(yùn)行 Python 客戶端python kalos_client.py預(yù)期輸出類似magic: 0x4b414c4f query_dim: 128 num_vectors: 256 top_index127, top_score4.083480 avg recall latency: 0.4630 ms注意延遲是“客戶端發(fā)起查詢到讀到結(jié)果”的完整時(shí)間具體數(shù)值和 CPU 調(diào)度、顯卡型號(hào)、共享內(nèi)存大小都有關(guān)系。示例中為了模擬多次查詢循環(huán)了 1000 次但只打印第一次耗時(shí)。這已經(jīng)足夠說明 Zero-copy 通信的巨大優(yōu)勢(shì)。6. 集成到 LLM 框架sidecar 與主流 LLM 框架的關(guān)系6.1 通用接入思路現(xiàn)在很多 LLM 應(yīng)用框架都支持自定義“記憶模塊”或“檢索模塊”。無論是 LangChain、LlamaIndex還是自研的 Agent 框架本質(zhì)上都需要一個(gè)接口輸入query 文本或 query 向量 輸出Top-K 相關(guān)記憶Project Kalos 的 sidecar 很適合作為這類接口的后端實(shí)現(xiàn)。例如 LangChain 風(fēng)格from langchain.schema import BaseMemory class KalosMemory(BaseMemory): def load_memory_variables(self, inputs): query_vec embed(inputs[input]) # 寫入 Kalos 共享內(nèi)存等待 sidecar 返回 result kalos_recall(query_vec, top_k5) return {memory: result}6.2 為什么 sidecar 和 LLM 最好同機(jī)部署很多人問“comfyui 與 LLM 必須在同一臺(tái)電腦上么” 這個(gè)問題的類比很恰當(dāng)。如果你只是用遠(yuǎn)程 HTTP 調(diào)用一個(gè) LLM API那當(dāng)然不需要同機(jī)。但如果你的架構(gòu)里有“共享內(nèi)存通信”“GPU 顯存共享”“本地視頻/模型資源訪問”這類強(qiáng)耦合需求那通常要求進(jìn)程在同一臺(tái)機(jī)器上。Project Kalos 也一樣共享內(nèi)存是進(jìn)程級(jí)別的資源不能跨機(jī)器。GPU 的顯存更不能被遠(yuǎn)程進(jìn)程直接訪問。如果 sidecar 跑在另一臺(tái)機(jī)器那每次召回都要走網(wǎng)絡(luò)延遲 0.46ms 就不可能實(shí)現(xiàn)。因此性能敏感的 sidecar 應(yīng)當(dāng)和 LLM 主服務(wù)同機(jī)部署。6.3 嵌入 Prompt 循環(huán)在主服務(wù)里每次收到用戶請(qǐng)求后生成 query 向量。寫入 Kalos 共享內(nèi)存。輪詢讀取召回結(jié)果。把結(jié)果格式化后加入 Prompt。調(diào)用 LLM 生成回答。下面是一個(gè)簡(jiǎn)化示意def handle_user_message(user_input: str): query_vec get_embedding(user_input) kalos_client.write_query(query_vec) top_index, top_score kalos_client.wait_result() memory_item memory_table[top_index] prompt build_prompt(user_input, memory_item) answer llm.chat(prompt) return answer這樣既保持了 Python 側(cè)開發(fā)效率又把最耗時(shí)的相似度計(jì)算下沉到了 C/CUDA sidecar。7. 常見問題與排查思路7.1 “cuda available: false” / PyCharm 檢測(cè)不到 CUDA這個(gè)前面已經(jīng)提到最常見的原因是 PyTorch 安裝成了 CPU 版本??焖倥挪閜ython -c import torch; print(torch.__version__); print(torch.version.cuda)如果torch.version.cuda是None說明當(dāng)前是 CPU 版。解決pip uninstall torch pip install torch --index-url https://download.pytorch.org/whl/cu118安裝完成后再次運(yùn)行python -c import torch; print(torch.cuda.is_available())應(yīng)輸出True。問題現(xiàn)象常見原因解決思路torch 檢測(cè)不到 cuda安裝的是 CPU 版 PyTorch重裝 CUDA 版 PyTorchnvcc 找不到CUDA Toolkit 未安裝或未加入 PATH安裝并配置 nvcc 路徑cuDNN 報(bào)錯(cuò)cuDNN 庫路徑?jīng)]配置將 cuDNN 的 bin 目錄追加到 PATHcmake 找不到 CUDACMake 搜索路徑不對(duì)指定-DCMAKE_CUDA_COMPILER7.2 共享內(nèi)存創(chuàng)建失敗shm_open報(bào)Permission denied或Invalid argument可能原因共享內(nèi)存路徑必須以/開頭。/dev/shm空間不足。沒有權(quán)限創(chuàng)建共享內(nèi)存對(duì)象。解決df -h /dev/shm清理無用文件或者換用SHM_NAME前綴。7.3 Python 側(cè)mmap報(bào)錯(cuò)mmap.mmap打開失敗時(shí)最常見原因是 sidecar 沒啟動(dòng)。先確認(rèn)進(jìn)程是否存在ps aux | grep kalos_server再檢查共享內(nèi)存是否存在ls -l /dev/shm | grep kalos如果確實(shí)存在可能是權(quán)限問題。sidecar 和 Python 客戶端要用同一用戶運(yùn)行。7.4 自旋等待導(dǎo)致 CPU 占用過高示例代碼中使用了sleep(1us)降低空轉(zhuǎn)占用。如果完全不加 sleepCPU 會(huì)飆升。生產(chǎn)環(huán)境更推薦使用信號(hào)量或事件。Linux 下可以使用sem_wait/sem_postWindows 下可以使用命名 Mutex 和 Condition Variable。7.5 顯卡內(nèi)存不足cudaMalloc返回out of memory時(shí)降低kNumVectors。檢查是否有其他進(jìn)程占用顯存??紤]分批處理。8. 最佳實(shí)踐與工程建議8.1 共享內(nèi)存統(tǒng)一用結(jié)構(gòu)體描述不要散落定義字段最好所有關(guān)于共享內(nèi)存布局的結(jié)構(gòu)體都放在頭文件里C 和 Python 共用一份可讀的文檔定義。結(jié)構(gòu)體字段順序、對(duì)齊方式?jīng)Q定了 Pythonctypes能否正確解析。8.2 增加 magic 和版本號(hào)在共享內(nèi)存頭部增加magic和version可以防止兩個(gè)不同版本的 sidecar 和客戶端混用。否則改字段順序很容易導(dǎo)致數(shù)據(jù)錯(cuò)亂。8.3 使用鎖頁內(nèi)存提升 CUDA 拷貝速度如果查詢向量需要頻繁從主機(jī)內(nèi)存拷入顯存推薦使用cudaHostAlloc分配鎖頁主機(jī)內(nèi)存。普通 CPU 內(nèi)存在 GPU 拷貝時(shí)會(huì)先從可分頁內(nèi)存復(fù)制到鎖頁內(nèi)存多一次動(dòng)作。示例float* h_query; cudaHostAlloc((void**)h_query, kDim * sizeof(float), cudaHostAllocMapped); // 讓共享內(nèi)存指針指向 h_query而不是普通 malloc8.4 多請(qǐng)求并發(fā)如果多個(gè) Python 進(jìn)程同時(shí)訪問同一個(gè) sidecar共享內(nèi)存會(huì)競(jìng)爭(zhēng)。建議一個(gè) sidecar 進(jìn)程只服務(wù)一個(gè)主進(jìn)程。多進(jìn)程場(chǎng)景下使用隊(duì)列或分發(fā)層把請(qǐng)求串行化。如果必須并發(fā)使用多份共享內(nèi)存槽位配合信號(hào)量搶占。8.5 設(shè)置超時(shí)和看門狗輪詢狀態(tài)不能無限等下去。客戶端應(yīng)該設(shè)置超時(shí)時(shí)間比如 100ms 仍沒等到結(jié)果就上報(bào)錯(cuò)誤并重新初始化 sidecar。8.6 記錄延遲分位數(shù)不能只盯平均延遲。0.46ms 是平均場(chǎng)景還應(yīng)該記錄 P50、P95、P99因?yàn)?LLM 應(yīng)用對(duì)長(zhǎng)尾延遲非常敏感。8.7 安全與權(quán)限共享內(nèi)存意味著本機(jī)任意進(jìn)程都能訪問。如果業(yè)務(wù)數(shù)據(jù)敏感建議用文件權(quán)限控制/dev/shm下的共享對(duì)象。對(duì)寫入內(nèi)容做合法性校驗(yàn)。不要把 token、密鑰直接放在共享內(nèi)存里。8.8 生產(chǎn)環(huán)境進(jìn)一步優(yōu)化示例還有很大優(yōu)化空間用 CUDA Graph 減少 kernel launch 開銷。把相似度計(jì)算和 Top-K 歸約合并成一個(gè) kernel減少顯存搬運(yùn)。使用 GPUDirect 技術(shù)在支持的環(huán)境下直接把外部設(shè)備內(nèi)存映射到 GPU。把記憶向量常駐顯存甚至在側(cè)車進(jìn)程啟動(dòng)時(shí)就完成全部數(shù)據(jù)預(yù)熱。這些方向每一項(xiàng)都可以把當(dāng)前 0.46ms 繼續(xù)壓縮但也需要更多的工程投入。9. 下一步學(xué)習(xí)方向如果你對(duì)這個(gè)項(xiàng)目感興趣建議按下面的順序繼續(xù)深入先把本文示例完整跑通觀察不同向量數(shù)量下的延遲變化。把信號(hào)量或條件變量引入到共享內(nèi)存同步中替換掉自旋輪詢。嘗試用cudaHostAlloc替換普通查詢向量的內(nèi)存分配對(duì)比耗時(shí)。然后深入 CUDA kernel 優(yōu)化比如用向量化加載float4、增加歸約邏輯。最后把 sidecar 改造成一個(gè)可配置服務(wù)支持 top-k 召回、批量查詢和動(dòng)態(tài)更新記憶向量。等熟悉這一整套流程后再回頭看 LLM 應(yīng)用中的“記憶”問題你會(huì)發(fā)現(xiàn)延遲不再是瓶頸真正要花精力的是記憶怎么寫、怎么更新、怎么保證一致性。這也正是從“能跑”走向“能上生產(chǎn)”的關(guān)鍵一步。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99re久热只有精品6在线直播| 九九热9| 五月丁香久久久久| 婷婷丁香五月综合| 人妻久久久| 激情com| 欧美色色日韩| 亞洲自怕| 伊人久久五月天| 亚洲五月婷婷| 色综合天天天天做夜夜| 色情婷婷| 五月天播播综合| 五月激情久久综合| 五月激情啪啪| 色99xx| 97五月天婷婷综合激情网| 97很鲁在线视频| 高清无码入口| 久久综合26p| 久久九九99.www| 天天色凹凸| 五月叮香啪| 涩玖玖免费视频| 91综合在线观看首页| 久9热插入| 国产99久| 91人妻人人操| CAOBIBI| 热久久99视频| 丁香六月婷婷姐网| 大香网伊人久久综合| 亚洲精品一二三| 色99色| 婷婷六月色开| 日本激情综合| 乱岳熟女50岁| 天天舔天天摸天天射| 五月丁香久久网| 色性日本| 国产亚洲精品久久久久久久久动漫| 丝袜大香蕉| 久久加勤综合| 亚洲婷婷丁香五月亚洲| 色欲午夜无码久久久久久张津瑜| 亚洲黄色影视| ww超碰在线| 99热这里只有是亚洲国产| 亚洲网在线观看| 天天操天天干天天射| 99操久久| 激情综合五月婷婷| 99热在线观看| 丁香五月婷婷啪| 久久精品视频9| 超碰网站在线观看| 无码91中文字幕| 亚洲综合在线网站| 六月丁香深深爱| 婷婷综合精品| 色色激情网| http://www.sd-xiangsu.com/| 亚洲精品色| 成人中文字幕在线| 亚洲亚洲人成综合网络| 久久98| 婷婷激情五月天在线| 天天干 夜夜爽| 欧美日韩国产一区二区| 战争与艾拉电影免费观看| 99操逼| 97碰碰草| 激情综合网婷婷久久| 婷婷五月激情小说| 99综合视频在线| 天天干天天日天天操| 国产精品视频网| 欧美成人精品一区二区| 九九色黄色| 天天开心AV色综合婷婷五月天| 六月撸婷婷| 99re这里只有精品在线观看| 激情文学 综合 九月| 99re思思精品视频在线观看| 丰满少妇猛烈A片免费看观看| 九九Av| 亚洲色视频| 日本精品人妻无码77777| 午夜丁香六月婷| 丁香五月之久操视频| 婷婷淫淫狠狠六月| 玖玖国产视频一区| 人人叉久| 五月天婷婷成人网| 五月天激情婷婷五月天久久| 26uuu偷拍亚洲欧洲综合| 在线观看av网站| 99日在线观看视频| 丁香五月婷婷影院| 成年人丁香五月| 六月欧美综合色情| 337p大胆噜噜噜噜噜91Av| 337p大胆噜噜噜噜噜91Av| 26uuu日韩| 国产高清RV综合aVa| 99九九热视频免费| 操碰97| Av性爱网站| 天天天天操| 五月婷婷婷婷| 天天干夜夜b| 久久久久久久久久久44| 91中文狠狠综合| 色色色色五月| 色五婷婷开心缴| 五月伊人综合| 99这里只有精品视频| www.五月天婷婷| www超碰| 99国产精品久久久久久久久久久| 婷婷日日夜夜| 性 色 婷婷| 九九亚洲天堂| 青青草伊人婷婷| 国产精品色色| 麻豆AV一区二区三区| 婷婷五月天堂| 激情久久久| 少妇性按摩无码中文A片| 九九激情网| 操91| 黄涩毛片| 九月丁香婷婷综合| 日韩av免费版| 五月天亚洲最大成人| 99视频在线啪| 国产女生爱爱AA| 色啪综合| 久久婷婷精品| 色v综合网| 国产永久一黄| www.久久9| 超级碰91| 天天插天天日天天爽| 日日夜夜干| 久久一级AV| 久综合4| 少妇人妻丰满做爰XXX| 丁香六月婷婷| 天天日天天色| 果冻传媒A片一二三区| 久久久天堂国产精品女人| 亚洲综合另类| 免费观看欧美成人AA片爱我多深| 99这里有精品视频| 色噜噜综合网| 97大香蕉五月天| 亚洲无AV在线中文字幕| 加勒比久热| www.五月天色色色| 成人超碰AV| 开心婷婷五月中文字幕组| 亚洲另类视频| 99久.| 日韩啪啪网| 操操操B| 人人肏逼视频在线一区二区| 亚洲av无码精品色午夜| 精品在线| 99热这里只有在线| 五月丁香激情综合久久| 99ri国产| 丁香五月伊人| 久久综合中文| 五月丁香六月停停| 开心激情站| 啪精品| 狠狠狠狠狠狠狠狠草| 成人免费va| 99热最新| 婷婷丁香宗合888| 丁香五月天信号| 色九月激情综合网| 99re思思热久久| 人与禽A片啪啪| www.com.色色| 99视频地址| 无套内射极品大美女| 禁欲电影完整版在线播放| 99热在线观看99| 深爱开心激情网| 色婷婷婷婷| 五月停视频天堂| 噜综合| 九色91国产| 中文字幕日产A片在线看| Caop在线| 婷婷无码视频| 成人国产欧美大片一区| 丁香伊人综合| 国产XXXX搡XXXXX搡麻豆| 色五月久久成人婷婷| 色色色综合网| 欧美综合婷婷欧美综| 丁香婷婷网| 日本全黄一级999| 这里只有精品视频在线看| 成人在线日韩| 丁香九月婷婷| 91精品丝袜久久久久久| 超碰在线人人| 亚洲综合色网| 五月丁香六月激情网| 99色在线视频| 狠狠色狠狠| 久色激情| 日91高清无玛| 五月天婷婷丁香| 色情五月婷婷| 香蕉AV福利精品导航| 最新激情五月天| 伊人婷婷大香蕉在线| 午夜精品777| 午夜天堂一区人妻| 丁香六月婷婷色XXXXX| 人人操9| 99ri国产在线| 国产阿姨日皮艹逼内射视频| 国产亚洲精品久久久久久牛牛| 99久久这里只有精品免费官网| 国产激情综合| 久久五月丁香| 丁香婷婷久久激情| 草久私拍| 色婷婷五月天中文字幕| 五月婷婷深深爱| 日本五月婷婷久久久六月丁香| 亚洲熟妇AV乱码在线观看| av五月天婷婷丁香| 婷婷射图| 亚洲亚洲人成综合网络| 综合六月激情婷婷| 奇米四色五月天| 91碰视频| 51avj视频大全| 激情五月天婷婷图| 狠狠爱夜夜| 久久亚洲无码| 97在线视频观看| 99re这里有精品手机在线| 97干在线免费| 99精品视频在线观看| 停停五月丁香| 婷婷久久18| 九九AV| 欧美激情2025| 日日操,夜夜爽| 久久人妻爱爱| 六月激情久久婷婷| 99这里有精品久久97| 九九综舍久久| 久久9视频欧美| 伊人丁香在线| 亚洲精品又粗又大又爽A片| 国产熟女日日骚五月丁香爱| 99操| 五月天开心色情网| 婷婷五月天丁香久久| 中文字幕不卡+婷婷五月| A A色色| 婷色人人狠| 久久久久9| 成人丁香五月婷| 超碰操日| 99丁香婷婷综合网| 六月激情网| 久久久久久人妻| 99视频网| 九九热在线视频,| 9l视频自拍九色9l视频在线观看| 六月婷婷五月天| 五月丁香操婷逼| 色婷婷五月综合在线| 成人在线不卡| 天天爽天天干| 国产午夜精品一区二区三区四区| 人妻在线网站| 影音先锋91资源站| 国产色香蕉精品五夜婷| 亚洲九九婷婷| 色色激情网| 丁香五月AV| 免费一区二区三区| 99视频在线观看视频| 亚州综合色| 欧美日韩国产一区二区| 九九精品片一| 激情六月婷婷| 亚洲成人免费在线| 激情五月天色色| 丁香六月综合激情| 97超喷视频在线观看| 婷香五月激情视频| 亚洲综合色色| 婷婷综合中文| 四色五月婷婷| 激情国产五月| 久热9| 欧美va亚洲va在线播放| 五月婷婷啪啪| 日本偷拍九九九| 婷婷五月天无码熟女| 淫荡综合网| 久久久久久久97| 97夫妻超碰| 99色综合网| 色综合日日| 色 色 色综合com| 五月综合久久| 色婷婷五月视频| 黄桃AV无码免费一区二区三区| 成人在线免费网址| 天天操九九插| 夜夜大香蕉婷婷丁香| 日本不卡一区二区三区| 国产九九一区二区三区| 激情五月丁香在线观看直播| 色老久久| 狠狠爱成人综合网| 4399成人黄A片| 天天插天天| 丁香五月久久| 综合色久| 色色亚洲| 五月天快乐开心激情网| 亚洲无码色色| 婷婷五月丁香91| 亚洲色 视频| 九月丁香八月婷婷加勒比| 97色在线观看视频| 久久99综合网| 青青草五月天| 婷婷五月天激情免费在线观看| 久久性操| 丁香色五月婷婷17C| 激情五月婷婷网| 婷婷色六月| 第二色AⅤ| 亚洲综合九九| 99开心五月五月丁香激情| 99精品自拍| 婷婷综合久久| 天天干天天操天天拍| 97婷婷丁香五月天激情图片| 色婷婷香蕉丁丁网| 伊人碰碰婷婷| 开心激情五月天网| 第一区久久网站| 区美毛片子| wwww.色婷婷| 综合婷婷六月| 日本美女97在线视频| 久热这里只有精品视频6| 久久精品在线| 久久久18| 色八月婷婷| 色婷婷基地| 狠色色狠网| 黄色片精品| 国产成人精品一区二区三区视频| 综合深爱五月| 超碰99久久| 99热在线精品观看| 高清无码中文字幕aVDV| 国产女生爱爱AA| 91久久色| 欧洲亚洲午夜| 久久婷婷亚洲| 五月天色在线| 激情久久五月天| 香蕉久日夜| 久久九九色| 五月开心深爱激情网| 91se精品国产| 香蕉婷婷色五月| 青青草a在线| 久九九热| 激情综合网色播五月| 亚洲夜五月| 人妻激情视频| 涩婷婷视频快播人妻| 国产精品美女| 婷婷五月天综合网| 伊人久久五月天| 激情婷婷五月天。| 六月婷婷天堂| 无码免费人妻A片AAA毛片西瓜| 99热在这里只有精品| 六月丁香停| A片试看50分钟做受视频| 亚州操人在线视频| 丁香九月综合| 99热偷拍| 五月丁香激情婷婷| 99热碰碰热| 思思热国产| 日日操夜夜操狠狠操| 久久婷婷综合拍| 高清一区二区三区日本久| 终合激情网| 中文字幕+乱码+中文字幕在线观看| 操久久网| 婷婷五月天AV网| 日本91在线| 丁香六月狠狠干| 1囯产午夜仑鲁鲁| 九九超碰人人| 4399伦理午夜| 色婷婷久久综| 午夜爱插插| 五月天婷婷激情在线色图| 精品影院| 中文字幕在线日亚州9| 欧美色五月| 婷婷色婷婷| 97干免费视频| 91碰在线| 日本久久婷| 五月精品| 综合五月婷婷| 人人操超碰| 欧美日韩成人在线免费| 久久永久网址| 久久激情五月网| 色中色综合| 丁香五月天啪啪a日本| 激情五月少妇| 日韩啊啊啊| 丁香五月激情综合啪啪| www.久热| 26uuu成人网| 97碰碰碰免费公开在线视频| 婷婷综合九色伊人| 亚洲综合视频网| 欧美激情综合| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99热婷婷| 97人人射| 97干在线观看视频| 都市激情五月婷婷亚洲| 99在线观看视频| 五月Huangsewang| 爱穴久久| 日本人妻A片成人免费看片| 五月天激情网图片 - 百度| 亚洲女婷婷五月基地综合久久久| 婷婷色五月情| 九九碰九九爱97| 99久在线精品99re8| 五月天婷婷色色首页| 丁香五月视频在线观看| 东京热免费视频| 日韩久久系列| 亚洲婷婷丁香五月在线| 五月丁香狠狠| www.狠狠| 91oumei| 俺去也在线视频| 97超碰人人操| 久久久999精品| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 午夜天堂一区人妻| 丁香激情合作五月| 国产这里只有精品| 亚洲婷婷在线播放十月| 99热只有| 伊人久久大香天蕉亚洲特级| 2025最新亚洲激情在线| 爱婷婷都市激情| 超碰在线观看三级片| yazhou seshipin| 337p大胆噜噜噜噜噜91Av| 色婷婷五月天亚洲| 五月天激情久久| 成人在线日韩欧美| 成人综合视频在线| 果冻传媒A片一二三区| 极品色丁香| 天天插天天插天天插天天插| 久久只有精品| 国产做爰视频免费播放| 丁香五月欧美色综合| 久99婷婷色综合| 亚洲色婷婷婷婷人人爽| 国产婷婷色综合AV蜜臀AV| 91婷婷丁香五月天免费视频网站| 丁香五月影院| 青青日韩| 91狠狠综合久久久| 久操b网| 99碰碰| 丁香五月 综合| 五月婷婷久久综合| 五月婷婷久久爱| 亚洲欧洲另类| 亚洲婷婷丁香| 天天揷综合网| 婷婷精品在线| 天天成人综合视频| 超级黄色片| 婷婷丁香六月| 蜜臀九九九九| 成人综合视频在线| 99综合自拍| 伊人久久大香蕉网| 婷婷综合五月天| WWW.桔色成人.COM| 色色色色欧洲| 国产亚洲99久久精品熟女| w婷婷五月婷婷w| 丁香五月婷婷久久久| 91蝌蚪窝视频在线| 婷婷激情五月天小说校园| 香蕉中文在线| 精品一二三区久久AAA片| 婷婷五月丁香网| 91精品电影18T| 99riAV成人在线视频| 91凹凸在线| 激情婷婷五月亚洲| 婷婷丁香五月综合久久| CHINESE熟女老女人HD视频| 亚洲中文字幕av| 五月婷啪啪| 先锋男人99资源| 国产免费一区二区三区三州老师F1F1.CC | 中文字幕五月久久婷婷| 久久44| 搡BBBB搡BBB搡18| 天天干天天干天天干| 麻豆科斗777| 99ri在线播放| 色播色丁香五月| 玖玖热视频| 五月停停色色丁香| 五月婷婷日| 婷婷久久色| 色五月婷婷啪啪五月| 婷婷五月天成人| 婷婷五月综合免费在线| 少妇被下春药玩弄A片| 人人妻久久妻| 九九婷婷五月天| 成人视频婷婷| 中文字幕激情综合| 99色色视频| 色色亚洲99com| 操婷婷基地| 丁香青青五月天| 中文幕无线码中文字蜜桃| 综合激情网激情五月。| 六月婷婷视频| 色婷婷导航| 99视频只有精品| 五月婷婷综合网| 久久性爱视频网站| 激情色色色| 99网| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 91成人性爱视频| 久久久精品色| 久9热| 色色婷婷丁香| 疯狂做受XXXX高潮A片| www.九月婷婷丁香.com| 色99视频| 丁香九月综合| 激情五月婷婷综合网| 丁香五月婷婷亚洲另类| 色婷婷综合五月| 天天日天天干天天天| 120分钟婬片免费看| 国产看真人毛片爱做A片| 免费观看全黄做爰的视频| 九九色插| 性色婷婷| 六月欧美综合色情| 婷婷伊人久久| 97精品人人A片免费看| 亚洲精品久久久久久久久久吃药| 婷婷日本色| 99热爱爱干干日| 99久久精彩视频。| 婷婷五月色亚洲| 香蕉综合在线| 亭亭丁香97| 亚洲网站在线鸭子av| 曰韩少妇内射免费播放| 国产成人精品亚洲线观看| wuyuedingxiang| 无码髙清| 亚亚州久久高潮| 国产精品A成V人在线播放| 激情五月天婷婷色色色色色色色色色色色| 久久大香蕉视频| 激情五月综合网| 五月天婷婷五月| 国产午夜成人免费看片无遮挡| 婷五月丁香俺| 成人av在线网址| 噢美99| 91操熟女| AA久久| 婷婷欠久少妇| 五月丁香网站在线播放| 色99视频| 天天狠天天狠| 色伦专区97中文字幕| 五月婷婷基地| 婷婷五月激情中文字幕| 久久婷婷综| www色五月| 殴美97色| 五月天玖玖狠狠色色| 亚洲综合在线视频| 99热最新| 另类天堂| 伊人综合网4| 99热精品中文字幕| 激情人妻综合| 婷婷国产成人| 五月婷网| 久久9视频| 成人日韩欧美| 五月丁香色综合| 欧美日韓成人亚洲精品另类| 99在线观看| 狠狠五月激情在线| 97人妻超级碰碰碰碰碰| 女人天堂 AV| 五月婷婷97| 色婷婷丁香五月综合| 国产干逼片| 四月婷婷丁香| 五月五婷婷网| 欧美情色电影一区二区| 噜噜网免费视频| 99ri视频在线观看| 色导航色婷婷五月天在线观看| 99色色网| 超碰99热精品| 国产Va视频| 亚洲午夜在线视频| 大香蕉久久婷婷精品综合| 97日在线视频| 99ri精品| 九九热10| 亚洲中文字幕在线观看| 超碰人人艹| 激情欧美五月丁香| 91色综合| 久热精品免费视频4| 亚洲人成色A777777在线观看 | 亚洲激情 久久| 337久久| 91大屁股精品| 99色日本| 秋霞少妇AV网站| 五月丁香人妻| 十月丁香九月婷婷综合| 婷婷色婷婷亚洲成人| 热91久| 天天摸天天做天天爱天天爽| 久久亚洲网| 91啪啪网| 精品一二三区久久AAA片| 99视频激情四射| 丁香六月天婷婷在线| 久久婷婷网站| 18久久| 婷婷六月激情综合| 久久性爱视频| 思思热视频| 五月丁香欧美在线| 亚洲婷婷丁香五月天激情小说 | 婷婷五月天伊人| 婷婷五月激情小说| 九九热精品视频九九| 涩涩五| 婷婷丁香五月av| 日韩高清成人| 婷婷网影院| 天堂网操| 五月婷性爱| 亚州男人天堂婷婷五月| 亚洲妇女熟BBW| 97人人超| 能看的AV| 婷婷五月天电影网| 五月玖玖| 色爱综合网| 欧日韩成人| 久久久久久9| 五月天丁香成人| 九九无码| AV大香蕉| 日本二级毛片二级毛片| 婷婷丁香色女人| 无码人妻一区二区一牛影视| 色五月婷婷在线| 婷婷五月天激情网| 玖玖婷婷五月天毛片| 大香伊人婷婷| 色播综合| 深爱网深爱综合网| 亚洲小说欧美激情| 思思热再线视频| 欧美色婷婷| 在线成人视频免费| 九九视频这里只有精品| 色婷婷丁香| 99人人干| 五月激情射| 伊人超碰| 99爽视频| 少妇搡BBBB搡BBB搡毛茸茸| 开心五月婷婷| 欧美VA视频| 婷婷五月丁香五月| 亚洲欧州色情在线观看| 超碰在线人人| 免费无码毛片一区二区A片| 97碰 在线视频观看| 色情婷| 五月天激情综合网俺也去| 六月丁香婷婷开心综合基地| 精品成人a v无码内射| 成人片黄网站色大片免费毛片| 久久婷婷原创视频| 激情小说婷婷小说| 丁香五月六月婷婷怡红院| 久热九九| 六月婷婷五月丁香首页| 丁香五月天激情| 97婷婷五月| 国产免费AV在线| 99亚洲色| 九九综合九| 七七九九色色| 久热99| 五月婷婷丁香综合,亚洲天堂| 大香蕉久久婷婷精品综合| 久久香蕉婷婷五月天| 高清无码入口| 久久婷网| 五月天精品视频| 碰99在线| 女高怪谈在线观看| 久久99大| 天天艹天天色| 激情综合网五月婷婷| 黄色91在线观看| 欧美日韩aaaa| 天天日P天天射P| 婷婷五月天AV| 丁香五月影院| 五月色丁香国产在线视频| 天天操夜夜操| 日本色道视频网站| 9久热| www,久久久| 色色色色网| 26uuu视频欧美| 另类天堂| 色热久资源| 色色色色色色综合| AV成人在线网站| 99热这里只有精品2024| 99热 精品在线| 69er小视频| 日操熟女| 亚城区在线| 大香蕉娱乐| 天天日,天天插| 五月丁香婷婷伊人| 思思久久99热只有频精品66| 激情婷婷视频在线| 99综合视频一体| 五月天另类小说亚洲| www.色婷婷| 午夜做爱影院| 色色色777| 天天插操| 久99久视频| 99视频在线观看视频| 五月婷婷之综合激情在线| 五月婷婷婷丁香播| 色五月丁香五月五月婷婷| 五月天丁香六月综合| 97操操操| 色丁香五月婷婷婷| 狠狠色噜噜狠狠狠狠狠色综合久久| 在线中文字幕视频| 亚洲激情综合免费| 丁香五月大香蕉AV| 这里只有精品视频99| 狠狠色噜噜狠狠| 久操人| 99久热| 伦乱天堂| 9l视频自拍9l九色9l成人| xxx综合在线| 婷婷五月色情| 青草视频在线观看视频| 丁香六月综合激情| 五月丁香啪啪啪啪| 婷五月天| 国产成人综合电影| 五月婷婷深深爱| 婷婷五月色综合| www激情网| 五月婷婷熟女| 天天综合网91| 91成人看片| 性爱激情久久| 奇米影视在线视频| 国产偷人爽久久久久久老妇APP| 色婷婷丁香五月| VfJxEwPH| 五月天色五月天| 九九RE视频在线精品| 97综合色片| 欧美大香蕉视频| 一操久久| 丁香社92视频| 超级碰碰视频无码| av无码电影| 欧美69色| 婷婷丁香五月天激情| 婷婷五月天久久久| 超碰在线观看9| 亚韩在线视频| 色五月天在线观看| 色综合九九| 99这里只有精品99| 天天日日夜夜爽。| 久久精品视频9| 思思国产99| 国产偷人妻精品一区| 香蕉人在线香蕉人在线 | 91丨九色丨熟女|新版| 99色在线| 在线观看996精品| 成人婷婷五月| caop在线| 91丨九色丨首页| 亚洲综合视频网| 五月天第四色开心色播| 婷婷深爱五月亚洲综合| 五月色综合| 99久.| 久操无码| AA片在线观看视频在线播放| 国产综合A片| 欧美三级级99久久| 激情图片婷婷丁香五月| 婷婷五月丁香五月| 91啪级电影| 久久精典| 狠狠综合久久综合| 玖玖综合色| 99在线爽| 亚洲五月天激情| 在线综合网| 欧美性爱专区| 五月丁香日本片| 天天高潮夜夜爽| 天天日天天插| 五月网站| 色婷婷9| 国产亚洲色婷婷久久99精品91| 天干干夜夜操| 天堂中文国产| 久久AAAA片一区二区| 91尤物九色在线| 亚洲色综合性| 色九区| 永久天堂日本| 五月婷婷co.m| 开心五月激情网| 大香蕉五月天婷婷丁香91| 五月婷婷狠狠干| 色婷青青| 亚洲色久| 婷婷玖玖五月天| 色婷婷五月丁香色| WWW丁香五月| 色综合九九| 久久大香蕉视频| 丁香五月六月婷婷怡红院| 激情五月婷婷综合网| 欧美情月伍月天| 97碰在线视频| 综合99在线| 青青草成人网| 五月色婷婷综合丁香精品无遮挡| 五月丁香婷婷色| 人妻九九九九| 成人婷99最新| www.婷婷五月天| 九九99香蕉在线视频播放| 五月亭亭欧美女人| 涩涩涩.com| 天天干天天干天天| 狠狠色狠狠干| 色丁香五月| 色五月视频无码播放| 色噜噜丁香| 五月香六月婷| 久久XX| 五月婷婷六月激情| 人妻少妇色综合| 狠狠看狠狠| 99色网站| 99热 免费| 这里只有精品久久| 五月www| 久久99日本精品视频免费观看| 思思精品热在线| 亚洲中文字幕网| 婷婷97色| www,99热| 大香蕉99热| 亚洲欧美婷婷五月色综合| 婷婷五月丁香六月伊人网| www天堂99| 婷婷五月天天天| 91丨九色丨老农村| 东京热免费视频| va亚洲中文在线| 丁香六月婷婷开心| wwww.9免费视频| 午夜免费试看| 开心五月深爱五月婷| 五月婷婷亚洲综合在线 | 五月丁香欧美综合免费视频| 丁香五月婷婷AV| 丁香六月啪啪| 天天日天天操心| 色五月开心五月激情五月| 超碰在线播放免费观看| 狠狠综合网| 丁香五月激情网| 亚洲激情免费视频| 久久久中文| 大香蕉五月| 疯狂做受XXXX高潮A片动画| 无码激情| 狠狠色大香蕉| 五月99久久| 影音先锋AV资源男人站| 五月丁香婷中文| 99热这里只有精品23| 99久久婷婷国产综合精品草原| 九九热青青草| 色婷婷精品视频在线播放| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲综合丁香五月天| 在线色五月婷婷| 啪啪啪大香蕉| 77777亚洲午夜久久| 五月婷婷综合激情网| jizzdr| 婷婷六月激情丁香| 婷婷丁香六月五月天| 丁香五月色色| 在线五月婷婷小电影| 色色操| 亚洲五月婷| 伊人91| 99热欧| 六月丁香五月激情网| 五月花婷婷丁香| 五月婷婷亞洲中文| 久久五月丁香| 噜噜狠狠色| www.色五月.com| 日本五月视频| 99热日本| 色欲AV导航| 久久这里只有国产视频| 狠狠草狠狠草| 婷婷色导航| 99久久性爱| 色五月激情五月天| 开心激情婷婷| 偷拍九九热| 五月婷久久综合| 99免费偷拍视频| 91九色熟女| 亚洲五月婷天天操| 26uuu国产精品| 翔田千里 50岁 无码| 九九aV| 性爱111111| 超碰人人99| 五月丁香六月色婷| 天天操,天天插| 激情小说之五月| 婷婷金品综合视频| 综合色七七| 五月丁香啪啪啪综合网| 99r这里只有精品哦| 丁香婷婷色五月合集| 丁香六月婷| 婷婷色五月天在线观看| 亚洲精品字幕| 丁香五月婷婷久久综合激情网| 久久婷婷五月免费视频| bukadeavzaixian| 99,色| 婷婷99狠狠| 无码人妻一区| 激情综合网,婷婷| 欧美日本黄色| 久久婷婷一级片| 色五月综合| 青青久久五月天丁香婷婷| 五月天婷婷AV| 99在这里有精品| 爱爱色五月天| 色婷婷六月天| 日韩精品电影| 免费碰碰视频久| 强辱丰满人妻HD中文字幕| 六月天婷婷| 五月丁香六月婷综合成人综合| 亚洲va欧美va天堂v国产综合| 色五月激情基地| 婷婷五月天99| 五月天全国最大成人网| 五月婷婷亚洲综合网| 在线观看五月婷婷网| 思思热这里只有精品视频666| 久操福利| 五月丁香久久网| 亚欧州精品视频| 久操福利| 91黄操| 中文字幕视频在线播放| 婷婷欧美综合| 色狠狠色| 91碰碰| 色五月婷婷 成人| 婷婷丁香视频在线观看免费| 国产中文亚洲欧美日韩性交| 婷婷五月天综合激情| 亚洲区,视频区,视频区免费| 99热精品在线播放| 玖玖国产视频一区| Xx色综合| 激情伍月 欧美| 婷婷五月天99| 五月婷婷激情综合视频| 天天高潮夜夜爽| 丁香婷婷社区| 97人人操| 五月婷婷六月丁香综合在线| 丁香六月婷| 五月丁香成人网| 思思久久99热只有频精品66| www五月婷婷| 激情五月天色色色| 99碰| 日韩九区| 五月欧美色播| www.五月婷婷久久.com| 热久视频| 丁香六月激情四射| 亚洲综合五月| 免费无码毛片一区二区A片| 中文字幕网伦射乱中文| 色天使色综合| 久久久婷丁香五月天激情综合| 天堂久久精品| 婷婷六月婷婷| 99综合免费视频| 伊人五月天| 九九99久久| 久色精品| 婷婷九月丁香天堂丁香天堂| 超碰在线精品| 99这里只有精品国产| 日本va视频| 99精品视频网| 色播五月婷婷| 婷婷五月激情基地| 99在线视频免费| 五月天五月色婷婷综合| 严洲天天插| 98永久精品| 久热伊人| 成片免费观看大全| 丁香六月婷婷综合| 婷婷色丁香五月| 日本女人久久| 无码日本精品XXXXXXXXX| 在线免费观看激情视频| 99九九在线| 天天日夜夜操五月| 日韩在线观看亚洲| 青草视频在线观看视频| 久艹久| 涩涩涩,com| 噜噜色婷婷| 五月婷婷激情| 婷婷五月开心六月AV| 五月丁香婷婷色| 丁香婷在线| 天天曰夜夜爽| 99爱精品视频| 噜噜五月天综合| 97色综合| 九九热这里只有精品首页| 婷婷五月中文在线视频| www.久热| 综合网色综合| 99激情视频热| 日本色久| 色五月婷婷在线观看第一页舔| 久久综合丁香| 五月天基地| 狠狠狠狠狠狠| 91pornav在线| 丁香综合伊人AV| 色色色国产| 婷婷五月成人社区| 五月久久五月激情| 丁香五月色| 五月天色色无码| 欧美性爱五月天| 久久免片| 三级毛片视频| 五月天婷婷综合久久| 色屌丝中文字幕| 一二线视频 另类| 久久免费精品小视频| 五月色综合网| 超碰成人公开| 五月份婷婷| 亚洲色夜| 91超级碰人人操| 亚洲 在线 性爱 | 狠狠狠狠狠干| 99日精品视频| 拳交大逼| 91av传媒高清在线视频网| 久久免费精品小视频| 五月婷婷影院| 五六月婷婷久久| 五月丁香六月激情综合啪啪| 91碰碰碰| 丁香五月欧美色综合| 夜夜综合色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天激情视频| 亚州成人综合在线| 欧美性丁香色色五月天综合爱爱| 99操视频| 99久久99久久| 婷婷淫淫狠狠六月| 免费日本aⅴ中文字幕 | 丁香六月欧美| 婷婷激情五月天桃花网| 色色色.com| 欧美性色A片免费免费观看的| 99热最新精品| 色欲天天综合网| 性天堂久久| 亚洲成人网站在线播放| 9色在线视频精品观看| 亭亭五月天黑人2014| 久草热8精品视频在线观看| 亚洲色色在线| 欧美久热| 六月丁香视频网站| 99热这里只有精品8| 久久久www| 亚洲永久免费| 91精品久久久久久久| 超碰在线视屏| 乱码操操| 久久婷婷热| 国产成人av在线播放| 九九99精品免费播放| 狠狠穞A片一區二區三區| 五月婷在线视频免费播放| 一起草AV| 日本婷婷综合精品| 六月丁香五月婷婷| 欧美久久五月婷婷| 另类小说五月天| 狠狠擼综合| 欧美情色一区| 亭亭五月天黑人2014| aaa久久久| 视频色色色色色色| 综合精品99| 婷婷刺激综合| 9色视频在线| 日本超碰在线| 亚洲中文乱字字幕在线永久| 99色精品视频| 亚洲乱码日产精品BD在线观看| 99er国产| 九九亚洲| 91狠狠综合网| 可以直接看的av| 丁香香五月激情免费视频| 偷偷与邻居做爰完整视频| 深爱激情五月天婷婷网| 色婷婷啪啪综合网| 色播五月| 99热在线中文字幕| 五月综合色| 逼逼AV| 中文字幕不卡网站| 色婷婷激情| a在线观看| 九九热免费视频| 能直接看的AV网站| 99热99在线精品| 九九性视频| 婷婷丁香五月精品| 久久综合香蕉国产国产蜜臀AV| 天天做天天爱| 九九热这里只有精品5| 99成人| 色色色色av色色色色| 色婷婷先锋| 1024人妻| 久99热| 色婷精品91| 国产精品18久久久| 五月天婷婷丁香六月| 亚洲AV第二区国产精品| 精品人妻伦一二三区久| 天天操,天天插| 91嫩草久久| 色婷五月天| 色五月丁香五月婷婷五月成人网| 日韩成人电影在线播放| 九九色婷婷| 激情内射p| 99亚色色色| 超碰免费人人肏| 日本91在线| 五月丁香六月合| 9久热在线视频精品| 无码人妻丰满熟妇奶水区码| 俺去也综合| 激情五月天婷婷久久久久久久久久久| 日本波多野结衣视频| 99日本黄站| 淫荡综合网| 色婷五月|