欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析 之前一直在 GPU 集群上跑大規(guī)模模型訓(xùn)練直到項(xiàng)目遷移到 Google Cloud TPU 時才發(fā)現(xiàn)僅僅把訓(xùn)練框架換成 TPU 版本是遠(yuǎn)遠(yuǎn)不夠的。整個編譯鏈路、數(shù)據(jù)管道、算子融合策略和顯存規(guī)劃都變了踩了一圈坑之后才慢慢把 TPU 軟件棧的運(yùn)作方式理清楚。這篇文章會把 Google TPU 軟件棧的核心組件拆開梳理并結(jié)合 JAX、TensorFlow 分布式策略給出可落地的訓(xùn)練示例。適合正在評估 TPU、剛拿到 TPU 配額準(zhǔn)備遷移訓(xùn)練任務(wù)、或者已經(jīng)遇到底層報錯但搜不到完整解釋的開發(fā)者。讀完你能掌握 TPU 的完整軟件鏈路、訓(xùn)練啟動方式、常見編譯報錯定位思路以及把模型真正跑在 TPU 上而不只是跑在“模擬器里”的實(shí)踐經(jīng)驗(yàn)。1. TPU 到底是什么不止是“GPU 的替代品”1.1 AI 時代對芯片提出的新要求過去十年深度學(xué)習(xí)算力的主力是 GPU。GPU 的核心優(yōu)勢在于并行計算能力很強(qiáng)可以同時處理大量簡單運(yùn)算非常適合矩陣乘法和卷積這類深度學(xué)習(xí)算子。但隨著模型規(guī)模快速膨脹尤其是大規(guī)模 Transformer、推薦系統(tǒng)和多模態(tài)模型出現(xiàn)之后算力需求不再只看單卡峰值還要看集群擴(kuò)展效率、內(nèi)存帶寬、編譯優(yōu)化程度和單位算力的性價比。Google 正是在這種背景下推出了 TPUTensor Processing Unit張量處理單元。它不是為了替代 GPU 而設(shè)計的通用芯片而是為了加速 TensorFlow 和 JAX 這類深度學(xué)習(xí)框架中的張量運(yùn)算而專門定制的 ASIC 芯片。你可以把它理解成一個“為矩陣乘法而生的專用加速器”在特定負(fù)載下的能效比和吞吐表現(xiàn)非常突出。這里的“專用”意味著兩件事一方面TPU 在矩陣運(yùn)算、卷積運(yùn)算和大規(guī)模分布式訓(xùn)練上性能很強(qiáng)另一方面它對模型結(jié)構(gòu)的支持并不是無條件的某些自定義算子如果不適配 XLA 編譯器會直接卡在編譯階段。1.2 CPU、GPU、TPU、NPU 的定位區(qū)別先用一個表格把這幾種芯片的定位區(qū)分清楚芯片全稱定位典型場景CPUCentral Processing Unit通用計算強(qiáng)順序執(zhí)行操作系統(tǒng)、數(shù)據(jù)庫、邏輯控制GPUGraphics Processing Unit并行計算通用加速深度學(xué)習(xí)訓(xùn)練、渲染、科學(xué)計算TPUTensor Processing Unit張量專用 ASICTensorFlow/JAX 大規(guī)模訓(xùn)練與推理NPUNeural Processing Unit神經(jīng)網(wǎng)絡(luò)專用處理器手機(jī)端推理、邊緣 AI、端側(cè)加速從開發(fā)者的角度看這套術(shù)語體系經(jīng)?;煊糜绕涫窃诙藗?cè)場景里 NPU 和 TPU 的界限并不明顯。但如果你做的是云上大規(guī)模訓(xùn)練TPU 和 GPU 的差異會直接影響代碼寫法、編譯器行為、數(shù)據(jù)加載策略和故障排查方式。1.3 TPU 軟件棧的整體構(gòu)成TPU 硬件本身只是一塊芯片真正讓它跑起來的是軟件棧。Google TPU 軟件棧通常可以分成幾層前端框架層提供 TensorFlow、JAX、PyTorch 等框架的 TPU 后端接口。編譯器層XLAAccelerated Linear Algebra編譯器承擔(dān)了關(guān)鍵的角色。運(yùn)行時層libtpu、TPU Runtime、設(shè)備驅(qū)動等負(fù)責(zé)與硬件通信。系統(tǒng)調(diào)度層在 Cloud TPU 場景下負(fù)責(zé)資源創(chuàng)建、調(diào)度和生命周期管理。下面這張 ASCII 簡圖可以幫助理解數(shù)據(jù)流向PyTorch / TensorFlow / JAX ↓ 前端圖表示Graph / Program ↓ XLA 編譯器HLO → 優(yōu)化 → LLVM / TPU 指令 ↓ TPU Runtimelibtpu / 設(shè)備驅(qū)動 ↓ TPU 硬件理解這個軟件棧是很有必要的因?yàn)楹罄m(xù)很多報錯都不是框架層報出來的而是 XLA 編譯階段拋出的。你不能只盯著 TensorFlow 的報錯堆??催€得順著 XLA 的報錯信息往下追。2. TPU 軟件棧核心組件拆解2.1 XLA 編譯器從框架圖到 TPU 指令的橋梁XLA 是 TPU 軟件棧里最核心、最容易被忽視的一層。XLA 的全稱是 Accelerated Linear Algebra它是 Google 推出的領(lǐng)域?qū)S镁幾g器專門用來把 TensorFlow、JAX 等框架的計算圖編譯成高效的底層指令。XLA 的工作過程大致如下框架層把計算任務(wù)表達(dá)成計算圖或程序。XLA 將計算圖轉(zhuǎn)換成 HLOHigh Level Operations高級操作表示。XLA 在 HLO 層面上做優(yōu)化包括算子融合Fusion、常量折疊Constant Folding、內(nèi)存分配規(guī)劃、并行化調(diào)度等。最終把 HLO 編譯成目標(biāo)設(shè)備的 LLVM IR 或 TPU 專用指令序列。在 JAX 中jax.jit裝飾器就是觸發(fā) XLA 編譯的入口。當(dāng)你給一個函數(shù)加上jax.jit時JAX 會做兩件事把函數(shù)轉(zhuǎn)換成計算圖然后交給 XLA 編譯。import jax import jax.numpy as jnp # 加 jit 后函數(shù)不會一行一行執(zhí)行而是整體編譯后執(zhí)行 jax.jit def linear(x, w, b): return jnp.dot(x, w) b x jnp.ones((8, 128)) w jnp.ones((128, 64)) b jnp.ones((64,)) y linear(x, w, b) print(y.shape)這里需要注意jax.jit并不是簡單地把函數(shù)內(nèi)部代碼“合并成一個整體”而是讓 XLA 拿到整個計算流程后做算子融合。比如上面的matmul addXLA 在編譯后很可能融合成一個融合算子Fusion減少核函數(shù)啟動次數(shù)和設(shè)備緩存回寫的次數(shù)。生產(chǎn)環(huán)境里XLA 編譯失敗通常表現(xiàn)為類似“Detected unsupported operations when trying to compile graph”的報錯這類問題不是簡單的語法錯誤而是某個算子 XLA 還不支持或無法高效融合。2.2 JAX 與 TensorFlow 對 TPU 的支持方式JAX 是目前 Google 官方推薦的 TPU 訓(xùn)練框架之一。JAX 的設(shè)計思路是把 NumPy 風(fēng)格的 API 和自動微分、JIT 編譯結(jié)合再配合pmap、shard_map等并行抽象天然適合 TPU 這種需要精確控制數(shù)據(jù)切分的加速器。TensorFlow 對 TPU 的支持則主要通過TPUStrategy實(shí)現(xiàn)。TPUStrategy是 TensorFlow 分布式策略中的一種它負(fù)責(zé)把模型變量、優(yōu)化器狀態(tài)和數(shù)據(jù)分配到多個 TPU 核心上。PyTorch 用戶也不用太擔(dān)心PyTorch/XLA 項(xiàng)目已經(jīng)提供了torch_xla包讓 PyTorch 模型可以跑在 TPU 上同時支持 XLA 編譯優(yōu)化。不過平心而論P(yáng)yTorch 在 TPU 上的生態(tài)成熟度目前不如 JAX 和 TensorFlow如果你是從 PyTorch 社區(qū)遷移過來的建議預(yù)留更多時間做算子兼容性驗(yàn)證。2.3 libtpu 與低層運(yùn)行時libtpu 是 TPU 的低層運(yùn)行時庫負(fù)責(zé)主機(jī)與 TPU 設(shè)備之間的通信、內(nèi)存管理、指令提交等。在 Cloud TPU 環(huán)境中用戶代碼通過 gRPC 與 TPU Worker 通信但具體指令的下發(fā)是由 libtpu 完成的。這里想強(qiáng)調(diào)一個容易踩坑的點(diǎn)TPU 的虛擬地址頁大小是 16KB而絕大多數(shù) x86 Linux 主機(jī)默認(rèn)是 4KB 頁大小。當(dāng)你用 pip 安裝編譯好的包時如果包本身是在 4KB 頁環(huán)境下編譯的運(yùn)行到低層庫調(diào)用階段可能出現(xiàn)頁面大小不匹配的報錯這就是網(wǎng)上常見的“an error occurred while preparing sdk package 16 kb page size”一類問題的底層背景。解決思路通常不是修改內(nèi)核頁大小而是從官方渠道獲取與 TPU 運(yùn)行環(huán)境匹配的預(yù)編譯包或者在你的 TPU 虛擬機(jī)上重新編譯相關(guān)依賴而不是直接把本地 x86 環(huán)境里的包復(fù)制到 TPU 環(huán)境。3. 環(huán)境準(zhǔn)備與 TPU 獲取方式3.1 Cloud TPU 與 Colab 的選擇搭建 TPU 軟件棧的第一步是獲取 TPU 環(huán)境。根據(jù)場景不同有幾種主流選擇Google Cloud TPU適合長期訓(xùn)練任務(wù)支持創(chuàng)建 TPU Pod 和 TPU VM。Google Colab提供免費(fèi)的 TPU 運(yùn)行時適合學(xué)習(xí)和小規(guī)模實(shí)驗(yàn)。TPU Research Cloud面向研究者的免費(fèi) TPU 配額項(xiàng)目適合科研場景。本地模擬器適合調(diào)試代碼邏輯但性能完全不能代替真實(shí) TPU。如果你是第一次接觸 TPU建議從 Colab 開始它能用很短的時間驗(yàn)證你的代碼是否走通了 TPU 軟件鏈路。等代碼穩(wěn)定后再上 Cloud TPU 集群做真實(shí)規(guī)模訓(xùn)練。下面通過一個簡單的命令檢查 TPU 運(yùn)行時環(huán)境關(guān)鍵信息# 確認(rèn) Python 版本 python3 --version # 確認(rèn) TPU 設(shè)備是否可見在 TPU VM 或 Colab TPU 上執(zhí)行 ls /dev/accel* 2/dev/null || echo no accelerator device found # 查看安裝的關(guān)鍵包版本 pip list 2/dev/null | grep -Ei jax|tensorflow|torch|xla在實(shí)際 Cloud TPU v4 或更高版本的 TPU VM 環(huán)境中設(shè)備節(jié)點(diǎn)通常不是/dev/tpu而是/dev/accel0、/dev/accel1這類路徑這一點(diǎn)和傳統(tǒng) GPU 環(huán)境有所不同。3.2 JAX 環(huán)境變量與初始化JAX 在 TPU 上運(yùn)行前需要確認(rèn)設(shè)備已經(jīng)初始化成功。在 Colab 的較新版本 JAX 中通常會自動識別 TPU但如果你使用的是舊版本或使用自定義鏡像就需要手動初始化import jax import jax.numpy as jnp # 有些舊版本需要手動初始化 TPU # 新版 JAX 一般會自動初始化無需顯式調(diào)用 try: from jax.tools import colab_tpu colab_tpu.setup_tpu() except Exception as e: print(Manual TPU init skipped or already supported:, e) # 查看當(dāng)前所有可用設(shè)備 devices jax.devices() print(JAX devices:, devices) print(JAX default backend:, jax.default_backend())運(yùn)行正常的情況下jax.devices()會返回 TPU 設(shè)備列表jax.default_backend()返回tpu。如果你的輸出是cpu或gpu說明 JAX 并沒有真正訪問 TPU需要檢查鏡像版本或運(yùn)行環(huán)境。有一個經(jīng)常被忽略的問題Colab TPU 切換后必須重啟運(yùn)行時、重新安裝 JAX 版本否則 JAX 內(nèi)部緩存的設(shè)備信息不會刷新。如果切換 TPU 類型后jax.devices()仍然顯示舊的設(shè)備列表優(yōu)先考慮重啟運(yùn)行時而不是調(diào)試代碼。3.3 從源代碼編譯還是預(yù)編譯包在 TPU 上安裝 JAX 時我一直建議優(yōu)先使用官方發(fā)布的預(yù)編譯包因?yàn)檫@些包會和 TPU 的頁大小、指令集和運(yùn)行時庫做過匹配測試。只有在需要修改 JAX 源碼、debug 底層行為或者在 TPU VM 上做二次開發(fā)時才考慮從源碼編譯。下面是一個在 TPU VM 上安裝 JAX 的典型流程# 激活虛擬環(huán)境 python3 -m venv venv source venv/bin/activate # 安裝 JAX 的 TPU 版本 # 更準(zhǔn)確的安裝命令需要參考官方文檔關(guān)鍵是根據(jù) TPU 版本和系統(tǒng)架構(gòu)選擇匹配的 wheel pip install --upgrade jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html # 驗(yàn)證安裝 python3 -c import jax; print(jax.devices())需要注意jax[tpu]這個 extra 的依賴列表和可用的 wheel 索引會隨著版本變化建議以官方 JAX 倉庫或 Google Cloud 文檔中的安裝命令為準(zhǔn)。不匹配的版本經(jīng)常導(dǎo)致 libtpu 無法加載報錯信息里會出現(xiàn)類似“Could not load libtpu.so”的字樣。4. 完整實(shí)戰(zhàn)用 JAX 在 TPU 上訓(xùn)練一個圖像分類模型講完概念和準(zhǔn)備下面進(jìn)入完整實(shí)戰(zhàn)環(huán)節(jié)。這里以 JAX 為例一步步演示從數(shù)據(jù)加載到 TPU 訓(xùn)練的全過程。4.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)與準(zhǔn)備數(shù)據(jù)先創(chuàng)建一個項(xiàng)目目錄把代碼按模塊劃分好tpu-jax-demo/ ├── main.py ├── model.py ├── data.py ├── train.py └── requirements.txt數(shù)據(jù)部分使用 TensorFlow Datasets 中的 MNIST 數(shù)據(jù)集。MNIST 雖然簡單但它覆蓋了數(shù)據(jù)加載、批量切分、訓(xùn)練循環(huán)、模型保存的完整流程很適合用來驗(yàn)證 TPU 軟件棧是否正常工作。創(chuàng)建requirements.txtjax[tpu] tensorflow-cpu tensorflow-datasets optax這里特意引入optax作為優(yōu)化器庫它是 JAX 生態(tài)中最常用的優(yōu)化器集合后續(xù)如果要替換成 AdamW、LAMB 或自定義學(xué)習(xí)率調(diào)度直接改一行配置即可。4.2 編寫數(shù)據(jù)加載模塊創(chuàng)建data.pyimport tensorflow_datasets as tfds # 加載 MNIST 數(shù)據(jù)并轉(zhuǎn)換為 NumPy 數(shù)組 def load_mnist(batch_size128): ds tfds.load(mnist, split[train, test], as_supervisedTrue) def prepare(dataset): dataset dataset.map(lambda x, y: (tf.cast(x, tf.float32) / 255.0, y)) dataset dataset.batch(batch_size) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset train_ds prepare(ds[0]) test_ds prepare(ds[1]) return train_ds, test_ds在 TPU 訓(xùn)練中數(shù)據(jù)加載是一個經(jīng)常被忽略的瓶頸。CPU 端的數(shù)據(jù)加載速度如果跟不上 TPU 的消費(fèi)速度訓(xùn)練曲線會出現(xiàn)明顯的周期性停頓。prefetch是解決這個問題的最簡單手段。4.3 定義模型與訓(xùn)練循環(huán)創(chuàng)建model.pyimport jax.numpy as jnp from flax import linen as nn # 簡單卷積網(wǎng)絡(luò) class SimpleCNN(nn.Module): nn.compact def __call__(self, x, training: bool True): x nn.Conv(features32, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x nn.Conv(features64, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x x.reshape((x.shape[0], -1)) x nn.Dense(features128)(x) x nn.relu(x) x nn.Dense(features10)(x) return x這里使用 Flax 來定義模型。Flax 是 Google 官方維護(hù)的 JAX 神經(jīng)網(wǎng)絡(luò)庫和 JAX 一起使用時體驗(yàn)最自然。如果你之前用過 PyTorch 的nn.ModuleFlax 的nn.Module風(fēng)格會比較接近。創(chuàng)建train.py這是訓(xùn)練循環(huán)的核心import jax import jax.numpy as jnp import optax from flax.training import train_state from model import SimpleCNN from data import load_mnist def cross_entropy_loss(logits, labels): one_hot jax.nn.one_hot(labels, num_classes10) return -jnp.mean(jnp.sum(one_hot * jax.nn.log_softmax(logits), axis-1)) def compute_metrics(logits, labels): loss cross_entropy_loss(logits, labels) accuracy jnp.mean(jnp.argmax(logits, axis-1) labels) return loss, accuracy jax.jit def train_step(state, batch): images, labels batch def loss_fn(params): logits state.apply_fn({params: params}, images, trainingTrue) return cross_entropy_loss(logits, labels) loss, grads jax.value_and_grad(loss_fn)(state.params) state state.apply_gradients(gradsgrads) return state, loss jax.jit def eval_step(state, batch): images, labels batch logits state.apply_fn({params: state.params}, images, trainingFalse) return compute_metrics(logits, labels) def create_train_state(rng, learning_rate): model SimpleCNN() params model.init(rng, jnp.ones((1, 28, 28, 1)))[params] tx optax.adam(learning_rate) return train_state.TrainState.create(apply_fnmodel.apply, paramsparams, txtx) def main(): rng jax.random.PRNGKey(0) state create_train_state(rng, learning_rate1e-3) train_ds, test_ds load_mnist(batch_size128) # 將 TensorFlow Dataset 轉(zhuǎn)換為 NumPy Iterator train_iter iter(train_ds) test_iter iter(test_ds) for epoch in range(3): for step in range(100): batch next(train_iter) images batch[0].numpy() labels batch[1].numpy() state, loss train_step(state, (images, labels)) if step % 20 0: print(fepoch {epoch} step {step} loss {loss:.4f}) # 每個 epoch 結(jié)束評估一次 total_loss 0.0 total_acc 0.0 num_batches 0 for _ in range(50): batch next(test_iter) images batch[0].numpy() labels batch[1].numpy() loss, acc eval_step(state, (images, labels)) total_loss loss total_acc acc num_batches 1 print(fepoch {epoch} eval loss {total_loss / num_batches:.4f} facc {total_acc / num_batches:.4f}) if __name__ __main__: main()這段代碼有幾個關(guān)鍵點(diǎn)使用jax.jit裝飾訓(xùn)練和評估函數(shù)讓 XLA 將整個計算過程編譯成融合算子。每個 batch 通過.numpy()從 TensorFlow Dataset 轉(zhuǎn)換為 NumPy 數(shù)組供 JAX 消費(fèi)。訓(xùn)練狀態(tài)由TrainState統(tǒng)一管理包含模型參數(shù)和優(yōu)化器狀態(tài)。打印網(wǎng)絡(luò)在 MNIST 上的 loss 和 acc用來驗(yàn)證模型真實(shí)地訓(xùn)練起來了。4.4 真機(jī)運(yùn)行與驗(yàn)證在 Colab 或 TPU VM 上執(zhí)行python3 train.py正常輸出會類似epoch 0 step 0 loss 2.3021 epoch 0 step 20 loss 0.4218 epoch 0 step 40 loss 0.2534 epoch 0 step 60 loss 0.1842 epoch 0 step 80 loss 0.1507 epoch 0 eval loss 0.0852 acc 0.9734 ...看到 loss 在下降、eval accuracy 穩(wěn)步上升說明 JAX XLA TPU 這條鏈路已經(jīng)跑通了。接下來就可以把這里的SimpleCNN替換成真實(shí)模型把load_mnist替換成你的真實(shí)數(shù)據(jù)集。4.5 關(guān)于多卡 TPU 的擴(kuò)展思路上面的代碼是單進(jìn)程、單 TPU 核心訓(xùn)練的寫法。如果你創(chuàng)建的是多核心 TPUJAX 會自動識別多個設(shè)備。想要利用多個核心并行訓(xùn)練最簡單的方式是使用jax.device_put和pmap對 batch 做數(shù)據(jù)并行切分。from jax import pmap # 將狀態(tài)復(fù)制到所有設(shè)備 state jax.device_put_replicated(state, jax.devices()) # 多設(shè)備并行訓(xùn)練步驟 pmap def train_step_multi(state, batch): return train_step(state, batch) # 切分 batch 到多個設(shè)備 images images.reshape((num_devices, -1) images.shape[1:]) labels labels.reshape((num_devices, -1))這只是一個非常簡化的pmap示例真實(shí)多卡訓(xùn)練還要考慮 batch 切分策略、梯度累積、AllReduce 等細(xì)節(jié)。建議先把單 core 代碼跑通再逐步過渡到pmap或shard_map。5. TensorFlow 方式用 TPUStrategy 做分布式訓(xùn)練雖然 JAX 在 TPU 上體驗(yàn)越來越主流但生產(chǎn)環(huán)境中大量存量代碼還是 TensorFlow 的。如果你不想重寫模型可以直接使用 TensorFlow 的TPUStrategy把現(xiàn)有模型遷移到 TPU。5.1 TPUStrategy 工作原理TPUStrategy是 TensorFlow 的分布式策略之一。它會自動完成幾件事把模型變量復(fù)制到每個 TPU 核心。把全局 batch 切分成每個核心處理一個子 batch。優(yōu)化器在反向傳播后做跨核心梯度 AllReduce。對訓(xùn)練循環(huán)內(nèi)部使用tf.function編譯配合 XLA 加速。它的關(guān)鍵思路是“數(shù)據(jù)并行 同步更新”。用戶只需要寫一份單機(jī)單卡代碼策略層負(fù)責(zé)把計算擴(kuò)展到多個 TPU 核心上。5.2 TPUStrategy 訓(xùn)練示例import tensorflow as tf # 1. 初始化 TPU resolver tf.distribute.cluster_resolver.TPUClusterResolver() tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system(resolver) strategy tf.distribute.TPUStrategy(resolver) print(TPU devices:, resolver.cluster_spec().as_dict()) # 2. 在 strategy 作用域內(nèi)構(gòu)建模型 with strategy.scope(): model tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (3, 3), activationrelu, input_shape(28, 28, 1)), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Conv2D(64, (3, 3), activationrelu), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dense(10), ]) model.compile( optimizertf.keras.optimizers.Adam(1e-3), losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue), metrics[accuracy], ) # 3. 準(zhǔn)備數(shù)據(jù) (x_train, y_train), (x_test, y_test) tf.keras.datasets.mnist.load_data() x_train x_train.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 x_test x_test.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 # 4. 訓(xùn)練 model.fit( x_train, y_train, batch_size128, epochs3, validation_data(x_test, y_test), )TPUStrategy的遷移成本很低尤其適合原本就是 Keras 寫的模型。如果你的模型里含有自定義tf.Variable更新邏輯就需要確認(rèn)變量創(chuàng)建是否都發(fā)生在strategy.scope()內(nèi)。5.3 TFRecord 數(shù)據(jù)管道與 TPU 的配合真實(shí)訓(xùn)練中數(shù)據(jù)通常在 GCS 上推薦使用 TFRecord 格式來減少小文件數(shù)量提高 TPU 的讀取效率。import tensorflow as tf def decode_fn(record_bytes): features { image: tf.io.FixedLenFeature([28 * 28], tf.float32), label: tf.io.FixedLenFeature([], tf.int64), } parsed tf.io.parse_single_example(record_bytes, features) image tf.reshape(parsed[image], (28, 28, 1)) return image, parsed[label] def build_dataset(file_pattern, batch_size, is_trainingTrue): dataset tf.data.Dataset.list_files(file_pattern) dataset dataset.interleave( tf.data.TFRecordDataset, cycle_length8, num_parallel_callstf.data.AUTOTUNE, ) dataset dataset.map(decode_fn, num_parallel_callstf.data.AUTOTUNE) if is_training: dataset dataset.shuffle(10000).repeat() dataset dataset.batch(batch_size, drop_remainderTrue) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset數(shù)據(jù)管道本身是 CPU 上的工作但它的吞吐能力直接決定了 TPU 是否被喂飽。經(jīng)驗(yàn)法則是數(shù)據(jù)管道的吞吐至少要達(dá)到模型訓(xùn)練速度的 2 倍否則訓(xùn)練過程中會不斷出現(xiàn)“等待數(shù)據(jù)”的空窗期。6. 常見問題與排查思路6.1 TPU 初始化失敗或設(shè)備不可見問題現(xiàn)象RuntimeError: Unable to initialize the TPU system.可能原因當(dāng)前運(yùn)行時不是 TPU 環(huán)境。JAX/TensorFlow 版本與 TPU 運(yùn)行時版本不匹配。運(yùn)行時使用舊內(nèi)核沒有加載必要的驅(qū)動。排查步驟先檢查設(shè)備文件是否存在在 TPU VM 上執(zhí)行l(wèi)s /dev/accel*。再執(zhí)行jax.devices()或tf.config.list_logical_devices(TPU)看框架層是否識別到設(shè)備。確認(rèn)虛擬環(huán)境中的包版本與當(dāng)前 TPU 版本匹配。重啟運(yùn)行時尤其是在切換 TPU 類型之后。6.2 XLA 編譯報錯 “unsupported operations”問題現(xiàn)象Detected unsupported operations when trying to compile graph可能原因模型里使用了 XLA 不支持的算子。自定義 Layer 或自定義 JAX 函數(shù)里調(diào)用了無法被轉(zhuǎn)換成 HLO 的 Python 控制流。解決思路逐步裁剪模型定位到具體是哪個操作不能被編譯。檢查是否是動態(tài)形狀問題TPU 上盡量避免 runtime shape 變化。對自定義算子優(yōu)先考慮能否用現(xiàn)有的 JAX 原生操作重寫。6.3 關(guān)于 16KB page size 編譯包報錯問題現(xiàn)象在安裝或運(yùn)行 TPU SDK 相關(guān)包時出現(xiàn)類似 “an error occurred while preparing sdk package 16 kb page size” 的報錯。背景原因TPU 運(yùn)行環(huán)境的虛擬地址頁大小是 16KB而常見 x86 Linux 是 4KB 頁。本地下載的預(yù)編譯 wheel 如果是在 4KB 頁環(huán)境下構(gòu)建的運(yùn)行時會與 TPU 內(nèi)核模塊或運(yùn)行時庫不兼容。解決思路不要直接從普通 PyPI 鏡像安裝 TPU 相關(guān)包優(yōu)先使用官方發(fā)布渠道。在 TPU VM 內(nèi)重新安裝匹配版本而不是把本地環(huán)境復(fù)制過去。查看完整日志確認(rèn)是下載失敗還是安裝后運(yùn)行時崩潰。6.4 OOM 與 batch size 調(diào)整問題現(xiàn)象訓(xùn)練時出現(xiàn)Resource exhausted錯誤??赡茉騜atch size 過大超出了 TPU 單核的 HBM 容量。模型參數(shù)或中間激活值過大。數(shù)據(jù)管道prefetch使用內(nèi)存過多。解決思路先嘗試減小 batch size確認(rèn)模型在單卡上可以跑通。合理設(shè)置prefetch和num_parallel_calls避免 CPU 端內(nèi)存溢出。檢查 XLA 是否啟用了內(nèi)存優(yōu)化選項(xiàng)但不要盲目相信默認(rèn)配置。6.5 排查清單匯總問題現(xiàn)象常見原因解決思路設(shè)備不可見運(yùn)行時環(huán)境錯誤 / 版本不匹配檢查/dev/accel*重啟運(yùn)行時核對版本XLA 編譯失敗不支持的算子 / 動態(tài) shape簡化模型逐步定位避免動態(tài)形狀16KB page size 報錯wheel 與 TPU 頁大小不匹配使用官方發(fā)布渠道安裝匹配包OOMbatch size 過大 / 中間激活過大調(diào)整 batch size優(yōu)化數(shù)據(jù)管道內(nèi)存訓(xùn)練速度上不去數(shù)據(jù)管道存在瓶頸使用 TFRecord、interleave、prefetch 優(yōu)化輸出結(jié)果有 NaN學(xué)習(xí)率過高 / 精度配置不當(dāng)降低學(xué)習(xí)率使用混合精度時檢查損失縮放7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)管道要提前壓測TPU 非?!疤羰场彼倪\(yùn)算速度快到如果數(shù)據(jù)管道沒跟上訓(xùn)練就會空等。建議在正式訓(xùn)練前先單獨(dú)測試數(shù)據(jù)管道的吞吐能力。import time train_iter iter(train_ds) start time.time() for i in range(100): batch next(train_iter) end time.time() print(f100 batches take {end - start:.2f}s)如果數(shù)據(jù)讀取時間占比過高優(yōu)先使用 TFRecord 格式、interleave并行讀取、prefetch預(yù)加載等手段。7.2 使用混合精度時需要驗(yàn)證損失縮放TPU 的 bfloat16 支持是它的強(qiáng)項(xiàng)之一。用jax時可以很自然地把部分參數(shù)轉(zhuǎn)換成bfloat16或使用混合精度訓(xùn)練。但在混合精度下梯度很小的時候有可能在低精度下溢出導(dǎo)致 NaN。建議開啟損失縮放Loss Scaling機(jī)制并周期性檢查梯度統(tǒng)計而不是在出現(xiàn) NaN 后才去排查。7.3 模型算子優(yōu)先考慮 JAX/TensorFlow 原生實(shí)現(xiàn)遇到自定義算子時優(yōu)先檢查原生庫里有沒有替代實(shí)現(xiàn)。XLA 對原生算子的融合優(yōu)化做得很成熟但自定義算子往往無法被融合會打亂 XLA 的優(yōu)化策略。如果一定要使用自定義算子至少把“無法編譯”的算子獨(dú)立出來避免拖累整體性能。7.4 成本與資源管理TPU 資源通常是按時計費(fèi)的長期任務(wù)建議配合 checkpoint 和自動重啟機(jī)制。這里給出幾個實(shí)用性建議訓(xùn)練腳本要有穩(wěn)定的 checkpoint 保存與恢復(fù)邏輯。使用搶占式資源時代碼要能安全處理進(jìn)程中途被回收的情況。創(chuàng)建 TPU 實(shí)例后盡快驗(yàn)證訓(xùn)練腳本避免空轉(zhuǎn)計費(fèi)。配置監(jiān)控報警對異常掉線、訓(xùn)練停滯、指標(biāo)不回傳這些情況做告警。7.5 把訓(xùn)練過程日志化TPU 上的日志查看比 GPU 環(huán)境要麻煩一些尤其是多 worker 場景下。推薦在訓(xùn)練腳本中顯式記錄關(guān)鍵指標(biāo)比如每個 epoch 的 loss、acc、每個 step 的平均耗時、數(shù)據(jù)加載耗時等并把日志輸出到統(tǒng)一的日志平臺方便后續(xù)歸因。import logging logging.basicConfig( levellogging.INFO, format%(asctime)s %(levelname)s %(message)s, ) logging.info(start training, devices%s, jax.devices())這一步可能看起來不起眼但當(dāng)你遇到 TPU 訓(xùn)練中途卡死、重啟、性能退化問題時這些日志是定位問題的唯一線索。8. 總結(jié)Google TPU 軟件棧本質(zhì)上是一條從深度學(xué)習(xí)框架到專用硬件的編譯和運(yùn)行鏈路JAX、TensorFlow、XLA 和 libtpu 各司其職。對開發(fā)者而言遷移到 TPU 時最需要調(diào)整的往往不是模型結(jié)構(gòu)本身而是對計算圖編譯、數(shù)據(jù)切分、內(nèi)存規(guī)劃這些底層層面的理解。如果你準(zhǔn)備開始嘗試建議從 Colab 免費(fèi) TPU 環(huán)境入手把 MNIST 或自己的小型模型跑通再逐步擴(kuò)展到真實(shí)業(yè)務(wù)模型。遇到 16KB page size、XLA 編譯失敗、TPU 設(shè)備不可見這類問題先順著軟件棧的層級逐層排查不要一開始就懷疑硬件。只要把 JAX 或 TensorFlow 的 TPU 鏈路跑通一遍后續(xù)在 Cloud TPU 上做規(guī)模化訓(xùn)練會順暢得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99操逼视频| 色五月婷婷中文字幕在线观看| av网址在线| 色情五月停停丁香| www.久久久久久久| 男女啪啪视频久 9| 99在线精品观看99| 人人妻久久妻| 丁香成人综合| 五月色在线| 精品国产一区二区三区四区阿崩| 99这里热| 婷婷激情网五月天| www.9797国产| 色婷五月| 中文字幕 中文字幕明步| 99自拍视频网站| 国产成人AV| 亚洲熟妇无码乱子AV电影| 婷婷色在线| 色婷婷亚洲婷婷| 丁香五月人妻熟女| 婷婷五月天Av| 色婷婷五月天天天天天| 97干视频在线| 青青草Avb在线| 婷婷五月花丁香| 91网站黄| 97香蕉久久超级碰碰高清版| 久久久久久久久久久月丁| 亚洲AV人人操| 婷婷五月天AV在线| 色激情五月天| 亚洲a色| 91性高潮久久久久久久久| 亚洲激情四射色| 激情婷婷五月天| 99视频在线观看网址| 五月天婷婷激情网| 久久精品性爱视频,| 天天综合网~91| www.久久99| 婷婷夜夜操| 热久久66| 丁香九月婷婷色| 五月天婷婷色在线视频免费观看 | 69午夜成人影片| 婷婷色色亚洲| a性生活久久无| 欧美日韩成人| 99精品视频偷拍| 国产午夜精品久久久观看| 色,激情五月天| 色五月色情| 国产亚洲AV人片在线| 久久大香蕉| 79精品视频在线观看,| XX久久| 狠狠穞A片一區二區三區| 激情综合六月| 色香欲综合| 丁香五月Av| 99爱精品视频| 狠狠色五月天| 青青草五月天| 9色91视频| 久久九九色| 久操无码| 天天天天干| 99热97| 五月丁香啪啪综合| 第四色大香蕉| 久久九色| 五月亭亭开心网| 小视频久久久aaa| www.99久久久| 日本黄 色 片| 国产亚洲99久久| 9伊人网| 97碰操| 亚洲成人丁香花| 婷婷五月激情基地| 五月丁香综合成人社区| 亚洲激情丁香五月天色| 丁香激情婷婷网| 五月激情网综合| 99热6这里只有精品| 色深爱五月| 99爱精品| 青草视频在线观看视频 | 五月丁香六月合| 五月婷婷在线视频免费观看| 亚洲最大五月天成人网| 开心五月婷婷激情| 丁J香六月首页| 人人叉久| AV堂狠狠干| 狠狠人妻久久久久久综合丁香| 精品草原久久视频| 天天色综网| 国色天香成人网| 超碰色碰碰| 国产成人AV在线播放| 强伦轩人妻一区二区电影| 97色色-99久久| 丁香色五月婷婷91桃色| 99久热| 久草热8精品视频在线观看| 天天综合网~91| 日本99视频精品免费播放| 色婷婷九月| WWW.99热| 国自产拍偷拍精品啪啪一区二区| 久九色| 99久久思思| 91免费看片| 少妇人妻偷人精品无码视频新浪| 99精品久| 99这里只有精品在线观看| 天天噜| 丁香色五月 97干| 伊人高清无码| 天天爽夜夜爽夜夜爽精| 久久激情视频| 在线另类视频| 26uuu欧美| 8090在线影视少妇| 婷婷五月天改成什么了| 91久久久久久久久久久| 婷婷五月色图| 五月天婷婷综合| 国色天香成人网| 色老久久| 狠狠狠狠狠| 嫩草AV久久伊人妇女超级A| 婷婷情色五月天| 婷婷五月天成人网站| 深爱激情丁香| 啪啪啪综合网| 五月天婷婷色综合| 久久五月天婷婷| 亚洲综合另类| 色天使色婷婷| 亚洲美女高潮久久久久久69| 亚洲最大在线| av九九| 激情五月婷婷丁香六月| 国产亚洲色婷婷久久99精品91| 97色综合视频| 亚洲色视频| 成人 在线观看国产| 色综合色色| 另类小说色婷婷| 奇米色大香蕉| 色婷婷视频在线| 婷婷5月久久综合网站| 色五月丁香五月五月婷婷| 最新久久网址| 婷婷亚洲五| 亚洲99综合| 久久婷婷东京热| 天天天操天天天日| 伊人五月天97| 97资源欧美日韩大香蕉超碰一区| www久| 中文资源在线a| 2016日日夜夜操| 丁香五月天激情免费在线观看AV777| 久月久在线视频| 六月色日韩| 丁香六月天| 国产激情久久| 一本色道久久88加勒比| www.99成人视频| 无毒黄色网址| 操操操av| 性色99| 色综合色| 成人做爰高潮A片免费视频| www.金莲av| 五月天社区狠狠| 色色色热热热| 婷婷激情图片| 婷婷色天香| 久久人妻熟女一区二区| 这里只有免费的精品| 综合99久久天天综合| 日本美女五月天| 久艹大香蕉| 69热在线| 色婷婷香蕉丁丁网| 天天天天天天噜| 91日精品| 五月丁香美女| 婷婷爱五月天| 亚洲色无码A片一区二区麻豆| www.久操| 天天操天天爱天天日| 天天摸天天高潮天天爽| 伊人五月天在线| 久久五月天影院| 婷婷五月丁香六月| 色婷婷视频综合| 亚洲综合五月天婷婷丁香| 久久精品99国产精品日本| 婷婷刺激综合| 无码婷婷五月天| 婷婷天堂综合网| 五月天激情www| 丁香五月91| 99操不停| 888精品福利地址| 五月婷婷色五月| 狠狠色婷婷777| 五月天大香蕉AV| 丁香五月天婷婷大香蕉| 五月婷婷色色色| 婷婷五月天成人影片| 六月色激情| 五月丁香在线| 久热99| 丁香六月天婷婷色| 欧美情月伍月天| 久久久久久久久18久久| 精品一二三区久久AAA片| 四色99久久| 丁香色五月婷婷17C| 久爱综合| 欧美成人AAA片一区国产精品| av在线免费网站| 婷婷五月激情丁香激情| 中文字幕九九九九| 五月婷婷丁香大香蕉| 婷婷在线视频| 婷婷久久欧美| 色五月天综合网| 激情熟女网| 激情五月色综合国产精品| 人人操人人添人人摸97| 欧美性生交XXXXX无码小说| 欧美日韩成人一区二区| 婷婷深爱五月天| 婷婷丁香五月视频| 亚洲成人色五月天| 婷婷五月天成人五月天| 婷婷丁香五月天综合AV| 国产精品大香蕉| 99色精品| 超碰1999| 久婷视频| 天天日天天色| 婷婷玖玖五月天| 久久99性爱| 丁香五月天在线观看视频| 超碰成人黄色网| 婷婷激情图片| 九九伦子片| 六月丁香激情综合| 色亭亭九月| 色久免费| 色香蕉精品五夜婷| 第四色婷婷色五月| 激情综合视频| 丁香花五月天婷婷成人社区| 337p大胆噜噜噜噜噜91Av| 午夜日日| 九月婷婷在线视频| 天天色月| 久久草婷婷丁香网站| 国产亚洲色婷婷99精品| 中文字幕精品在线观看| 久热AA| 黄网免费看| 久在线88综合| eeuus五月婷| 日韩高清久久| Www,五月天| 日本激情综合| 九九热99熟女| www.婷婷激情网.com| 久久精彩免费视频精彩免费视频| 婷婷色综合中心站| 五月天丁香| 丁香六月婷| 色婷狠狠| 91五月天| 97视频91| 99日本黄站| 日本高清久| 久久婷婷热| 久9热视频| 第四色五月天| 夜夜久久综合网| 丁香婷婷免费| 亚色网站小视频| 久久色五月天| 婷婷成人综合免费视频| 日本激情综合| 91久久久久久久久18| 97色色综合| 亚洲精品V天堂中文字幕| 久久婷婷五月天激情新地址| 五月天婷婷免费| 色视频2025| 婷婷五月天va| 色五月女| 国产亚洲精品久久久久久郑州| 国内一级片| 久久9999| 久久婷婷欧美| 色婷婷小说网| 永久天堂日本| 亚洲激情 久久| 狠狠干五月丁香综合网| 开心激情综合| 玖玖五月丁香| 欧美综合婷婷欧美综| 99综合免费视频| 亚洲操逼片| 欧亚成人A片一区二区| 1024在线视频| 五月天婷婷色播在线网| 婷婷六月啪啪| 九九婷| 99久精品| 五月丁香六月婷婷网站| 五月丁香综合激情| 任你擦免费视频| 五月婷婷久久激情 | 思思久久99热只有频精品66| 久久婷婷五月综合色丁香| 性色欲情 网站| 天堂草在线观看| 1024人妻| www.99精品日操伊人乱碰在线| 久久婷婷五月综合伊人| 五月丁香六月婷综合成人综合| 91碰碰| 日本偷拍九九九| 怕怕視頻| 色综合色| 丁香五月综合婷婷| 九色视频91疯狂| 九九色婷婷Av| 亚洲99视频| 五月天婷婷激情小说电影| 色五月开心久久网| 婷婷丁香综合成人| 亚洲中字AV电影在线网站| 色婷婷五月影视| 亚洲欧美婷婷五月色综合| 亚洲天堂婷婷丁香| 亚洲日韩26uuu| 天天插天天插| 99免费视频精品| 九九热精品视频| 六月婷婷久久| 97精品欧美91久久久久久久| 久激情网| 婷婷五月色播放| 亚洲欧洲午夜成人精品av| 天天干夜夜欢| 丁香六月婷婷基地| 99精品小视频| 九九大香视频| 99热最新精品| 99色婷婷| 99无码| 色青青五月| 欧美一级色| 色亚洲无码| 婷婷色在线观看| 五月激情综合深爱| 丁香五月婷婷高清| 五月婷婷六月色| 99热全是精品| 97久久人人| www.9797国产| 午夜天堂啪啪| 97深爱伊人综合| 色综合网址| 成人丁香五月天| 国产日日操夜夜操的肉棒视频| 五月婷婷高清| 六月婷婷天天操夜夜爽视频| 九九操操| 丁香五月手机在线| 26UUU欧美激情一区二区| 五月婷婷激情久久| 婷婷五月亚洲一本在线丁香| 激情五月天伊人影院| 亚洲综合婷婷| 天天日天天日天天搞| 丁香五月成人论坛| VA五月激情在线| 九九無碼| 99re这里只有精品9| 色五月综合网| 婷婷开心深爱五月天| 九色91视频| 99热久97| 丁香密臀AV激情网| 丁香五月婷婷亚洲综合精品| 7777激情基地| 热九九在线| 噜噜噜噜噜久| 成人婷婷桔色| 狠狠操狠狠狠| 一区操| 噜噜色噜噜网| 婷婷五月丁香综合激情| 日本五月天一页| 人人视频色| 色婷婷色和| 五月丁香六月色| 天天爽,天天操。| 狠狠色狠狠爱| 国产古装妇女野外A片| 51avj视频大全| 武则天精品久久| 色婷婷伊人激情在线观看| 亚洲久久激情| 丁香六月成人网| 99久扒热| 99色热| 少妇搡BBBB搡BBB搡毛茸茸 | 日日鲁鲁夜夜爽爽| 丁香五月亚洲激情婷婷射| 97碰碰叉| 国产肥白大熟妇BBBB视频| 性爱视频久久| 婷婷激情丁香六月| 久久人妻爱爱| 婷婷五月69| 吾爱AV导航| 欧美日韩成人在线| 4399人妻无码久久久| 538久久| 激情综合区| 丁香婷婷影院| 爱99干99| 九九热精品| 伊人五月综合网| 2020夜夜操天天爽| 婷婷五月天伊人在线| 99热全是精品| 青草青草久9视频在线视频| 午夜69成人做爰视频| 亚洲秘 无码一区二区三区妃光/1| 久色中文| 五月天婷婷丁香视频| 激情五月丁香五月| 日韩综合久| 九九热99在线视频| 一本到不卡高清DVD| 欧美日综合| 五月久久婷婷| 91无码高清| 99热这里是精品| 五月婷色啪| 激情99。| 九热在线这里有精品6| 丁香5月激情网| 婷婷久久伊人| www91精品| 中文字幕91,综合| 色色色色色日韩午夜激情| 丁香五月色| 五月丁香婷婷伊人日韩| 香蕉大综综综合久久| 超碰av在线| 5月婷婷激情网| 丁香六月婷婷综合| 婷婷激情五月天桃花网| 激情综合5| 超碰在线观看9| www.五月激情红色| 色色激情| 夜夜爽天天日| 婷婷五月天小说| 蜜乳人妻一区二区三区| 天天日夜夜夜操操操操| 91操熟女| 一区二区三区XXXXXX| 午夜理论片最新午夜理论剧 | 无码色| 国产精品人人做人人爽人人添| 亚洲成人中文字幕| 国产日日夜夜操| 亚洲婷婷基地| 久久婷婷七月丁香| 激情婷婷内射| 人人人操| 免费看片在线观看| 五月天婷婷丁香花| 久久机热/这里只有精品| 九一牛视频探花| 五月色视频| 婷婷五月天视频| www.色色色com| 九九色综合| 天天日综合| 中文字幕日产A片在线看| 日本激情91| 日日爽日日爽| 婷婷丁香五月天综合激情| 91免费看片| 九九色院| 激情五月天婷婷视频| av狠狠操| 99成人| 五月天婷a在线| 色色网91| 26uuu国产色| 丁香社区婷婷五月| 日韩久热| 婷婷九色| 97好吊操| 九九色色色| 成人视屏在线观看| 亭亭五月色男人| 五月婷亚洲精品AV天堂| 色五月婷婷7777| 97色综合视频| 九九九九九无码| 色欲久久久久| 久久99综合| 色婷婷导航| 99热在线精品观看| 毛片蕉地一二| 超碰超碰在线| 五月天婷婷在线AN| 欧美色男人网站| 第五婷婷伊人丁香色| 久久色五月| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月丁香WWW| 久9综合| 思思网站| 香蕉久久国产AV一区二区 | 欧美激情综合| 就爱操www com| 91精品综合久久久久久五月丁香| 久久小视频免费| 色狠狠伊人久久五月丁香| 亚洲成人黄色网| www久久久| 亚洲精品视频在线播放| 色综合久久五月天| 四色五月婷婷| 色五月丁香在线| 图片区 小说区 区 亚洲五月| 色综合久久88色综合天天看| 丁香五月区| 成人做爰A片免费看网站找不到了| 26uuu精品一区二区| 婷婷五月花西瓜| 丁香五月天黄色片| 懂色av蜜臀av粉嫩av永陈冠希| 丁香六月高清视频| 丁香五月激情啪啪| 99色区| 丁香婷婷五月六月久久| 超碰婷婷五月| 少妇口诉沐足视频播放器网址| 丁香五月婷婷影院| 99久久综合网| 丁香五月激情五月| site:hcxsz888.com| 亚州操操| 二色AV| 97碰碰在线看视频免费| 婷婷色啪| 色色婷婷五月天| 99精品97| 日韩另类| 久久只有这里精品免费| 五月天成人免费视频| 亚洲成人免费电影| 这里只有精彩视频| 九九热10| 99riav 亚洲| 五月天婷婷伊人| 丁香性爱在线视频| 天天射色五月天| 五月丁香婷婷钟和色图| 五月天色婷婷基地| 六月婷婷日| 丁香五月婷久久| 免费看片在线观看| 丁香六月啪啪| 丁香八月综合激情| 国产一级黄色影片,| 欧美噜噜免费观看| 91打屁股免费看| 九九草热在线观看| 狠狠狠狠草草| 狠狠色97| 色婷婷综合网| 九九亚洲天堂| 开心五月丁香啪| 精品九九久久| 日本久久婷婷| 热99一二三| 婷婷丁香人妻天天爽| 丁香五月综合图片在线观看| 色99婷婷五月天| 另类图片五月天| 天天舔天天摸视频| 婷婷色色五月天| www日本熟妇99在线视频| av操一操| 五月天婷婷色综合| 丁香五月六月婷婷殴美综合| 六月婷基地| 丁香婷婷综合激情五月色| 91精品久久久久、久五月天| 五月激情婷婷开心五月| 欧美超级视频97| 就爱啪啪婷婷| 夜夜爱爱亚洲| av亚洲国产小电影| 欧美啪啪9| 激情五月婷婷中文字幕| 香蕉综合网| 五月婷婷婷色| 97操操| 五月婷婷av| 袁子仪视频观看| 我去色色网五雨天| 婷婷五月丁香青青草在线| 久久久久久激情| www五月天激情com| 97五月天婷婷午夜| 97人凄人人操人人爽| 97色一二三| 99热首页| 婷婷五月婷婷五月| 超碰人人99| 影音先锋女人AA鲁色资源| 婷婷激情综合| 日本va欧美va欧美精品88| yazhou seshipin| 丁香六月激情| 国产九九一区二区三区| 色色网站日本91| 91日本在线观看| 色五月丁香总合网| 玖玖九九9999在线观看视频精品| 久久99精品视频| 99色在线| 五月婷婷在线视频观看| 中文字幕 久久9999| 99re热精品在线视频| 久久婷婷综合拍| 免费观看全黄做爰的视频| 欧美婷婷日本| av色色国产| 草做免费在线观看| A色色| 婷婷五月天av网| 成人丁香五月| 精品自拍97| 天天爱天天操| 五月开心久久| 婷婷激情社区| 91色综合| 思思热在线视频精品| 五月五婷婷| 可以直接看的AV网站| 丁香五月婷婷丫| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷伊人网| 日韩一级网站| 97操碰碰无码视频| 婷婷五月天亚洲综合| 噜噜色婷婷| 日韩精品二三区| 五月天激情网页| 婷婷五月丁香成人| 丁香五月天欧美| 深爱激情九九五月天| 激情综合五月婷| 九九这里是免费的视频5| 九九青草热| 中文字幕第四色.999| 五月色丁香婷婷综合| 欧美日本不卡黄色片| 丁香综合| 日本性视频| 精品热青草| 色综久久久| 九九无毛| 天天色中文字幕女优AV| 国产高潮白浆一区二区| 五月综合激情图片| 激情宗合 激情宗合| 色久五月| 色五月在线| 色五月五月丁香| 婷婷五月天成人网站| 久久色这里只有精品| 开心五月综合| 色五月天成人| 亚洲无线视频| 91精品综合久久久久久五月丁香| 五月开心久久| 国产又色又爽又黄又免费| co超碰在线观看| 婷婷六月久久| aaa久久| 五月丁香亭亭操逼| 国产色色网站网址| 99精品无码网站| 青草青青草| 色亭亭五月天丁香综合AV - 百度 - 百度| 丁香久久综合| 五月天激情影院| 欧洲MV日韩MV国产| 久久全色| 九九综合九九| 五月熟妇婷婷久久| 综合色激情| 超碰资源在线| 中文字幕在线免费观看视频| 激情五月婷婷综合网| 色五月中文字幕| 亚洲中文字幕AV| 亚洲色涩视频| 色色色色色色综合| 日本99在线| 中海油常州环保涂料有限公司| 久久人人超| 国产精品蜜臀99| 亚洲成人影视在线观看| 99自拍视频网站| 99国产小视频2013| 欧美极品999| 久热这里精品免费| 99re热视频这里只精品| 九九色综合| www.色婷婷| 伊人久久婷婷| 97久久综合网| 婷婷五月丁香六月综合网| 国产在线网址1| www.金莲av| 婷婷激情区| 五月天色色无码| A片一曲| 国产精品久久久久久妇女6080| 九九这里只有精品| 一级片操逼视频| 1024你懂的欧美曰韩| 99热综合网| 另类专区在线| 激情五月婷婷啪啪| 97婷婷五月| 9久9久9久女女女九九九一九| 色很久综合| 亚洲精品网址| 国产精品A片| 视色综合| 亚洲婷婷五月天| AV动漫不卡无码免费| 婷婷丁香五月高清| 成人无码精品1区2区3区免费看| 91日韩美女被插视频| 婷婷五月天激情综合深爱| 五月丁香黄色视频| 91久久综合| 丁香五月六月综合激情| 亚洲欧美综合7777色亭亭| 激情五月丁香综合蜜桃| 久久婷五月婷| 午夜日日| 婷婷激情五月综合| 激情五月婷婷色综合| 激情丁香五月激情婷婷| 狠狠操综合| 久久狠狠欧美| 色婷婷导航| 激情久久久久久久久| 久久只有18视频| 1024欧美看片| 五月丁香六月婷婷久久久综合| 欧美日本韩国亚洲| 黄色99网| 五月天开心色色网| 99热精品6| 丁香五月综合狠狠| 久久久五月四色| 五月丁香六月激情| 久久色五月天综合网| 97人人操人人拍| 伊人五月成人| 偷拍丁香九月激情| 久久这里有精品视频| 亚洲成人网址在线观看| 婷婷玉月丁香五月在线视频| 荫道BBWBBB高潮潮喷| www.日日日.com| 色色99| 丁香香五月激情免费视频| 成人午夜无码视频| 九九九九九无码| 成人午夜天| 色色亚卅| 91久久久久| 久久久久久久综合狠狠综合| 激情综合五月天| 精品国产人人爱人人| 91av传媒高清在线视频网| www.日日夜夜| 九色视频九色九色91jiuseshipin| 色婷五月丁香久亚洲| 97碰精品| 激情视频综合| 激情文学天天| 九九精品9| 精品人妻伦一二三区久久| 黄色激情久久| 99人人干| 六月久久狠狠| 久久婷丁香五月| 天天射影院| 热成人网| 五月婷在线影院| 五月婷婷综合网| 婷婷五月天com| 五月丁香综合网| 4438激情网| 精品一区二区三区四区五区六区介绍| 久久caop| 中文字幕在线免费观看视频| 丁香五月天天日| 偷拍99在线视频观看| av色婷婷| 678五月丁香亚洲综合| 99热亚洲综合| 五月婷婷激情综合网| 99视频精品8 | 禁片二区| 欧美色婷婷| 啪到高潮激情丁香五月| 成人电影AV在线观看| 日本色色影片| 97碰久久| 激情五月天小说视频| 99人人精品| 夜夜爽天天爽| 九九热最新视频| 丁香五月天在线观看视频| 久777| 色色色色网站| 99热99色| 日韩无码一区二区三区四区| 一区中文字幕电影| 色五月天综合网| 亚洲欧美999| 人妻自慰在线| 婷婷五月18永久免费网站| 无码激情AAAAA片-区区| 婷婷中文无码| 色婷婷狠狠色| 九九色婷婷| 在线亚洲综合网| 人妻人人操| 激情综合五月天| 国产丁香五月天婷婷| 五月丁香综合啪啪| 久久加勒比| 丁香五月很很肏| 成人在线精品| 996热re视频在线观看视频| 99久热这里只有精品| www.婷婷五月| 亚洲国产色婷婷| 麻豆雪千夏| 五月婷婷久久大片| 桃色五月天| www.91在线观看| 色婷婷六月丁香综合欲精品| 色情免费视频播放| 五月丁香六月日逼| 第四色五月激情网| 91一起操| 丁香五月网址| 97久久五月丁香婷婷| 久9热视频在线| 91丨九色丨东北熟女| WWW,五月| 五月丁香影院| 色五月91| 婷婷五月天奸女| 中文字幕,综合,91| AVDV久久| 天天五月天综合网址| 伊人狠狠干| 狠狠干在线视频| 琪琪理论片| 亚洲婷婷五月天综合| 91嫩草久久| 99re免费在线视频| 另类国产区| 五月天丁香欧美激情| 九热av| 刘玥精品一区| 一级黄色片看看| Www.sesese丁香| 久久99免费视频网站| 97久久精品视频| 五月丁香偷拍| 激情熟女网| 中文字幕黄色电影网址| www99精品在线观看| 国产精品 的国产| 五月丁香六月婷婷激情四射| 91久久国产综合久久| 玖玖综合玖玖| 超碰在线9| 久久婷婷五月天蜜桃| 婷婷中文无码| 丁香五月综合| 久久这里只有精品07 | www99精品| 全网最新网黄大秀直播高清,主播国产录屏在线| 色婷婷丁香五月| 婷婷色五月天综合网| 夜夜撸日日骑| 亚洲成人网站在线播放| 色婷婷激情| 99久久网站| 国外亚洲成AV人片在线观看| 婷婷五月丁香激情| 人人操人人看97干| 丁香婷婷黄网站| 久久婷婷五月国产激情综合片| 婷婷五月丁香在线观看| 五月天激情婷婷小说| 欧洲亚洲精品| 色久九| www.色色五月天.com| 亚洲日韩一页精品发布| 97操碰98| 操人91| 免费试看小视频 99| 丁香五月婷婷五月天| 99久视频| 婷婷色色五月天| 久热伊人在91| 五月丁香六月综合情在线观看| 26UUU精品一区二区c〇m| 99热这里只有精品86| AA丁香综合激情| 色情终和网| 另类激情五月| 天天肏天天插| 免费视频无码| 淫五月停停| 五月婷婷丁香大陆免费| 五月婷婷黄色视频| 日日干日日| 最近中文字幕大全免费版在线 | 亚州激情九月| 日本一级黄色电影| 97色婷婷五月天| 91婷色| 九月色婷婷婷| 色色操| 九九在线精点品| 免费看欧美成人A片无码| 婷婷色偷拍| 色人五月婷婷| 婷婷丁香花五月天| 婷婷五月成人社区| 五月婷婷另类| 亚洲婷婷五月天| 欧美精品中文字幕亚洲专区| 日韩人妻在线观看| 国产资源91在线| 国产精品第一国产精品| 激情综合文学| 激情小说五月天社区丁香| 婷婷亚洲五月| 丁香狠狠干| 蜜臀A∨在线水帘洞| 色欲影香| 亚洲热久| 国产精品视频久久99| 欧美交换配乱吟粗大25P| 六月丁香色色| www.亚洲激情| 日韩黄色影院| 激情五月丁香婷婷夜夜操| www.黄色片-久久成人国产精品在线播放-999AV | 欧美日本免费一道免费视频 | 开心五月婷婷| 涩综合网| 婷婷丁香在线播放| 99精品视频在线观看| www.五月婷婷| 99免费| 综合色在线| 久久网站观看免费欧洲国产| 色婷婷成人网| 色婷婷综合久久| 五月熟妇婷婷久久| 久久在线视频免费观看| 色色五月婷| 91丨九色丨丰满人妖| 欧亚中文A V| 99热这里只有精品最新| 伊人免费视频9| 啪啪啪五月天| 久久婷婷五月综合色欧美| 五月丁香久久综合| 高清无码网址| 激情婷婷久久| 九九精品免费| 婷五月天六| 99这里只有精品视频| 无码人妻一区二区一牛影视| 538午夜激情| 日本99久久| 涩涩婷婷五月| 五月丁香综合网| 操操操91| 婷婷色色婷婷| 涩涩婷婷五月| 五月大香蕉| 99re在线视频精品,这里只有精品18,| AV性爱网| 成人色站,在线视频,看片-SS1AV| 青柠影视免费高清电视剧| 激情综合五月激情17| 日韩成人网址| 国产欧美婷婷五月| 久久久久亚洲AV综合| 丁香六月激情蜜桃| 91 久热| 亚洲日日日| 婷婷丁香五另类网站| 99在线精品免费视频| 99激| 久久香蕉影院| 蜜臀丁香黄色婷婷五月天| 欧美日韩中文国产一区发布| 五月天无码视屏播放| 五月精品99综合| 婷婷五月天激情在线| 欧美色偷拍| 色色色99| 久热这里只有精品在线观看| 久久综合久色欧美综合狠狠| 丁香五月天婷婷久久综合| 久久免费高| 操97免费超级视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久综合伊人综合在线| 99热草草| 日日干夜夜干| 丁香五月精品视频| 日本视频不卡123区| 79精品视频| 依人大香蕉| 久热在线中文字幕色999舞 | 99精品亚洲| 91精品91久久久中77777| 99热国品| 日本色视| 伊人激情综合网| 人人综合久| 99re在线观看| 五月天丁香色色| 五月婷婷九九热| 人妻性爱| 久久久久网站| 99re6在线视频精品免费| 色色色热| 天天做天天爱天天爽在| 九九99热久久精品66中文字幕| 26UUU欧美| 操操操AV| 五月婷婷新网站| 97碰人人操| 亚洲国产精品SUV| 综合99久久天天综合| 天干天天干天天天天天| 日韩啪| 亚洲无码影音| www.久久| 五月婷在线视频免费播放| 538午夜激情| 国产午夜精品一区二区三区嫩草| 96精品久久久久久久久| 欧美激情五月天在线观看| 97碰碰电影| 第四色色六月色综合| 尔尔AV一区| 成人免费在线电影| 色五月婷婷啪啪五月| 婷婷色中文字幕| 激情婷| 成人做爰黄A片免费看直播室男男| 亚洲激情综| 人人摸人人搞| 亚洲色小说在线综合| 久久天天天| 丁香婷婷超碰 | 色香欲综合| 丁香综合婷婷五月天| 狠狠色丁香婷婷基地| 秋霞免费三级片| 91丨九色熟女丨首页| 九月停停| 202丰满熟女妇大| 久久久999精品| 五月天婷婷视频| 激情美女五月天激情在线| 就要爱综合| 天天色播| 成人中文字幕在线| 久久久9久| 色色色综合| 99这里都是精品6| 色色色婷| 婷婷在线视频| 亚洲人妻一区二区| 亚州视频九九99| 五月丁香婷婷激情在线视频| 超碰碰碰碰| 91精品久久久久久久| Caop在线| 综合另类激情| 五月婷婷 激情按摩| 色色色色丁香| 狠狠精品干练久久久无码中文字幕| 久久久天堂国产精品女人| 激情五月六月婷婷| 色情综合| 96精品久久久久久久久| 天天干电影| 婷婷五月天电影网| 丁香六月在线| 丁香五月天激情综合网| 国产热精品| www.lingjunshare.com| 激情二色月| 久久A V无码视频| 色色综合色| 九九热经典视频在线观看| 色婷婷社区| 一本久道综合色婷婷五月| 丁香婷婷五月基地| 亚洲六月色| 久热亚洲| 欧美啪啪9| 97人人草| 色色99| 少妇人妻丰满做爰XXX| 色五月婷婷成人| 日韩中出视频| 日韩精品无码AV| 天堂色色色| 丁香色五月直播| VA五月激情在线| 狠狠狠五月婷婷六月丁香| www.99成人视频| 日日干天天| 日韩啊啊啊| 日本人妻伦在线中文字幕| 亚洲九九99精品视频在线播放| 国模狼狼| 久久99久久99精品免观看粉| 影音先锋91| WWW五月婷婷| 婷婷开心六月| 色偷偷五月天| 亚洲色另类| 欧美日本免费一道免费视频| chaopeng在线人人| 狠狠色婷婷色| 九九色综合| 亚洲人妻一区二区 | 婷婷激情丁香六月| 精品成人无码A片观看香草视频| 五月婷婷天堂| 日本三级中国三级99| 99热这里在线精品| 蜜乳中文字| 婷婷五月天激情综合| 久久天天| 亚洲欧美成人在线观看| 亚洲无码播放| 丁香香五月激情免费视频| 激情五月天婷婷丁香| 色色国产| 丁香花综合永久入口| 色婷婷免费视频| 久久er九九| 丁香五月天电影| 婷婷五月天色| 六月丁香成人| 日韩砖区| 免费视频99| 99ree6| 99久在线视频| 亚洲无码成人性爰网| 色色色综合| 日产精品久久久久久久蜜臀| 六月激情婷婷综合| 狠狠色丁婷婷日日,伊人激情综合网| 毛片色五月| 国产精品国产成人国产三级| 日韩精品电影| 俺去也在线官网| 婷婷激情六月| 伊人大香蕉综合在线| xx综合网| 日本色婷婷| 99碰在线视频| 婷婷综合成人五月天| 久久大香蕉同僚| 婷婷五月另类网站| 五月天婷婷三级黄| 黄色成人网站在线播放| 五月婷婷先锋| 五月天激情四射| 六月色婷婷| 97在线99| WWW.五月天9999| 射区导航| 人碰人人人玩91| 五月色情婷婷开心五月色情| 96精品久久久久久久久| 思思热99er| 思思热99在线| 一起草av| 色狠狠综合入口| 五月成人天| 思思9久久| 色欲婷婷夜夜| 激情深爱五月天| 五月丁香中文婷婷中文| 五月综合缴情网| 最新高清无码专区| 天天 青草 制服丝袜 在线| 91久久婷婷| 琪琪色热色色| 丁香五月婷婷六月丁香| 一本大道伊人AV久久综合| 国产99精品免费视频| 女婷久久| 黄网在线观看免费| 成功精品影院| 国产97在线日韩亚洲女人被黑人巨大| 天天插综合在线| 天天插天天插| 亚洲高清在线| 成人AV免费观看| 91成人品| 欧美久久婷婷| 丁香六月啪啪| 99热这里只有精品66| 国产亚洲99久久精品|