欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

中文NLP實戰(zhàn):用SVD與SGNS構(gòu)建子詞向量解決OOV問題

中文NLP實戰(zhàn):用SVD與SGNS構(gòu)建子詞向量解決OOV問題 簡介面向自然語言處理學習者尤其適合需要完成子詞向量課程作業(yè)的學生。項目圍繞漢語子詞向量構(gòu)建與評測分別實現(xiàn)基于SVD分解和基于SGNS的兩種方法。SVD方法先以K5窗口獲取高維distributional表示再進行降維SGNS方法采用窗口K2訓練神經(jīng)網(wǎng)絡詞向量。覆蓋詞表構(gòu)建、語料處理、向量訓練、余弦相似度計算等完整流程。壓縮包共15個文件整體大小88.66MB數(shù)據(jù)部分含corpus.txt語料全集、train_BPE.txt和test_BPE.txt子詞詞表、pku_sim_test.txt評測集等7個txt代碼部分含svd.py、sgns.py、skip_gram.py、result.py等4個Python腳本另有preprocess.ipynb交互式筆記、SGNS.pth模型、svd.npy向量和README.md說明文檔。已有112人瀏覽學習。項目提供了SVD與SGNS兩種方法的對比實現(xiàn)對未登錄詞設置余弦相似度為0的細節(jié)處理清晰可直接在pku_sim_test上復現(xiàn)結(jié)果并輸出指定格式適合作為NLP課程作業(yè)參考、算法對照或入門實踐素材另外README.md對目錄結(jié)構(gòu)和運行流程進行了說明便于快速上手。1. 這個NLP作業(yè)到底在解決什么中文OOV問題與子詞向量的實戰(zhàn)價值中文自然語言處理里最常遇到的尷尬是詞典里明明躺著一萬個詞來一條新聞還是蹦出“三航母”“星艦”這種訓練時沒見過的寫法。詞向量表里查不到下游任務直接罷工——這就是未登錄詞OOV問題。這個NLP實戰(zhàn)作業(yè)的核心很明確分別用SVD分解和SGNSSkip-Gram with Negative Sampling兩種方法構(gòu)建漢語的子詞向量再在相似度與類比任務上做評測對比。所謂子詞就是把“自然語言”拆成“自然”“然語”“語言”這類字n-gram串詞的向量由它包含的所有子詞向量聚合得到于是沒見過的詞也能用子詞拼出向量來。這份作業(yè)完美覆蓋了詞向量兩條技術路線——基于計數(shù)的矩陣分解與基于預測的神經(jīng)網(wǎng)絡——適合正在做詞向量課設、準備NLP面試或者想親手把word2vec底層邏輯寫一遍的人。2. 方案選型與數(shù)據(jù)準備SVD和SGNS的數(shù)學動機、漢語子詞切分與樣本生成2.1 為什么把SVD和SGNS放在同一份作業(yè)里SVD和SGNS代表了詞向量研究的兩個譜系。SVD走的是“計數(shù)”路線先統(tǒng)計詞與上下文在語料中的共現(xiàn)次數(shù)形成共現(xiàn)矩陣再用奇異值分解把高維稀疏矩陣壓成低維稠密向量。SGNS走的是“預測”路線把每個詞當成要預測的目標用神經(jīng)網(wǎng)絡在局部窗口內(nèi)反復調(diào)整向量讓中心詞與上下文詞的向量內(nèi)積逼近它們的共現(xiàn)概率。兩條路線的數(shù)學動機完全不同。SVD是全局優(yōu)化一次性看到整個語料的統(tǒng)計信息所以結(jié)果穩(wěn)定、可解釋性強主成分往往對應語義或話題維度缺點是矩陣規(guī)模隨詞表平方增長而且純統(tǒng)計方法對低頻詞極不友好。SGNS是局部優(yōu)化每次只看一個窗口訓練快、內(nèi)存友好但對隨機種子敏感同一份語料跑兩次結(jié)果可能差出一大截。作業(yè)把兩者放在一起本質(zhì)上是在讓你親手驗證同一個子詞向量目標用全局矩陣分解和用局部神經(jīng)網(wǎng)絡出來的向量在相似度評測上到底差多少。我在實際項目中觀察到的經(jīng)驗是——小語料上SVD往往不輸甚至超過SGNS語料一大SGNS的泛化優(yōu)勢才體現(xiàn)出來。這個結(jié)論自己去復現(xiàn)一遍比背十篇綜述都有用。2.2 漢語子詞序列怎么切字符n-gram的窗口選擇構(gòu)建子詞向量的第一步是把中文語料切成子詞序列。對漢語來說常見做法有兩種第一種是先做分詞再對每個詞內(nèi)部切字n-gram第二種是干脆不分詞直接對整句做字符級n-gram滑動窗口。作業(yè)場景下我強烈推薦第二種理由有三個不依賴外部分詞器、對OOV天然免疫、SVD和SGNS兩條路線共用同一套預處理邏輯。n-gram的n取多少需要權(quán)衡。n太小比如1-2子詞退化成單字和相鄰字對語義區(qū)分度不夠n太大比如7以上子詞基本退化成整詞失去了“子詞”的意義。我一般取2到6既覆蓋“自然”“語言”這種二字詞根也能捕捉“自然語言”這樣的四字短語。下面這段切分代碼是整個作業(yè)的地基SVD和SGNS都從它開始import re from typing import List PUNCT_RE re.compile(r[^\u4e00-\u9fa5a-zA-Z0-9]) def clean_text(text: str) - str: 只保留中文、英文和數(shù)字去掉標點與空白。 return PUNCT_RE.sub(, text) def make_subwords(text: str, n_min: int 2, n_max: int 6) - List[str]: 把一段文本切成字 n-gram 子詞序列。 自然語言處理 - [自然, 然語, 語言, 言處, 處理, 自然語, 然語言, ...] chars list(clean_text(text)) subwords [] for n in range(n_min, n_max 1): for i in range(len(chars) - n 1): subwords.append(.join(chars[i:i n])) return subwords說明兩個關鍵參數(shù)n_min和n_max控制子詞粒度。2-6是通用區(qū)間如果你發(fā)現(xiàn)詞表膨脹太快可以改成3-6犧牲一點短詞根覆蓋率換內(nèi)存。clean_text里的正則只保留中文、英文和數(shù)字因為標點符號在子詞序列里只會制造大量無意義的共現(xiàn)噪聲。注意這里沒有分詞——整句直接滑窗一個10個字的句子會產(chǎn)生約40個子詞數(shù)據(jù)量會膨脹這是正?,F(xiàn)象。2.3 低頻過濾與訓練樣本生成min_count、窗口大小與隨機種子切出子詞序列之后必須先做頻次統(tǒng)計和低頻過濾。低頻子詞比如只出現(xiàn)過一次的人名片段它們的共現(xiàn)統(tǒng)計極不可靠SVD會為它們分配一個幾乎隨機的向量SGNS則會在它們身上浪費大量訓練迭代。常見的做法是把頻次低于2或3的子詞直接丟棄替換成一個統(tǒng)一的UNK標記。詞表大小建議控制在5萬以內(nèi)超過這個規(guī)模SVD的矩陣分解時間和SGNS的參數(shù)量都會明顯拖慢實驗節(jié)奏。窗口大小這里一并定下。SVD的共現(xiàn)窗口和SGNS的上下文窗口取同一個值比如5這樣兩條路線的“上下文范圍”定義一致評測對比才公平。另外整個預處理管線里涉及的random seed要在文件開頭固定你后面跑SGNS時就知道這個操作有多救命。from collections import Counter import random random.seed(42) def build_vocab(subword_seq_list: List[List[str]], min_count: int 3) - dict: 統(tǒng)計子詞頻次過濾低頻項返回子詞到id的映射。 counter Counter() for seq in subword_seq_list: counter.update(seq) vocab {w: i for i, (w, c) in enumerate(counter.items()) if c min_count} vocab[UNK] len(vocab) return vocab頻次過濾看似簡單但它的值直接影響兩種方法的最終效果。min_count3是我的默認值語料小時可以降到2語料超過500萬字符時可以提到5。過濾之后所有不在詞表里的子詞統(tǒng)一映射到UNK保證訓練和評測階段不會遇到“查無此項”的尷尬。3. SVD路徑實現(xiàn)共現(xiàn)矩陣、PPMI加權(quán)與截斷SVD分解的參數(shù)化實現(xiàn)3.1 構(gòu)建子詞-上下文共現(xiàn)矩陣稀疏存儲與滑動窗口SVD路線的起點是共現(xiàn)矩陣。行和列都是子詞矩陣的第i行第j列表示子詞i作為中心詞時子詞j在其上下文窗口中出現(xiàn)的累計次數(shù)。構(gòu)建這個矩陣最樸素的思路是用Python字典累加但子詞表動輒幾萬共現(xiàn)對輕松破百萬字典方案內(nèi)存直接爆炸。正確做法是用scipy.sparse的稀疏矩陣。具體來說先掃一遍語料統(tǒng)計每個中心子詞與窗口內(nèi)其他子詞的共現(xiàn)次數(shù)然后一次性構(gòu)建CSR矩陣。注意兩點一是窗口內(nèi)的共現(xiàn)要不要按距離加權(quán)加權(quán)方案在作業(yè)里不強制不加權(quán)的表現(xiàn)也不會差太多二是對角線元素即子詞與自身的共現(xiàn)默認計入但后續(xù)可以用PPMI里的偏移量來抵消它帶來的噪聲。import numpy as np from scipy.sparse import lil_matrix def build_cooccurrence(seqs, vocab, window5): 構(gòu)建子詞-上下文共現(xiàn)矩陣返回稀疏CSR矩陣。 size len(vocab) matrix lil_matrix((size, size), dtypenp.float32) unk_id vocab.get(UNK, size - 1) for seq in seqs: ids [vocab.get(w, unk_id) for w in seq] for i, center in enumerate(ids): left max(0, i - window) right min(len(ids), i window 1) for j in range(left, right): if j i: continue matrix[center, ids[j]] 1.0 return matrix.tocsr()這個函數(shù)的核心邏輯是滑窗對每個中心子詞只統(tǒng)計它前后window個位置內(nèi)的共現(xiàn)。用lil_matrix是因為它按行追加效率高累加完成后再轉(zhuǎn)成csr_matrix后面做矩陣運算和SVD都更快。窗口值window5和SGNS保持一致如果你在第2章預處理時改過窗口這里必須同步修改。3.2 從共現(xiàn)到PPMI加權(quán)方案與截斷SVD分解直接對共現(xiàn)矩陣做SVD出來的向量質(zhì)量很差這是所有初學者都會踩的坑。原因是原始共現(xiàn)矩陣被“的”“了”“在”這類高頻詞主導它們的絕對值遠大于有語義區(qū)分度的詞對SVD的第一主成分會全部貢獻給詞頻差異。標準解法是先把共現(xiàn)矩陣轉(zhuǎn)成PPMI正點互信息矩陣再做分解。PPMI的計算公式是對每個共現(xiàn)對(i,j)先算PMI log(P(i,j) / (P(i) * P(j)))然后把負值置零。其中P(i,j)是i和j共同出現(xiàn)的概率P(i)、P(j)是各自的邊際概率。PPMI的核心作用是降權(quán)高頻詞一個字n-gram和“的”字頻繁共現(xiàn)只是因為“的”本身出現(xiàn)頻率高而不是它們有強語義關聯(lián)PPMI會把這個共現(xiàn)值壓下去。from scipy.sparse.linalg import svds from sklearn.preprocessing import normalize def compute_ppmi(X): 把共現(xiàn)矩陣轉(zhuǎn)成PPMI矩陣負值置零。 total X.sum() row_sum np.asarray(X.sum(axis1)).ravel() col_sum np.asarray(X.sum(axis0)).ravel() expected np.outer(row_sum, col_sum) / total # 只對非零元素做PMI計算避免全矩陣運算 X X.copy() X.data np.log(X.data * total / expected[X.nonzero()]) X.data[X.data 0] 0.0 # PPMI: 負值截斷為0 return X.tocsr() def svd_reduce(ppmi_matrix, dim64): 截斷SVD只保留最大的dim個奇異值對應的向量。 U, s, Vt svds(ppmi_matrix, kdim, whichLM) # 按奇異值從大到小排序svds不保證順序 order np.argsort(s)[::-1] s s[order] U U[:, order] Vt Vt[order, :] # 子詞向量 U * sqrt(S)上下文向量 Vt.T * sqrt(S) subword_vecs U * np.sqrt(s) context_vecs Vt.T * np.sqrt(s) return subword_vecs, context_vecs這段代碼有兩個關鍵參數(shù)值得細說。dim是向量維度作業(yè)里64到100之間足夠體現(xiàn)差異追求和預訓練模型對比時用300。whichLM表示只計算最大的dim個奇異值這是截斷SVD的標準做法如果你用的SciPy版本較舊svds默認返回的可能是最小奇異值對應的向量跑出來向量質(zhì)量慘不忍睹——先查這個參數(shù)對不對。最后用U * sqrt(S)作為子詞向量這是對稱化處理保證中心詞和上下文向量在同一個空間里可比。3.3 從子詞向量到詞向量聚合策略與歸一化SVD分解得到的是每個子詞的向量但評測任務需要的是“詞”的向量。聚合策略常見的有兩種直接平均和加權(quán)平均。直接平均就是把詞包含的所有字n-gram的向量求和再除以個數(shù)加權(quán)平均是按子詞在詞內(nèi)部出現(xiàn)的頻次或逆文檔頻率加權(quán)。作業(yè)場景下直接平均已經(jīng)夠用加權(quán)提升有限但會多出不少代碼。def word_vector_from_subwords(word, subword_vecs, vocab, n_min2, n_max6): 給定一個詞切分為子詞后聚合出詞向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(subword_vecs[vocab[sw]]) if not vecs: return np.zeros(subword_vecs.shape[1]) return np.mean(vecs, axis0) def normalize_vectors(vec_matrix): L2歸一化后續(xù)計算余弦相似度直接做點積。 return normalize(vec_matrix, norml2, axis1)注意這里如果詞太長或太短導致沒有任何子詞命中返回零向量。零向量參與余弦相似度計算會產(chǎn)生NaN評測前一定要過濾掉。另外把詞向量做L2歸一化是個好習慣因為余弦相似度只關心方向不關心模長歸一化之后直接用點積代替余弦計算速度能提升一個數(shù)量級。4. SGNS路徑實現(xiàn)負采樣訓練循環(huán)與子詞embedding聚合的完整步驟4.1 子詞表與負采樣分布頻次的三分之四次冪SGNS路線的核心是訓練一對向量每個子詞既是中心詞也是別人的上下文。也就是說需要維護兩個矩陣——中心詞向量矩陣V和上下文向量矩陣U形狀都是(vocab_size, dim)初始化時用均值為0、標準差0.01的正態(tài)分布隨機填充不能全零初始化否則梯度為零無法更新。負采樣的分布是SGNS區(qū)別于原始Skip-gram的關鍵。原始Softmax需要對整個詞表做歸一化代價太高負采樣的思路是把“預測正確上下文”的任務改造成“區(qū)分真上下文和隨機噪聲”的二分類任務。對每個正樣本從噪聲分布中隨機抽k個負樣本讓模型學會把正樣本真實上下文判為1把負樣本隨機抽取的噪聲判為0。噪聲分布不是均勻分布而是按詞頻的3/4次冪歸一化——這個3/4次冪是實踐調(diào)出來的它能壓低高頻詞被過度采樣的概率讓中頻詞有更多被當作負樣本學習的機會。import numpy as np from collections import Counter class SubwordSGNS: def __init__(self, vocab_size, dim64, k_neg5, lr0.025): self.dim dim self.k_neg k_neg self.lr lr # 中心詞向量矩陣和上下文向量矩陣 self.V np.random.normal(0, 0.01, (vocab_size, dim)) self.U np.random.normal(0, 0.01, (vocab_size, dim)) def build_noise_dist(self, freqs, power0.75): 構(gòu)建負采樣分布頻次的power次冪歸一化。 probs np.array([freqs[i] ** power for i in range(len(freqs))]) probs / probs.sum() return probs def negative_sample(self, probs, num): 從噪聲分布中不放回地抽樣num個負樣本id。 return np.random.choice(len(probs), sizenum, pprobs, replaceFalse)k_neg是負樣本數(shù)量取值5到10之間。太小模型學不夠太大訓練變慢且收益遞減。power0.75是word2vec論文里的經(jīng)典取值不建議改動。build_noise_dist接收的freqs是子詞id到頻次的映射這個值在預處理階段已經(jīng)統(tǒng)計過了直接復用。4.2 訓練循環(huán)sigmoid、學習率衰減與梯度裁剪訓練的過程就是對每個中心子詞i取窗口內(nèi)一個上下文子詞j作為正樣本再抽k個負樣本neg1...negk對每個樣本計算損失并更新向量。損失函數(shù)用的是二分類交叉熵的簡化形式對正樣本最大化sigmoid(V[i]·U[j])對負樣本最小化sigmoid(V[i]·U[neg])等價于最大化sigmoid(-V[i]·U[neg])。梯度推導是這份作業(yè)最容易卡住的地方但實現(xiàn)上很簡單對正樣本誤差項g sigmoid(V[i]·U[j]) - 1然后V[i] - lr * g * U[j]U[j] - lr * g * V[i]。對負樣本誤差項g sigmoid(V[i]·U[neg]) - 0更新方式相同。這個“預測誤差乘對方向量”的更新規(guī)則就是SGNS的全部秘密。def train(self, subword_seqs, epochs5, window5): subword_seqs: 子詞id序列的列表每個序列是一句或一段話。 for epoch in range(epochs): # 學習率隨epoch線性衰減后期微調(diào)避免震蕩 lr self.lr * (1 - epoch / epochs) for seq in subword_seqs: if len(seq) 2: continue for i, center_id in enumerate(seq): left max(0, i - window) right min(len(seq), i window 1) context_ids seq[left:i] seq[i1:right] for ctx_id in context_ids: # 正樣本中心詞向量點積上下文向量 dot self.V[center_id].dot(self.U[ctx_id]) g_pos 1.0 / (1.0 np.exp(-dot)) - 1.0 # 更新正樣本 self.V[center_id] - lr * g_pos * self.U[ctx_id] self.U[ctx_id] - lr * g_pos * self.V[center_id] # 負樣本 neg_ids self.negative_sample(self.noise_dist, self.k_neg) for neg_id in neg_ids: if neg_id ctx_id: continue dot_neg self.V[center_id].dot(self.U[neg_id]) g_neg 1.0 / (1.0 np.exp(-dot_neg)) self.V[center_id] - lr * g_neg * self.U[neg_id] self.U[neg_id] - lr * g_neg * self.V[center_id]這個訓練循環(huán)是樸素的Python版本一個epoch掃一遍全部語料。實際跑起來你會覺得慢——這是正常的因為Python級別的循環(huán)確實慢數(shù)據(jù)量一大建議用numpy矩陣化或者直接上gensim驗證結(jié)果。學習率衰減那行是關鍵不衰減的話后期loss會在一個平臺上震蕩向量質(zhì)量上不去。如果你的語料有100萬子詞以上建議把epochs從5降到3否則訓練時間會失控。4.3 從訓練結(jié)果到詞向量FastText式聚合與推理訓練結(jié)束后每個子詞都有兩個向量中心詞向量V[i]和上下文向量U[i]。詞向量怎么取常見做法是只取V也就是中心詞向量矩陣。但FastText的實踐表明把子詞向量聚合起來作為詞向量效果比直接用某個子詞的向量更穩(wěn)定。聚合方式和SVD路線完全一致給定一個詞切成所有可能的字n-gram查表拿到子詞向量求平均。這樣做的最大好處是——即使一個詞從沒在訓練語料里出現(xiàn)過只要它的字n-gram有部分命中就能拼出一個合理的向量。這就是子詞向量對OOV問題給出的答案。def get_word_vector(self, word, vocab, n_min2, n_max6): 推理階段對任意詞含OOV生成向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(self.V[vocab[sw]]) if not vecs: return np.zeros(self.dim) vec np.mean(vecs, axis0) norm np.linalg.norm(vec) return vec / norm if norm 0 else vec注意返回值做了L2歸一化。訓練階段沒有強約束向量模長直接比較原始向量會受模長干擾。np.linalg.norm(vec)是求L2范數(shù)除一下就把向量長度縮放到1后續(xù)計算余弦相似度時直接點積就行省去每次算模長。5. 避坑兩個模型反復翻車的5個細節(jié)與排查路徑5.1 現(xiàn)象共現(xiàn)矩陣構(gòu)建到一半內(nèi)存直接打滿你興致勃勃地建了一個5萬子詞的詞表然后用一個5萬 × 5萬的Python二維列表存共現(xiàn)矩陣瞬間內(nèi)存爆炸。原因很簡單5萬乘5萬乘8字節(jié)等于20GB哪怕用float16也要10GB。解決辦法就是第3章里的稀疏矩陣方案只存儲非零共現(xiàn)對實際稀疏度通常在99%以上內(nèi)存占用能壓縮到原來的幾十分之一。另外過濾低頻子詞這一步不要省詞表從10萬壓到3萬稀疏矩陣的非零元素會驟減訓練和分解都快很多。5.2 現(xiàn)象SVD分解出來的向量質(zhì)量不如隨機初始化這是PPMI缺失的典型癥狀。直接對原始共現(xiàn)矩陣做SVD向量會被高頻虛詞徹底污染“的”“了”“是”占據(jù)主成分方向其余詞之間的差異全被壓縮到次要維度里。排查時先別懷疑SVD代碼把共現(xiàn)矩陣打印出來看一眼前幾行如果高頻詞的值比其他詞大幾個數(shù)量級基本就是沒做PPMI。解決方法是嚴格按3.2節(jié)的流程過一遍先轉(zhuǎn)PPMI負值置零再做截斷SVD。5.3 現(xiàn)象SGNS訓練完了詞向量全部約等于零向量這通常不是代碼邏輯問題而是學習率設置不合理。如果lr超過0.1梯度更新步長過大向量會在訓練早期直接發(fā)散到無窮大然后數(shù)值溢出變成NaN如果lr低于0.001訓練根本走不動向量停在初始化位置附近。排查時先打印訓練前幾個batch的loss看走向loss不降是學習率太小loss變成NaN是學習率太大。推薦區(qū)間0.01到0.05按語料規(guī)模微調(diào)。另一個隱藏坑是隨機種子沒固定導致每次跑結(jié)果都不一樣你很難判斷是算法問題還是隨機性造成的波動。5.4 現(xiàn)象同一批語料SVD和SGNS評測結(jié)果排名不穩(wěn)定今天SVD贏明天SGNS贏換幾個評測詞又反過來——這可能是子詞切分參數(shù)不一致造成的。SVD路線的子詞序列和SGNS路線必須來自同一份預處理結(jié)果包括n_min、n_max、min_count和窗口大小全部一致否則兩條路線輸入的數(shù)據(jù)分布都不同對比就沒有意義。我見過不少人SVD用2-6gramSGNS用3-6gram最后得出的結(jié)論完全不靠譜。把預處理封裝成一個函數(shù)兩處調(diào)用同一份數(shù)據(jù)是性價比最高的修復。5.5 現(xiàn)象評測時OOV詞的向量是零向量相似度全是NaN子詞向量的核心賣點是OOV也能算向量但前提是這個詞的子詞組合至少有一部分在詞表里。如果詞太短比如單字“貓”它的子詞只有n_min到n_max范圍內(nèi)的片段一旦詞表里沒有對應字n-gram聚合結(jié)果就是零向量。解決方法是評測時對每個查詢詞做兜底如果子詞全未命中回退到單字向量如果單字也不在再回退到UNK向量。這個兜底邏輯要在評測腳本里寫清楚否則相似度排序會把零向量排在前面結(jié)果不可解釋。6. 評測與進階用相似度、類比和詞聚類給兩種子詞向量打分評測是這份作業(yè)的臨門一腳但也是最容易被糊弄過去的環(huán)節(jié)。切忌用肉眼挑幾個詞看相似度就下結(jié)論——那叫“看著像”不叫評測。標準做法是準備一組帶人工評分的詞對計算模型給出的余弦相似度與人工評分之間的Spearman相關系數(shù)。中文常用的是Wordsim-240和Wordsim-297里面是“飛機-機場”“老師-學生”這類詞對及人工打分。沒有現(xiàn)成數(shù)據(jù)集時自己標注20對詞也能跑一個粗糙版本每對詞打分1到5分然后和模型結(jié)果算相關系數(shù)排序一致性大于0.5就已經(jīng)說明向量不是隨機初始化能碰出來的。第二個評測維度是詞類比推理。經(jīng)典格式是“a之于b相當于c之于d”比如“北京-中國日本東京”。計算時用vec(北京) - vec(中國) vec(日本)在詞表里找與結(jié)果向量余弦相似度最高的詞如果是“東京”就算答對。這個任務對SVD和SGNS的差異非常敏感SVD由于全局統(tǒng)計特性在語義關系類比上往往表現(xiàn)更好SGNS則更擅長捕捉詞共現(xiàn)帶來的主題相似性。子詞向量在這里有個附加優(yōu)勢——即使類比任務中出現(xiàn)OOV詞也能通過子詞聚合參與計算這比標準word2vec多了一層保障。最后一個實用技巧是向量融合。做完評測你會發(fā)現(xiàn)SVD和SGNS各有勝負與其糾結(jié)選誰不如把兩種向量拼接后做PCA降維回原維度或者直接等權(quán)相加再歸一化。我在自己的項目里實測過融合向量在相似度和類比任務上的表現(xiàn)通常都能超過兩個單模型這個“112”的效果在作業(yè)里是天然的加分項在真實項目里也經(jīng)常作為廉價的中文詞向量增強手段。如果你時間充裕還可以把詞向量拿去做一個KMeans聚類聚類數(shù)取20到50打印每個簇的中心詞看語義是否聚成話題——這一步能直觀展示兩種方法學到的語義結(jié)構(gòu)差異比單純看數(shù)字更有說服力。最后說一個我做這份作業(yè)時后悔沒早點知道的事不要花太多時間調(diào)參跑到完美先拿小語料把兩條路線跑通、評測腳本寫好、踩坑踩一遍再換大語料出最終結(jié)果。SVD和SGNS的代碼結(jié)構(gòu)完全不同但評測流程是共用的——把評測腳本先寫好后續(xù)替換模型、調(diào)整參數(shù)都只改一行入口效率能翻一倍。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美色婷婷| www.99热最新视频8| 色99视频| 久草a片| 五月丁香久久综合| 99re热99| 久久九九re热| 中文AⅤ大全| 欧美日朝成人| 色女伊人| 六月丁香视频网站| 久久五月视频| 丁香五月综合激情啪啪| 蜜臀99精品| 成人精品在线| 先锋男人99资源| 五月婷婷九九热| 国产国产乱老熟女视频网站97| 久久久久久性爱视频| 狠狠操之狠狠操| 91久久免费| 成人做爰A片免费看视频| 综合久久97| 色亚洲无码| 婷婷丁香黄色| 婷婷综合亚洲| 欲求不满的人妻| 婷婷在线播放| 黑人糟蹋人妻HD中文字幕| 久热黄色| 五月天婷婷影院| 99热这里只有精品22| 天天做天天双| 亲子乱AV-区二区三区| 激情五月婷婷视频一区二区三区| 欧美激情综合| 婷婷五月天伊人网| 99爱在线免费视频| 色婷婷电影网| 被强行糟蹋的女人A片| 99精品视频网| 69凹凸成人综合网| 婷婷99狠狠躁天天躁| 激情婷婷五月| 老师的粉嫩小又紧水又多A片视频| 99热只有| 色婷婷19| 色播五月婷婷| 综合久久99| av九九| 婷婷五月综合色拍| 亚洲超碰在线| 99激情| 五月综合婷婷开心网| 五月婷网| 狠狠狠婷婷五月综合| 超碰免费99| 97成人在线视频精品| 丁香香蕉婷婷| 成人av中文字幕| 日韩色色网| 久久精99| 中美月韩免费A片| 久久这里都是精品视频| 开心婷婷五月花| 9er热在线精品视频| 66精品国产成人| 九九精品热| 9久久精品| 亚洲成人网站在线观看| 天天日夜夜草进麻麻的子宫| 色99热| 99热九九热| 色色色色色色网站| 2025最新亚洲激情在线| 思思热国产| 综合五月天完整| 丁香激情五月少妇| 狠狠干夜夜干| 91精品久久久久久| 99亚洲综合| 啪啪啪啪五月天| 永久的网站AAAA| 一起草Av| 五月丁香六月花| www.国产色| www.色婷婷| www.久久久.com| 激情五月小说婷婷| 五月婷婷久久爱| 99人人操| mmm1717.6dbm人人爱人人操| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 99ri视频在线播放| 亚洲1区| 五月花婷婷在线精品视频| 97色片| 综合激情网五月激情| 天天天天天天天干| 俺去啦综合网| 亚洲色频| 人妖色AV色综合| 丁香色五月直播| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国产人妻人伦精品一区二区| 午夜丁香综合婷婷| 色五月aV| 爱操人妻| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 99免费在线视频| 色色操| 91a片爽| 97在线刺激| 色噜久| 丁香五月综合色婷婷| 久热这里只有精品在线| 人人草人人爱| 国产免费av在线| 婷婷五六月丁香| 色婷婷成人| 99综合| 色婷婷亚洲综合天堂| 99热这里只有精品1025| 99这里只有精品|v| www,奇米影视| WWW五月婷婷| 五月丁香人妻| 性爱激情久久| 五月激情丁香啪啪| 人妻狠狠操| 思思久久精品| 亚洲狠狠婷婷综合久久久| 婷婷瑟瑟五月天| www,色婷婷| 五月丁香怕怕综合| 亚洲五月天婷婷| 亚洲影院婷婷色| 五月丁香亭亭成人电影| 人人草人人爱| av九九| 色吧五月婷婷| 97在线天堂| 五月色情婷婷开心五月天| 人人爱摸视频| 亚洲无码AV片| 五月丁香六月婷婷综合网站| 久久五月婷综合| 久久五月婷| 91疯狂操操操操| 久久欧洲综合网| 久久久er热| 婷婷色丁香六月| 五月婷丁香| 欧美日韩99| 5五月综合网亚洲| 五月丁小婷婷激情四射| 婷婷涩五月天综合| 九九爱激情| 五月丁香美女| 天天干一干| 亚洲婷婷视频| 99re这里只有| 亚洲婷婷月丁香五月| 婷婷五月电影院| 视频1区2区| 久久丁香五月婷| 99九九这里有免费视频| 欧美色九| 91丨九色丨东北熟女| 丁香五月综合在线| AA片在线观看视频在线播放| 色五月天在线| 日日操夜夜撸| 激情九九六月激情免费视频| 超碰人人操| 成片免费观看大全| 九热免费视频| 六月丁香婷婷视频综合在线观看| 色五月婷婷网| 色狠狠图片| www.色五月| 只有久久精品免费| 超碰在线资源| 日本超碰在线| 色小说婷婷五月天天天| 婷婷狠狠青青| 丁香五月激情网| 9久久久久| 91婷婷色| 欧美va亚洲va| 级人人91| 久久九九@| 色综合丁香婷婷| 91大神操美女| 青青草蜜臀| 青青草原精品久久| 中文字幕黄色电影网址| 亚洲精品成人| 九九热在线视频,| 国产精品美女久久久久AV超清 | 影音先锋色婷婷| 99热这里只有精品中文字幕| 影音先锋 91工厂| 五月丁香婷婷五月色| 五月丁香激情欧洲啪啪| www.婷婷五月天| 五月丁香天堂网| 五月丁香怕怕综合| 美女91一起草| www.激情| www五月天com| 丁香 婷婷 激情 综合 五月| 婷婷综合婷婷| 超碰免费成人| 人人看人人草人人摸| 日本色超碰| 婷婷五月大香蕉| 六月婷婷五月丁香| 丁香五月综合在线观看| 亚洲综合九九| 久久成人亚洲欧美电影| 五月婷婷av| 五月亭亭六月色| 欧美 色婷婷| 99热在线观看免费精品| 九月婷婷综合八月丁香在线观看| 日本一级大片| 免费看欧美成人A片无码| 色99热| 国产精品视频| 午夜丁香久久久久久| 97干婷婷| 五月婷婷激情综合视频| 丁香五月精品视频| 看全色黄大色大片| 丁香五月婷婷av影院| 99久久精品国产色欲| 色天天综合天天综合频道。| 大天天伊人| 五月激情影院| 91久久婷婷| 六月色婷婷综合影视| 99久久激情视频| 天天爽日日爽夜夜爽| av在线观看免费| 婷婷丁香18| 看逼中文字幕| 亚洲激情亚洲激情 | 亚洲色视频| 久色婷婷200| 欧美色骚婷婷五月天| 97超碰欧美中文字幕| 免费无码毛片一区二区A片| 色五婷婷开心缴| 丁香六月天AV| 大香蕉啪啪网| 99日本黄站| www.99.色| 99久久久久| 色色色地址| 久久婷婷五月综合色丁香| 久热超碰| 五月丁香婷婷色色| 爆乳熟女一区二区三区爆乳| 色婷婷五月综合色婷婷| 97碰碰免费.视频| www.久久久久| 六月激情婷婷| 激情www| 思思热视频在线观看| oVV4WIB3vFi8D| 武则天精品久久| 午夜色丁香| 五月天操逼激情| 色色色色综合| 五月婷色| 思思精品视频| 五月婷色| 亚洲成人在线播放| 小视频久久久aaa| 天天做天天爱天天爽综合网| 色婷婷社区| 六月天六月婷| 国产五月婷| 美女天天久久| 99热这是里只有精品| 五月色色色| 久久伦乱| 婷婷丁香五另类网站| 婷婷色色欧美| 久久久宗合| 午夜福利8055| ′久久99一| 中文在线视频久9| 91在线精品一区二区| 中文字幕乱码亚洲精品一区| 亚洲成人在线在线| 丁香五月激情啪啪啪| 97操在线| 五月丁香最新| 色婷婷免费视频| 26uuu精品一区二区| 9视频1在线| 99热第一页| 色偷偷人人| 九九色video| 亚洲永远av在线播放| 五月四色激情| 久久天堂婷婷五月| 在线另类视频| 91免费在线视频6| 天天做天天爱天天爽在| 婷婷丁香激情| 综合久久99| 激情九九六月激情免费视频| 亭亭五月色男人| 99亚洲精品视频| 婷婷综合久久| 97超喷视频在线观看| 国产色色小草视频| 九九久久五月天综合伊人| 婷婷久久久| A一级操| 五月婷丁香久久久| 婷婷五月激情六月| 五月天婷婷在线播放| 天天操天天插| 一级性感毛片| 五月天激情综合在线| 久久国产精品乱子伦_靑青草…| 中文字幕丁香五月| 天天做天天爱天天爽综合网| 久久性爱视频网站| 色五月色开心开心五月| 婷婷伊人久久| 六月天丁婷婷| 丁香五月婷婷AV| 亚洲人妻av| www.色色色com| 操逼综合网| 无码人妻电影| 开心激情站婷婷五月天| 久久性视频| 欧美顶级少妇做爰HD| 亚洲综合碰| 日本欧美在线| 丁香六月婷婷综合欧美| 涩综合婷婷| 大香伊人久色| 99热啪啪| 涩综合婷婷| 婷婷五月影院| 98永久精品| 激情综合网婷婷久久| 婷婷五月天激情免费在线观看| 性爱网五月天| 青青久久五月天丁香婷婷| 色婷婷操逼| xxx日本东京热| 亚洲成人中心| 热99色| 操人91| 色色综合视频| 久热超碰| AV在线资源| 激情婷婷五月基地| 欧美搡BBBBB摔BBBBB| 综合激情专区| 综合五月激情网| 成片免费播放| 久久视频婷婷| 九九久热| 久久99最新地址| 综合激情在线视频| 丁香婷婷基地| 欧美日韩婷婷五月天| 久久久久这里都是精品| 影音先锋91| 久久艹 五月天| 久久六月天| 深夜A片| 五月丁香久久| 日本久久精品| 色婷丁香| 亚洲天堂大香蕉| 五月丁香婷在线| 五月天伊人| 天天操天天曰天天射| 色播丁香婷婷五月激情| 麻豆AV一区二区三区| 色99视频| 99精品热视频| 9999热在线免费观看| 都市激情小说婷婷| 婷婷狠狠干| 台湾综合丁香五月蜜桃| 天天插天天插| 97人人操| 国产一区18| 东北婷婷五月天| 五月激情站| 婷婷色在线视频| 天天舔天天摸天天透| 亚洲欧美成人在线| 色欲操| 婷婷久久五月丁香| 伊人激情综合网| 五月综合久久| 99热99精品| 欧美狠狠色| 国产精品成人网站| 天天日天天插| 色综合中文| 9+1视频网址| 狠色狠色狠狠色综合网| 婷婷久久免费| 日本综合99| 五月婷婷啪啪啪| 99热日本| 无码色色色色色| 9 7总站超级碰免费视频| 日本久久婷婷| 婷婷五月天狠狠搞干| 五月天社区| 99九九热播在线免费视频| 色婷婷综合久久久久| 婷婷五月天性| 五月丁香久久网| 九九热在线视频观看免费10| 久久久久久久久久久-久五月天婷婷| 五月天婷婷影院| 艹| 日本久久精品| 日韩在线观看亚洲| 9 大屁股在线视频精品| 这里只有精品96| 丁香色色网| 99网| 婷婷五月花西瓜| 久久国产性爱A V| 色99自拍| 人人综合久| 9999热在线| 午夜婷婷| 极品人妻VideOssS人妻| 色色丁香婷婷| 亚洲午夜视频| 97碰| 97色久| 天天噜| 色欲AV导航| 爱草视频在线| 亚洲成人免费电影| 久婷五月| 97福利视频| 97精品欧美91久久久久久久| 亚洲丁香婷婷丁香五月天激情| 五月婷婷丁香综合| 色五月天中文字幕| 开心五月丁香综合久久| 深爱激情九九五月天| 五月丁香六月久久| 婷婷五月激情热播| 色色亚洲无码| 激情婷婷丁香色五月综合| 五月婷婷六月丁香免费| 婷婷,五月天,丁香,第一| 久久九区| 激情视频婷婷五月花| 激情文学久久| 熟女人妻一区二区三区免费看| 久久婷婷热| 99热免费观看| 激情四射网| 综合另类视频| 中文激情网| 久久久久久久人妻| 97超碰免费超级在线观看| 色色色欧美| 99精品久久| 久热超碰| 一级内射毛片| 丁香五月天.com| 狠狠爱激情网| 五月丁香少妇A| 色情播放| 99性视频| 婷婷激情五月| 国产av一区二区三区| 五月天丁香久久综合| 91人妻人人操| 14色综合婷婷| 丁香久色| 色播五月| 丁香五月综合| 久久久久久久久久久久久久久久久精典| 亚洲天堂AV综合网| 性欧美日本| 天天干,天天舔| tingting五月天亚洲| 丁香六月激情蜜桃| 激情人妻综合| 国产成人精品一区二三区熟女在线| 99色爱| 狠狠色中色| 六月丁香停| 亚洲五月丁香综合网| 亚洲乱码成人| 91碰在线| 两性婷婷丁香五月| 久久婷婷网| 婷婷另类开心| 99热精品在线观看| 精品欧美性爱超级爽| 少妇婷婷五月天| 色热久资源| 色婷五月| 色色色热热热| 男人天堂AV在线一区二区| 97碰碰人人| 丁香婷婷色五月天| 99在线免费视频| 日本97在线看片| 欧韩性爱| 欧美大香蕉视频| 字幕网AV中文字幕| 中文字幕婷婷| 五月天亭亭俺也| 天天干天天做| 六月婷基地| 亚洲综合干| 偷拍91九色| 中文字幕无码AV| 九洲一级A片| 婷婷五月伦理| 久久婷婷伊人| 天天久久狠狠色综合| 激情小说 五月天| 五月激情小说网| 在线综合91| 婷婷色5月天在线。| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99精品视频在线| 91超碰九色| av在线观看网址| 五月天激情婷婷五月天久久| 狠狠干狠狠色| 视频综合网| 婷婷丁香97| 888久久久| 久久色五月天综合网| 色玖玖| 国产脫衣舞一区二区三区| 婷婷丁香色情| 丁香婷婷综合影院| 精品A√| 婷色天堂| 战争与艾拉电影免费观看| 色啪网| 久热视频A.| 五月婷丁香| 欧美97色| 天天干天天干天天操| 97色婷婷五月天| 综合五月天| 71在线精品视频一区| 少妇达人正片在线播放_ikun_福利吧| 99热黄| 日日操人人操| 亚洲国产成人AV在线| 激情综合六月| 超碰色人妾| 六月丁香综合| 男人的天堂五月丁香| 99色综合| 久久激情五月| 狠狠操狠狠插| 亚洲另类婷婷五月综合| 欧美五月婷婷综合| 深爱婷婷网| 2017人人操| 五月丁香无码| 天天综合色丁香| 九九无码| 91wwmm导航| 亚洲AVDVD| 超碰人人超碰| 激情文学天天| 1级欧美日韩| 婷婷久久丁香| 激情综合色| 九九热精品| 五月婷婷狠狠干| 欧美婷婷丁香五月| 色吧综合网| 99er免费在线观看| 久久亭亭电影| 色综合天堂| 久久三级视频| 亚洲精品字幕在线观看| 思思热在线免费视频| 婷婷五月欧美AA片免费| 这里只有精品视频| 色婷婷内射| 日韩AV中文在线观看| www,99热| 伊人婷婷综合| 成人性爱无码| 国产亚洲精品久久久久久郑州| 中文乱子伦视频| 国产精品人成A片一区二区| 插少妇综合网| 欧美性猛交XXXX乱大交极品| 五月开心色| 99视频久久| 综合久| 极品人妻videosss人妻| 婷婷五月丁香花综合| 久色视频| 人人操五月天| 综合丁香婷婷五月天| 日本婷婷色| 美欧日韩国产成人在战| 天天成人综合| 久热中文字幕| 91色综合网站在线| 这里只有精品视频| 五月花在线观看视频| 激情五月天色色网| 婷婷色基地在线看 | 2025天天日爽| 99这里只有精品在线| 久操人| 亚洲精品无码一区二区| 欧美精品18| anquye伊人| 精品99在线看| yirenjiqingshiping| 天天插综合网| 91色在线 | 日韩| 涩五月丁香| 激情婷婷色色| 久久五月天丁香花| 丁香五月激情图片婷婷| 五月天六月色| 91丁香五月| 99热这里只有精品无码| 99热色无码| www.久久爱.com| 狠狠狠人妻| 九九热AV| 久久久久久久久久91| 9热成人在线视频| 天天日夜夜拍| 婷婷久月| 婷婷五月天美女视频| 狠狠大香婷婷爱| AV成人在线播放| 91碰免费视频| 深夜婷婷 丁香| 一本色道久久综合狠狠躁小说| 五月婷婷中文字幕AV| 成人精品99| 丁香婷婷六月天| 久热这里只有精品在线观看 | 五月激情网五月综合网| 色很很96| 婷婷欧美色| 色啪影院| 六月丁香激情综合网| 97碰| 99热这里都是精品| 91丁香五月| 丁香五月手机视频| 亚洲精品九九| 69精品人妻不卡视频| 久久五月丁香综合| 九九九九九九九九九九九九九九九九九九九在线视频 | 久热久色| 欧美99热| 日日操,日日爽| 六月激情婷婷色| 99这里只有精品视频在线| 91五月天| 亚洲射激情| 亚洲无码成人性爰网| 中出内射的人妻视频| 天天干-天天日| 亚洲女婷婷五月基地综合久久久| 久色五月| 《蜘蛛女》梁铮1995| 囯产精品久久欠久久久久久九大| 婷婷丁香18| 97色在线观看视频| 91久热| 性一交一乱一交A片久| 丰满少妇乱A片无码| 国产亚洲精品AAAAAAA片| 久草丁香婷婷1024| 免费观看高清无码| 97婷婷狠狠| 99热综合在线| 。久久久久久久久久久久久久人妻| 婷婷五月天成人综合网| 91丨九色丨白浆| 狠狠操综合| 日韩无码成人电影| 色婷婷亚洲综合网站| 亚洲婷婷丁香五月| 婷婷五月丁香五月| 婷婷九月亚洲| 九九激情视频| 亚洲激情亚洲激情| 玖玖资源网站最新站| 色婷婷狠狠18| 成人丁香五月| av在线免费播放观看| 婷综合六月| 婷婷五月天堂| 久久一二三视频| 婷婷激情社区| 婷婷在线免费| 在线只有精品| 丁香五月天激情四射网| 亚洲综合激情五月天婷婷| 五月婷婷激情综合拍| 激情五月天综合网| 黄桃AV无码免费一区二区三区| 人妻视频一区而且二区| 丁香五月成人| 婷婷五月天在线观看第二页| 久久婷婷五月| 中文字幕高清av| 91人妻色色网| 99爱在线观看视频| 丁香五月手机在线| 午夜日韩久久久网站| 5月激情天| 婷婷五月六月丁香| 国产亚洲精品AAAAAAA片| 97色啪| 日本ww亚洲| 亚洲超碰在线| 亚洲AV电影美洲AV电影| 婷婷中文字幕| 丁香婷婷激情五月天无毒不卡蜜桃| 婷婷金品综合视频| 五月天婷婷色情| 26UUU欧美激情一区二区| 亚洲综合99| 久久久久久99日本| 天天插天天日天天爽| 国产.亚洲.欧洲视频在线| 人碰人人人玩91| 怕怕視頻| 久9视频| 9|在线观看视频| 五月丁香拍拍激情综合| 色情五月丁香| 精品99在线| 97婷婷五月天| 国产全是老熟女太爽了| 久久机热这里只有精品免费视频| 欧洲色| 亚洲啪啪精品| WWW.开心五月天.COM| 另类图片五月天| 狠狠操综合| 91一起艹| 日本高清久| 类似婷婷激情综合网站| 欧美高潮9| 无码人妻一区二区三区免费九色| 无码日本精品XXXXXXXXX| 婷婷五月天丁香| 99噜噜| 伊人久久大香线蕉亚洲五月天,| 五月丁香婷婷五月色| 五月天婷婷色综合| 超碰在线成人| 色五月首页| 丁香五月综合婷婷| 99热老网站| 天天色天天射天天日| 色欲婷婷五月天丁香| 五月丁香综合影院| 日本高清综合网五月丁香| 五月天婷婷涩涩| 色XX综合网| 99人妻碰碰碰久久久久| 色五婷婷开心缴| 激情婷婷九月| 色婷婷888| 色婷婷香蕉| 这里只有精品免费视频| 99re在线精品视频| 丁香五月久久| 激情小说五月天| 91久久久久久久| 就爱啪啪婷婷| 精品无码色| 五月天精品视频| 色99视频| 亚洲精品无码一区二区| 五月婷婷伦理| 久久5 9视频免费观看| 思思99re这里只有| 色 噜噜 九月 婷婷| 五月婷婷在线免费| 久久久99久久| 欧美日韩成人在线| 五月婷久久在线| 日本偷拍九九九| 99ri视频在线播放| 久久98| 天天色情站| 婷婷五月天论坛| 婷婷五月色惰| 五月婷婷综合网| 这里只有国产精品在线| 色婷婷aV四虎| 色五月综合激情| 99在线观看免费精品视频| 99riAV成人在线视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月婷婷激情综合| 小视频一区 | 天天色色天天| 丁香五月天激情小说| 91丁香| 婷婷五月天伊人网| 九九精品视频在线6| 五月丁香激情综合啪啪| 无码免费人妻A片AAA毛片西瓜| 99热亚洲精品66| www.久久爱| 丁香综合日产精品久久| 另类激情五月| 亚洲女婷婷五月基地综合久久久| 97极品在线| 国产精品人成A片一区二区| 99热只有这里有精品| 亚洲色五月| 久久国产AV| 五月丁香久久| 久碰婷婷视频| 五月丁香人人婷婷在线观看| 日本色天堂| 香蕉97碰碰碰欧美| 久久久五月天| 婷婷色色欧美| 日韩一区二区三区无码| 2017人人操| 91碰碰视频在线观看| 婷婷综合色色| 综合网亚洲| 狠狠久久婷五月综合色| 九九精品自拍| 青青久久五月| 中字幕视频在线永久在线观看免费 | 色婷婷五月天小说网| 欧美内射AA| 91九色PORNY中文啦| 中文字幕丰满孑伦无码专区 | 五月婷婷免费在线| 婷婷五月激情视频网| 日本人妻伦在线中文字幕| 操操自拍| 五月色婷婷综合| 午夜美女人啪最红院| 久久五月天视频| 日本久久久97| 欧美成人AAA片一区国产精品| 99热天堂| 激情五月丁香婷婷| 亚洲综合狠狠艹| 色综合天天网| www超碰| 91丁香五月| 丁香五月综合无码趴趴| 久久婷婷丁香花综合网| 国产特级毛片AAAAAAA高清| AV操逼网| 丁香五月区| 草五月| 亚洲天堂aaaa| 久久欧洲综合网| 色五月激情基地| 高潮毛片遮挡费高一百度| 狠狠干婷婷| 日本高清久| 丁香五月婷婷激情四射| 综合网网欲色| 欧美在线视频9| CAoub青青超碰| 色色色色色色色五月| 综合久久激情久久| 成人av在线网| 99婷五月| 91色性感五月婷婷丁香| 婷婷丁香熟女| av中文字幕免费观看| 国产婷婷婷| 国产亚洲成AV人片在线观黄桃| 99精品国产在热久久| 亚洲欧美在线观看| 欧美美女视频| 日本美女97在线视频| 色综合激情图区| 色综合色综合色综合| 爱iii做iiii日日| 99热一本久道| 91色吧网| 99在线精品观看99| 快乐激情五月色婷婷| www.sd-xiangsu.cpm| 久9精品视频| 欧美性二区| 五月丁香激情婷婷综合字幕| 啪啪干伊人婷婷| 韩国久久少妇视屏| 这里只有精品免费 | 日日干日日| 思思re99视频在线观看| 玖玖色综合| www.99热国产| 欧美婷婷九月| 色狠狠综合网| 久色成人| 激情五月色综合| 五月色丁香| 婷婷五月综合激情| 亚洲成人在线播放| 99热在线观看| 天天做天天爱| 超碰成人av| 99精品在线| 亚洲欧洲另类图片| 五月婷婷久久久久| www色婷婷久久综合久色| 久久精品小视频| 久久久免费精彩视频| 中美日韩成人在线| 久久人妻少妇嫩草AV| WWW、日本色丁香、co m| 91seav| 狠狠擼综合| 天天干狠狠| 99热这里都是精品| a级毛片一区二区免费视频| 91丨九色丨白浆秘| 亚洲五月六丁香激情| 99爱视频| 天天婷婷综合亚洲亚洲| 五月天大香焦| www.99热日韩.com| 日夜夜久久| 99在线免费观看| 99爱在线| 婷激情五月天视频导航| 99精品免费欧美小视频| 精品人妻一区二区三区四区不卡在| 伊人大综合| 天天搡日日搡aaaaⅩ| 色婷婷亚洲在线| 国产9色在线/日韩| 中文字幕丰满乱孑伦无码专区 | 国内精品99| 色综合久久久久| 欧美一级操逼视频| 五月天开心网| 玖玖婷婷色五月| 99这里只有精彩视频| 91色在线/日韩| 婷婷六月丁综合| 香蕉婷婷色五月| 久久丝袜婷婷| 综合欧美五月婷婷| 午夜理论片最新午夜理论剧| 91九色欧美| 99热10在线高清播放| 亚洲激情淫网| 色婷婷88| CAoub青青超碰| 丁香六月视频免费观看| 97人妻碰碰中文无码久热丝袜| 五月天婷婷涩涩| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 亚洲色情网站| 丁香五月狠狠综合欧美| 婷婷五月天激情综合| 99艹精品在线观看| 欧美婷婷六月丁香综合色连续高潮抽搐| 99热久| 久久91久久精品久久| 欧日韩AV| 四虎成人精品永久免费AV九九| 五月婷婷丁香网| 午夜婷婷五月天| 日日夜夜青青草| 深爱丁香激情| 五月丁香六月激情在线| 14色综合婷婷| 日本VA视频| 新激情婷婷| 操人妻90p| 天天日天天爽| 六月丁香视频网站| 99九九久久| 五月丁香精品| 99免费视频| 91 原创 在线 九色| 日本婷色| 99色在线免费观看视频| 丁香五月Av| 丝雨一区二区| 天天色综网| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 色色色.COM| 五月天丁香婷婷网| 99精品视频免费观看,| 久久久久网站| 激情婷婷丁香五月天| 久久婷婷网| 亚洲情色一区| 色情五月综合婷婷| 欧美色宗和激情| 香蕉婷婷五月| 色一色综合| 综合六月激情婷婷| 色婷婷丁香花五月天| 青青草日本亚洲| 婷婷五月天天| 天天日日夜夜爽。| 色婷婷91| 五月丁香六月色| 九九九色综合| 色五月天在线观看| 五月天·www·com| 精品一区久热| 思思re99视频在线观看| 玖玖婷婷色| 丁香婷婷六月天| 天天玩夜夜操天天爽| 亚洲国产精品二二三三区| 思思久久96热在精品国产,| 蜜臀av 粉嫩av 懂色av | 999热这里只有精品| 五月婷伊人| 激情婷婷丁香| 天天爽天天爽| 99色色热| 亚洲第一成人无码A片| 可以直接看的AV| 日韩在线观看亚洲| 日本99视频| 婷婷精品综合| 五月婷六月| 无码激情AAAAA片-区区| 婷婷五月天另类网站| 99在线视频资源| 天天日夜夜爽| 亚洲国产色色| 久久婷婷亚洲| 色一色综合| 九九成人视频| 五月天无码视屏播放| 欧美黄色一级| 婷婷伊人中文字幕| WWW.开心五月天.COM| 欧美色色日韩| 丁香婷婷久久| 五月五丁香婷婷| 久99热在线观看| 日产精品一线二线三线芒果| 六月色播| 男人天堂亚洲综合| 看全色黄大色大片| www.狠狠| 99热99精品| 狠狠色婷婷六月激情网| 日韩精品超碰在线观看| 亚洲成人AV高清字幕| 天天日 天天草| 婷婷综合成人五月天| 在线天堂9| 欧美日韩成卜| 五月丁香啪啪| 极品另类| 99热这里只有精品33| 婷婷亚洲综合| 九九热123| 99热这里只有精品55| 狠狠穞A片一區二區三區| 综合五月天亚洲婷婷| 久久婷婷综合国产| 婷婷操无码| 丁香六月婷婷久久综合| 天天天天操| 丁香婷婷久久老熟女综合网| 97精品综合久久| 色五月婷婷五月天激情综合| 丁香六月情| 婷婷内射视频在线| 婷婷十月激情综合网| 综合五月草| www狠狠| 亚洲欧洲午夜成人精品av| 亚洲日韩成人三级av| 五月天婷婷久久| 99在线热| 日韩三级高清无码| 婷婷综合网站| 性爱电影科技贸易有限公司| 超碰91av| 久操干| 婷婷成人在线| 久久五月婷综合| 风流少妇A片一区二区蜜桃| 色综合激情| 人妻啪啪啪| 五月婷婷在线播放| va婷婷在线免费观看| 久色视频首页| 激情综合网婷婷久久| 狼人久草| 久久久激情视频| 亚洲AV人人操| 99内射视频| 狠狠se| 六月婷婷九月丁香| 永久天堂日本| 日本操B片| 久久久久久久久久久久久久久久久精典| 丁香五月婷婷基地| 久久99热这里只频精品6学生| 91一起操| 日韩啊啊啊| 99热自拍| 99精品偷自拍| 北京熟妇搡BBBB搡BBBB| 风流少妇A片一区二区蜜桃| 亚洲亚洲人成综合网络| 深爱五月天| 成人国产欧美大片一区| 六月成人网| 午夜天堂一区人妻| 婷婷99视频在线| 高清a片基地| 亚洲六月综合激情久久下卡| 色天使久久综合| 日本少妇AA一级特黄大片| 在线日本www| 人操人人| 综合久久综合久久| 九九碰九九爱97超| 久色视频在线| 久久久五月激| 五月丁香婷婷激情澎湃四射| 五月天激情小说欧美激情| 婷婷五月天天爽| 操逼六区| www.五月天| 五月天综合在线网| 色婷婷丁香AV综合| 99人人操人人爱久久久| 五月婷婷综合激情| tingtingjiqingwuyue| 奸逼视频| 深爱五月婷婷| 99热资源在线| 久久久久er热| 狠狠干最新地址| 天天干天天曰天天射| 天堂久久婷婷| yazhou seshipin| 丁香五月亚洲| 性热视频99精品| 我爱大香蕉| 五月色情婷婷| 狠狠人妻色综合| 婷婷伊人激情婷婷| 中文av网| 操一区| 玖玖婷婷色欲| 欧美色色色色色色色色色色| 97碰碰人人| 婷婷丁香午夜综合影视| 九九99久久| 色5月婷婷| 91九色PORNY肉丝在线| 久久婷狠狠色| 五月天俺去也| 色插综合网| 天天爽综合网| 中美日韩成人在线| 99精品国产乱码久久久人妻| 丁香五月婷婷亚洲另类| 婷婷99狠狠| 婷婷丁香激情综合色情| 人妻内射视频| www99精品日韩| 香蕉久久国产AV一区二区| 五月涩涩网| 99热手机在线精品| 五月激情小说| 色婷婷88| 九九色热视频| 成人午夜无码视频| 国产AV网页| 六月丁香婷婷亚洲中文玖玖| 久久精热| 国产精品涩涩涩视频网站| 区美毛片子| 色五月丁香伊人| 26UUU欧美| 久久精品99久久久久久久久| 天天做天天要天天爽| 热99在线精品| 九九色插| 亚洲综合干| 色久天| 色站9/| 亚洲性图一区二区| 亚洲另类在线观看| 99久久精品国产色欲| 伊人9999| 国产成人精品亚洲线观看| 99re在线精品视频| 伊人久久丁香婷婷六月五月综合| 色无码| 五月婷啪| 六月婷婷久久大全| 激情婷婷丁香五月| 成人操呦av| 欧美色图天堂网| 丁香婷婷五月人体| 五月天婷网| 狠狠精品干练久久久无码中文字幕| 丁香五月AV| 久久婷婷五月| 日韩精品VIP| 天天干天天干天天干天天干天天干天天干天天 | 丰满少妇猛烈A片免费看观看| 久久婷婷久久| 激情五月婷婷五月| ww超碰在线| 涩涩婷婷五月| 黄色视频网站在线播放| 天天色综合色| 专区无日本视频高清8| 五月丁香婷婷综合久久| 九九99热久久精品66中文字幕| 大香伊人婷婷| 午夜不卡成人一区二区| 五月天婷婷激情| 99久久这里只有精品免费官网| 欧美色色色色色| 91婷色| 激情久久久久| 日本九九九九| 色五月AV| 亚洲色情久久| 九九Av| 丁香五月网| 色啦啦视频|