欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

電影推薦系統(tǒng)實(shí)戰(zhàn):基于MovieLens的協(xié)同過(guò)濾與內(nèi)容推薦

電影推薦系統(tǒng)實(shí)戰(zhàn):基于MovieLens的協(xié)同過(guò)濾與內(nèi)容推薦 簡(jiǎn)介推薦系統(tǒng)是解決信息過(guò)載的核心技術(shù)之一在電商、視頻、音樂(lè)等場(chǎng)景中無(wú)處不在。協(xié)同過(guò)濾作為最經(jīng)典的推薦算法通過(guò)分析用戶行為或物品關(guān)聯(lián)來(lái)預(yù)測(cè)偏好而基于內(nèi)容的推薦則利用物品特征實(shí)現(xiàn)無(wú)需歷史行為的推薦。兩者各有優(yōu)劣也面臨冷啟動(dòng)、數(shù)據(jù)稀疏等工程挑戰(zhàn)。本文以Python為工具基于公開的MovieLens評(píng)分?jǐn)?shù)據(jù)系統(tǒng)講解從數(shù)據(jù)預(yù)處理、相似度計(jì)算到評(píng)分預(yù)測(cè)與Top-N推薦的完整實(shí)現(xiàn)路徑并對(duì)比用戶協(xié)同過(guò)濾、物品協(xié)同過(guò)濾與內(nèi)容推薦三種算法的適用場(chǎng)景。同時(shí)結(jié)合評(píng)估指標(biāo)和調(diào)參經(jīng)驗(yàn)討論近鄰選擇、均值中心化等關(guān)鍵細(xì)節(jié)幫助讀者搭建一個(gè)可運(yùn)行的離線推薦Demo為實(shí)際業(yè)務(wù)中的算法選型與優(yōu)化提供參考。 把一套能跑通的Python電影推薦系統(tǒng)代碼整理出來(lái)是我做這個(gè)項(xiàng)目最有收獲的一件事。這套系統(tǒng)基于公開的MovieLens電影評(píng)分?jǐn)?shù)據(jù)實(shí)現(xiàn)了基于用戶的協(xié)同過(guò)濾、基于物品的協(xié)同過(guò)濾和基于內(nèi)容的推薦三種經(jīng)典算法并且附帶完整的評(píng)估流程和參數(shù)調(diào)優(yōu)記錄。它能解決的實(shí)際問(wèn)題很明確當(dāng)你有一份用戶對(duì)電影的評(píng)分記錄時(shí)如何給某個(gè)用戶推薦他還沒(méi)看過(guò)的、大概率他會(huì)喜歡的電影。不論你是剛?cè)腴T推薦系統(tǒng)的學(xué)生還是想在公司內(nèi)部快速搭建一個(gè)離線推薦Demo的工程師這篇文章里的代碼和踩坑經(jīng)驗(yàn)都能直接復(fù)制使用。項(xiàng)目本身不算復(fù)雜但想把“推薦效果”調(diào)到一個(gè)看得過(guò)去的水平還是有不少細(xì)節(jié)值得琢磨。比如相似度算法選皮爾遜還是余弦、評(píng)分預(yù)測(cè)時(shí)要不要做歸一化、近鄰數(shù)量k取多少合適這些參數(shù)對(duì)結(jié)果的影響比想象中大得多。我下面會(huì)從整體設(shè)計(jì)思路開始逐步拆解每一部分代碼再分享實(shí)際運(yùn)行中遇到的典型問(wèn)題和排查方法。1. 項(xiàng)目整體思路與推薦算法選型1.1 推薦系統(tǒng)的核心問(wèn)題與兩類主流解法推薦系統(tǒng)本質(zhì)上回答一個(gè)問(wèn)題用戶u對(duì)物品i的偏好程度是多少。這個(gè)“偏好”在電影場(chǎng)景里通常體現(xiàn)為評(píng)分但在實(shí)際業(yè)務(wù)中也可以是點(diǎn)擊、收藏、加購(gòu)、觀看時(shí)長(zhǎng)等隱式反饋。評(píng)分高低直接決定是否把這部電影放進(jìn)推薦列表所以推薦系統(tǒng)的核心就是預(yù)測(cè)用戶對(duì)未交互物品的評(píng)分。主流解法分成三派基于內(nèi)容的推薦、協(xié)同過(guò)濾、混合推薦。協(xié)同過(guò)濾又分成基于用戶的(User-based CF)和基于物品的(Item-based CF)兩種?;趦?nèi)容的推薦思路最簡(jiǎn)單——把電影的特征類型、導(dǎo)演、演員、標(biāo)簽變成向量用戶喜歡什么特征的電影就推相似特征的電影。協(xié)同過(guò)濾不談內(nèi)容只看行為跟你口味相似的人喜歡什么電影就推給你或者某部電影被和你類似的人喜歡過(guò)就推給你。這個(gè)項(xiàng)目之所以三種都做不是為了炫技而是因?yàn)樗鼈冊(cè)谡鎸?shí)場(chǎng)景里各有短板?;趦?nèi)容的推薦解決不了“用戶口味跨類型”的問(wèn)題比如一個(gè)用戶只看過(guò)動(dòng)作片系統(tǒng)永遠(yuǎn)給他推動(dòng)作片不會(huì)發(fā)現(xiàn)他也喜歡溫情文藝片因?yàn)閮?nèi)容特征上沒(méi)有任何關(guān)聯(lián)。協(xié)同過(guò)濾則受冷啟動(dòng)困擾新用戶沒(méi)有任何行為數(shù)據(jù)新電影沒(méi)有任何人評(píng)分CF直接失效。把三種方法放在一起對(duì)照實(shí)現(xiàn)你能直觀感受到各自的適用邊界這也是我建議初學(xué)者不要只跑通一個(gè)模型就停下來(lái)的原因。1.2 為什么選MovieLens數(shù)據(jù)集與環(huán)境準(zhǔn)備項(xiàng)目采用MovieLens公開數(shù)據(jù)集準(zhǔn)確說(shuō)是ml-latest-small版本包含600多名用戶對(duì)9000多部電影的約10萬(wàn)條評(píng)分記錄。選它有幾個(gè)實(shí)際考慮數(shù)據(jù)量適中內(nèi)存占用低普通筆記本秒級(jí)跑完評(píng)分范圍固定為0.5到5.0的整數(shù)或半步做回歸預(yù)測(cè)時(shí)方便計(jì)算誤差每條評(píng)分都帶時(shí)間戳比分重復(fù)問(wèn)題少適合做時(shí)間維度上的切分驗(yàn)證。環(huán)境方面只需要Python 3.8以上依賴pandas、numpy、scikit-learn三個(gè)庫(kù)。有一個(gè)需要提前說(shuō)明的坑不要一上來(lái)就裝最新版scikit-learn有些舊代碼里調(diào)用的接口在新版本中改名了比如sklearn.model_selection.train_test_split在很老的項(xiàng)目里寫作sklearn.cross_validation如果你復(fù)制了網(wǎng)上的歷史代碼就會(huì)直接報(bào)錯(cuò)。推薦在項(xiàng)目目錄里用虛擬環(huán)境管理依賴python -m venv rec_env source rec_env/bin/activate # Windows下執(zhí)行 rec_env\Scripts\activate pip install pandas numpy scikit-learn評(píng)分?jǐn)?shù)據(jù)雖然干凈但也不要跳步直接建模。每一步前先用df.head()、df.info()、df.describe()掃一眼數(shù)據(jù)結(jié)構(gòu)能省掉后面大量排查時(shí)間。這部分代碼是整個(gè)項(xiàng)目的地基地基歪了后面全白干。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理細(xì)節(jié)2.1 數(shù)據(jù)加載與格式說(shuō)明MovieLens數(shù)據(jù)解壓后核心是三個(gè)文件ratings.csv用戶ID、電影ID、評(píng)分、時(shí)間戳、movies.csv電影ID、標(biāo)題、類型、tags.csv用戶打標(biāo)記錄。其中用戶ID和電影ID都是整數(shù)電影類型用豎線分隔的多個(gè)標(biāo)簽表示比如“Action|Adventure|Sci-Fi”。加載代碼非常簡(jiǎn)單import pandas as pd import numpy as np ratings pd.read_csv(ratings.csv) movies pd.read_csv(movies.csv) print(ratings.shape) print(ratings.head()) print(ratings[rating].describe())但這里就有一個(gè)容易被忽視的細(xì)節(jié)原始數(shù)據(jù)里的UserId不是連續(xù)的有的用戶ID從1開始跳過(guò)好幾個(gè)數(shù)MovieId也不是100%連續(xù)的。如果直接拿原始ID當(dāng)數(shù)組索引后面構(gòu)建用戶-物品矩陣的時(shí)候會(huì)留出大量空洞。標(biāo)準(zhǔn)做法是把UserId和MovieId重新映射成從0開始的連續(xù)整數(shù)索引user_ids ratings[userId].unique() movie_ids ratings[movieId].unique() user2idx {uid: i for i, uid in enumerate(user_ids)} movie2idx {mid: i for i, mid in enumerate(movie_ids)} ratings[user_idx] ratings[userId].map(user2idx) ratings[movie_idx] ratings[movieId].map(movie2idx)這一步做完后面構(gòu)造稀疏矩陣、做矩陣運(yùn)算都會(huì)簡(jiǎn)單很多。順便說(shuō)一句構(gòu)造映射字典用enumerate很順但不要用dict(zip(...))去映射時(shí)忘記去重否則重復(fù)ID會(huì)覆蓋映射導(dǎo)致錯(cuò)位。2.2 數(shù)據(jù)清洗與探索性分析數(shù)據(jù)清洗這一步看起來(lái)可有可無(wú)但實(shí)際做推薦系統(tǒng)時(shí)數(shù)據(jù)質(zhì)量直接決定效果上限。我做完加載后一定會(huì)檢查以下幾項(xiàng)是否有空值ratings.isnull().sum()有則直接丟棄對(duì)應(yīng)行。是否有重復(fù)記錄同一用戶對(duì)同一電影出現(xiàn)多次評(píng)分可能是采集端沒(méi)合并會(huì)影響訓(xùn)練和評(píng)估需要去重。評(píng)分分布是否合理打印value_counts()看每個(gè)分?jǐn)?shù)檔位的數(shù)量如果大量集中在5分說(shuō)明用戶打分習(xí)慣偏好極端做均值歸一化時(shí)要留意。給一段我當(dāng)時(shí)用的探索性分析代碼print(ratings[rating].value_counts().sort_index()) print(用戶數(shù):, ratings[user_idx].nunique()) print(電影數(shù):, ratings[movie_idx].nunique()) print(平均每用戶評(píng)分?jǐn)?shù)量:, ratings.groupby(user_idx).size().mean()) print(平均每電影獲得評(píng)分?jǐn)?shù)量:, ratings.groupby(movie_idx).size().mean())這些統(tǒng)計(jì)數(shù)字能幫你判斷數(shù)據(jù)稀疏程度。如果你的評(píng)分?jǐn)?shù)據(jù)里平均每個(gè)電影只有幾十條記錄那么基于物品的協(xié)同過(guò)濾會(huì)比基于用戶的表現(xiàn)更穩(wěn)定因?yàn)槲锲穫?cè)的數(shù)據(jù)通常更集中。實(shí)際跑下來(lái)MovieLens這個(gè)數(shù)據(jù)集的稀疏度大約是0.016也就是用戶-物品矩陣中只有1.6%的位置有值這在推薦領(lǐng)域已經(jīng)算相當(dāng)“稠密”了真實(shí)業(yè)務(wù)里的稀疏度經(jīng)常是0.1%以下。3. 基于用戶的協(xié)同過(guò)濾實(shí)現(xiàn)3.1 相似度算法選擇皮爾遜還是余弦基于用戶的協(xié)同過(guò)濾核心是計(jì)算用戶之間的相似度。最常用的兩種指標(biāo)是皮爾遜相關(guān)系數(shù)和余弦相似度。兩者公式上高度相關(guān)但行為有細(xì)微差別。余弦相似度衡量的是兩個(gè)向量的夾角不關(guān)心向量長(zhǎng)度皮爾遜相關(guān)系數(shù)在余弦之前先對(duì)每個(gè)用戶的評(píng)分做了中心化減去該用戶自己的平均分所以它能夠消除用戶評(píng)分尺度差異的影響。舉個(gè)例子用戶A打分區(qū)間是3到5用戶B打分區(qū)間是1到5兩人對(duì)共同看過(guò)的電影偏好順序完全一致。用余弦相似度算出來(lái)的值會(huì)被A的“高分習(xí)慣”拉低但皮爾遜相關(guān)系數(shù)能識(shí)別出兩人口味一致因?yàn)锳的3分可能就等于B的5分。這個(gè)例子非常經(jīng)典也是我強(qiáng)烈建議在評(píng)分場(chǎng)景里優(yōu)先選皮爾遜的原因。代碼實(shí)現(xiàn)上可以用pandas的corrwith向量化處理也可以用scipy的pearsonr。但注意直接用corrwith需要先把user-item矩陣的缺失值填成0這種做法會(huì)引入大量“無(wú)評(píng)分”參與計(jì)算數(shù)學(xué)上不正確。正確的做法是只基于兩人共同評(píng)分的電影計(jì)算相似度。這里我直接用numpy實(shí)現(xiàn)一個(gè)高效版本def pearson_sim(a, b): mask (a ! 0) (b ! 0) if mask.sum() 2: return 0.0 a_common a[mask] b_common b[mask] a_centered a_common - a_common.mean() b_centered b_common - b_common.mean() denom np.sqrt((a_centered ** 2).sum() * (b_centered ** 2).sum()) if denom 0: return 0.0 return (a_centered * b_centered).sum() / denom3.2 用戶評(píng)分預(yù)測(cè)與Top-N推薦有了用戶相似度矩陣預(yù)測(cè)用戶u對(duì)未評(píng)分電影i的評(píng)分標(biāo)準(zhǔn)的辦法是找出與u最相似的k個(gè)用戶這些用戶里對(duì)i有評(píng)分的人加權(quán)投票。權(quán)重就是相似度而且實(shí)踐中通常會(huì)做一層歸一化讓相似度權(quán)重落在0到1之間避免負(fù)相關(guān)用戶干擾def predict_rating(user_idx, movie_idx, user_item_matrix, sim_matrix, k20): sim_scores sim_matrix[user_idx].copy() # 排除自己 sim_scores[user_idx] -np.inf top_k_idx np.argsort(sim_scores)[::-1][:k] rated_users user_item_matrix[:, movie_idx] ! 0 neighbors [i for i in top_k_idx if rated_users[i]] if not neighbors: return float(np.mean(user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0])) numerator 0.0 denominator 0.0 for n in neighbors: w sim_matrix[user_idx, n] if w 0: continue r user_item_matrix[n, movie_idx] # 使用不同用戶的平均分做baseline避免用戶打分區(qū)間的偏差 user_mean user_item_matrix[n, :][user_item_matrix[n, :] ! 0].mean() numerator w * (r - user_mean) denominator w if denominator 0: return float(np.mean(user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0])) unbiased_pred numerator / denominator u_mean user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0].mean() return u_mean unbiased_pred這段代碼里有兩個(gè)非常關(guān)鍵的處理第一個(gè)是“只選對(duì)目標(biāo)電影有評(píng)分的近鄰”否則近鄰里沒(méi)看過(guò)這部電影的人會(huì)把預(yù)測(cè)值拉向均值第二個(gè)是“評(píng)分減均值的偏差加權(quán)”這其實(shí)就是皮爾遜思想在預(yù)測(cè)階段的延伸效果比直接加權(quán)原始分?jǐn)?shù)好得多。Top-N推薦就是遍歷某個(gè)用戶所有未評(píng)分電影用上面的函數(shù)預(yù)測(cè)評(píng)分取分?jǐn)?shù)最高的N部電影再和movies.csv聯(lián)表查出標(biāo)題和類型。3.3 完整可運(yùn)行代碼示例把上面兩段組合起來(lái)整個(gè)訓(xùn)練和推薦流程可以收斂成一個(gè)腳本。為了控制在單機(jī)內(nèi)存可承受的范圍這里做一個(gè)簡(jiǎn)化只取評(píng)分?jǐn)?shù)量最多的前100個(gè)用戶和評(píng)分?jǐn)?shù)量最多的前500部電影進(jìn)行實(shí)驗(yàn)這樣既能快速出結(jié)果又不會(huì)把機(jī)器跑掛user_counts ratings[user_idx].value_counts() movie_counts ratings[movie_idx].value_counts() active_users user_counts[user_counts 20].index[:100] hot_movies movie_counts[movie_counts 5].index[:500] sub_ratings ratings[ratings[user_idx].isin(active_users) ratings[movie_idx].isin(hot_movies)] user_item np.zeros((len(active_users), len(hot_movies))) for uid, mid, score in sub_ratings[[user_idx, movie_idx, rating]].values: u_pos list(active_users).index(uid) m_pos list(hot_movies).index(mid) user_item[u_pos, m_pos] score sim_matrix np.zeros((len(active_users), len(active_users))) for i in range(len(active_users)): for j in range(i 1, len(active_users)): s pearson_sim(user_item[i], user_item[j]) sim_matrix[i, j] s sim_matrix[j, i] s這里用雙層循環(huán)算相似度時(shí)間復(fù)雜度O(n^2 * m)對(duì)于小數(shù)據(jù)集沒(méi)問(wèn)題但真實(shí)數(shù)據(jù)集上我不會(huì)這么寫而是改為向量化或分塊并行計(jì)算。運(yùn)行上述代碼時(shí)你會(huì)明顯發(fā)現(xiàn)真正消耗時(shí)間的是兩層for循環(huán)而不是預(yù)測(cè)本身這是純Python實(shí)現(xiàn)協(xié)同過(guò)濾的固有瓶頸后面我會(huì)提怎么優(yōu)化。4. 基于物品的協(xié)同過(guò)濾實(shí)現(xiàn)與對(duì)比4.1 物品相似度矩陣構(gòu)建基于物品的協(xié)同過(guò)濾思路跟基于用戶完全對(duì)稱先算電影之間有多像再推薦“跟你喜歡的電影相似的其他電影”。這里有一個(gè)業(yè)界共識(shí)值得先說(shuō)明現(xiàn)代工業(yè)界里基于物品的協(xié)同過(guò)濾比基于用戶的應(yīng)用更廣泛。原因是用戶的規(guī)模通常比物品大幾個(gè)量級(jí)用戶相似度矩陣是n×n規(guī)模的物品矩陣是m×m規(guī)模的在hotel或電商場(chǎng)景里m遠(yuǎn)小于n計(jì)算和維護(hù)成本低很多。計(jì)算物品相似度時(shí)要把數(shù)據(jù)從“用戶-物品”矩陣轉(zhuǎn)置成“物品-用戶”矩陣。我的代碼里直接用user_item.T即可。注意行數(shù)代表電影每行是這個(gè)電影在各個(gè)用戶處的評(píng)分向量評(píng)分人數(shù)越多的電影其相似度分?jǐn)?shù)越“可信”。4.2 推薦邏輯與兩種CF效果對(duì)比基于物品的推薦邏輯是用戶A評(píng)分5星了電影X系統(tǒng)找出與X最相似的10部電影把用戶沒(méi)看過(guò)的那幾部推給他。評(píng)分預(yù)測(cè)公式比用戶CF更直接因?yàn)槲锲返摹百|(zhì)量”通常被認(rèn)為是穩(wěn)定的不需要做均值剔除處理def item_based_predict(user_vector, item_sim, movie_idx, k20): # user_vector: 長(zhǎng)度m的評(píng)分向量 # item_sim: m×m矩陣, item_sim[i][j]是電影i和j的相似度 rated_items np.where(user_vector ! 0)[0] if movie_idx in rated_items: return user_vector[movie_idx] denom 0 num 0 for r_item in rated_items: w item_sim[movie_idx, r_item] if w 0: continue num w * user_vector[r_item] denom w if denom 0: return float(np.mean(user_vector[user_vector ! 0])) return num / denom實(shí)現(xiàn)兩個(gè)模型后我做了個(gè)直觀的效果對(duì)比。同樣給某個(gè)核心用戶做推薦用戶CF給出的結(jié)果偏向“小眾但口味高度匹配”的電影物品CF給出的結(jié)果偏向“熱門且類型接近”的電影。如果從用戶體驗(yàn)出發(fā)用戶CF更能帶來(lái)驚喜但冷啟動(dòng)情況下完全沒(méi)法用物品CF在實(shí)時(shí)性上新用戶只要有一個(gè)評(píng)分就能產(chǎn)出推薦落地門檻低很多。5. 基于內(nèi)容的推薦解決冷啟動(dòng)問(wèn)題5.1 電影特征提取與標(biāo)簽向量化協(xié)同過(guò)濾雖然強(qiáng)但拿新用戶和新電影完全沒(méi)辦法?;趦?nèi)容的推薦恰好能補(bǔ)上這塊短板它不依賴任何評(píng)分記錄只需要知道電影的“內(nèi)容特征”和用戶的歷史偏好。MovieLens的movies.csv里有電影類型字段這是最現(xiàn)成的特征。處理方式是把類型字符串拆開構(gòu)造one-hot編碼每個(gè)類型一列電影屬于該類型就標(biāo)1一個(gè)電影可以多個(gè)類型這就是典型的“多標(biāo)簽向量”。代碼實(shí)現(xiàn)非常直接genre_list [] for raw_genres in movies[genres].str.split(|): genre_list.extend(raw_genres) genres sorted(set(genre_list)) movie_genre_matrix np.zeros((len(movies), len(genres)), dtypenp.int8) for i, raw_genres in enumerate(movies[genres].str.split(|)): for g in raw_genres: if g (no genres listed): continue movie_genre_matrix[i, genres.index(g)] 1更精細(xì)的做法是把導(dǎo)演、演員、標(biāo)簽文本也加進(jìn)來(lái)用TF-IDF做向量化但電影類型已經(jīng)能提供足夠的可解釋性和區(qū)分度對(duì)于demo級(jí)項(xiàng)目完全夠用。5.2 基于內(nèi)容的推薦實(shí)現(xiàn)用戶畫像可以簡(jiǎn)單地表示為他對(duì)每個(gè)類型的平均評(píng)分。假如用戶看過(guò)10部動(dòng)作片平均4.5分看過(guò)5部愛情片平均2.0分那么他未來(lái)的向量應(yīng)該偏向動(dòng)作片。計(jì)算公式就是所有已評(píng)電影特征向量的“評(píng)分加權(quán)平均”def build_user_profile(user_idx, user_item, movie_genre_matrix): scored np.where(user_item[user_idx] ! 0)[0] if len(scored) 0: return np.zeros(movie_genre_matrix.shape[1]) scores user_item[user_idx, scored] genres_sum np.zeros(movie_genre_matrix.shape[1]) for i, m_idx in enumerate(scored): genres_sum scores[i] * movie_genre_matrix[m_idx] return genres_sum / scores.sum()得到用戶畫像向量后將所有未評(píng)分電影的類型向量與畫像向量做余弦相似度分?jǐn)?shù)Top-N就是推薦結(jié)果。這種方式不需要任何訓(xùn)練過(guò)程可解釋性極強(qiáng)“因?yàn)槟阆矚g動(dòng)作片所以推薦這部動(dòng)作冒險(xiǎn)電影”。但它的局限也很明顯推薦結(jié)果永遠(yuǎn)出不了用戶已經(jīng)接觸過(guò)的類型圈。我給用戶看過(guò)一個(gè)很典型的案例某用戶歷史評(píng)分全是科幻和動(dòng)作片內(nèi)容推薦列表里前20名全是這兩類沒(méi)有一部愛情或喜劇。所以工業(yè)界通常不會(huì)單獨(dú)用基于內(nèi)容而是把它作為“冷啟動(dòng)補(bǔ)充通道”或“召回粗排”的一路。6. 推薦質(zhì)量評(píng)估與調(diào)參思路6.1 評(píng)估指標(biāo)與時(shí)間序列劃分推薦系統(tǒng)評(píng)估不是看某一次推薦結(jié)果爽不爽而是要用指標(biāo)量化。離線評(píng)估最常用的是RMSE和MAE它們衡量預(yù)測(cè)評(píng)分和真實(shí)評(píng)分的平均誤差。計(jì)算前要把評(píng)分?jǐn)?shù)據(jù)劃分成訓(xùn)練集和測(cè)試集。這里有一個(gè)比隨機(jī)劃分更嚴(yán)謹(jǐn)?shù)姆桨赴磿r(shí)間排序?qū)γ總€(gè)用戶取最后20%的評(píng)分作為測(cè)試集其余80%作為訓(xùn)練集。原因在于推薦系統(tǒng)服務(wù)的是“未來(lái)行為預(yù)測(cè)”用歷史預(yù)測(cè)未來(lái)才符合實(shí)際場(chǎng)景。from sklearn.metrics import mean_squared_error, mean_absolute_error ratings[timestamp] pd.to_datetime(ratings[timestamp], units) ratings_sorted ratings.sort_values(timestamp) test_ratio 0.2 test_ratings ratings_sorted.groupby(userId).tail(int(ratings_sorted.groupby(userId).size().mean() * test_ratio)) train_ratings ratings_sorted.drop(test_ratings.index)這里的groupby().tail()有個(gè)坑如果某些用戶評(píng)分?jǐn)?shù)量很少tail取出來(lái)的數(shù)據(jù)可能少于20%極端情況下甚至取不到。穩(wěn)妥做法是先過(guò)濾掉評(píng)分?jǐn)?shù)據(jù)低于10條的用戶再執(zhí)行劃分。6.2 參數(shù)調(diào)整經(jīng)驗(yàn)記錄我把關(guān)鍵參數(shù)的影響記錄下來(lái)了方便你參考參數(shù)取值對(duì)效果的影響近鄰數(shù)量k5 ~ 50k太小受單個(gè)垃圾近鄰影響大太大引入噪音20左右是MovieLens的甜點(diǎn)區(qū)相似度閾值0.1 ~ 0.5低于閾值的近鄰直接舍棄能有效過(guò)濾負(fù)相關(guān)/弱相關(guān)噪聲是否做均值中心化True/False對(duì)皮爾遜預(yù)測(cè)非常關(guān)鍵不做的話預(yù)測(cè)分?jǐn)?shù)普遍偏高0.3~0.5數(shù)據(jù)劃分方式隨機(jī) vs 時(shí)間序列隨機(jī)劃分的RMSE通常比時(shí)間序列小10%~20%但這是假象線上效果會(huì)差一個(gè)特別反直覺的體會(huì)是并不是相似度越高的近鄰貢獻(xiàn)越大。我在實(shí)驗(yàn)中發(fā)現(xiàn)如果某個(gè)用戶只看過(guò)一部電影并且給了5分他跟目標(biāo)用戶的相似度會(huì)虛高因?yàn)閱吸c(diǎn)重合的樣本太少統(tǒng)計(jì)意義很弱。所以代碼里還要加一個(gè)人數(shù)門檻比如要求兩個(gè)用戶至少有5部共同評(píng)分電影否則相似度直接置0。這個(gè)調(diào)整對(duì)RMSE的改善非常明顯從0.98降到了0.91左右。7. 實(shí)操中的常見問(wèn)題與排查技巧7.1 數(shù)據(jù)稀疏與內(nèi)存占用問(wèn)題一旦把用戶物品矩陣構(gòu)建成numpy二維數(shù)組內(nèi)存就會(huì)按n*m增長(zhǎng)。MovieLens 1M版本有6000用戶和4000電影float64數(shù)組大約是192MB這還能接受但如果換成真實(shí)業(yè)務(wù)里的千萬(wàn)用戶和百萬(wàn)物品二維稠密矩陣直接爆內(nèi)存。我在這類項(xiàng)目里常用的優(yōu)化手段有三種改用scipy.sparse.csr_matrix存儲(chǔ)只記錄有評(píng)分的位置。用戶CF轉(zhuǎn)物品CFm通常遠(yuǎn)小于n。相似度矩陣分批計(jì)算、落地緩存不要重復(fù)構(gòu)建。這里還要提一個(gè)常見的隱蔽錯(cuò)誤numpy矩陣默認(rèn)用float64如果評(píng)分?jǐn)?shù)據(jù)本身是整數(shù)用np.float32就夠內(nèi)存直接砍半。很多人忽略這個(gè)細(xì)節(jié)。7.2 冷啟動(dòng)問(wèn)題的三種應(yīng)對(duì)方式冷啟動(dòng)分兩類新用戶沒(méi)有歷史行為新電影沒(méi)有評(píng)分。這個(gè)項(xiàng)目里我做的比較全面的應(yīng)對(duì)是新用戶冷啟動(dòng)放一個(gè)“熱門榜”兜底也就是全站評(píng)分?jǐn)?shù)量最多、評(píng)分均值最高的電影組合。新電影冷啟動(dòng)用基于內(nèi)容推薦把新電影的類型特征和已有電影算相似度找合適的召回位?;旌贤ǖ烙脩粼u(píng)分?jǐn)?shù)量少于5條時(shí)直接走熱門榜加內(nèi)容推薦達(dá)到閾值后切換協(xié)同過(guò)濾。很多人問(wèn)這個(gè)閾值怎么定我的經(jīng)驗(yàn)是小于等于5條時(shí)用戶觀影偏好分布根本不穩(wěn)強(qiáng)行上協(xié)同過(guò)濾預(yù)測(cè)出來(lái)的分?jǐn)?shù)可能非常離譜直接從熱門榜里選是性價(jià)比最高的方案。7.3 結(jié)果不合預(yù)期的排查思路我踩過(guò)最典型的坑是推薦列表里出現(xiàn)大量用戶已經(jīng)看過(guò)的電影。這種情況多半是遍歷預(yù)測(cè)時(shí)把訓(xùn)練集里的已評(píng)分電影也納入了候選集導(dǎo)致預(yù)測(cè)分?jǐn)?shù)非常接近真實(shí)高分沖進(jìn)Top-N里。排查時(shí)只要在生成候選集時(shí)加一句unrated_mask user_item[user_idx] 0 candidates np.where(unrated_mask)[0]另一個(gè)坑是時(shí)間穿越。如果訓(xùn)練集和測(cè)試集劃分時(shí)沒(méi)有按時(shí)間排序而是隨便隨機(jī)切那么模型會(huì)“看到未來(lái)”的評(píng)分測(cè)試集上的RMSE虛低。這個(gè)現(xiàn)象在數(shù)據(jù)量小時(shí)尤其明顯我的一次實(shí)驗(yàn)里隨機(jī)劃分RMSE是0.86按時(shí)間劃分直接變成了0.96。別把0.86當(dāng)做好結(jié)果那是模型作弊了。還有一個(gè)經(jīng)常被問(wèn)的問(wèn)題“為什么推薦出來(lái)的電影評(píng)分均值才3.5”因?yàn)榫祷貧w效應(yīng)。評(píng)分極端分布的數(shù)據(jù)被中心化處理后預(yù)測(cè)值自然向平均值收縮這不是bug。如果你希望推薦列表看起來(lái)更有“驚喜感”可以在預(yù)測(cè)分?jǐn)?shù)后加一個(gè)很小的權(quán)重偏置或者改用排序?qū)W習(xí)的方式去優(yōu)化用戶交互點(diǎn)擊率而不是純回歸分?jǐn)?shù)。8. 項(xiàng)目擴(kuò)展思路與個(gè)人實(shí)操心得做完這個(gè)項(xiàng)目以后我最大的體會(huì)是推薦系統(tǒng)60%的精力要花在數(shù)據(jù)和評(píng)測(cè)上真正的模型部分反而是最“標(biāo)準(zhǔn)化”的。很多人一上來(lái)就折騰深度學(xué)習(xí)模型、圖神經(jīng)網(wǎng)絡(luò)但其實(shí)協(xié)同過(guò)濾、邏輯回歸這波經(jīng)典方法配合好的特征工程和評(píng)估體系已經(jīng)能解決大量業(yè)務(wù)問(wèn)題。如果你想在現(xiàn)有代碼基礎(chǔ)上繼續(xù)擴(kuò)展我建議按這個(gè)優(yōu)先級(jí)來(lái)加入相似度矩陣的持久化緩存用npy格式存盤避免每次重算。把訓(xùn)練好的模型封裝成函數(shù)再接一個(gè)簡(jiǎn)單的Flask API做成一個(gè)能實(shí)時(shí)響應(yīng)的推薦服務(wù)。加入ALS矩陣分解作為第四個(gè)算法對(duì)比一下它在稀疏數(shù)據(jù)上的表現(xiàn)是否優(yōu)于協(xié)同過(guò)濾。在評(píng)估環(huán)節(jié)加入PrecisionN和RecallN直接衡量推薦列表中命中用戶真實(shí)喜歡電影的比例。最后分享一個(gè)小技巧調(diào)參時(shí)不要每次只改一個(gè)參數(shù)看半天結(jié)果直接把參數(shù)組合做成笛卡爾積跑網(wǎng)格搜索用RMSE熱力圖看整體趨勢(shì)。這樣既能發(fā)現(xiàn)參數(shù)之間的相互作用又能快速定位最優(yōu)區(qū)間。整套代碼跑通之后你可以試著把數(shù)據(jù)集換成自己的業(yè)務(wù)數(shù)據(jù)——哪怕是圖書、音樂(lè)、商品評(píng)分算法骨架都不用大改改數(shù)據(jù)加載邏輯就行。這個(gè)遷移能力才是做這些實(shí)驗(yàn)真正值錢的地方。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精a品a视a频| 久久免费婷婷视频| 丁香五月婷婷色综合| 清色五月天| 先锋影音av色五月天资源站| 激情色色色| WWW.久久久久久久久久久久久| 色香欲综合| 影音先锋综合网| 色九月丁香婷婷蜜桃在线观看| 亚洲精品久久久久久久久久吃药 | 久久开心五月婷婷| 丁香五月欧美色综合| 依人大香蕉| 日日夜夜狠狠婷婷色| 欧美激情性做爰免费视频| 日韩AAA| 五月丁香综合色婷婷| 欧美婷婷五月| 欧洲亚洲免费视频9| 丁香五月成人网| 五月丁香六月婷婷亚洲激情综合| 九九热在线视频观看免费10| 五月丁香色| 五月激情开心婷婷| 97色97干| 久久久国产精品黄毛片| 久热超碰91| 可以看的av| 天天操夜夜爽天天操| 久久区区一二三av| 日本综合久| 九九视频在线观看| 婷婷丁香色五月| 黄久久久| 狠狠精品干练久久久无码中文字幕| 五月婷婷在线观看| 国产精品久久99| 亚洲超碰青涩| 亚洲人妻av| 国产精品久久久丁香五月八戒视频| 麻豆精品| 久久精品国产精品| 中文激情网| www.婷婷五月天啪啪| 丁香五月天日韩无码| 另类激情综合| 婷婷激情五月色综合| 婷婷九九| 丁香五月婷综合| 色综合激情| 婷婷五月激情在线| 久久最新色色色| 日噜噜色| 影音先锋91在线资源站| 99色免费观看全部| 久久99热免费最新版| 亚洲色婷婷色| 99热人人| 天天操五月天| a级毛片一区二区免费视频| 超碰免费大香蕉| 天天橾日日橾夜夜橾17| 欧美激情五月综合| 玖玖热视频| 开心五月婷婷在线视频免费观看| 激情五月丁香五月| 六月99天天婷婷激情综合| 五月婷婷性爱网| 久久综合人妻| 8区视频在线| 人人做天天爱| 26UUU欧美激情一区二区| 91丨九色丨熟女|新版| 99热在线中出| 国产精品人人做人人爽人人添| 大香线蕉伊人| 99视频激情四射| 国产美女最新VA在线免费观看| 99热最新精品| 亚洲性视频| 婷婷在线网| 丁香五月天堂| 91黄操| 婷婷五亚洲| 久色视频在线| 五月婷婷六月丁香| 国产91视频| 婷婷五月天丁香久久| 色另类五月天| 九九精品热| 综合网色综合| 大香蕉人人网| 综合色婷婷| 久热伊人91| 九月婷婷综合| 综合婷婷| 少妇人妻偷人精品无码视频新浪| 黄网在线播放| 亚洲色婷婷| 婷婷大香蕉| 任你搞网站| 99艹精品在线观看| 婷婷99中文字幕| 九九这里只这里只有精品| 婷婷五月天亚洲激情戏精品| 国外亚洲成AV人片在线观看| 99亚洲精品视频| 182TV大香蕉| 九九久久网| 色五月天在线| 婷婷丁香成人五月天| 伊人丁香婷婷东京| 国际国外精品欧洲南美洲专区无码不卡| 五月婷婷新网站| 五月丁香欧美综合| 五月婷色色| 亚洲综合一区二区| 婷婷五月av| 亚洲第一成人无码A片| 九九热在线99| 久久网日本| 97久人人| 久久ww| 天堂A∨在线| 超碰色色综合| 丁香蜜臀黄色婷婷五月天| 五月丁香婷婷基地| xxxx五月| 狠狠操狠狠狠| 中文乱子伦视频| 婷婷激情丁香六月| 成功精品影院| 色色色9| 婷婷亚洲综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲第一视频 久久| 色婷婷AV五月天| 婷婷狠狠五月综合| 久久 天天| 婷婷激情视频| 99视频只有精品| 噜噜在线| 开心色色五月天综合| 91精品91久久久久77777| 日韩一级| 九九综合色综合| 99热日韩| 激情五月亚洲综合网| 五月色欧洲| 日日噜狠狠色综合久久| 99热在线看| 狠狠色丁香婷婷久久综合| 九色自拍| 欧美性生交A片免费看| 香蕉久久国产AV一区二区| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 97天堂| 欧美性生交A片免费看| 婷婷综合中文| 91碰在线| 精品九九视频| 五月丁香婷婷综合久久| 免费无码毛片一区二区A片| 伊人五月婷| 99超碰在线免费| 丁香五月婷婷亚洲综合精品| 色狠狠综合网| 超碰猛烈的性猛交| 少妇伦子伦精品无吗| 九九伦子片| 精品女人九九九| 狠狠色五月激情| 九九热视频免费观看| 天天透天天爱| 99亚洲天堂| 日日夜夜九九| 五月天亚洲图片婷婷| 小视频一区| 天天爽天天爽| 欧美性生交XXXXX无码小说| 1024AV视频| 超碰免费大香蕉| 婷婷丁香久久五月综合| 六月婷婷久久| 9视频在线成人网站| …亚洲黄色在线播放日韩、av中文a…| 丁香五月色| 婷婷五月天亚洲图片| 天天肏高清在线| 秋霞免费视频| 色玖玖综合网| 五月婷婷在线综合| 免费观看全黄做爰的视频| 东北黄色一级| 色婷婷五月天小说网| 久久资源网五月婷| 人操91在线| 99在线精品视频观看免费下载| 婷婷五月天男人影院色色网| 五月天偷拍| 综合久久8| 五月天开心激情网色欲无码| 大香蕉伊人爱在线| 超级碰碰碰久久网站| 日本色频| 国产97色在线| 色情五月| 国产精品热搜丁香五月婷婷| 亚洲亚洲人成综合网络| 婷色人人狠| 这里只有精品1| 天天日天天爽| 99热超碰| 99色综合网| 久久久久久久,99精品视频| 天天日日夜夜爽| 婷婷九月丁香| 色综合久久8| 日本va欧美va精品发布视频| 五月婷六月| 99碰碰中文| 校园激情 亚洲| 中文字幕永久在线| 亚洲第一成人无码A片| 激情五月婷在线精品| 五月婷婷激情网| 91精品91久久久中77777久久玖玖九九| 国精产品久久| 国产免费性爱| 99热综合在线观看| 国产亚洲精品久久久久苍井松 | 久久久中文| 久婷久婷| 超碰超碰在线| 丁香五月中文字幕| 综合99综合久久久久久久| 99re久热| 亚州操人在线视频| 亚洲婷婷综合视频| www.henhengan| httpwww色com日本| 五月丁香婷婷三级| 五月婷婷性爱网| 可以直接看的av网站| 丁香午夜天| 色婷婷丁香综合中文字幕| 玖玖资源在线视频| 久热re在线视频| 久久深爱激情网| 无码AV免费精品一区二区三区| 精品视频这里只有精品| 五月婷婷激情综合| 天天干,噜噜色,狠狠色| 中文字幕丰满孑伦无码专区| 色婷婷先锋| 久久9热好| 婷婷丁香午夜综合影视| 亚洲国产精品VA在线看黑人| 激情五月婷婷综合视频| 91国产精品视频播放| 天天色天天爱天天爽| 狠狠色 综合色区| 五月丁香六月婷婷综合伊人| 九九综合九色欧美狠狠| 97人人做| 秋霞性爱AV| 97碰久久| 九九久久综合| 丁香五月婷婷亚洲另类| 色综合五月| 丁香五月开心婷婷| av第一二区| 日91高清无玛| 99热精品在线播放| 欧美成人AAA片一区国产精品 | α久久| 中文字幕丰满孑伦无码专区| 婷婷5月九九| 婷婷五月天成人视频| 99精品免费欧美小视频| 蜜臀av粉嫩av懂色av| 黄网在线播放| 欧美色色色| www,色中色| 色婷婷五月综合激情中文字幕| 久久久久久丁香五月| www,久久久人人| 六月丁香五月婷婷| 99热这里只有99| 五月婷丁香| 激情综合激情五月| 激情五月婷婷啪啪| 日日操夜夜爽| 欧美va亚洲va在线播放| 欧美精品A片一区在线观看| 久久婷婷色综合| 99色在线视频| 影音先锋AV资源男人站| 999精品乱码77777| 午夜爱爱爱成人| 五月停亭久久电影| 天天插天天插天天插天天插| 九色色| 久久99精品久久久久久三级| 91超级碰碰| 天天射影视综合网| 大香蕉久久久| 91男人操女人视频| 丁香五月婷婷色情综合| 成人狠狠成人狠狠成人狠狠成人狠狠 | 視频福利乱色| 国产精品久久久久久久久久| 婷婷丁香五月天激情| 91丨九色丨国产打屁股| 免费碰碰视频久| 狠狠爱五月婷婷| 婷婷五月黄色激情在线| 九九精品系列| 狠狠干狠狠干| 亭亭色网| 色噜噜婷婷| 91在线日| 色婷狠狠| 国产69久久久欧美黑人A片| 激情小说婷婷五月| 欧美成人无码一区二区三区| 久久新地此| 丁香九月婷婷| 99riAv1国产在线观看| 五月丁香婷婷激情久久| 91一起操| 六月婷婷最新网址| 少妇性BBB搡BBB爽爽爽电影| 91色色色18| 亚洲 在线 性爱 | 亚洲AV人人操| 性色综合网| 人人操av| 99热最新| 丁香五月天激情综合| wwW天天干| 免费AV在线| AAA级久久久精品| 欧洲综合视频| 婷婷五月丁香在线视频| 热久久66| 婷婷四月 成人 狠狠干| 伊人五月婷婷| 久久婷婷五| 日本三级中国三级99人妇网站| 婷婷婷婷婷开心无码播放| 激情婷婷五月女| 婷婷中文字幕网| 性按摩玩人妻HD中文字幕| 久久婷婷五月综合伊人| 婷婷丁香18| 亚洲 精品 综合 精品| 99er6免费视频热播| 久久电影五月天丁香电影| 久久精彩视频| 久久婷综合| 丁香六月情| 色狠狠图片| 五月婷婷激情刺激| 日本69日人视频| 丁香六月亚洲| 丁香五月色情av| 国产又黄又爽又色的免费| 五月丁香激情婷婷| 天堂综合久| 婷婷五月骚厕所| 玖玖色资源站| 深爱 五月天| 激情黄色小说色五月| 狠狠九九婷婷韩| 91夫妻网站九色| 国产精产国品一二三在观看| 女人天堂AV| 婷婷五月天AV| 婷婷午夜| 97av在线视频| 婷婷色导航| 九九色播五月丁香| 午夜九九九九九九九九九九九九九| 99热这里只有免费| 五月天另类图片| 日韩99色| 色欲香综合网| 噜噜噜精品欧美成人在线观看| 五月熟妇婷婷久久| 婷婷综合成人五月天| 深情六月婷婷综合久久| 秋霞午夜理论| 五月综合777| 六月色日韩| AV伊人青草丁香六月| www超碰| 午夜激情综合| 婷婷五月丁香基地在线视频官网| 久久久久久草黄色片AV在线观看| 99热视| 国产阿姨日皮艹逼内射视频| 婷婷色五月久久| 久久综合伊人综合在线| 99精品久久久久久久婷婷久久| 奸逼视频| 激情五月www| 嫩草AV久久伊人妇女超级A| 色五月婷婷青娱乐| 免费观看的av| 婷婷趴趴| 五月丁香婷婷在线| 五月天色色激情综合| 色狠狠色| 五月婷婷综合热| 五月天婷婷基地| 在线播放成人网站| 99色色| 日本a片网址| 天天干天天色综合| 天天做天天爱天天爽在| 狠狠色丁香乆乆| 久久久99精品| 超级碰91| 涩综合网| 天天噜天天插| 婷婷丁香18| 欧美婷婷五月| 九九99男女视频在线观看| 思思热在线视频精品| 亚洲热久| 国产激情久久久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 综合图片色色| 色欲色香综合网| 色播丁香| 天天视频精品9| 九九人人自拍| 这里只有视频精品| 免费观看欧美成人AA片爱我多深| 亚洲五月天婷婷| 天天爱天天爽| 成人精品免费在线观看| 91色色色18| 丁香五月色色色色| 久久精品只有这| 超碰在线免费| 色狠狠999综合| 久re热视频| 色五月婷婷色| 五月综合六月丁| 一级韩国产精品毛| 97干在线视频| 久久婷婷在线| 99久在线观看| 99婷婷精品推荐在线视频| 成人性爱无码| 337p大胆噜噜噜噜噜91Av| 97人人射| 五月婷婷亚洲色视频| 久热欧美| 91黄色五月天视频| 五月婷婷六月丁香| site:feetmall.com| 伊人三级激情| 人妻丰满精品一区二区A片| 丁香五月中文字幕久色| 色色丁香婷婷| 丁香婷婷影院| 五月丁香婷婷综合网| 玖玖资源天天无码| 国产超碰在线| 丁香熟女乱| 丁香五月天综合| 天天橾夜夜爽| 任你草| 97偷拍对白视频| 激情久久久| 亚州AV超碰人人操| 综合亚洲色色| 大香蕉人在线65| 强辱丰满人妻HD中文字幕| www婷婷| 亚洲另类婷婷五月丁香在线播放| 亚洲av无码影院| 综合久久婷婷| 激情综合在线观看| 五月天激情AV| 色狠狠六月| 成人在线视频网| 米奇影视资源777狠狠色婷婷五月天激情网 | 嫩草AV久久伊人妇女超级A| 色色a| 五月丁香婷婷无码A∨| 亚洲成片在线观看| 开心色色五月天综合| 亚洲综合九九| 色色com| WWW·天天操·视频?| 99国产这里只有精品| www.久久爱| 日本成人综合| 色五月婷婷一二| 久久精品国产AV一区二区三区 | 国产性爱色| 亚洲综合视频一下| 国产精产国品一二三在观看| 轮奸综合网| 五月天激情婷婷| 有码一区二区三区| 99性爱无码| 婷婷综合网| 日本久久高清| 婷婷色啪| 超碰av天堂| 色久五月天| 色爽干| 婷婷五月天 偷拍| 色优久久| 99在线精品观看99| 色色色欧美| 久婷婷色| www.五月婷婷.com| 丁香六月婷婷综合欧美| 亚洲色色色| 91九色在线观看免费| 欧美va亚洲va在线播放| 激婷网| 五月丁香婷色| 国产午夜伦鲁鲁| 丁香五月另类小说在线阅读| 疯狂做受XXXX高潮A片动画| 无码四色色色| 激情五月丁香五月| 亚洲激情电影五月天色婷婷丁香一起草 | 2020日日干| 999久久久国产精品| 99热激情| 99ri精品在线| 超碰超碰在线| 99,色| 99久久性爱| 欧美精品999| 啊v视频在线观看| 熟女激情网| www.99久| 欧美激情五月天婷婷| 一本色道久久综合狠狠躁小说| 大香蕉五月天婷婷| 久草热在线视频| 欧美激情 日韩无码 婷婷 五月天| 五月色网| 影音先锋男人av资源站| 99热中文字幕久久| 日本欧特黄色刺激一区影视久精品无码| 精品成人a v无码内射| 狠狠色狠狠色综合日日91| 丁香色五月天| 色丁香婷婷| 夜夜撸天天操| 啄木鸟黑丝一区二区| 任你躁XXXXX麻豆精品| 99re这里只有精品首页| 大香蕉在线观看9| 五月天久久综合婷婷| 欧美日韩123| 大香蕉AV在线| 天天激情夜夜干| 碰碰碰97国产| 五月丁香在线| 天天天久久久| 婷婷丁香成人色综合| 五月婷婷开心综合| 99啪| 天堂无码人妻精品AV一区| 战争与艾拉电影免费观看| 亚洲人成网站999久久久综合| 六月婷婷五月丁香| 99热九九这里只有精品| 五月天丁香婷婷网| 色婷六月| 丁香五月另类小说在线阅读| 亚洲人成网站999综合| 激情深爱五月天| 91九色在线| 国自产拍偷拍精品啪啪一区二区| 开心五月深爱五月丁香五月激情五月 | 久久精品国产AV一区二区三区 | 99亚州综合精品成人网| 久久黄A片| 婷婷激情五月呦呦| 九色91国产| AAAA亚洲| WWW·色色色·COM| 97精品人人A片免费看| 夜夜综合色| 97碰在线视频| 九色在线五月婷婷网址| aa久久| 色天天综合色| 人人操人人干AV| 大香蕉手机视频| 色综合色综合色综合| 天天摸天天肏| 色五月婷婷丁香凹凸| 狠狠操综合| 99热这里只有国产精品| 色综合激情| 91夫妻网站九色| 久久婷婷热| 99热这里只有精品最新| 五月天色色激情综合| 亚洲av电影网站| 大香蕉久操| 丁香婷在线| 97精品综合久久| 五月天久久小说| 亚洲综合99| 色五月色五天免费视频| 天天色爽| 久久视频婷婷视频| 婷婷丁香五月天操逼| 色色无码| 日韩在线视频网站| 亚洲第一精品网站| 狠狠色激情在线| xx久久| 97久久婷婷色| 亚洲六月婷婷| 99亚洲视频| 这里只有精品在线免费视频| 日日操夜夜爽白洁| 天天色天天射天天日| 色情成人五月天| 五月婷婷综合网| 婷婷五月天激情电影| www,五月天激情| 激情五月第四色| 婷婷色色丁香五月天| 精品9久| 99国产精品久久久久久久久久久| 九九碰九九爱97| 99视频在线观看网址| www.人人操人人看人人想人人摸 人人人人操,COM| 婷婷伊人五月天| 久久久久丁香婷婷五月天| 五月丁香六月激情狠狠| 思思热国产视频| 精品牛仔裤超碰| 色色影院黄大片| 亞洲自怕| 成人五月丁香花| 丁香五月天堂网| 97人人干| 120分钟婬片免费看| 99热免费| 999激情视频| 激情开心五月天| 久久人妻伊人| 五月丁香六月婷婷视频| 久久精品小视频| 99热日韩这里只有精品| 亚洲精品网站色视频| 97色片| 色情五月天。| 久久人人九| 东京热免费视频网站| av人人操| 变态另类色图| 色yeye色综合| 在线91日韩| 久草婷婷视频| 人妻在线网站| 人人插9| 婷婷五月天精品| 六月婷婷AV| 六月丁香婷婷大香蕉| 99国产欧美视频| 野外99热| 超碰9在| 国产综合81p| 奇米网大香蕉| 99人人操人人操人人精| 精品人妻在线| 丁香色六月婷婷| 97超碰人人操| 思思热久久阴99| 亚洲色9| 午夜美女人啪最红院| 五月婷婷 六月丁香| 五月丁香综合伦理片| 欧美丁香六月激情视频| 天天爽夜夜爽夜爽精品| 日本va欧美va欧美va| 五月婷婷无码| 激情综合网色播五月| 99ri精品在线| 美日韩成人| 五月婷婷丁香| 超PEN精品在线| 久9热在线免费观看| 亚洲 欧洲 国产 伦综合| 亚洲婷婷久久综合| 1024人妻| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 中文字幕精品无码一区二区| 国产免费一区二区三州老师F1……| 99热97美女| 色吊丝永久访问网址| 久久婷婷色| 成年AAAA色情| 五月丁香基地| www.色9| 玖玖婷婷五月天| 欧美性生交XXXXX无码小说| 成人精品免费在线观看| 夜夜躁婷婷AV| 婷婷丁香77777| 日日激情网| 激情五月综合亚洲另类| 色噜噜狠狠一区二区三区| 大地资源色婷婷视频在线| 久久日婷婷| 色婷婷激情| 狠狠狠狠免费| 丁婷婷五月天在线播放| 色五月激情婷婷| 欧美怡红院黄站| www.久9| 亚洲精品乱码久久久久久按摩观| 激情综合网激情五月欧美| 99视频精品在线| 色婷婷久久| AⅤ网站在线看| 五月丁香在线观看99| 人人澡天天色天天做| 婷婷五月天综合色| 玖玖色综合网| 男人的天堂婷婷色五月| 91久久九久久九久久九久久九久久| 女人露出p毛视频www网站| 精品免费99| 九九热黄色| 丁香88AV五月婷婷| 综合色色婷婷| www.成人婷婷综合| 26uuu日韩| 嫩草视频| 日日噜狠狠色综| 丁香婷婷婷五月综合色情| 伊人激情| 少妇激情五月天| 97精品综合| 天堂亚洲 在线| 人妻系列久久久久久久久久久| 99爱在线免费视频| 最近中文字幕2019视频1| 操逼三区| 五月六月激情| 日日干日日| 中文字幕亚洲-区久久99婷婷| 成年AAAA色情| 91大神操美女| 色婷婷91激情小说| 久久五月天合网| 极品另类| 91碰免费视频| 色色色综合视频| 97丁香五月| 亚洲AV成人精品网站在线播放| www.日本久久videos| 99在线小视频| 婷婷情色开心五月天99| 丁香婷最新动态| 99热只有| 久久久久9久无码视频| 婷婷,五月天,丁香,第一| 五月婷婷六月情| 亚洲激情四谢| 五月婷婷视频啪啪美女| 婷婷久热| 大香蕉人人人| 99国产小视频| 强辱丰满人妻HD中文字幕| 91精品婷婷国产综合久久| 久久六月天| 色色综合网www| 99在线免费视| 夜夜爽天天爽| 97人人干人人操| AA丁香综合激情| 九97免费视频| 九九色99| 国产毛片欧美毛片久久久 | 午夜性做爰电影| 婷婷久久五月| 生活片五区| 久9精品| 婷婷五月天久久久| 五月丁香婷婷狠狠操| 久久精品小视频| 天天插天天干| 六月婷婷无码| 婷婷色中文字幕| 91欧美| 九九色逼| 粉嫩av蜜桃av蜜臀av| 五月丁香六月婷婷久久肏| 91性人人| 色天五月天在线观看视频| 六月婷婷激情| 色婷婷另类| 在热视频精品| 就爱日五月天| 伊人五月成人| 九九色插| 国产精品色婷婷AV综合色色| 淫视馆av三区| 五月综合色播播丁香婷婷| AV色色天堂中文| 开心五月天激情| 天天干天天日蜜臀av| 丁香五月天BBw| 五月天丁香色色| 婷婷五月色网| 丁香深五月婷婷| 丁香五月激情五月开心五月| 婷婷五月天天激情| 丁香五月五月婷婷| 九九九九九九综合| 五月天伊人综合| 99在线69| 色综合伊人网| 婷婷五月天无码视频| 少妇人妻丰满做爰XXX| 狠狠色婷婷丁香六月| 久久精品一区二区三区四区| 69婷婷丁香午夜| 丁香五月婷婷色综合| 牛牛碰免费| 婷婷五月丁香激情图片 | 久久久久久丁香五月| 啪啪视频99| 色婷婷五月在线| 天堂综合久久| 日韩人妻无码专区| 色频玖玖五月天| 亚洲国产精品二二三三区| 色婷婷丁香AV综合| 色婷大香蕉| 五月丁香激| www.久久爱| 蜜桃人妻无码AV天堂三区| 婷婷狠狠五月综合| 久久香视频| 丁香五月情| 色综合网上班开心婷婷久久| 99精品视频在线观看| 婷婷五月色网| 伊人色五月| 国产免费一区二区在线A片视频| 欧美激情五月天婷婷| 欧美三9久九观看| 精a品a| 99自拍视频网站| 久久九九国产精品怡红院| 6080av| se色综合网| 亚洲情欲| 亚洲综合在线丁香五月| 天天干天天干天天| 五月丁香六月色婷婷综合五月天| 日韩成人无码| 婷婷五月色天| 99这里有精品视频3| 五月天操逼激情| 9九色首页| 蜘蛛女免费观看完整版高清电影| 97超级碰| 精品成人久久久久久久_一二三四视| 六月婷婷无码| 激情五月狠狠喔| 色五月成人| 五月婷深深爱激情网| se99热久久一本| 亚洲AV免费在线| 色五月女| 婷婷激情小说网| 婷婷情色五月| 久碰视频| 丁香五月a| 99,色| 丁香婷婷浪潮AV久久综合| 综合激情婷婷| 天天操狠狠操| 日日爱678| 丁香五月综合激情久久潮喷| 久久人人妻| 久久这里只| 99久久综合| 五月婷婷婷色| 六月色婷婷| AV性爱在线| 女人天堂av| 久久99综合网| 丁香五月婷婷激情四射深爱激情| 天堂久久精品| 亚洲另类久久| 久久香蕉网| 欧美婷婷综合网| 婷婷五月综合在线| 七七色色综合| 日日操,夜夜撸| 五月丁香六月在线欧美| 综合超碰熟| 婷婷99狠狠躁天天久久久九九九| 成人短视频在线| 日日.c| 欧美婷婷五月激情| 激情四射网| 日本nghangse中文字幕| 国产又粗又大又爽又黄| 久久与婷婷| 亚洲色模骚货| 婷婷色五月亚洲| 日日噜狠狠| 欧美日韩五月婷婷| 丁香情色五月| 丁香五月婷婷啪啪| 在线成人网址| 六月丁香综合| 99精品爱| 草操网| 99爱爱| 婷婷 伊人 久久| ZpRSw| 午夜天堂一区人妻| 精品人妻久久久久久| 久人操| 久久五月天激情| 五月综合777| 久这里只有精品99| 国产综合色婷婷精品久久| 五月婷婷黄色毛片| 超碰熟女农村在线69| 成AV人片一区二区三区久久| 九九热AV| 99热久草| 五月丁香激情综合| 激情五月六月婷婷| www.激情五月天| 丁香激情六月天婷婷| 欧亚成人A片一区二区| 深爱激情丁香| 成人在线网| 六月婷久久| 国产亚洲色婷婷久久99精品91| 婷婷五月天堂一本在线| 婷婷五月天激情亚洲小说| 免費亭亭成人| ri电影在线| Xx色综合| 婷婷亚洲五| 久久人妻久久久久| 久热99| 思思99热这里只有精品| av在线免费播放| 色综合久久综合中文综合网| 色婷婷综合综合网| 综合激情五月婷婷| 国产avapp 网| 久久免费操| 五月久久婷婷丁香| 色色丁香五月天| 色五月色五天色情网| 五月丁香福利| 亚洲无码另类| 99热 这里只有精品 国产 日韩| 久操婷婷| 久久婷婷五月综合97色一本| 丁香无月在线观看| 99综合色色色| 开心五月激情| 99热国产国产| 天天拍夜夜爽日日| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇| 五月丁香五月激情综合色综合| 婷婷大美在线| 九九亚洲小视频| wwwwww.色| 国产精品色婷婷AV综合色色| 丁香婷婷六月男男| 这里只有精品视频| 996er热| 中文AV网站| 99热综合| 91精品激情9| 五月婷九月| 亚洲无码www| 丁香六月啪啪啪| 久久er视频6| 亚洲性图一区二区三区| 综合性视频99| 99在线精品视频免费观看20| 五月丁香激情综合网| 五月婷婷偷拍| 六月婷婷开心| 精品国产AV色一区二区深夜久久| 中文AV网站| av线电影| 综合玖玖性爱免费视频| 天天综合干| 九九免费视频| 99在线资源| 日日夜夜天天| se色婷婷视频| 欧美日韩五月婷婷| 色综合丁香| 深爱五月天婷综合| 丁香五月天在线| 五月婷婷狠狠干| 人妻久久久久久| 色五月天 丁香| 日本人人干| 熟女激情网| 五月天婷婷丁香六月| 大香蕉久久久| 亚洲视频一区| 97狠狠碰| 丁香五月网站| 五月天激情美女久久| 人人草人人爱| 99热这里是精品| 九九九激情网| 丁香九月综合| 天天日狠狠| 狠狠草狠狠草| 色五月欧美| 丁香婷婷影院| 97久久久| 九九九AAA热视频| 五月丁香六月婷| 五月丁香九九九综合| 99热精品在线| 五月婷婷色| www.激情com| 激情影院内射| 草综合14| 婷婷五月天激情网| 丁香熟女乱| 婷婷伊人无码| 亚洲五月天婷婷| 狠狠操天天干| 丁香五月婷婷亚洲另类| 欧美日韩大黄| 婷婷五月天影院| 色婷婷基地 | 7777精品伊人久久久大香线蕉最新版| 激情综合五月激情17| 狠狠色综合精品视频在线| 欧美色频| 91丨九色熟女丨首页| 日本色婷婷综合| 国产亚洲精品久久一区二区三区| JAPANRCEP老熟妇乱子伦视频| 69综合在线| 日操五月婷| 久操无码| 丁香五月激情啪啪啪啪| 开心久久xxx色| 五月天网站免费欧美| 亚洲国产精品二二三三区| 五月丁香花激情综合网| 五月精品免费XXX| 天天综合在线网| 婷婷丁香91| 96性爱视频| 九九青青草成人| 超级碰人人操人人干| 色国产五月| 九热视频| 婷婷中文字幕在线| 中国AV性爱观看| 激情綜合W W W,激情五月天| 欧美亚洲成人在线| 亚洲性图一区二区| 天天干天天干天天干| aaa久久| 亚洲成人人人操| 超碰在线caop| 人妻久久做| 在线观看亚洲视频影院| www.com在线操视频免费观看| 最新激情五月天| 五月丁香色色网| 九九综合网色全集 | 色九月欧美| 丁香六月亭亭久久综合| 国产美女无遮挡裸体毛片A片 | 久久久久久久丁香五月天婷婷| 奇米四色五月天| 丁香五月天之婷婷影院| 中文字幕激情综合| 丁香五月在线观看完整版| 九九色色| 99婷婷| 色色色在线观看| 激情婷婷五月综合| 婷婷六月激情丁香| 丁香五月社区| 欧美日韩一a.无| 91人妻人人做人碰人人爽九色| 99热久久日本| 国产精品 的国产| 欧美婷婷五月天综合| 亚洲爆乳无码精品AAA片蜜桃| 九九亚洲视频| 丁香九月婷| 9福利性视频欧美| 可以直接看的av| 91制片厂久久久国产电影| 伊人六月丁香婷婷| 五月天激情网图片| www.25五月婷婷| 五月婷婷在线视频| 婷婷久久综合| 九九这里都是精品| 久久9视频| 99久在线精品99re8| 99碰碰视频| 9久热在线视频精品| 在线观看免费狠狠色丁香香综合| 亚洲精品永久久久久久| 97在线/日本| 九九热这里| 日韩激情网站| 九九热在线精品| 日本黄色精品| 欧美色性色好| 中文字幕成人影视| 九九青草热| 国产操B视频| 91丨九色丨高潮丰满日本| 色色免费网站| 120分钟婬片免费看| 丁香五月影院| 六月丁香久久| 色色色综合视频| 久久久99精品免费观看| 玖操97| 五月停视频天堂| 99爱在线观看视频| caopeng97人人| 久久色五月| 丁香五月天激情| 色五月丁香五月| 五月天成人伊人| 九九九激情网| 人人干人人操人人摸| 国产精品国产| 亚洲综合色色| 天天婷婷综合| 天天干天天干天天干| 99视频在线观看欧| 色综合中文综合网| 婷婷六月色| 大香蕉婷婷色| 色婷婷色99国产综合精品| hd五月婷婷在线| yw国产AV| 少妇人妻人伦A片| 色啪影院| 五月天婷婷基地| 五月天电影网| www.久久爱.c n| 91精品久久久久久综合五月天| 亚州激情网| 这里只有精品96| 99热6色| 永久免费视频| 狠狠爱综合网| 99热这里只有精品无码| 亚州综合色| 天天爱天天做天天操| 森林影视大全,最好看的2019年视频 | 9久久网| 超碰人人色| 五月丁香直播| 九月婷婷在线观看| 97久久人人| 天天 日综合| 综合网网欲色| 激情五月婷婷网| 五月丁香六月色婷婷| 9999热在线观看| 天天草天天爽| 色婷婷五月天天天干天天操天天爽| 五月天婷婷AV| 九九色逼| 婷婷五月天在线观看免费| 4399亚洲视频| 热思思九九| 五月天丁香婷婷社区| 丁香五月天激情五月天激情五月天激情网 | 伊人久久婷婷| 精品二区| 日韩色久| 婷婷 亚洲图片 丁香| 久久久久久久久久久97| 天天爽天天爽| 丁香五月六月综合欧美| 五月婷婷激情四季| 五月丁香久久婷| 久久婷婷六月综合资源| 午夜免费高清AV片| 99热99色| 夜夜骑天天操| 九九热九九热精品| 99日本视频| 欧亚成人A片一区二区| 天天天天干| 欧美va国产va| 色九月欧美| 影音先锋91在线资源站| 9久久久久| 天天干天天爽天天爽| 九九热欧美| 91精品久| 日韩成人免费电影| 另类视频五月天| 九九草热在线观看| 最新av在线观看| 婷婷色网址| 26uuu国产| 五月天色五月| 五月丁香网中文字幕| 庭庭久久内射| 婷婷性爱五月天丁香网| 色婷婷基地| 色婷婷88| 婷婷五亚洲| 亚洲视频在线观看99| 人人九色| 91a片爽| 99色综合| 9久精品视频| www,天天干| 丁香五月激情六月综合| 中文字幕永久在线| 97人操| 色婷婷综合久久| 国产激情综合五月久久| 久碰婷婷视频| 六月婷婷久久大全| 天天草天天爱| www.丁香五月| 韩国19 主播内部福利vip免费播放| 疯狂做受XXXX高潮A片| 五月婷婷性爱| 亚洲激情综合| A久网| 丁香六月婷婷高清| 五月婷婷激情刺激| 香蕉狠狠爱视频| 日本人人草草|