欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

校園網(wǎng)用戶行為分析系統(tǒng)設(shè)計與實現(xiàn):從日志采集到畫像構(gòu)建

校園網(wǎng)用戶行為分析系統(tǒng)設(shè)計與實現(xiàn):從日志采集到畫像構(gòu)建 1. 這個項目到底在解決什么問題先聊聊我為什么對一個“校園網(wǎng)用戶行為分析系統(tǒng)”這么感興趣。做了這么多年大數(shù)據(jù)相關(guān)的東西我越來越覺得校園網(wǎng)這種場景被嚴重低估了——它不像電商有海量交易也不像短視頻有超高并發(fā)但它有一個極其稀缺的東西全量、連續(xù)、帶真實身份映射的網(wǎng)絡(luò)行為數(shù)據(jù)。你想想全校幾千甚至幾萬學生從早上睜開眼刷手機到晚上熄燈斷網(wǎng)每一次HTTP請求、每一個DNS查詢、每一段TCP連接、每一次登錄認證全都真實地記錄在校園網(wǎng)的核心設(shè)備和認證服務(wù)器上。這些數(shù)據(jù)有多“干凈”它不像互聯(lián)網(wǎng)側(cè)用戶行為數(shù)據(jù)那樣充斥著爬蟲、機器人、廣告流量和惡意程序它對應的是一個真實的人——學號、姓名、宿舍、院系、年級全都綁得死死的。這就是為什么“基于大數(shù)據(jù)的校園網(wǎng)用戶行為分析系統(tǒng)的設(shè)計與實現(xiàn)”值得做也值得認真寫一篇完整的技術(shù)拆解。這個項目本質(zhì)上解決的是三類痛點第一類是網(wǎng)絡(luò)運維側(cè)網(wǎng)管人員想知道網(wǎng)絡(luò)到底卡在哪、誰在占帶寬、什么應用在跑、什么時候是高峰但傳統(tǒng)SNMP流量監(jiān)控只能看到設(shè)備級的吞吐率看不到“人”和“行為”第二類是教學管理側(cè)學工部想知道學生是否沉迷游戲、是否存在深夜上網(wǎng)影響次日出勤的情況但人工抽查只能靠逮逮不到規(guī)律第三類是技術(shù)平臺側(cè)那么多網(wǎng)絡(luò)設(shè)備、認證系統(tǒng)、日志平臺各自為政沒有一個統(tǒng)一視角把用戶、應用、時間、位置串起來看。這個系統(tǒng)的核心價值就是把一堆無序的網(wǎng)絡(luò)日志變成有人物畫像、有時間軸、有行為標簽的結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)。你可以把它理解成一個“用戶全息行為雷達”每個上網(wǎng)的人都變成了一條連續(xù)的行為軌跡。所以這篇文章不是給你講“大數(shù)據(jù)概念”而是完完整整拆解這套系統(tǒng)怎么設(shè)計、怎么做技術(shù)選型、數(shù)據(jù)從哪來、清洗規(guī)則怎么定、后端架構(gòu)怎么搭、可視化怎么做、踩過哪些坑。無論你是做大數(shù)據(jù)畢業(yè)設(shè)計需要完整思路參考還是有真實的校園網(wǎng)運維背景想構(gòu)建一套分析平臺這篇文章都能讓你少走大量彎路。2. 系統(tǒng)整體設(shè)計與思路拆解2.1 從網(wǎng)絡(luò)日志到用戶行為的四層架構(gòu)很多剛開始接觸這類系統(tǒng)的人會陷入一個誤區(qū)一上來就翻Hadoop和Spark的文檔先搭一套大數(shù)據(jù)集群再說。但真正動過手的人都知道脫離了具體數(shù)據(jù)源和業(yè)務(wù)目標的大數(shù)據(jù)平臺就是一臺昂貴的碎紙機——你喂進去什么它攪碎什么根本產(chǎn)生不了洞見。我在設(shè)計這套系統(tǒng)時用的是四層邏輯架構(gòu)先把“數(shù)據(jù)怎么流動”這件事徹底想清楚再決定每一層用什么技術(shù)去承接。第一層是數(shù)據(jù)采集層。校園網(wǎng)環(huán)境里無非這幾類數(shù)據(jù)源核心交換機上的NetStream/sFlow流量采樣、認證網(wǎng)關(guān)常見的有深瀾、銳捷、H3C等廠商的認證計費系統(tǒng)產(chǎn)生的RADIUS日志、DNS服務(wù)器的解析日志、HTTP出口代理或上網(wǎng)行為管理設(shè)備的審計日志。每類數(shù)據(jù)的格式、粒度、時間基準、編碼方式都完全不一樣。例如RADIUS日志記錄的是用戶上下線的起止時間、IP分配情況、MAC地址、NAS設(shè)備編號而NetStream記錄的只是一條條IP五元組的流量統(tǒng)計兩者必須要靠IP和時間的join才能把“誰”和“什么行為”關(guān)聯(lián)起來。第二層是數(shù)據(jù)存儲層。這里一定不能用“一套數(shù)據(jù)庫打天下”的思路。因為同時存在三種截然不同的數(shù)據(jù)類型原始日志適合放分布式文件系統(tǒng)或消息隊列做短期緩沖和離線歸檔清洗后的結(jié)構(gòu)化用戶行為記錄適合放在能支持多維聚合分析的OLAP引擎中那些需要實時看板展示的指標比如當前在線人數(shù)、總帶寬占用、熱門應用排行則需要一套支持高并發(fā)點查的KV存儲或者時序數(shù)據(jù)庫。第三層是行為分析層。這是整個系統(tǒng)的靈魂。行為分析不能只停留在“統(tǒng)計了每個用戶用了多少流量”這種層面而要細化為“訪問時長、活躍時段、應用偏好、異常行為、業(yè)務(wù)軌跡”等多個維度的聯(lián)合挖掘。比如某個用戶每天凌晨兩點到四點都有持續(xù)大流量下載行為這不能簡單定性為“熬夜”還需要結(jié)合目標地址、端口、協(xié)議特征判斷是BT下載、視頻緩存還是正常的科研數(shù)據(jù)傳輸。分析層需要把機器學習中的聚類算法、時間序列分解、孤立森林異常檢測等技術(shù)真正落到校園網(wǎng)行為的語義上。第四層是可視化應用層。分析結(jié)果最終要交付給三類不同的角色網(wǎng)絡(luò)運維人員關(guān)心的是“現(xiàn)在網(wǎng)絡(luò)是否健康、哪里需要擴容”學工管理者關(guān)心的是“名冊上某個學生近期網(wǎng)絡(luò)生活是否規(guī)律、有沒有高風險行為”校領(lǐng)導關(guān)心的是“整個校園網(wǎng)資源的利用效率和未來投入方向”。這些角色的關(guān)注點完全不同因此前端不能只做一套大屏必須按角色拆分視圖。這個四層架構(gòu)最核心的設(shè)計原則是“先建模后遷移先離線后實時”。就是說在項目落地初期不要盲目追求流式計算先用離線的全量數(shù)據(jù)把模型跑通、把指標體系定義好等業(yè)務(wù)方認可了輸出的結(jié)果再把鏈路改造成準實時甚至實時。2.2 為什么不能用傳統(tǒng)關(guān)系型數(shù)據(jù)庫硬扛在這個項目的前期調(diào)研中我特地拿真實場景測過一輪MySQL/PostgreSQL等傳統(tǒng)關(guān)系型數(shù)據(jù)庫的承載能力。一個2萬在校生規(guī)模的高校假設(shè)平均每天活躍用戶1.2萬按每用戶每天產(chǎn)生8000條網(wǎng)絡(luò)訪問記錄算一天的原始行為記錄就是近1億條一個月的存儲量輕松突破25億行。關(guān)系型數(shù)據(jù)庫遇到這種量級有幾個繞不過去的坎。首先是寫入瓶頸單機MySQL在普通SSD上穩(wěn)定寫入也就每秒幾千到一萬行左右而校園網(wǎng)在晚高峰時每秒產(chǎn)生的日志量可以到兩萬條以上寫入必然排隊積壓。其次是聚合查詢效率比如“統(tǒng)計過去30天每天各院系的平均在線時長”這種在分析場景里極其常見的SQL對應的是數(shù)十億行的范圍掃描加GROUP BY普通索引完全無用跑一個查詢能把數(shù)據(jù)庫鎖死十幾分鐘直接拖垮在線業(yè)務(wù)。第三是橫向擴展的難度雖然MySQL集群和分庫分表能擴展寫入能力但按用戶ID或者IP段去分片之后跨分片的聚合計算會變得極其痛苦運維復雜度也呈指數(shù)級上升。所以這套系統(tǒng)在設(shè)計上堅定地把“日志存儲與行為分析”放到了大數(shù)據(jù)技術(shù)棧上。離線存儲用HDFS或者云對象存儲來存原始日志數(shù)據(jù)倉庫層用Hive或者Doris這類組件做分區(qū)表和分桶表的統(tǒng)一管理查詢分析引擎則放到StarRocks或ClickHouse這類MPP數(shù)據(jù)庫上。我這么說不是勸你徹底拋棄關(guān)系型數(shù)據(jù)庫。實際上系統(tǒng)里仍然保留了MySQL它用來存用戶基礎(chǔ)信息、學號與IP的綁定關(guān)系、院系班級層級結(jié)構(gòu)、預警規(guī)則配置等元數(shù)據(jù)和維度數(shù)據(jù)。這套方案的本質(zhì)是“各司其職”MySQL管維度、管配置、管事務(wù)大數(shù)據(jù)組件管事實、管日志、管批量聚合。3. 核心細節(jié)解析與實操要點3.1 數(shù)據(jù)源接入校園網(wǎng)日志必須解決的對齊難題校園網(wǎng)日志接入是整個系統(tǒng)中最容易出現(xiàn)“Garbage in, garbage out”的環(huán)節(jié)也是拉開真實項目與虛構(gòu)設(shè)計之間差距的分水嶺。從真實環(huán)境看最麻煩的痛點是多源時間不同步。我踩過一個至今記憶猶新的坑出口防火墻的設(shè)備時鐘和認證服務(wù)器的時間差了4分鐘起初覺得4分鐘誤差無傷大雅但在做“用戶斷線后是否仍有流量”的行為分析時這4分鐘的偏移會直接導致幾百個用戶被誤判為“離線后仍有異常流量”。排查了很久最后把所有網(wǎng)絡(luò)設(shè)備統(tǒng)一配置NTP時間同步并把數(shù)據(jù)接入層每個數(shù)據(jù)源的時鐘偏移做成可監(jiān)控的指標——如果哪臺設(shè)備的時間偏移超過30秒立刻觸發(fā)告警。第二個痛點是IP地址的動態(tài)回收。校園網(wǎng)大量使用DHCP動態(tài)分配一個學生在一天內(nèi)可能經(jīng)歷好幾次IP變更。如果只是簡單聚合IP上的流量你統(tǒng)計到的“用戶行為”其實是多個人混在一起。解決辦法是把RADIUS認證日志中每次上下線事件作為一個會話窗口在這個窗口期內(nèi)IP和用戶學號形成穩(wěn)定映射。后續(xù)所有流量數(shù)據(jù)的聚合都必須先執(zhí)行“會話關(guān)聯(lián)”通過IP和時間戳把流量日志映射回帳號維度。這個關(guān)聯(lián)邏輯可以用流式方式實現(xiàn)偽代碼表達大致是這個邏輯case class RadiusEvent(acctId: String, userId: String, userIp: String, onlineTime: Long, offlineTime: Long, nasPort: String) case class FlowRecord(userIp: String, timestamp: Long, destIp: String, destPort: Int, protocol: String, bytes: Long) def buildUserSession(radiusEvent: RadiusEvent, flowRecords: Dataset[FlowRecord]) : Dataset[UserBehaviorRecord] { flowRecords .where(col(userIp) radiusEvent.userIp) .where(col(timestamp).between(radiusEvent.onlineTime, radiusEvent.offlineTime)) .map { record UserBehaviorRecord( userId radiusEvent.userId, onlineSession radiusEvent.acctId, timestamp record.timestamp, destIp record.destIp, destPort record.destPort, protocol record.protocol, bytes record.bytes ) } }這段代碼的邏輯不復雜但真正實現(xiàn)的時候要考慮到一個現(xiàn)實離線批處理的方式處理每天的認證記錄和日志文件拼接至少需要20分鐘無法滿足運營方的“想看今天上午實時情況”的需求。在實際架構(gòu)里我把實時產(chǎn)生的認證事件推入Kafka用Flink做流式會話狀態(tài)維護流量日志則以一分鐘滾動窗口的方式從采集器推送進來做流式關(guān)聯(lián)。這套方案實測定格在秒級延遲完全夠用。3.2 用戶行為畫像與關(guān)鍵標簽體系設(shè)計有了“用戶ID 時間 目標”的事實數(shù)據(jù)之后下一步就是構(gòu)建標簽體系。這里需要強調(diào)一個認知不要把畫像做成大而全的“人肉信息表”不要試圖去推斷學生的成績、性格、戀愛狀態(tài)這種跟網(wǎng)絡(luò)行為沒有直接因果關(guān)系的維度那是既不可行也沒有正當性的。真正有業(yè)務(wù)價值且合規(guī)的標簽應當集中在網(wǎng)絡(luò)使用模式這個范疇。我將標簽體系設(shè)計為五個一級維度時間規(guī)律性標簽早鳥型、夜貓子型、規(guī)律型、隨機型應用偏好標簽視頻文娛型、游戲競技型、學術(shù)科研型、社交溝通型、綜合均衡型流量消耗標簽輕度用戶、中度用戶、重度下載用戶、異常突發(fā)用戶活躍區(qū)域標簽宿舍區(qū)活躍、教學區(qū)活躍、圖書館活躍、跨區(qū)流動風險行為標簽連接數(shù)異常、短時高頻認證失敗、訪問惡意域名、非業(yè)務(wù)時段大流量在具體實現(xiàn)上每個標簽都是由底層行為統(tǒng)計指標計算出來的。舉個例子“夜貓子型”的計算邏輯大致是提取用戶過去30天每天的按小時活躍度數(shù)據(jù)形成一個24維的行為向量用K-Means聚類算法把全體用戶聚類為若干個典型作息群體算法自動把凌晨活躍占比高的群體標記為“夜貓子”再用一個連續(xù)7天的滑動窗口判斷用戶當前作息類型是否發(fā)生偏移。這個方案比簡單設(shè)定“零點后流量超過30%就判夜貓子”要科學得多因為不同學校的熄燈時間、年級課表結(jié)構(gòu)差異太大了聚類可以做到數(shù)據(jù)自適應。在設(shè)計畫像的時候要特別注意時間窗口的滑動與衰減。一次性的全量結(jié)算是沒有生命力的。用戶今天的行為只能微弱地影響他當日的標簽但過去三個月的長期活躍模式才是畫像的基石。我為每個標簽配置了一個時間衰減權(quán)重表例如近7天行為權(quán)重為1.08到30天為0.631到90天為0.3超過90天的歷史行為權(quán)重僅為0.1。這樣一來每逢寒暑假結(jié)束后學生的標簽會在大約兩周內(nèi)平滑地切換到新的學期行為模式而不是因為假期里某一天的突發(fā)下載行為而長期被打上“重度下載用戶”的錯誤標簽。3.3 離線鏈路與實時鏈路的協(xié)同工作方式一套完整的“大數(shù)據(jù)”系統(tǒng)如果不區(qū)分離線與實時鏈路遲早會在吞吐和時效上翻車。我的做法是把整個系統(tǒng)做成了雙鏈路并行、結(jié)果在服務(wù)層統(tǒng)一出口的格局。離線鏈路使用Apache Hive或者Doris的External Table直接掛在HDFS上每天凌晨通過調(diào)度系統(tǒng)觸發(fā)全量回補計算和T1的指標匯總產(chǎn)出的結(jié)果寫入StarRocks的明細表和聚合表供前端的“歷史趨勢看板”和“學生月度行為報告”查詢。離線計算的優(yōu)點是穩(wěn)定、容錯、可重算缺點是慢一天的數(shù)據(jù)要算到第二天的凌晨2點才能全部完成但這不重要因為任何一個學工老師都不會要求“實時看到昨天之前的每個歷史時刻總量”他們要的是準確。實時鏈路則是獨立的一條Flink Streaming作業(yè)鏈。Kafka里面的認證事件和五分鐘粒度的流量聚合日志經(jīng)過狀態(tài)計算后寫入Doris的主鍵模型表。這一路負責支撐的是“此刻校園網(wǎng)運行態(tài)勢大屏”和“實時異常行為預警”。實時鏈路的計算復雜度必須嚴格控制——只做單事件的規(guī)則判斷和短窗口內(nèi)聚合凡是需要超過30分鐘窗口的復雜行為模式分析一律交還給離線鏈路。兩張鏈路產(chǎn)出的數(shù)據(jù)在服務(wù)層還要做一次合并和沖突消解原則是“實時數(shù)據(jù)先行展示離線數(shù)據(jù)次日校準”。例如大屏上顯示的“當前全網(wǎng)在線人數(shù)”實時鏈路給的是即時的精確計數(shù)離線鏈路則會結(jié)合當日認證日志做一個校準如果發(fā)現(xiàn)凌晨某個時段Kafka曾發(fā)生短暫積壓導致計數(shù)偏低就會在第二天的歷史曲線上把這段數(shù)據(jù)補準。這樣既保證了數(shù)據(jù)新鮮度也維護了最終一致性。4. 技術(shù)選型解析與前后端落地4.1 大數(shù)據(jù)組件怎么選才不踩坑每次聊這種系統(tǒng)總有朋友問為什么不用Hadoop生態(tài)全家桶。我的建議非常直接能用輕量MPP數(shù)據(jù)庫解決的就不要為了“顯示技術(shù)棧完整”而盲目引入Spark、Hive、HBase、YARN那一整套重組件。原因很現(xiàn)實你首先得有人會運維這套集群其次這些組件跑起來的資源開銷很大最后它們各自都有各自的版本兼容陷阱很可能你折騰了三周還沒把Hive和Spark的告警噪音壓下去。針對校園網(wǎng)行為分析這個場景實際數(shù)據(jù)量和查詢模式是有明顯邊界的日均日志一億條上下、事實表每月幾十億行、維度表最高幾萬行、高并發(fā)查詢集中在最近一個月的匯總和明細。這個量級一套StarRocks就能輕松覆蓋而且StarRocks自帶列式存儲、自適應索引、向量化執(zhí)行和非常完善的分區(qū)分桶機制在標準服務(wù)器上單表千億級別的聚合查詢都能做到秒級響應。我用StarRocks做了兩個關(guān)鍵設(shè)計。一是明細表按天做分區(qū)每個分區(qū)內(nèi)按用戶ID哈希分桶分桶數(shù)設(shè)為集群BE節(jié)點數(shù)的3倍這樣既能保證數(shù)據(jù)分布均勻又能在查詢時做本地聚合減少網(wǎng)絡(luò)Shuffle。二是針對“實時更新用戶最新標簽”的場景使用主鍵模型表主鍵就是用戶ID每次流入的畫像計算結(jié)果直接覆蓋更新。整個數(shù)據(jù)鏈路從采集到應用我最終確定了這樣一套選型組合日志采集和解析Filebeat Logstash純?nèi)罩静杉洼p度清洗消息隊列Kafka 2.8承擔日志緩沖與解耦保存最近3天原始數(shù)據(jù)流式計算Flink 1.15統(tǒng)計實時在線、分鐘級流量聚合、異常告警觸發(fā)離線數(shù)據(jù)湖存儲HDFS保存全部原始日志保留6個月過期歸檔冷存儲OLAP查詢引擎StarRocks 3.0明細與匯總模型并存關(guān)系型元數(shù)據(jù)庫MySQL 8.0用戶基礎(chǔ)檔案與規(guī)則配置一張mysql實例即可可視化Vue 3 ECharts DataV對接后端Restful服務(wù)這套組合沒有引入任何偏門組件全是社區(qū)活躍度和資料豐富度最高的開源項目即使你的團隊之前完全沒有大數(shù)據(jù)開發(fā)經(jīng)驗按照官方文檔也能在兩三周內(nèi)完成環(huán)境搭建。4.2 后端服務(wù)接口抽象與模塊化拆分后端業(yè)務(wù)服務(wù)的職責是“用自己的話解釋數(shù)倉里的數(shù)據(jù)”而不是把SQL查詢裸奔暴露給前端。我按業(yè)務(wù)域拆分了五個微服務(wù)雖然微服務(wù)在這類系統(tǒng)里顯得有些小題大做但考慮到后續(xù)可能的擴展和維護模塊邊界清晰的好處值得買單。用戶畫像服務(wù)負責根據(jù)用戶ID、學號或院系維度查詢畫像標簽和歷史行為軌跡。這個服務(wù)查詢的StarRocks主鍵模型表接口基本就是一次點查加若干維度屬性的拼裝。一個典型的接口返回長這樣{ userId: 202301012345, deptName: 計算機科學與技術(shù)學院, grade: 2023級, behaviorType: 夜貓子型, appPrefTags: [視頻文娛, 游戲競技], recent7DayAvgOnlineMinutes: 312, trends: [ { date: 2025-03-17, onlineMinutes: 180, activeHours: 8 }, { date: 2025-03-18, onlineMinutes: 425, activeHours: 12 } ] }運維監(jiān)控服務(wù)則要承擔更純粹的指標查詢例如全網(wǎng)總帶寬、TopN應用占比、各AP區(qū)域在線終端數(shù)、認證成功率等。這些查詢在StarRocks上寫起來就是簡單的SUM和GROUP BY但為了不把StarRocks壓垮服務(wù)層必須內(nèi)置結(jié)果緩存熱點看板的SQL結(jié)果緩存時間為30秒到5分鐘不等。預警服務(wù)則需要一個獨立的規(guī)則引擎。我把預警規(guī)則的元數(shù)據(jù)結(jié)構(gòu)化存儲在MySQL里用Groovy腳本定義觸發(fā)條件運行時加載到內(nèi)存中匹配流入的實時指標。規(guī)則引擎的好處是運維人員可以隨時新增規(guī)則而不用修改代碼、重新發(fā)布服務(wù)。以前這種系統(tǒng)最怕的就是業(yè)務(wù)方提個新需求就要走變更流程規(guī)則化配置后配置在后臺界面點點鼠標就能下發(fā)。這套服務(wù)在技術(shù)實現(xiàn)上我用的Spring Boot 3.xJDK 17Spring Cloud Alibaba作為微服務(wù)基礎(chǔ)件。有人可能覺得這個系統(tǒng)用單體就夠了沒必要微服務(wù)化。坦白說如果只是校內(nèi)自用單體確實夠但考慮到后續(xù)可能對接學校統(tǒng)一身份認證、一卡通數(shù)據(jù)、教務(wù)系統(tǒng)中的課表數(shù)據(jù)每個數(shù)據(jù)源的接入都是一個獨立的演進方向用微服務(wù)把領(lǐng)域邊界隔離能在后續(xù)擴展時少一點“牽一發(fā)而動全身”的恐懼。5. 核心功能模塊的詳細實現(xiàn)路徑5.1 認證日志與流量日志的會話關(guān)聯(lián)實現(xiàn)這是整個項目最硬核的一段值得從頭到尾講清楚。校園網(wǎng)環(huán)境中的數(shù)據(jù)流分為兩類。一類是認證計費系統(tǒng)記錄的用戶上下線報文它解決“用戶張三在某個時間段內(nèi)使用了某IP”這一問題。另一類是網(wǎng)絡(luò)出口的流量日志它只記錄IP和IP之間的通信特征完全不知道MAC和學號的存在。系統(tǒng)必須把這兩套數(shù)據(jù)按時間字段進行拼接。會話關(guān)聯(lián)合并后原始的行為事實表結(jié)構(gòu)大致為字段用戶ID、學號、會話起始時間、會話結(jié)束時間、源IP、目標IP、目標端口、應用協(xié)議、上行流量、下行流量、訪問域名。這里的難點有兩層一是RADIUS的離線報文并不總是及時到達經(jīng)常出現(xiàn)用戶下線了但離線包延遲二十分鐘才上報的情況導致關(guān)聯(lián)到該會話的流量記錄必須等都到齊后才能完整聚合。二是當用戶跨AP漫游時IP可能保持不變但NAS設(shè)備和端口號會變?nèi)绻耆础癐P時間窗口”關(guān)聯(lián)可能把多個終端上的不同人合并為一個會話。我的實際應對方案是引入“四元組會話切分”邏輯以用戶賬號、認證NAS標識、認證時間、用戶IP為依據(jù)切分會話而非簡單地用IP起止時間。只有同一賬號在同一設(shè)備上使用同一IP的連續(xù)時間段才被判定為一個穩(wěn)定會話。這套邏輯在流式計算中實現(xiàn)時會用到Flink的KeyedState以用戶賬號和IP作為聯(lián)合主鍵維護每個活躍會話的當前狀態(tài)并設(shè)置空閑超時時間為15分鐘——如果用戶超過15分鐘沒有新的流量就強制終將會話標記為“待關(guān)閉”后續(xù)到達的流量則劃入新會話。這個設(shè)計經(jīng)得起實踐的檢驗。在試運行階段的一次抽樣驗證中把系統(tǒng)通過會話關(guān)聯(lián)計算出的用戶在線總時長與認證計費系統(tǒng)自帶的停機時長報表做對比誤差被控制在了2%以內(nèi)。這2%的誤差主要來自跨零點會話被自然切分到兩個自然日的統(tǒng)計差異屬于可接受范圍。5.2 標簽實時計算與孤立森林異常檢測標簽計算分為批量和在線兩個通道。批量通道在每日凌晨離線跑使用用戶過去30天的數(shù)據(jù)做K-Means聚類和標簽推斷結(jié)果寫入StarRocks主鍵模型實時通道則是對新流入的數(shù)據(jù)做增量計數(shù)一旦某個指標超過規(guī)則閾值就會觸發(fā)標簽的暫態(tài)更新。這么說可能有點抽象用一個例子說明某個白天的正常用戶在凌晨被檢測到持續(xù)FTP下載大文件實時通道會立刻在當前畫像上附加一個“即時異常下載”標記但這個標記有個3小時有效期如果三小時內(nèi)沒有持續(xù)異常標記自動過期畫像保持原來的“規(guī)律型”。異常行為檢測部分除了簡單的閾值規(guī)則以外我還用到了孤立森林算法來識別多維特征上的離群點。為什么要用孤立森林而不用傳統(tǒng)的Z-Score或者3Sigma因為校園網(wǎng)行為數(shù)據(jù)非常稀疏且分布極不規(guī)則。就拿“短時間DNS請求次數(shù)”來說正常用戶在正常瀏覽時的分布已經(jīng)是一個極大右偏分布少數(shù)用戶使用DNS隧道或者跑P2P資源發(fā)現(xiàn)時產(chǎn)生的請求量會高出幾個數(shù)量級但高值本身在分布里不一定屬于“對稱分布下的離群”。孤立森林的優(yōu)點在于它通過隨機切分特征空間能快速地將那些在多個維度上都顯得“隔離”的點標記出來而不用假設(shè)數(shù)據(jù)服從正態(tài)分布。我在這個模塊提取了六個核心特征每分鐘新建連接數(shù)、每分鐘DNS請求數(shù)、每分鐘上行包數(shù)、每分鐘下行包數(shù)、訪問目標IP的離散度、連接失敗比例。把每用戶的實時特征向量送入孤立森林模型模型輸出的異常分數(shù)超過0.7時觸發(fā)預警。為了控制誤報率預警不會直接推送給學工老師而是先進運維人員的人工復核隊列確認后有價值再上報。這步設(shè)計是我在項目上線初期被誤報搞得差點失去信任之后加上的非常管用。5.3 可視化大屏和領(lǐng)導駕駛艙的搭建如果說前面的工作都是在凈化數(shù)據(jù)、沉淀數(shù)據(jù)那可視化的作用就是把數(shù)據(jù)“翻譯”成不同角色能秒懂的語言。運維視角的首頁我設(shè)計成了一張網(wǎng)絡(luò)運行態(tài)勢總覽大屏核心組件包括在線用戶數(shù)曲線、實時下行總帶寬、Top10熱門應用分布、各出口鏈路健康度、認證成功率趨勢、當前告警列表。為了支撐這條大屏后端為每個組件單獨提供查詢接口ECharts通過WebSocket訂閱推送過來的增量數(shù)據(jù)繪圖環(huán)節(jié)基本不需要做復雜的前端計算。因為數(shù)據(jù)刷新頻率是秒級和傳統(tǒng)的離線報表有很大不同這里必須用WebSocket或SSE。我用Spring Boot內(nèi)置的WebSocket做服務(wù)端主動推送后端每5秒做一次微聚合把結(jié)果推送到前端連接上。為什么不在前端用ECharts的定時器輪詢因為一旦打開大屏的賬號多起來輪詢會無謂地放大查詢壓力。而采用服務(wù)端推送之后只有當數(shù)據(jù)變化時才推送一次增量網(wǎng)絡(luò)開銷和數(shù)據(jù)庫壓力都明顯下降。領(lǐng)導駕駛艙則更加注重結(jié)論性而不是實時性。頁面上展示的是本月校園網(wǎng)運行摘要、各院系平均在線時長對比、帶寬資源利用趨勢、重大異常事件月度統(tǒng)計等。這個頁面完全不查消息隊列所有數(shù)據(jù)都從StarRocks的離線匯總表取數(shù)響應時間目標控制在800毫秒以內(nèi)。我還額外設(shè)計了一套“下鉆”權(quán)限校領(lǐng)導可以按住某個院系的柱狀圖向下逐層鉆取到班級但出于隱私保護原則下鉆到個人詳情頁面的入口只對學工系統(tǒng)中有明確授權(quán)賬號的人員開放。權(quán)限控制不是技術(shù)難事但它決定了這個系統(tǒng)能不能真正落地、會不會惹出合規(guī)麻煩所以我在設(shè)計之初就把它作為與功能同等重要的一環(huán)對待。6. 常見問題與排查技巧實錄6.1 Kafka消費積壓與背壓問題項目上線一個月后故障開始零星出現(xiàn)。最典型的就是Kafka消費者積壓每天早上八點學生集中起床使用網(wǎng)絡(luò)會出現(xiàn)一波持續(xù)約40分鐘的流量高峰實時鏈路如果某些時刻Flink作業(yè)的并行度不夠或者Sink端StarRocks寫入變慢消費位點就會開始拉大差距消費者延時會從幾秒鐘慢慢膨脹到二十分鐘以上。排查這類問題我第一件事是看Kafka的消費組Lag監(jiān)控判斷是哪個環(huán)節(jié)卡住。如果Lag只存在于某一個Flink作業(yè)上那大概率是這個作業(yè)里有大狀態(tài)或者某個算子成為瓶頸。有一回我發(fā)現(xiàn)Flink作業(yè)頻繁發(fā)生反壓定位到是StarRocks集群的導入配額打滿導致寫入變慢。解決辦法有兩個一是調(diào)大Stream Load的批量大小和并發(fā)數(shù)二是把StarRocks的BE節(jié)點擴容。在真實的集群上純調(diào)優(yōu)只能解決問題的一部分流量持續(xù)增長之后該擴容就得擴容否則系統(tǒng)永遠在“剛好夠用”的懸崖邊走路。另一個實用技巧是給關(guān)鍵Topic設(shè)置合理的分區(qū)數(shù)。我最初Kafka分區(qū)設(shè)置過小只有6個分區(qū)但Flink作業(yè)的并行度有12結(jié)果有6個空閑并行度毫無用處。后來把主題分區(qū)調(diào)整為與下游最大并行度對齊的12吞吐量甚至沒有增加任何一臺機器就直接翻倍。6.2 用戶隱私與數(shù)據(jù)脫敏的現(xiàn)實處理做這種系統(tǒng)最怕的不是技術(shù)完不成而是業(yè)務(wù)隱私的邊界沒守住。校園網(wǎng)用戶行為數(shù)據(jù)極其敏感哪怕你只是想分析“學生晚上一般幾點睡”背后牽涉到的都是在校學生的個人隱私。所以這個系統(tǒng)的隱私合規(guī)設(shè)計我從技術(shù)設(shè)計到上線推廣都繃著一根弦。數(shù)據(jù)接入層就把敏感字段做了分級處理。用戶明文學號和姓名只存在于MySQL元數(shù)據(jù)庫且這個庫只對后端必要的兩個服務(wù)開放網(wǎng)絡(luò)訪問其他服務(wù)一律不允許直接連接。進入大數(shù)據(jù)平臺的行為事實表一律使用系統(tǒng)內(nèi)部生成的脫敏用戶ID作為主關(guān)聯(lián)鍵真實的學號絕不能出現(xiàn)在StarRocks、HDFS或Kafka的日志中。一旦出現(xiàn)數(shù)據(jù)采集端的校驗任務(wù)就會將當批次數(shù)據(jù)丟棄并發(fā)送異常告警防止臟數(shù)據(jù)帶著敏感信息流入分析鏈路。對外查詢接口層面強制要求按照角色控制能查看的數(shù)據(jù)粒度和時間范圍。普通運維人員只能看到以“在線終端數(shù)”為單位的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)看不到任何個人標簽輔導員能查看本學院學生的行為畫像摘要但無法下載明細數(shù)據(jù)校級管理員的所有查詢審計日志都要在后臺留存至少180天。這套權(quán)限體系是系統(tǒng)的準生證什么時候權(quán)限管好了什么時候系統(tǒng)才算真正能走出運維部門走向全校各業(yè)務(wù)部門。6.3 StarRocks表模型選錯的代價我剛開始建表時為了圖省事把全部數(shù)據(jù)都放進了StarRocks的明細模型結(jié)果在跑“計算每個用戶最近7天的活躍天數(shù)”時發(fā)現(xiàn)查詢經(jīng)常超時。后來經(jīng)過分析才意識到明細模型對這類多行歸一的聚合查詢是極其不利的因為每次查詢都需要掃描該用戶過去七天所有明細行進行實時去重聚合。解決辦法分成兩步。第一步把日匯總數(shù)據(jù)放入聚合模型表比如每個用戶每天的總在線分鐘、總流量、總請求數(shù)通過模型內(nèi)置的AGGREGATE_KEY自動做同維度合并第二步實時標簽類結(jié)果放入主鍵模型表保證同一個用戶的最新畫像只有一行記錄。這樣調(diào)整之后原本需要掃描幾百萬行的聚合查詢變成了掃描幾萬行的點查加小聚合查詢速度直接從8秒降低到150毫秒。星羅棋布的各種表模型其實不是設(shè)計上的花架子用對了才算是真正理解了OLAP場景。作為一個過來人的建議在StarRocks上建表之前先問自己一句——這張表要支撐的查詢到底是“看趨勢”還是“找明細”想清楚再動手能幫你少走太多彎路。7. 部署環(huán)境準備與上線運維實戰(zhàn)7.1 硬件資源規(guī)劃與集群拓撲建議很多初次搭建大數(shù)據(jù)平臺的人一看到“大數(shù)據(jù)”三個字就以為需要幾十臺高性能服務(wù)器組成集群這是一個極大的認知誤區(qū)。針對2萬在校生規(guī)模的校園網(wǎng)行為分析場景我實測下壓測下來的硬件底線其實不高。以峰值并發(fā)在線1.5萬人、日均原始日志約1億條、保留180天原始數(shù)據(jù)來估算HDFS的存儲空間需求大致在25TB到30TB左右這個數(shù)字按當前主流配置也就是4臺8TB數(shù)據(jù)盤服務(wù)器的裸容量。計算資源方面Flink的實時鏈路和StarRocks的查詢負載加一起讓我最終確認了一個5節(jié)點起步的最小可行集群3臺數(shù)據(jù)節(jié)點兼計算節(jié)點同時運行StarRocks的BE進程和HDFS的DataNode2臺獨立節(jié)點分別部署Flink的TaskManager管理節(jié)點則共用其中一臺低配虛擬機運行NameNode、Flink JobManager和StarRocks FE。操作系統(tǒng)按常規(guī)選擇CentOS 7.9或者Ubuntu 20.04 LTS都可以但有一個容易忽略的關(guān)鍵點就是內(nèi)核參數(shù)優(yōu)化。因為大數(shù)據(jù)組件普遍依賴網(wǎng)絡(luò)和文件句柄我統(tǒng)一把/etc/security/limits.conf中的nofile調(diào)到65535把vm.swappiness設(shè)為10以下并關(guān)閉了透明大頁。這些看似不起眼的參數(shù)直接影響著Flink做Checkpoint時是否會因為磁盤IO抖動導致超時。7.2 流量高峰期的性能調(diào)優(yōu)實戰(zhàn)性能調(diào)優(yōu)最有效的抓手不是盲目加機器而是看準瓶頸在哪里。在我經(jīng)歷的高峰期優(yōu)化中有兩個調(diào)優(yōu)方向收益最顯著。第一個方向是調(diào)整Flink的Checkpoint間隔和狀態(tài)后端。校園網(wǎng)流量有明顯的波峰波谷晚上九點到十一點是全天最高峰該時段Flink作業(yè)處理的消息量能到白天低谷的8倍左右。如果把Checkpoint間隔設(shè)得太短高峰期每個Checkpoint都會消耗大量資源去做狀態(tài)快照和正常的消息處理搶帶寬。我把Checkpoint間隔從最初的30秒調(diào)整為90秒并開啟增量Checkpoint后高峰期的處理延遲直接下降了30%。第二個方向是StarRocks的查詢并發(fā)控制和緩存命中率。雖然StarRocks的并發(fā)能力很強但如果沒有查詢隊列限制幾個大查詢同時沖進來會把CPU打滿反而拖累所有小查詢。我通過設(shè)置query_queue_concurrency_limit信號量參數(shù)限制同時執(zhí)行的查詢數(shù)量并對大屏常用查詢強制走結(jié)果緩存。經(jīng)過一輪壓測驗證線上大屏查詢P95響應時間穩(wěn)定保持在800毫秒以內(nèi)這已經(jīng)是運維人員不需要再抱怨的水平了。8. 復盤心得與后續(xù)可擴展的方向這套系統(tǒng)從需求梳理到上線穩(wěn)定運行前后花了接近五個月時間其中將近一半的時間其實不是花在寫代碼上而是花在“理解校園網(wǎng)的數(shù)據(jù)到底長什么樣”以及“把業(yè)務(wù)方的模糊描述翻譯成精確的技術(shù)規(guī)則”上面。如果說有什么值得后來者記住的血淚經(jīng)驗就是在項目動工之前務(wù)必找一個真正的在校學生把校園網(wǎng)的認證流程、IP分配方式、出口鏈路拓撲和流量日志都完整地摸清楚這是整個系統(tǒng)所有上層建筑的地基。后續(xù)這個系統(tǒng)還有很大的擴展空間。一個極具潛力的方向是結(jié)合一卡通刷卡和圖書館門禁數(shù)據(jù)構(gòu)建更加完整的校園行為軌跡比如通過比對“凌晨4點還在上網(wǎng)”與“上午8點食堂無刷卡記錄”兩個弱信號配合教務(wù)系統(tǒng)排查長期缺課風險。另一個方向是將基于孤立森林的異常檢測擴展為基于行為序列的深度模型從單點異常識別升級為行為軌跡異常的判別。不過這些擴展開啟之前有一個前置問題必須思考清楚系統(tǒng)的分析結(jié)果到底如何使用才能既發(fā)揮數(shù)據(jù)價值又守住數(shù)據(jù)倫理邊界。我的原則向來是技術(shù)只能輔助判斷不能越界替代人的決策。最后再分享一個我自己在整個項目中最受益的小技巧堅持給每一張關(guān)鍵數(shù)據(jù)表都建立“血緣追蹤”從原始日志到明細寬表再到最終指標每一次加工歷史都清晰可見。這樣做遇到數(shù)據(jù)對不上的問題能在一個小時內(nèi)準確定位到是采集、清洗、關(guān)聯(lián)還是聚合哪一環(huán)出了問題。沒有這條血緣鏈路的大數(shù)據(jù)系統(tǒng)等到出了數(shù)據(jù)問題只能靠翻代碼加猜那排查的酸爽經(jīng)歷過的人都會懂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97干视频| 伊人玖玖婷婷| 色五月综合在线| 亚洲色色香蕉| 婷婷色啪| 久久99热这里只频精品6学生| 少妇被躁爽到高潮无码文| 超碰在线观看9| 六月丁AV| 婷婷五月六月| 欧美综合激情| 九九超碰人人| 丁香五月激情图片婷婷| 五月天停婷基地| 国产精产国品一二三在观看| 91传媒无码人妻精| 操碰色一区就去操| 視频福利乱色| 丁香五月婷婷亚洲人| 香蕉久久六月| 五月天六月婷| 婷婷五月天电影网| anquye五月| 国产精品成人av在线观看春天| 色婷婷久久综合中文久久一本 | 99丝袜精品视频网站| 五月天综合色| 狠狠另类视频| 99热超碰天堂网| 欧亚中文A V| 91久久婷婷| 婷婷导航| 天天日综合| AV成人在线播放| 婷婷中文字幕| 久久婷婷综合五月趴| 色综合视频在线| 五月天五月天激情网| 葵花AV在线| 九九精品在线观看视频6| 播播网色播播| 日韩爱操视频| 日本天堂免费99| 深爱激情六月天| 久久奄也去色色网站| www.久久久久久久| 91九色精品熟女内射| 五月狠狠| xxxx五月| 婷婷五月丁香色情| 91久久综合| 开心五月色婷| 99热99思午夜精品| 丁香九月婷婷综合| 26uuu.| 久久91久久精品久久| 久久这里都是精品| 欧美色色色色色色色色色色影视| 碰久久精品w| 乱码操操| 秋霞午夜理论| 五月丁香花激情啪啪网| 婷婷五月在线观看| 99这里是99在线视频| 久热久69| 99色| 激情WWW| 91啪啪视频| 久久综合站| 五月婷婷六月爱| 怡红院91a√| 色色激情五月天| 久久久久9| 色五月之第四色| 碰碰人人人| 激情网 五月天| 五月伊人91| 色5月丁香婷婷| 久9久9热久热| 国产人人操| 五月婷婷天| 免费九九热| www,setingting| 五月天伊人网| 99在线精品观看99| 岛囯综合激情网| 91丨九色丨国产打屁股| 天天影视色综合网| 激情五月天综合图片小说网站| 久久婷婷六月综合综合| 色99综合视频| 欧美色图天堂网色| 九九热在线精品| 第二色AⅤ| 国产精品久久久久久妇女6080| 色婷婷a三区麻| 91碰碰视频| 亚洲AV久久久久久久久久久久久久久久 | 六月色激情| 亚洲第一成人无码A片| 色婷婷五月亚洲| 色99网| 九九99偷拍视频| 综合色五月天| 久久激情网| 婷婷五月丁香激情图片 | 丁香久久AV| 婷婷久久99| 久/久精品99看9| 好好干Av| 老师的粉嫩小又紧水又多A片视频| www.99久久久| 五月天婷久精视频| 思思久久99热只有频精品66| 久久大香蕉视频| 性做久久久久久久免费看| 干婷婷五月天| 熟女五月天久久综合| 久久人人做人人妻人人玩精品va| 精品久久9| 五月丁香六月婷婷手机无线| 91综合在线视频| 五月天婷婷爱| 亚洲婷婷视频| 五月丁香成年黄色| 午夜无码熟熟妇丰满人妻| 99无码视频| 久久综合激情| 五月丁香激情四射| 丁香五月婷婷AV| 亚洲婷婷欧美婷婷| 五月天婷a在线| 伊综合蕉| 日韩欧美性爱| 亚洲亚洲人成综合网络| 99热这里有精品| 成年人99热| 五月丁香激情怕怕| www.第四色99| 99久久9| 性爱视频99| 婷婷成人网五月天| 九九色影视| 另类激情五| 九色综合网| 99国产精品久久久久久久久久久| 另类图片色五月| 五月婷婷色激情| 99热综合在线| 一本九九色| 精品一二三区久久AAA片| 丁香五月欧美激情| 久久人妻视频| 夜夜操狠狠操天天操| 五月婷婷香蕉| 亚洲欧美999| 色情五月停停丁香| 欧美婷婷成人| 五月丁香综合啪啪対白| 天天爽夜夜爽| 亚洲成人色五月婷婷综合| 国产高清视频91九九九久久久| 五月天婷婷久久| 丁香五月婷婷色| 一區四區歐美日韓| 婷婷六月天亚州| 五月婷色啪| 色999;丁香五月| 五月天婷婷开心| 九九干视频| www久久99| 天天日综合| 日韩久热| 开心五月深爱五月| 嫩草AV久久伊人妇女超级A| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 天天综合网站| 99高级会所久久| 色婷婷综合影院| 热99在线精品| 激情四射五月天偷偷看婷婷| 色婷婷四色| 九九热在线观看视频| 97人人干| 狠狠精品干练久久久无码中文字幕| 激情五月天婷婷丁香| 丁香六月天婷婷开心综合| 色色自拍视频网站| 六月丁香好婷婷| 思思热视频| 五月丁香激情在线| 日本爆乳片手机在线播放| 五月婷无码| 丁香婷停五月激情综合深爱| 夜夜躁爽日日| 欧美熟女99| 五月婷婷六月丁香| 欧美在线视频9| 色爱爱综合网| 丁香五月日韩| 五月天激情网址| 91婷婷在线| 这里只有精品日韩精品| 国产成人AV人人爽人人澡Va| 欧美在线操| 日日夜夜狠狠婷婷色| 色色婷五月天| 五月五月婷婷| 91尤物九色在线| 五月天综合在线网| 九九热视频免费| 五月丁香六月婷婷的女人| 亚洲视频另类| 色色色综合网| 五月婷婷性| 婷婷五月丁香综合激情| 色99网站| 久久小说| 色色色丁香| 婷婷六月激情| 精品成人无码A片观看香草视频| 色情一区二区播放| www.婷婷.com| 久久er免费视频| 丁香五月综合| 色情丁香五月天| 99视频久久| 天天操夜夜操| 琪琪色五月天| 久久成人亚洲欧美电影| 色婷婷精品小视频| 亚洲六月婷婷| wwccc久久久| 久久只这里有精品| 亚洲天天| 五月丁香激情综合啪啪| 国产精品久久欧美久久一区| 九月丁香亭亭| 日婷婷久久开心| 婷婷五月丁香超碰| www99热| 91chinese在线| 婷婷色五月天在线观看| 九九热99热| 亚洲操逼网| 久久狠婷婷| 97操操操| 婷婷五月骚厕所| 激情第四色| 成人丁香五月| 欧美色一级色| 91 原创 在线 九色| 亚洲中文字幕网| 99久久66| 青草激情在线| 蜜臀av粉嫩av懂色av| 国产XXXX搡XXXXX搡麻豆| 色色网91| 天天开心AV色综合婷婷五月天| 7月婷婷六月丁香| 狠狠摸狠狠摸| 五月色丁香| 色婷婷伦理| 这里只有精彩视频| 婷婷五月花丁香| 五月天婷婷色播综合在线| 亚洲色夜| 激情五月婷婷视频一区二区三区| 强辱丰满人妻HD中文字幕| 99精品偷自拍| 久热视频97AV在线观看| 亚洲AV网址| 操日本色| 人人性久久| 99在线观看精品| 日日操,日日爽| 色五月激情五月开心五月| 色香蕉精品五夜婷| 色五月婷婷成人视频| 色丁香五月综合网| 天天插综合网| 色婷婷精品视频在线播放| 婷婷五月天激情综合婷婷五月天激情综合| 99热综合网| 北京熟妇搡BBBB搡BBBB| 91九色成人原创视频| 99热精这里只有精品| 综合色图区| 人人操人人操919999| 99热在线观看亚洲区| 亚洲色五月| 久热久| 天天拍天天做视频| 五月色婷| 五月婷婷日本| 色噜噜狠噜噜视频| 丁香六月久久| 久久99最新地址| 五月色婷婷亚洲| 91婷婷丁香五月| 天天射色五月天| 年轻的妺妺伦理HD中文| 天天做天天爱天天爽在| 成人午夜视频精品一区| 国产婷伊人| 久久婷婷的综合色丁香五月| 五月激情网站| 99热香港| 天天夜夜操| 五月综合激情| 五月婷婷之六月丁香| 欧美激情性做爰免费视频| 日韩精品电影| 99久在线精品99re8热| 91男女视频在线观看| 五月色导航| 久久婷丁香五月| www.九九婷婷| 日韩AAAAAAAAAAA片| 97色色色| 伊人超碰| 久久久激情视频| 日本九九视频| www.99热视频| 五月丁欧美| 人妻av在线| 国产1区2区3区| 99资源在线视频| 久久伊人五月天| 久久38视频| 色五月综合激情| 婷婷操逼| 久热超碰| 五月天天综合| 91 九色 入口| 五月天成人综合| 中文字幕91,综合| 激情综合激情综合| 婷婷久月| 婷婷五月天论坛| 精品婷婷| 五月婷婷六月丁香综合视频在线| 精品九九视频| 乱岳熟女50岁| WWW.99热| 99久久喉9| 亚洲狠狠操| 另类天堂| 丁香婷婷十月| 婷婷五月色| 九九热自拍| 婷婷五月丁香五月| 六月婷婷五月天| 久热AA| 色色色在线播放| 色5月婷婷| 99色五月| 色婷婷久久| 久久综合伊人综合在线| 久久久中文| 天天肏天天插| 91啦丨九色丨刺激中文| 婷婷五月偷拍| 99色在线观看视频| 99爽视频| 天天日日人| 婷婷五月花免费视频在线| 婷婷激情鹿城五月天| 丁香五月天视频| 久久久久久久久久91| 色婷婷狠狠18禁| 久久久久久久丁香五月天婷婷| 强伦轩人妻一区二区电影| 欧美天堂久久| 97在线观视频免费观看| 丁香婷婷色| 丁香婷婷九月在线| 性爱网五月天| 色色日韩| 欧美日韩婷婷五月天| 久久伦乱| 无码AV免费精品一区二区三区| 99热九九这里只有精品10| 婷婷婷婷色| 97在线日韩| 天天色宗合| 婷婷不卡基地| 五月激情偷拍婷婷| 欧美天堂久久| 天天爽天天日人人爱| 青吴乐视频| 99只有这里有精品在线视频| 五月丁香综合激情| 婷婷六月视频| www久久久久久久久久久| 日韩一区二区A片免费观看| 淫视馆AV在线| 美女美女美女三级色天天天天天| 99re这里| 激情99| 色久激情在线| 97在线精品视频| 国产精品国产| 婷婷激情蜜桃玖玖丁香| 五月婷在线影院| 色五月婷婷久久| 丁香九月婷婷色| 99九九热在线观看| www.金莲av| 婷婷色五月天第7色| 在线亚洲综合| 丁香五月婷婷基地| 女力报到正好爱上你| 性爱综合网| www.99精品日操伊人乱碰在线| 色婷亚洲| 中文字幕黄色电影网址| 日韩999| 九色视频91| 99色热| 色亚洲激情| 日韩精品电影| 色五月综合激情| 中文国产五月天| 久久精品日| 色吧五月| 这里只有精品视频一区| 色五月首页| 91久久九九| 91久久五月天| 丁香五月在线观看完整版| 丁香五月综合激情久久潮喷| 激情四射五月天| 六月丁香啪啪| 色五月色开心开心五月| 激情六月婷婷| 天天狠狠干| 丁香色六月| aaa9区免费在线观看| 教师性爱毛片| 97超碰在线免费观看| 国产裸舞福利资源在线视频| 丁香五月性| 五月丁香在线视频观看| 六月丁香色色| 久久久天堂国产精品女人| 五月婷视频| 激情99| 五月天婷婷久久| 丁香六月久久| 久热超碰91| 热日韩欧美| 丁香五月色| 色综合久久888| 日本五月天婷婷丁香| 超碰天堂网| 久热 91| 九九热这里只有精品23| 婷婷丁香五月视频| 97色色网| 五月丁香天堂网| 久久99久久99精品免视看婷婷| 91好好热日本在线| 九七色色六月丁香| 91avse| 天堂AV在线看| 色色色在线免费视频| 白人荫道BBWBBB大荫道| 天天干,夜夜爽| 国产婷婷五月色情综合| 99re这里只有精品99| 久婷婷五月天影院| 99热这里只有精品4| www.久久66| 亚洲激情丁香五月天色| 免费九九热| 99综合一区| XX久久| 六月丁花香啪啪激情欧美| 九九无码| 夜夜骑天天操| 色色网站免费| 六月亚洲| 任我鲁这里有精品视频| aaa久久久| 亚洲色久| 天天日,天天干,天天操| 玖玖综合色| 99热国产在线| 婷婷五月天黄色小说| 久久99热 这里有精品| 人妻性爱av网站| 开心婷婷中文字慕| 九九热视频在线观看| 亚洲综合干| 丁香av网| 搡BBBB搡BBB搡18| 五月丁香激情综合啪啪| 天天干天天叉| 亭亭丁香aV| 色很很96| 激情六月婷婷| 九热电影av| 人妻少妇色综合| 婷婷久久六月费| 在线视频激情网站| 丁香婷婷五月激情| 六月丁香大香蕉| se99热久久一本| 日韩av在线免费观看| 久久一伦| 婷婷操久久| 婷婷五月精品中文| 第1影院之五月婷婷| 婷婷五月色情| 激情婷婷网| 综合精品99| 久久久天堂国产精品女人| 五月天啪啪| 丁香五月婷婷精品视频| 五月丁香婷婷潮喷中文字幕| 狠狠色丁香99| 久久人妻高清中文| 99九九精品| 日在线V视频在线播放| 蜜臀AV在线成人| 亚洲小电影在线观看黄999| 被男人添B超爽视频| 可以看的AV| WWW.婷婷| 五月六月婷| 噜噜吧天天爱| 国产色网站| 五月天婷婷社区| 丁香五月天AV| 99性视频| www五月婷婷| 久久婷婷五月丁香蜜桃网| 色久一| AV在线免费网站| 成人婷婷色五月天| 五月丁六月香| 性爱综合网| 99这里有精品视频| 欧美A片在线视频免费观看| 婷婷五月综合色小姐小说| 色噜噜五月天| 天天激情5月天亚洲| 久久无码激情视频| 色五婷婷| 免费看欧美成人A片无码| 色色色综合色| 五月停性愛| 丝袜熟女一区二区三区| 99丁香五月婷婷在线| 嫩草视频观看| 色久在| 亚洲色在线观看| 欧美激情综合| 成人国产欧美大片一区| 色色五月天com| 成人在线综合| 激情五月综合色婷婷| 五月天久久婷婷| 亚洲综合视频网| 国产亚洲精品久久久久久郑州| 无遮羞AV| 91成人电影| 色婷婷综合五月| 五月丁香在线婷婷美女| 99无码精品| 成功精品影院| 婷婷婷狠狠| 9热久久| 九九五月天| 五月丁香 啪啪啪| 99热这里只有精品中文字幕| AV五月丁香| 五月天开心色色网| 激情丁香九九五月综合网| 丁香五月在线人妻| 色狠狠综合| 天天综合色| 无码激情AAAAA片-区区| 五月丁香婷婷久久| 久久婷婷六月综合| 婷婷激情五月| 天天综合天综合久久网| 欧亚洲在线高清视频| www激情com| 亚洲综合99| 婷婷丁香18| 色综天天综合| 欧美乱码国产一级A片| 97av在线视频| 久久婷婷色综合| 天天日狠狠| 国产成人在线精品| 婷婷黄色网| 丁香女人五月天| 激情五月天伊人av| 国产成人精品一区二三区熟女在线| 成人婷婷| 欧美综合五月丁香五月天| 99九色视频在线观看| 国产肥白大熟妇BBBB视频| 九九热re99re6在线精品| SS丁香五月婷婷| 婷婷操逼| 综合色99| 色婷五月天综合网| 丁香五月花| 色五月天.con| 日本美女上人| 99A片| 久久伊人五月天| 久婷五月| 五月天开心色色网| 激情影院内射| 久久九九爽| 欧美日韩成人免费在线| 五月天久久色| 亚洲AV免费在线| 俺也去在线视频| 玖玖色综合网| 激情图片婷婷丁香五月| 99热这里只有免费精品| 色色婷婷综合| 五月丁香六月婷婷中文版| 久久99精品久久只有精品| 激情伊人网| 九九视频这里只有精品| 色噜噜狠狠狠狠色综合久欧美| 天天在线久久综合| 国产日比| 九九热这里只有精品556| 91色在线/日韩| 99久久99视频| 久色欧美| 8090在线影视少妇| 五月丁香婷婷久久| 婷婷激情五月| 国产视频福利| 丁香六月婷婷综合欧美| 在线色婷婷| 亚色网站小视频| 综合色色色| 午夜色婷婷| 日韩99色99| 色丁香五月婷婷| 久久er免费视频| 777色色色| 人人操99| av色色国产| 久久免费精品小视频| 亚洲五月婷| 超碰成人在线观看| 欧美激情综合色综合啪啪五月| 在线99精品| 亚洲色频| 色老久久| 色射影院| 久热久| 丁香五月婷婷影院| 美女天天久久| 精品一二三区久久AAA片| 婷婷久久综合久| 九九热只有精品| 久久综合无| 大香蕉九操| www,超碰| 五月婷婷丁香大陆免费| 一区二区三区四区牛| 婷婷五月天电影在线| 狠狠爱丁香婷| 五月婷婷九月婷婷九月婷婷| 日韩一级淫乱片一区二区三区| 日本在线视频手机播放五月婷| www.99在线| 久热9| 影音先锋偷偷色男人站| 91亚洲视频| 丁香五月婷婷在线视频| 久久99久久久久久久噜噜| 久久狼人天堂| 激情视频综合| 色婷婷五月影院| 97视频91| 狠狠色丁香久久久婷| 国产精品电影| 色吧综合网| 91色久| sS丁香五月婷婷| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 国产肥白大熟妇BBBB视频| 伊人婷婷五月天| 五月丁了香蕉综合| 五月婷婷激情久久| ay2区| 国产做爰视频免费播放| 天天撸天天干天天插| www,超碰| 日韩aaaaa| AV在线免费播放| 久久99精品视频| 欧美性色五月天| 久久婷婷五月综合色欧美| 五月色欧洲| 国产女人十八水真多1| 久久激情天堂| 色五月丁香总合网| 国av网| 丁香五月激情无码视频| 激情图片婷婷丁香五月| 丁香六月婷婷| 严洲天天插| 99操不停| 日本超碰在线| 99色热视频| 99九精品| 丁香六月综合激情| 一本道综合网| 国产首页在线| 色婷婷久久综合| 国产精品五月丁香| 久婷视频| 久久激情五月| 综合性视频99| 免费亚洲成人电影AV| 九九成人| 五月天啪啪| 国产肏屄大片| 九色91国产| 五月丁香 久久久| 超碰色天堂| 激情五月天色网站| 这里只有精品久| 4399人妻无码久久久| 精国产品一区二区三区A片| 丁香婷婷月| 国产日韩av片| 日本4399天堂中出| 99免费热视频在线| 五月婷婷激情刺激| 七月婷婷色香综合网| WWW.色婷婷.COM| 超碰99热| 亚洲国产成人AV在线| 99精品无码| 婷五月天在线草| 91久久久久久久91| 99无码黄色视频| 久久久久久综合五月婷婷| 久久婷中文字幕| 日本久久网| 狠狠操.COM| 亚洲综合五月天婷婷丁香| 大香蕉久久视频久久视频| 超碰人人操在线| 五月丁香激情综合啪| 91人人看| 五月色综合| 婷婷五月天激情五月天网站| 另类视屏| 韩国真做片在线观看| 1024操逼视频| 五月婷婷色丁香| 97在线/日本| 免费观看欧美成人AA片爱我多深| 站长推荐无码播放| 久久这里只有精品07| 大香焦A∨| 亚洲另类电影| 五月天狠狠网| 99rewww| 伊人9草在线观看| www.久久久久| 五月天激情.com| 九九99精品视频| 六月婷婷综合网2| 色婷婷大香蕉| 99免费| 婷婷丁香五月精品| 六月婷久久| 伊人久久大香| 久久综合激情| 亚洲va欧美va天堂v国产综合| 色婷婷综合五月| 91日本在线观看| 99热最新国内| 乱岳熟女50岁| 成人电影AV在线观看| 久久五月网| 国产 码在线成人网站| 五月婷婷熟女| 久久这里只有欧美| 五月激情四射婷婷丁香| 天天肏天天舔AV| 亚洲午夜av| 天天操综合网| 五月丁香六月婷婷综合| 日韩五月天婷婷| 亚洲第一成人无码A片| 久久久五月天婷婷| 九九综合影音先锋| 亚洲亚洲人成综合网络| 日本五月婷婷| 丁香五月婷婷综合精品素人| 久久偷拍综合五月天| 婷婷五月天性| 激情综合激情五月| avv在线| 中文字幕成人版| 丰满人妻妇伦又伦精品国产| 五月婷婷丁香俺日污视频| 色综合久久五月| 亚洲婷婷激情综合激情999精品| 九月色婷婷婷| 欧美 色婷婷| 亚洲精品又粗又大又爽A片 | 久热超碰| 久久女婷| 五月婷婷六月天| 色五月影视| 五月婷婷成人w| 情婷婷五月天在线| 日本精品99| 欧美综合五月丁香六月婷| 激情综合色五月丁香| 色999五月色| 亚洲黄色影视| 日韩欧美成人片| www.99日本| 国产精品色婷婷久久久精品| 色婷婷国色天香综合| 综合久久人妻| 色五月婷婷AV| 色噜久| 婷色视频| 99热综合色图| 色综合中文色综合网| 中文字幕婷婷在线| 日韩无码系列| 99啪视频在线观看| www.久久久久久久久久久| 亚洲视频无| 成人Av在线大片| 激情五月天色婷婷综合| 狠狠色噜噜狠狠| 99热日韩| 97五月天婷婷午夜| 色婷婷成人在线| 熟女乱论网| 五月婷丁香久久久| 成人必爱视| 午夜爱爱爱成人| 亭亭五月天成人| 婷婷五月骚厕所| 五月丁香在线综合| 五月丁香激情婷婷| 色老久久| www激情| 五月激情综合网| www.99色在线| 色色999三级片| 9 1 A v久久久| 五月丁香久久婷| 激情骚五月| 综合网色综合| 亚洲激情| 婷婷综合色色| 亚洲五月六丁香激情| 欧美丁香婷婷天天操| 初夜av| 五月婷婷婷| 天天摸天天舔| 五月丁香激情四射| 婷婷五月av| 婷婷丁香社区| 色爱爱综合网| 五月天丁香啪啪啪啪| 婷婷免费无马| 九九超日本| 99操久久| www 五月天 com| 色婷婷六月天在线| 天天天天操| 色域五月婷婷丁香| 图片区 小说区 区 亚洲五月| 亚洲成AV人片在线观看| 任我肏视频精品| 久久久久久综合88| 亚洲XX日本| 这里只有精品1| 天天插天天射| 久久五月天婷婷| 欧美人与性动交CCOO| 日韩一区二区A片免费观看| 99久久婷婷五月| 五月香婷婷| 乱女乱妇熟女熟妇综合网站| 丁香六月天婷婷开心综合| 午夜五月天| 色色色地址| 欧美日朝成人| 九九色色| 国产激情在线观看| 精品五月丁香| 久久五月丁香激情综合| 中文字幕乱轮| 五月天婷婷AV| 久久九九99| 9|人妻人人操| 婷婷色在线播放| 99在线观看精彩视频| 亚洲成人噜噜| www.91操| 被强行糟蹋的女人A片| 中文中文在线| 中文字幕成人影视| 免费成人va| 婷婷娱乐丁香综合网| www.9797国产| 激情五月天色色网| 五月婷婷丁香大香蕉| 五月天色婷婷激情综合| 欧美噜一噜| 九九九九毛片| 在线超碰免费| 午夜成人网站在线观看| 三级成人网站| 亚洲综合99| 最新高清无码专区| 欧美激情中文字幕| 婷婷深爱五月亚洲综合| 无码髙清| 久久久全国免费视频| 91玖玖| 色婷婷基地| www.yw尤物| 任你搞在线观看视频| 黄色大片又大粗又爽| 亚洲人人操BD| 婷婷丁香在线| 超碰在线资源| 日本女天天爽| 婷婷久久免费| 色五月美女| 99热国产这里只有| 第四色五月婷婷| 成人综合网站| 亚洲色碰| 五月天色婷婷基地| 五月丁香六月婷综合成人综合| 久9精品| 五月婷婷狠天天色综合| 亚洲第79页| 色香欲综合| 久久一级片| 久久丁香五月婷婷| 日本天天色| 人人超碰99| 久久这里在精品视频| 玖玖99免费视频| 99热在线观看| 久大香蕉| 夜夜夜夜夜骑撸| 秋霞av吧| 五月丁香色色综合| 超碰九色| 伊人碰碰婷婷| 丁香五月婷婷激情视频播放| 丁香五月婷婷大香蕉| 少妇性BBB搡BBB爽爽爽电影| 操碰91| 色五月五月婷婷| 思思久久99热只有频精品66| 久久久性爱视频| 亚洲va在线| 99精品久久| 热热色色五月天婷婷| 亚洲激情在线| 五月丁香六月激情综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月婷婷亚洲综合在线| 九九日本视频| 综合网激情| 婷婷97色| er99免费视频在线| 五月天婷婷色| ww亚洲ww在线观看| 99在线免费视频| 操精品9| 婷婷成人综合五月| 风流少妇A片一区二区蜜桃| 99熟女| 一丁香五月天月AV| 狠狠色狠狠色综合日日91| 天天草天天爱| 26uuu在线观看| 无码髙清| 丁香五月五月婷婷| 色五月婷婷在线观看第一页舔| 亚洲区视频| 久久五月丁香| 国产97在线日韩亚洲女人被黑人巨大| 亚洲精品欧洲精品| 狠狠色丁香婷婷久久综合| 刘玥精品一区| 99久久久国产精品免费蜜乳tv| 久久婷婷视频| 欧美性二区| 开心深爱激情网| 欧美婷婷六月丁香综合色| 久婷五月| 91丨九色熟女丨首页| 月婷婷婷婷五月| 久久久亚洲成人无码A片| 五月丁香六月欧美综合| 大香蕉五月天| 综合网色| 五月婷婷亚洲| 9999三级片| 色色亚洲五月天| 久久精品国产精品| www.五月激情红色| 中文字幕日产A片在线看| 久久五月天合网| 天天日天天色| 天天婷婷操| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷五月天丁香社区| 天天操中文字幕| 91久久| 日韩黄色网络| 激情五月,色播五月| 大香蕉AV电影在线| 丁香五月五月婷婷五月天激情四射| 久久电影五月天丁香电影| 色六月视频| 9色免费网| 免费97碰碰| 久久性爱视频| 色色色99| 丁香五月婷婷六月婷| 久久婷婷午夜| 毛片新网地| 99精品久久久久久久久| 丁香五月人妻熟女| 色综合女人99| 亚洲最大视频| 99热大| 天天做天天摸| 亚洲综合一区二区| 国产亚洲在线观看| 日韩一区二区在线播放| 国精产品一区一区三区免费视频| 色激情综合狠狠婷婷| www.色五月| 影音先锋 91工厂| 婷婷字幕在线| 天天爱综合网| 久久婷婷网| 超碰久热| 五月丁香天天| 久久精品国产AV一区二区三区 | 婷婷综合六| 北条麻妃伊人| 十月丁香九月婷婷综合| 五月天激情啪啪| 香蕉婷婷| 丁香六月高清视频| 大香蕉五月婷婷丁香| 99热这里只有精品4| 在线视频99| 97在线刺激| 婷婷五月天综合网| 亚洲综合激情五月久久| 思思热99在线视频| 草榴视频网| 激情综合网激情五月天| 久久综合天天综合| 99九九视频| 久久曰曰| 日韩一区二区三区无码| 九月婷婷在线观看| 九九在线视频| 97AV在线视频| 色色色网站| 激情五月天伊人av| 五月色婷| 婷婷五月天免费99| 久久精品亚洲一级牲爱综合| 成人毛片在线免费观看| 97碰久久| 五月丁香婷婷国产精品综合| 色99综合色88| 99热碰碰热| 五月丁香大香蕉| 日本WwW色偷偷丁香花久久久京东热| 日本va欧美va欧美va| 九九久久五月天综合伊人| 日本狠狠干| 欧美日韩AAAA| 天天开心天天色| 91国产精品视频播放| 五月激情啪啪啪| 中文不卡一二三区| 铁牛TV人妻| 婷婷成人基地| 综合啪啪| 色五月婷婷、老熟女| 丁香五月婷婷欧美成人色图| 久久综合干| 天天成人综合视频| 热久69| 夜夜穞天天穞狠狠穞AV美女按摩| 婷婷五月天成人小说| 99re最新地址视频| 综合色色五月| 99在线热| 婷婷丁香综合成人| 大香蕉久久久久| 成人做爰高潮A片免费视频| 99综合| 亚洲精品网站色视频| 狠狠色丁香乆乆| 99九九热在线观看| 色久综合天天做视频| 美日韩成人| 五月婷婷影视| 人人爱操| Www.激情| 人妻乱码久久久| 日本久久爽| 97操资源婷婷| 97碰碰在线看视频免费| 99热综合在线观看| 激情亭亭五月| 野战J办公桌椅H| 亚洲AV成人精品日韩在线播放| 激情五月丁香综合网站| 日本乱论99| 色视频色综合91| 婷婷伊人| 五月丁香六月激情视频| 森林影视大全,最好看的2019年视频| Www99热| 三人荫蒂添的好舒服A片| 99热青青草| 天天日天天操天天干| 91久久婷婷| 91九色PORNY中文啦| 99精品国产在热久久| 久久色区| 五月丁香六月激情在线| 婷婷五月在线综合| 色色色色色色色色色色色色色色,网站| 91色综合| 婷婷射图五月天| eeuus五月婷| 五月丁香六月综合基地| 成人免费120分钟啪啪| 大香蕉啪啪| 婷婷丁香五月天亚洲| 久久色频| 东京热伊人| 99re热在线视频观看| 日木WWW视频| 九九色综合| 久热91| 天堂综合久久 | 在线超碰91| 99精品在线| 啪啪一区| 99综合自拍| 人人射人人高潮| 五月天婷婷黄色| 久久综合网免费视频| 欧美婷婷丁香五月| 性无码专区无码| 综合色影院| 激情婷婷丁香色五月| 香蕉久久国产AV一区二区| 欧美三级A做爰在线观看| 2050人人操免费工开爱| 五月婷婷色欲| 中文AV网站| 丁香五月婷婷综合网| 很操日本7| 亚洲av免费在线| 婷婷WWW久久| 丁香五月婷婷成人色区| 婷婷五月天成人| 久久综合99| www.99久| 欧美婷婷精品激情| 婷婷五月天少妇| 97色色色| 久久色五月| 99碰| 九色激情网| 久久男人网婷婷| 在线99热| 五月婷精品| 色色色色色网| 婷婷五月五月丁香| 欧美激情综合五月色丁香| 9999热精品| 婷婷五月天六点丁香五月| 亚洲精品乱码久久久久久综合| 久久视频婷婷视频| 婷婷五月丁香香蕉| 亚洲成人网址在线观看| 8区视频在线| 91精品久久久久久综合五月天| 先锋av性爱成人电影| 青青草搞屄视频网站| XXXX岛国| 91操色| 91九色首页| 91视频免费后入强操| 婷婷丁香在线| 欧美色婷婷| 色综合网址| 黄网在线免费观看| 婷婷五月天天爽| 99热这里只有精品免费观看| 久久五月婷天天干| 99在这里有精品| 日逼免费视频| yazhouzonghesese| 草操网| 色色综合无码| 色情综合网| 激情综合婷婷五月| av九九| 色丁香五月婷婷婷| 五月天无码视屏播放| WWW色综合| 欧美天天草人人草| 天天综合网91| 九九激情综合| 丁香午月AV中文字幕| 婷婷爱综合| 小视频在线亚洲| 无码一区二区三区四区五区| 色啪影院| 男女99免费视频| 日韩色色小视频| 天天日天天添| 亚州激情在线视频| 能看的AV网站| 激情五月婷婷中文字幕| 第四色婷婷五月| 影音先锋 91工厂| 色操b| 色色色免费视频| 逼里香不卡| 日日艹思思热| 亚洲色热| 欧美人人操| 亚洲天堂久久| 婷婷五月综合性爱| 99热每日| 另类视屏|