欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Python圖片爬蟲(chóng)實(shí)戰(zhàn):從Requests到異步下載的完整實(shí)現(xiàn)

Python圖片爬蟲(chóng)實(shí)戰(zhàn):從Requests到異步下載的完整實(shí)現(xiàn) 1. 項(xiàng)目概述從手動(dòng)右鍵到自動(dòng)化歸檔干過(guò)內(nèi)容運(yùn)營(yíng)、素材收集或者數(shù)據(jù)分析的朋友十有八九都遇到過(guò)這個(gè)場(chǎng)景看到一個(gè)網(wǎng)頁(yè)里面幾十上百?gòu)埜咔鍒D片正是你急需的素材庫(kù)。然后呢一張張右鍵、另存為、重命名……重復(fù)勞動(dòng)枯燥不說(shuō)還容易出錯(cuò)漏存。幾年前我剛?cè)胄凶鲂旅襟w時(shí)就經(jīng)常為了找配圖這么干效率低到令人發(fā)指。后來(lái)接觸了Python第一個(gè)想到的自動(dòng)化任務(wù)就是搞定這個(gè)痛點(diǎn)——寫(xiě)個(gè)爬蟲(chóng)讓它替我批量抓取網(wǎng)頁(yè)上的圖片并保存到本地。這個(gè)項(xiàng)目說(shuō)白了就是用程序模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)自動(dòng)識(shí)別頁(yè)面中的所有圖片鏈接然后一張張下載下來(lái)并按你設(shè)定的規(guī)則整理好。它解決的遠(yuǎn)不止是“省時(shí)間”的問(wèn)題。比如在做競(jìng)品分析時(shí)你需要批量抓取對(duì)手官網(wǎng)的產(chǎn)品圖在做設(shè)計(jì)靈感收集時(shí)需要從特定網(wǎng)站歸檔一批風(fēng)格統(tǒng)一的圖片甚至在做簡(jiǎn)單的數(shù)據(jù)標(biāo)注或圖像識(shí)別項(xiàng)目前期也需要一個(gè)可靠的圖片采集工具。手動(dòng)操作在幾十張的規(guī)模下尚可忍受一旦目標(biāo)成百上千自動(dòng)化就成了唯一可行的路徑。實(shí)現(xiàn)這個(gè)目標(biāo)核心就是Python。它豐富的第三方庫(kù)讓HTTP請(qǐng)求、HTML解析、文件操作這些步驟變得異常簡(jiǎn)單。即使你是個(gè)剛學(xué)完基礎(chǔ)語(yǔ)法的新手跟著清晰的步驟走一兩個(gè)小時(shí)也能搭出一個(gè)可用的爬蟲(chóng)。接下來(lái)我會(huì)結(jié)合我這些年踩過(guò)的坑和優(yōu)化經(jīng)驗(yàn)把一個(gè)完整的、健壯的圖片爬蟲(chóng)從思路到代碼再到部署和問(wèn)題排查給你徹底講明白。你會(huì)發(fā)現(xiàn)自動(dòng)化處理信息才是打開(kāi)數(shù)字世界效率之門的正確方式。2. 核心工具鏈選型與原理剖析工欲善其事必先利其器。選對(duì)工具項(xiàng)目就成功了一半。一個(gè)圖片爬蟲(chóng)的工作流程可以抽象為四個(gè)核心環(huán)節(jié)獲取網(wǎng)頁(yè)、解析內(nèi)容、提取鏈接、下載保存。每個(gè)環(huán)節(jié)都有若干成熟的Python庫(kù)可供選擇我們的選型需要兼顧易用性、性能和生態(tài)。2.1 網(wǎng)絡(luò)請(qǐng)求庫(kù)Requests vs. aiohttp首先是把網(wǎng)頁(yè)的原始HTML代碼“拿回來(lái)”。這里最經(jīng)典的選擇是requests庫(kù)。它提供了極其人性化的API幾乎成了Python發(fā)送HTTP請(qǐng)求的事實(shí)標(biāo)準(zhǔn)。它的優(yōu)點(diǎn)是同步、阻塞式代碼寫(xiě)起來(lái)是線性的非常易于理解和調(diào)試。對(duì)于初學(xué)者或者目標(biāo)頁(yè)面不多的場(chǎng)景requests是首選。import requests response requests.get(https://example.com) html_content response.text但是當(dāng)需要批量抓取成百上千個(gè)頁(yè)面或者一個(gè)頁(yè)面里有大量圖片時(shí)同步請(qǐng)求的缺點(diǎn)就暴露了你必須等一張圖片下載完才能開(kāi)始下一張大部分時(shí)間都在等待網(wǎng)絡(luò)I/OCPU是空閑的。這時(shí)異步庫(kù)aiohttp配合asyncio就該登場(chǎng)了。它可以同時(shí)發(fā)起和處理大量網(wǎng)絡(luò)請(qǐng)求極大地提升下載效率。不過(guò)異步編程模型有一定學(xué)習(xí)門檻代碼結(jié)構(gòu)也更復(fù)雜。實(shí)操心得對(duì)于新手強(qiáng)烈建議從requests開(kāi)始。先把同步的邏輯跑通理解整個(gè)流程。當(dāng)你的爬蟲(chóng)需要抓取的圖片量很大并且遇到了明顯的性能瓶頸時(shí)再考慮升級(jí)到aiohttp。99%的中小規(guī)模需求requests完全夠用。2.2 HTML解析庫(kù)BeautifulSoup4 與 lxml拿到HTML后我們需要從中“大海撈針”找出所有圖片的標(biāo)簽通常是img。這就需要HTML解析庫(kù)。BeautifulSoup4簡(jiǎn)稱bs4是這方面的王者它提供了“一鍋亂燉”式的解析方式能很好地處理各種不規(guī)范的HTMLAPI也非常直觀支持通過(guò)標(biāo)簽名、屬性、CSS選擇器等多種方式查找元素。from bs4 import BeautifulSoup soup BeautifulSoup(html_content, html.parser) img_tags soup.find_all(img)注意上面代碼中的html.parser這是Python內(nèi)置的解析器速度慢但無(wú)需安裝。在實(shí)際生產(chǎn)中我們通常會(huì)指定lxml作為解析器需要先pip install lxml。lxml是一個(gè)用C語(yǔ)言編寫(xiě)的庫(kù)解析速度極快容錯(cuò)能力也更強(qiáng)。BeautifulSoup只是一個(gè)“包裝器”它依賴底層的解析器如lxml,html5lib來(lái)干活。所以最佳實(shí)踐是安裝lxml然后這樣創(chuàng)建對(duì)象soup BeautifulSoup(html_content, lxml) # 速度更快更健壯2.3 圖片鏈接提取與下載找到img標(biāo)簽后圖片的URL通常存儲(chǔ)在src屬性里。但事情沒(méi)那么簡(jiǎn)單。有些網(wǎng)站使用懶加載技術(shù)初始的src可能是一個(gè)占位圖真正的圖片URL藏在>環(huán)節(jié)首選工具備選/進(jìn)階工具核心作用網(wǎng)絡(luò)請(qǐng)求requestsaiohttp(異步)獲取網(wǎng)頁(yè)HTML內(nèi)容HTML解析BeautifulSoup4lxmlparsel(Scrapy風(fēng)格)從HTML中定位img標(biāo)簽鏈接提取BeautifulSoup屬性查找正則表達(dá)式re從標(biāo)簽中獲取真實(shí)的圖片URL文件下載requests.get()(流模式)aiohttpaiofiles(異步)將網(wǎng)絡(luò)圖片以二進(jìn)制形式保存到磁盤路徑管理os,pathlib-創(chuàng)建目錄、生成文件名、管理文件這套組合拳構(gòu)成了我們爬蟲(chóng)項(xiàng)目的技術(shù)骨架。接下來(lái)我們就用它們來(lái)搭建一個(gè)五臟俱全的爬蟲(chóng)。3. 基礎(chǔ)爬蟲(chóng)搭建從零到一的完整實(shí)現(xiàn)讓我們暫時(shí)忘掉那些復(fù)雜的概念先動(dòng)手實(shí)現(xiàn)一個(gè)最基礎(chǔ)、但絕對(duì)可用的版本。這個(gè)版本的目標(biāo)很明確給定一個(gè)網(wǎng)頁(yè)URL爬取該頁(yè)面上所有圖片保存到本地一個(gè)文件夾里。3.1 環(huán)境準(zhǔn)備與依賴安裝首先確保你的Python環(huán)境已經(jīng)就緒建議使用Python 3.7及以上版本。然后通過(guò)pip安裝我們需要的核心庫(kù)。打開(kāi)你的終端或命令行執(zhí)行以下命令pip install requests beautifulsoup4 lxml這三行命令會(huì)安裝網(wǎng)絡(luò)請(qǐng)求、HTML解析以及高效的解析器引擎。安裝過(guò)程通常很快如果遇到速度慢的問(wèn)題可以考慮使用國(guó)內(nèi)的鏡像源例如加上-i https://pypi.tuna.tsinghua.edu.cn/simple。3.2 核心代碼逐行解析下面我們創(chuàng)建一個(gè)名為simple_image_crawler.py的Python文件并開(kāi)始編寫(xiě)代碼。第一步導(dǎo)入必要的模塊import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparseos: 用于操作系統(tǒng)功能如創(chuàng)建目錄。requests: 用于發(fā)送HTTP請(qǐng)求。BeautifulSoup: 用于解析HTML。urllib.parse.urljoin: 這是一個(gè)至關(guān)重要的函數(shù)。網(wǎng)頁(yè)中的圖片鏈接很多是相對(duì)路徑如/images/photo.jpg我們需要將其與基礎(chǔ)URL拼接成絕對(duì)路徑。urllib.parse.urlparse: 用于解析URL從中提取信息比如我們用它來(lái)生成合理的本地文件名。第二步定義核心爬取函數(shù)def download_images(url, save_dirdownloaded_images): 從指定URL下載所有圖片到本地目錄 :param url: 目標(biāo)網(wǎng)頁(yè)的URL :param save_dir: 圖片保存的本地目錄名 # 1. 創(chuàng)建保存目錄 if not os.path.exists(save_dir): os.makedirs(save_dir) print(f[信息] 創(chuàng)建保存目錄: {save_dir}) else: print(f[信息] 目錄已存在: {save_dir}) # 2. 發(fā)送HTTP請(qǐng)求獲取網(wǎng)頁(yè)內(nèi)容 try: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果狀態(tài)碼不是200拋出異常 response.encoding response.apparent_encoding # 自動(dòng)識(shí)別編碼 html_content response.text except requests.exceptions.RequestException as e: print(f[錯(cuò)誤] 請(qǐng)求網(wǎng)頁(yè)失敗: {e}) return # 3. 解析HTML找到所有img標(biāo)簽 soup BeautifulSoup(html_content, lxml) img_tags soup.find_all(img) print(f[信息] 在頁(yè)面上找到 {len(img_tags)} 個(gè)圖片標(biāo)簽) # 4. 遍歷每個(gè)img標(biāo)簽下載圖片 downloaded_count 0 for i, img_tag in enumerate(img_tags): # 獲取圖片鏈接。優(yōu)先考慮>if __name__ __main__: target_url https://example.com # 替換成你想爬取的網(wǎng)站 download_images(target_url)3.3 代碼關(guān)鍵點(diǎn)解讀與避坑指南User-Agent頭這是模擬瀏覽器訪問(wèn)的關(guān)鍵。沒(méi)有這個(gè)頭很多網(wǎng)站會(huì)拒絕請(qǐng)求或返回不同的內(nèi)容。代碼中使用的是一個(gè)常見(jiàn)的Chrome瀏覽器UA字符串。異常處理網(wǎng)絡(luò)請(qǐng)求和文件操作充滿了不確定性。使用try...except包裹關(guān)鍵步驟可以避免程序因單個(gè)圖片下載失敗而整體崩潰。鏈接補(bǔ)全urljoin(base, url)是處理相對(duì)路徑的神器。無(wú)論img_url是/img/1.jpg還是./img/1.jpg它都能正確拼接成完整的URL。流式下載requests.get(streamTrue)配合iter_content()可以分塊下載大文件避免一次性將整個(gè)圖片加載到內(nèi)存更安全高效。文件名處理直接從URL路徑的最后一部分取文件名是最常見(jiàn)的做法。但必須考慮文件名可能缺失、包含非法字符或重復(fù)的情況。我們的代碼做了簡(jiǎn)單的沖突處理。懶加載處理img_tag.get(data-src) or img_tag.get(src)這行代碼是關(guān)鍵。它優(yōu)先獲取>headers { User-Agent: ..., Referer: https://www.google.com/, # 示例可設(shè)置為目標(biāo)網(wǎng)站的域名 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }請(qǐng)求延遲在循環(huán)下載圖片的請(qǐng)求之間隨機(jī)等待一小段時(shí)間。這是最基本的“禮貌”可以避免因請(qǐng)求過(guò)快被服務(wù)器封禁IP。import time import random # 在下載每張圖片的循環(huán)內(nèi)請(qǐng)求前或請(qǐng)求后添加 time.sleep(random.uniform(0.5, 2.0)) # 隨機(jī)等待0.5到2秒處理Cookie與Session有些網(wǎng)站需要登錄后才能看到圖片。這時(shí)可以使用requests.Session()對(duì)象它會(huì)自動(dòng)管理Cookie模擬一次完整的瀏覽器會(huì)話。session requests.Session() # 可以先POST請(qǐng)求登錄如果需要 # login_data {username: ..., password: ...} # session.post(login_url, datalogin_data) # 然后用session去get目標(biāo)頁(yè)面 response session.get(target_url, headersheaders)4.2 增強(qiáng)鏈接提取與過(guò)濾基礎(chǔ)版本只抓取了img標(biāo)簽。但圖片還可能以其他形式存在CSS背景圖有些圖片通過(guò)background-image: url(...)設(shè)置在CSS里。要抓取這些需要先提取所有style標(biāo)簽或鏈接的CSS文件然后用正則表達(dá)式匹配url(...)中的路徑。這比較復(fù)雜通常需要根據(jù)目標(biāo)網(wǎng)站具體情況定制。JavaScript動(dòng)態(tài)加載越來(lái)越多的網(wǎng)站用JS動(dòng)態(tài)渲染內(nèi)容初始HTML里沒(méi)有圖片標(biāo)簽。這時(shí)requestsBeautifulSoup就無(wú)能為力了因?yàn)樗鼈冎荒芸吹絁S執(zhí)行前的靜態(tài)HTML。解決方案是使用Selenium或Playwright這類瀏覽器自動(dòng)化工具它們能控制一個(gè)真實(shí)的瀏覽器如Chrome加載頁(yè)面、執(zhí)行JS等頁(yè)面完全渲染后再獲取HTML。這是一個(gè)更高級(jí)的話題代碼復(fù)雜度和資源消耗也更大。鏈接過(guò)濾我們可能只想要特定尺寸、特定格式的圖片。可以在提取鏈接后增加過(guò)濾邏輯。# 示例只下載jpg和png格式且鏈接中包含‘large’關(guān)鍵詞的圖片 allowed_extensions (.jpg, .jpeg, .png, .webp) if not img_url.lower().endswith(allowed_extensions): continue if large not in img_url: # 這是一個(gè)簡(jiǎn)單示例實(shí)際規(guī)則更復(fù)雜 continue4.3 文件管理優(yōu)化按域名或日期分類保存下載的圖片全部堆在一個(gè)文件夾里很快就會(huì)混亂。我們可以創(chuàng)建更有條理的目錄結(jié)構(gòu)。import datetime # 在創(chuàng)建保存目錄時(shí)使用更結(jié)構(gòu)化的路徑 domain urlparse(url).netloc.replace(www., ) # 獲取域名去掉www date_str datetime.datetime.now().strftime(%Y%m%d) save_dir os.path.join(downloads, domain, date_str) # 最終路徑如 downloads/example.com/20231027/更智能的文件命名除了從URL提取我們還可以嘗試從圖片標(biāo)簽的alt屬性圖片描述文本生成文件名或者使用MD5哈希值作為唯一文件名。import hashlib # 使用圖片內(nèi)容的MD5作為文件名絕對(duì)唯一 img_data img_response.content file_hash hashlib.md5(img_data).hexdigest() # 獲取文件擴(kuò)展名 content_type img_response.headers.get(content-type, ) if jpeg in content_type: ext .jpg elif png in content_type: ext .png else: # 從URL猜測(cè)或使用默認(rèn) ext .jpg filename f{file_hash}{ext}4.4 加入進(jìn)度顯示與日志記錄對(duì)于批量下載一個(gè)直觀的進(jìn)度條能極大提升體驗(yàn)??梢允褂胻qdm庫(kù)。pip install tqdmfrom tqdm import tqdm # 將遍歷 img_tags 的循環(huán)改為 for i, img_tag in enumerate(tqdm(img_tags, desc下載進(jìn)度)): # ... 下載邏輯 ...同時(shí)將打印信息寫(xiě)入日志文件方便事后排查問(wèn)題。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[logging.FileHandler(crawler.log), logging.StreamHandler()]) # 之后用 logging.info(...) 代替 print(...)經(jīng)過(guò)這些增強(qiáng)你的爬蟲(chóng)已經(jīng)從一個(gè)“玩具”升級(jí)為一個(gè)相對(duì)可靠的工具了。它更禮貌、更健壯、也更易用。5. 實(shí)戰(zhàn)構(gòu)建一個(gè)可配置的通用爬蟲(chóng)腳本現(xiàn)在我們把前面提到的所有最佳實(shí)踐整合起來(lái)寫(xiě)一個(gè)更通用、更強(qiáng)大的爬蟲(chóng)腳本。這個(gè)腳本支持通過(guò)命令行參數(shù)配置并具備基本的錯(cuò)誤恢復(fù)能力。創(chuàng)建一個(gè)新文件advanced_image_crawler.py。#!/usr/bin/env python3 高級(jí)圖片爬蟲(chóng)腳本 支持命令行參數(shù)具備反爬、分類保存、日志記錄等功能。 import os import sys import time import random import logging import argparse import hashlib from urllib.parse import urljoin, urlparse from concurrent.futures import ThreadPoolExecutor, as_completed import requests from bs4 import BeautifulSoup from tqdm import tqdm # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[ logging.FileHandler(image_crawler.log, encodingutf-8), logging.StreamHandler(sys.stdout) ] ) logger logging.getLogger(__name__) class ImageCrawler: def __init__(self, base_url, output_dir./downloaded_images, max_workers5, delay_range(1, 3)): 初始化爬蟲(chóng) :param base_url: 目標(biāo)網(wǎng)頁(yè)URL :param output_dir: 輸出根目錄 :param max_workers: 并發(fā)下載線程數(shù) :param delay_range: 請(qǐng)求延遲范圍秒 self.base_url base_url self.output_dir output_dir self.max_workers max_workers self.delay_range delay_range # 創(chuàng)建按域名和日期分類的目錄 self.domain urlparse(base_url).netloc.replace(www., ) self.date_str time.strftime(%Y%m%d) self.save_dir os.path.join(output_dir, self.domain, self.date_str) os.makedirs(self.save_dir, exist_okTrue) logger.info(f圖片將保存至: {self.save_dir}) # 會(huì)話和請(qǐng)求頭 self.session requests.Session() self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: base_url, } # 記錄已下載的圖片哈希避免重復(fù)下載同一頁(yè)面內(nèi) self.downloaded_hashes set() def _random_delay(self): 隨機(jī)延遲模擬人工操作 time.sleep(random.uniform(*self.delay_range)) def fetch_page(self): 獲取目標(biāo)頁(yè)面HTML try: logger.info(f正在獲取頁(yè)面: {self.base_url}) self._random_delay() resp self.session.get(self.base_url, headersself.headers, timeout15) resp.raise_for_status() # 嘗試自動(dòng)檢測(cè)編碼 resp.encoding resp.apparent_encoding if resp.apparent_encoding else utf-8 return resp.text except requests.exceptions.RequestException as e: logger.error(f獲取頁(yè)面失敗: {e}) return None def extract_image_urls(self, html): 從HTML中提取所有圖片URL if not html: return [] soup BeautifulSoup(html, lxml) img_tags soup.find_all(img) urls [] for img in img_tags: # 多種屬性嘗試 for attr in [data-src, data-original, src, data-lazy-src]: img_url img.get(attr) if img_url and not img_url.startswith(data:image): # 排除base64內(nèi)嵌圖片 # 轉(zhuǎn)換為絕對(duì)URL absolute_url urljoin(self.base_url, img_url) urls.append(absolute_url) break # 找到一個(gè)有效屬性就跳出循環(huán) # 去重 unique_urls list(dict.fromkeys(urls)) logger.info(f共提取到 {len(unique_urls)} 個(gè)唯一圖片鏈接) return unique_urls def download_single_image(self, img_url, index): 下載單張圖片 try: self._random_delay() resp self.session.get(img_url, headersself.headers, streamTrue, timeout20) resp.raise_for_status() # 根據(jù)Content-Type確定擴(kuò)展名 content_type resp.headers.get(content-type, ).lower() if jpeg in content_type or jpg in content_type: ext .jpg elif png in content_type: ext .png elif gif in content_type: ext .gif elif webp in content_type: ext .webp else: # 從URL猜測(cè)或使用默認(rèn) parsed urlparse(img_url) path_ext os.path.splitext(parsed.path)[1] ext path_ext if path_ext and len(path_ext) 6 else .jpg # 生成唯一文件名索引_內(nèi)容MD5 img_data resp.content file_hash hashlib.md5(img_data).hexdigest()[:8] # 取前8位足夠唯一且短 # 檢查是否重復(fù)基于哈希 if file_hash in self.downloaded_hashes: logger.warning(f跳過(guò)重復(fù)圖片: {img_url}) return False filename f{index:04d}_{file_hash}{ext} filepath os.path.join(self.save_dir, filename) with open(filepath, wb) as f: f.write(img_data) self.downloaded_hashes.add(file_hash) logger.debug(f已保存: {filename}) return True except Exception as e: logger.error(f下載失敗 [{img_url[:50]}...]: {e}) return False def run(self): 主運(yùn)行流程 html self.fetch_page() if not html: logger.error(無(wú)法獲取頁(yè)面內(nèi)容程序退出。) return image_urls self.extract_image_urls(html) if not image_urls: logger.warning(未在頁(yè)面中發(fā)現(xiàn)圖片鏈接。) return logger.info(f開(kāi)始下載 {len(image_urls)} 張圖片使用 {self.max_workers} 個(gè)線程...) success_count 0 # 使用線程池并發(fā)下載 with ThreadPoolExecutor(max_workersself.max_workers) as executor: # 創(chuàng)建任務(wù)字典 {future: (url, index)} future_to_url { executor.submit(self.download_single_image, url, idx): (url, idx) for idx, url in enumerate(image_urls, 1) } # 使用tqdm創(chuàng)建進(jìn)度條 with tqdm(totallen(image_urls), desc下載進(jìn)度, unitimg) as pbar: for future in as_completed(future_to_url): url, idx future_to_url[future] try: if future.result(): # 如果下載成功返回True success_count 1 except Exception as e: logger.error(f任務(wù)執(zhí)行異常 [{url[:50]}...]: {e}) finally: pbar.update(1) # 更新進(jìn)度條 logger.info(f任務(wù)完成成功下載 {success_count}/{len(image_urls)} 張圖片。) logger.info(f圖片保存位置: {os.path.abspath(self.save_dir)}) def main(): parser argparse.ArgumentParser(description高級(jí)圖片爬蟲(chóng)) parser.add_argument(url, help目標(biāo)網(wǎng)頁(yè)的URL) parser.add_argument(-o, --output, default./downloaded_images, help輸出目錄 (默認(rèn): ./downloaded_images)) parser.add_argument(-w, --workers, typeint, default5, help并發(fā)下載線程數(shù) (默認(rèn): 5)) parser.add_argument(-d, --delay, typefloat, nargs2, default[1.0, 3.0], metavar(MIN, MAX), help請(qǐng)求延遲范圍單位秒 (默認(rèn): 1.0 3.0)) args parser.parse_args() crawler ImageCrawler( base_urlargs.url, output_dirargs.output, max_workersargs.workers, delay_rangetuple(args.delay) ) crawler.run() if __name__ __main__: main()這個(gè)腳本的亮點(diǎn)在于面向?qū)ο蠓庋b將功能封裝在ImageCrawler類中結(jié)構(gòu)清晰易于維護(hù)和擴(kuò)展。命令行接口使用argparse庫(kù)可以通過(guò)命令行參數(shù)靈活配置URL、輸出目錄、并發(fā)數(shù)等。并發(fā)下載使用ThreadPoolExecutor實(shí)現(xiàn)多線程下載顯著提升批量下載速度。智能去重通過(guò)計(jì)算圖片內(nèi)容的MD5哈希值避免下載完全相同的圖片。健壯的文件命名結(jié)合索引和哈希值生成唯一且有序的文件名。完善的日志同時(shí)輸出到控制臺(tái)和文件便于調(diào)試和追溯。使用方法# 基本用法 python advanced_image_crawler.py https://example.com # 指定輸出目錄和并發(fā)數(shù) python advanced_image_crawler.py https://example.com -o ./my_pics -w 10 # 指定更長(zhǎng)的請(qǐng)求延遲更禮貌 python advanced_image_crawler.py https://example.com -d 2 56. 常見(jiàn)問(wèn)題排查與實(shí)戰(zhàn)經(jīng)驗(yàn)分享即使有了健壯的腳本在實(shí)際操作中還是會(huì)遇到各種稀奇古怪的問(wèn)題。下面是我總結(jié)的一些典型“坑”及其解決方案。6.1 請(qǐng)求被拒絕或返回403錯(cuò)誤這是最常見(jiàn)的反爬蟲(chóng)響應(yīng)。癥狀requests.get()拋出異常或返回的狀態(tài)碼是403 Forbidden。排查與解決檢查User-Agent確保你的請(qǐng)求頭中包含一個(gè)常見(jiàn)瀏覽器的User-Agent??梢試L試更換不同的UA字符串。添加Referer有些網(wǎng)站會(huì)檢查請(qǐng)求來(lái)源Referer將其設(shè)置為目標(biāo)網(wǎng)站的域名或一個(gè)搜索引擎的URL。使用Session對(duì)于需要維持狀態(tài)的網(wǎng)站務(wù)必使用requests.Session()。模擬更完整的請(qǐng)求頭復(fù)制瀏覽器開(kāi)發(fā)者工具中Network標(biāo)簽下的一個(gè)真實(shí)請(qǐng)求的所有Headers直接用作你的請(qǐng)求頭字典。終極方案Selenium如果網(wǎng)站反爬極其嚴(yán)格如驗(yàn)證碼、復(fù)雜JS加密考慮使用Selenium模擬真人操作。但這會(huì)犧牲速度。6.2 下載的圖片文件損壞或無(wú)法打開(kāi)癥狀文件大小異常如只有幾KB或用圖片查看器打開(kāi)時(shí)報(bào)錯(cuò)。排查與解決檢查響應(yīng)狀態(tài)碼和內(nèi)容類型在保存文件前打印resp.status_code和resp.headers.get(content-type)。確保狀態(tài)碼是200且內(nèi)容類型是圖片如image/jpeg。有時(shí)服務(wù)器返回的錯(cuò)誤頁(yè)面如404 HTML也被當(dāng)成了圖片內(nèi)容。檢查流式下載確保使用了streamTrue和resp.iter_content()。直接使用resp.content對(duì)于大文件可能引發(fā)內(nèi)存問(wèn)題但通常不會(huì)導(dǎo)致文件損壞。驗(yàn)證文件頭真正的圖片文件有特定的文件頭Magic Number。例如JPEG以FF D8 FF開(kāi)頭PNG以89 50 4E 47開(kāi)頭??梢詫?xiě)一個(gè)簡(jiǎn)單的函數(shù)在保存前校驗(yàn)。6.3 爬取到的圖片數(shù)量遠(yuǎn)少于瀏覽器所見(jiàn)癥狀腳本只找到十幾張圖但瀏覽器肉眼可見(jiàn)有上百?gòu)垺E挪榕c解決懶加載Lazy Load這是最主要的原因?,F(xiàn)代網(wǎng)站大量使用此技術(shù)。解決方案就是像我們代碼里做的那樣優(yōu)先抓取>import re def sanitize_filename(filename): # 移除非法字符 filename re.sub(r[\/:*?|], _, filename) # 限制長(zhǎng)度可選 if len(filename) 255: name, ext os.path.splitext(filename) filename name[:250-len(ext)] ext return filename6.5 性能瓶頸與優(yōu)化癥狀下載幾百?gòu)垐D片速度極慢。優(yōu)化方向增加并發(fā)如我們腳本中所做使用線程池ThreadPoolExecutor。注意線程數(shù)不是越多越好一般設(shè)置為5-15個(gè)為宜過(guò)多可能導(dǎo)致本地網(wǎng)絡(luò)擁堵或被目標(biāo)服務(wù)器封禁。異步IO對(duì)于IO密集型任務(wù)異步是終極方案。將核心下載邏輯用aiohttp和aiofiles重寫(xiě)可以同時(shí)處理成千上萬(wàn)個(gè)請(qǐng)求性能提升巨大但代碼復(fù)雜度也最高。減少延遲在遵守網(wǎng)站規(guī)則的前提下可以適當(dāng)縮短delay_range。對(duì)于反爬不嚴(yán)的網(wǎng)站可以設(shè)置為(0.1, 0.5)。連接復(fù)用使用requests.Session()本身就復(fù)用了TCP連接比每次創(chuàng)建新連接高效。6.6 法律與道德風(fēng)險(xiǎn)規(guī)避這是最重要的一點(diǎn)技術(shù)必須在合規(guī)的框架內(nèi)使用。尊重robots.txt在爬取前訪問(wèn)https://目標(biāo)網(wǎng)站/robots.txt查看是否允許爬蟲(chóng)訪問(wèn)你想要的路徑。Python有robotparser模塊可以解析此文件??刂普?qǐng)求速率務(wù)必在請(qǐng)求間添加延遲避免對(duì)目標(biāo)服務(wù)器造成拒絕服務(wù)攻擊DoS的壓力。我們的_random_delay函數(shù)就是干這個(gè)的。遵守版權(quán)明確你爬取的圖片的版權(quán)歸屬。個(gè)人學(xué)習(xí)、研究使用通常屬于合理使用范疇但未經(jīng)授權(quán)用于商業(yè)目的、大量分發(fā)或公開(kāi)傳播可能構(gòu)成侵權(quán)。識(shí)別并遵守網(wǎng)站條款許多網(wǎng)站的“服務(wù)條款”Terms of Service中明確禁止爬蟲(chóng)。在使用自動(dòng)化工具前最好查閱一下。最后分享一個(gè)我自己的習(xí)慣在運(yùn)行任何爬蟲(chóng)尤其是新寫(xiě)的、針對(duì)陌生網(wǎng)站的爬蟲(chóng)時(shí)我會(huì)先用一個(gè)很小的、只抓取前2-3張圖片的測(cè)試模式跑一遍。觀察日志檢查下載的圖片是否正確請(qǐng)求是否正常。確認(rèn)無(wú)誤后再放開(kāi)限制進(jìn)行全量爬取。這個(gè)習(xí)慣幫我避免了很多次“跑了一晚上結(jié)果全下錯(cuò)了”的悲劇。爬蟲(chóng)開(kāi)發(fā)三分在寫(xiě)七分在調(diào)。耐心和細(xì)致的測(cè)試是成功的關(guān)鍵。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
XX久久| 婷婷五月激情视频| 91精品久久久久久综合五月天| 日韩欧美骚货| 狼友视频在线观看18| 97碰碰视频在线观看免费| 色综合区| 国产精品久久久爽爽爽麻豆色哟哟| 六月丁香婷婷爱| 婷婷五月天首页激情| 狼人婷婷综合| 天色综合网站| 色婷婷激情| 色爱亚洲| 91美女啪啪| 五月丁香少妇| 婷婷五月天无码熟女| 只有久久精品免费| 五月婷精品| 91丨九色丨43老版熟女| 亚洲另类AV| 久久婷婷五月综合色奶水99啪| 九九综合视频在线观看| 亚洲视色| 色色无码| 久久人操-久草婷婷-成人AV| 久久亚洲色导航| 国产成人+亚洲+欧洲| 99亚洲视频| 久热超碰| 色婷婷色九月| 丁香六月激情蜜桃| 久热只有精品| 丁香五月天天| 甈吧vv| 可以免费观看的AV| 美国少妇性做爰| 丁香婷婷老司机久操| 国产在线中文字幕| 丁香成人色情五月天| www.99久| 壅壅儕家a| 日韩啪啪视频| 丁香五月婷婷影院| 国产欧美性成人精品午夜| 97香蕉人人在线观看| 久久99热这里只有| 99在线精品视频| 99热这里有精品| 精品99在线观看| 久久综合热17c| 久久999久久999久久999久久| 久久婷婷五月天| 99热精品网| site:xmssd.com| 丁香五月天在线| 精品久久久人妻| 熟女强人妻一区二区三区四区无| 91一起操| 5月婷婷性视频| 超碰在线人人| 97成人超碰免| 五月天色婷婷成人| 国产精品久久久久久久久久| 99欧美| 俺去也五月天婷婷| 91麻豆国产三级精品福利在线观看 | 天天干夜夜想| 婷婷五月激情四射手| 五月丁香啪啪激情| 天天综合色| 久色精品| 国产综合激情五月久久| wwwss在线观看| 99色精品| 天天五月天综合网址| 欧美交换配乱吟粗大25P| 五月天久久网站| 日本成人噜噜| 久月久在线视频| 美女va| 色爽九九| 97超级操操| 丁香五月久久综合| 另类在线免费视频| 国产丁香五月天婷婷| 在线另类视频| 欧美丁香五月97色| 色婷婷婷婷| 91丁香婷婷综合资源| 色噜噜在线| 99∨VTV| 亚州色婷婷| 激情五月综合婷婷| 射区导航| 午夜成人网站在线观看| 久婷久婷激情肉| 五月激情网站| 丁香婷婷婷婷十二月在线观看视频| 五月丁香色婷婷基地| 99热精品在线播放| 亚洲色色图片| 亚洲精品又粗又大又爽A片| wwwss在线观看| 大香蕉久久久久| 婷色天堂| 停停五月丁香| 天天艹| 日韩色五月| 激情五月成年| 亚洲人人操BD| 五月丁香综合久久夜夜| 婷婷五月激情六月| 日本久久婷婷| 久久九九99| 8区视频在线| www,com,五月色色| 色色免费网站| 日日天天干| 色婷婷丁香| 婷婷亚洲影院| 五月丁香网av| 少妇AB又爽又紧无码网站| www。狠狠干。com| 成人.在线日韩| 桔色成人官方网站| 五月婷婷久久爱| 丁香五月五月婷婷五月天激情四射| 99欧美精品99日本精品| www夜夜| 丁香九月激情久久| 日日干五月天婷婷| 国产精品久久久久久久久久 | 亚洲六月婷| 国产做爰视频免费播放| 色五月天在线观看| 97人人操在线| 国产又粗又大又爽又黄| 韩国三级五月天婷婷。| 婷婷成人AV| 激情综合国产| 婷婷五月天视| 日本色99网站| 96精品久久久久久久久| 五月激情五月丁香| 国产性爱在线| 五月天淫乱视频| 91婷婷搞| 69精品人人人人| 五月天激情日色在线| 影音 五月 婷婷 久久| 亚美欧色影院| 婷婷99| 操碰97| 色色亚卅| 国产97色在线 | 日韩| 丁香五月天堂| www狠狠爱com| 久久9视频欧美| 色色综合色视频| 精品国产一区二区三区四区阿崩 | 丁香五月天激情网| 久久九九玖玖| 大香蕉久久青青| 免费观看的婷婷五月视频在线| 六月丁香婷婷色狠狠久久| 91chinese在线| 草美女在线观看视频在线播放| 97色 五月天丁香| 丁香桃色网| 久久曰曰| 天天肏天天舔AV| 天天肏高清在线| 色情五月天视频网| 婷五月天| 五月天精品| 99热这里只有精品23| 日本三日本三级少妇三级66| 亚洲九区| 中文字幕 中文字幕明步| av操逼网| 激情婷婷护士激情| 天天操比比| 六月婷婷七月丁香| 色婷天天| 日本性视频| AV在线观看网站| 久久五月婷综合网| 99re视频在线播放| 97色五月丁香婷婷| 婷婷丁香色五月| 性 色 婷婷| 秋霞av不能| 色五月天在线观看| 天天日天天干天天爽| 丁香五月激情六月欧亚激情综合导航| 亚洲啪啪精品| 欧美成人精品A片免费一区99| 丁香五月Av| www。狠狠干。com| 五月天丁香婷| 免费碰碰视频久| 一区二区乱码视频| 99热这里只有精品最新网址| 26uuu.| 久久天堂女人| 大地资源色婷婷视频在线| 十一月婷婷激情四射| 六月丁香啪| 绿色小导航AV| 99久久婷婷国产综合精品电影| 婷婷激情在线| 99热这里只有精彩| Jh7Uf088VHafNm| 9999三级片| 色操综合| 国产婷婷色综合AV蜜臀AV | 五月婷六月婷婷| 色情五月丁香| 九九干视频| 丁香五月天天久久综合小说| 五月丁香六月婷| 人人摸人人澡人人| 六月丁香社区| 六月婷婷激情小说网| 超碰成人免费| 中美日韩成人在线| 五月亭亭开心网| 人人综合五月人人婷婷| 色综合爱综合| 亚洲激情 久久| 中文字幕不卡+婷婷五月| 色黄啪啪| 色色综合网。| 婷婷五月丁香亚洲| 99视频| 九月丁香| 久久人人九九| 亚洲色视频| 人妻熟妇六区| 人人爱天天摸摸天天爱| 69堂午夜视频最新地址| 久久这里只精品66| 亭亭五月丁香综合欧美| 久久综合激情| 六月婷婷综合| 婷婷综合网| 丁香五月色五月| 丁香六月欧美| 亚洲天堂九九九| 激情五月黄色| 色哟呦av| 91无码一区人妻A片蜜| 香蕉婷婷| 亚洲操操操| 激情五月丁香婷婷| 丁香婷婷影院| 可以免费观看的AV| 久久99综合| 激情图片五月天| 中文激情网| 婷婷五月天激情电影| 日本五月天激情| 中文乱子伦视频| 婷婷爱婷婷| 五月五丁香婷婷| 五月天婷婷在线观看精品男人| 激情五月婷婷丁香六月| 久久婷婷六月| 五月青青草综合| 少妇丁香婷婷| 3p日韩网站视频| 激情五月六月婷婷综合啪啪| 91美女啪啪| AA片在线观看视频在线播放| 激情 久久 婷婷| 色爽干| 日韩人妻AV在线| 丁香8月手机综合| 爱超碰性| 色丁香五月婷婷综合久久| 久99久视频精品| 亚洲人成播放网站| 亚洲色99综合天堂| 黄色av网站在线免费播放| 99视频免费播放 | 国产黄大片在线观看画质优化| 五月天婷婷成人网| 久久婷青青草原| 91av视频| 99操免费视频| 国产韩日亚洲美州欧亚综合在线| 99er免费在线观看| 狠狠色噜噜| 夜夜夜夜夜操| 色婷婷激情| 综合色五月天| 久久久国产精品黄毛片| 99热免费18| Aα在线免费观看| 色欧美影院| 美女黄频aⅴ视频| 五月激情视频| 影音先锋 91工厂| 国产成人+亚洲+欧洲| 99热综合网| 黄色五月婷婷| 九月色婷婷| 五月婷婷丁香日韩在线| 亚洲色人妻| 五月婷婷深深爱| www.99视频| 亚洲视频在线观看99| 婷婷丁香五月天小说| 天天舔天天摸视频| 欧美熟女99| 天天插天天插| 五月丁香综合网| 六月丁香色色色| 五月天综合网| 996热re视频精品视频这里| 热久久99热欧美国产亚洲| 丁香五月天激情综合| 婷婷五月丁香综合| 日韩av手机在线观看| 五月久久| 色色日韩| av狠狠操| 五月丁香六月激情| 婷婷五月丁香激情图片| www,8050,午夜三级| 久久婷婷五月激情网站| 丝袜激情网| 色色色综合| 99在线看视频| 人人草成人视频| 欧美综合激情五月天| 久久最新色| 亚洲天堂热| 精品国婬伦V无码久久久| 日本激情91| 丁香婷婷久久激情| 五月丁香亭亭操逼| 婷婷五月天综合亚洲| 久久色五月天| 天天狠狠色噜噜| 久久五月婷婷丁香| 久综合4| a九九热www| 天天模,夜夜模夜夜爽| 99热精品无码| 最近中文字幕2019视频1| 激情伊人网| 情欲综合网| 99精品免费视频| 久久久久9999| 另类在线观看视频| 这里只有精品视频在线看| 狠狠综合久久| 免费V片在线| 色五月激情视频在线综合| 六月 丁香 视频| www.激情五月| 亚洲免费观看高清完整版AV线| 色婷婷五月天天天做| 婷婷激情在线| 久久丁香综合香蕉| 中文字幕综合网| 婷婷视频在线| 偷偷与邻居做爰完整视频| 欧美色色色色色色| 热久视频| 韩国中文字幕91| 婷婷色网站| 丁香色综合| 五月天激情四射| 97成人在线视频精品| 五月丁香好婷婷姑娘综合网| 涩综合网| 大香蕉七区| 天天拍久久| 久久99网| 99自拍视频网站| 天天做天天爱天天做| 国产精品色色| 婷婷激情人妻| 九九99视频| 最近中文字幕在线中文视频| 午夜大香蕉| 婷婷丁香五月在线播放| 婷婷在线中文字幕| 亚洲视频丁香网va| 亚洲九九夜夜| 婷婷丁香六月综合激情站| 99成人| 黄色高清无码| 激情五月婷婷中文字幕| 亚洲精品字幕| 婷婷丁香77777| 五月婷婷色播| 色原狠狠综合| 五月婷婷天| 影音先锋日本三级资源| xx色综合| 国产乱子轮XXX农村| 日本欧美在线| 激情婷婷| 91狠狠综合久久| 开心激情站| 九色视频入口91| 五月丁香青草综合啪啪| 亚洲精品一二三| 五月丁香拍拍激情综合| 嫩草AV久久伊人妇女超级A| 久久综合婷婷| 天天干天天色综合| 蜜臀AV在线成人| 99热主页日本| 色五月大香蕉婷婷| 女人天堂 AV| 久久综合五月天激情小说网站 | 亚洲成人综合在线| 久久99热这里| 中字幕视频在线永久在线观看免费 | www.色婷婷| 色色综合成人网| 啪啪啪大香蕉| 婷婷中文字幕| 九九热免费视频| 久久黄A片| 五月婷婷综合激情| 色五月涩涩婷婷蜜桃| 综合久久综合| 人妻久久久久| 国产AV一区二区三区日韩| 99热6这里之有精品| 亚洲色啪| 亚洲激情视频网| 先锋影音av色五月天资源站| 性生活视频98791| 亚洲日本韩国| 这里只有精彩视| 日韩久久日| 丁香五月婷婷手机| 丁香综合日产精品久久| 狠狠狠夜夜夜| 秋霞日本免费毛片A片| 国产.亚洲.欧洲视频在线| 91综合色| 婷婷丁香十月| 国产性色蜜乳| 日日操无码| 日韩五月丁香| 五月色丁香| 欧美婷婷五月丁香| 亚洲性图一区二区三区| 五月婷婷av在线| 99国产视频网| 大香蕉久久久久| 欧美影院| eeuss人妻| 日本乱子人伦在线视频| 秋霞网在线观看理论91| 狠狠色婷婷色| 婷婷五月天影院| 人人亚洲| aaaa久久| 婷婷激情六月综合| 精品人妻伦| 91麻豆国产三级精品福利在线观看| 五月激情婷婷在线| 丁香五月天激情| 天天弄天天操| 婷婷中文字暮| 日日干天天射| 精品一二三区久久AAA片| 久久丁香久久| 五月天久久www| 五月天开心网| 色婷婷狠狠干芒果TV| 蜜乳人妻一区二区三区| 久操热线| www.日日夜夜.com| 永久无码色| 日韩丁香涩| 狠狠干在线| 五月激情丁香六月狠狠干| 69热91天堂| 91综合色| 欧美婷婷五月天综合| 91久久久久久久久久| 六月婷婷色综合| VA婷婷亚洲| 丁香五月色网| 四川BBB搡BBB爽爽视频| 色99色| 婷婷激情五月天在线视频| 一级黄色操B| 久久免费精彩视频| 五月丁香综合激情网| 国产伦理精品高清在线观看网站一区二区| 亚洲AV成人无码精品| 婷综合| 色五月婷婷丁香婷婷| 99精品丁香五月| 亚洲网视屏| 互月天综合| 激情伊人| 9 1 A v久久久| 99成人| 九九婷婷五月天| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久婷婷五月免费视频| 综合综合色色| 色婷亚洲五月丁香| 97精品人人A片免费看| 九九 激情 网| 草做免费在线观看| 久久五月六月| 色综合中文色综合网| 国外亚洲成AV人片在线观看| 五月综合丁香婷婷| 人妻久久久久久久久久| 亚洲 25P| 日本久久天堂| 97婷婷在线视频| 国产偷人爽久久久久久老妇APP| 庭庭久久内射| 亚洲色激情| 色婷婷五月天激情在线播放| 日韩狠狠色| 97成人丁香| 91色色色| 欧美在线干| 婷婷婷婷婷婷婷五月丁香| 91精品熟女| www999日韩精品| 久久综合站| 久99热| 五月婷婷久久大香蕉| www,av好吊操| 激情丰满熟妇五月| 婷五月天天| 97色在线观看视频| 光棍影院日韩精品| 超碰人人摸人人操| 噼里啪啦在线观看免费完整版视频| 久久婷狠狠色| 亚洲色五月天| 五月天婷网| site:jszngf.com| 51成人| 婷婷中文网站| 第四色色色色色丁香五月天| 亚洲三A| 超碰人人色| 一起草Av| 最新va在线播放| 岛国AV网站| 国产寻花在线| 激情综合网五月天天| 嫩草国产| 久久sp免费视频| 丁香婷婷浪潮AV久久综合| 国产精品久久久久久久久久| 婷婷色导航| 五月婷婷无码| 色情五月婷婷| 丁香婷婷深情五月亚洲| 色优久久| 婷婷色在线| 亚洲AV综合网| 国产亚洲精品人人| 深爱五月婷婷开心中文字幕| 亚洲综合网区| 天天做天天爱天天摸| 大香蕉九九| 色欲天天综合| 亚洲精品无码久久| 99久久久| 青青.com| www.91.com处女在线直播| 色情五月天视频网| 久久九九网| 丁香婷婷色九月| 成人免费在线电影| 国产精品国产| 九洲一级A片| 亚洲综合无码| 色噜噜狠狠色综合网| 91精品婷婷国产综合| 日91高清无玛| 九色91国产| 日韩婷婷| 韩国情人在线电视剧免费观看高清版全集 | 欧美激情Va| 日日干综合| 大狠狠在线| 颜射 精品性爱av| 五月四色婷婷| 午夜丁香五月天综合| 97 A I色色| 婷婷五月激情中文字幕| 日韩啪| 99日韩| 色五月天天| 五月天婷婷激情干干| 丁香六月毛片| 成人精品亚洲性爱| 婷婷综合精品| 成人在线视频网| 色婷婷成人做爰A片免费看网站 | 日韩在线99| 色五月色五天色情网| 欧美这里只有精品| aV直接看| 久久九九婷婷| 色婷婷狠狠爱| 夜夜天天久久婷婷| 99热免| 国产亚洲色婷婷久久99精品91| 99自拍视频网站| 99精品免费视频| 国产XXXX搡XXXXX搡麻豆| 色婷婷狠狠18yy| 97婷婷在线| 99性视频| 国产精品国产VA片国产| 色综合色| 日日夜夜天天综合| 五月丁香婷婷色啪| 九月色婷婷综合| 色播五月婷婷| www.av骚货| 在线观看av网站| 五月天婷婷综合网| 日本人妻久久| 色五月天.con| 色狠狠色狠狠| 日韩无码专区| 精品久久久久成人码免费动漫| 伊人久久大香线蕉亚洲五月天,| 久操激情| 欧美性爱特黄一级aaaassss| 天天天天操| 日本狠狠干| 亚洲区在线| 五月天色综合| 亚洲五月天狠狠| 欧美性爱一区| 禁欲电影完整版在线播放| 亚洲情欲久久| 91综合色| 丁香五月激情视频在线| 最新久久网址| 婷婷五月丁香第四色超碰在线| 99九九视频| 丁香五月成人论坛| 色综合五月| 最近中文字幕大全免费版在线| 五月丁香趴趴| 99综合婷婷五月| 色五婷婷在线视频| 亚洲亚洲人成综合网络| 色色激情五月| 婷婷综合成人五月天| 色老久久| 亚洲三A| 亚洲视频在线观看区| 婷婷色色五月天| 人草人人| 五月天婷婷久久| 日本97在线观看| 亚洲婷婷久久综合| 99这里只有免费的精品| 久久99激情| 六月五月天婷婷涩播在线| 91色在线/日韩| 99视频热| 九九热精品| 色情婷| 亚洲婷婷六月天| 大香蕉99热| 玖玖婷婷免费| 久久一热免费视频| 五月天丁香成人| 色婷婷aV四虎| 五月天婷婷色播综合在线| 婷婷五月综合久久中文字幕| 99精品久| 五月亭亭激情综合| 九九色综合九九色| 国产精品色婷婷99久久精品| 五月天激情啪啪| 五月婷婷啪啪| 26uuu青青| 99人妻碰碰碰久久久久视| 91免费试看| 狠狠色综合777| 99热这里有精力| 99精品一二三四视频| 五月婷在线播放| 国产亚洲精品久久久久久久久动漫| aaaaa黄色| 亚洲AV中文在线| 欧美色必爱| 丁香五月综合在线播放| 久久久久人妻| 丁香五月婷婷啪| 久激情网| 干一干xxxx| 婷婷五月天综合在线| 精品99*| 六月婷婷狠狠色在线观看| 另类小说五月天| 丁香六月久久| 日本系列_4页_777FP| www.久久9| 日本色色色| 99热亚州综合| 婷婷丁香五月综合激情小说| 岛国在线观看91| 情五月亚洲婷婷| www.夜夜| se99高清无码| 六月婷婷五月丁香| 天搞天天天天天| 五月婷婷成人| 99视频超级精品| 色婷婷综合网| 婷婷伊人网| 久久综合五月天| 久久人五月| 精品99在线观看| 色五月自偷自拍婷婷婷婷| 九九视频在线观看| 五月天激情综合网| 丁香色婷婷| 9 大屁股在线视频精品| 情趣视频66| 亚洲精品444久久久久久| 丁香婷婷十月| 七七久久婷婷| 夜夜夜夜撸夜夜操| AV在线收看| 婷婷五月天社区| 色5月婷婷色| 超碰在线国产| 婷婷欧美色| 中文人妻AV久久人妻18| 狠狠干2007| 国外亚洲成AV人片在线观看| 丁香网五月网| AV片一区在线观看| 五月婷婷伊人在线| 日韩 mm 不卡| 超碰操网| 五月丁香爱婷婷深深| 色色五月婷婷| 美女主播野战视步页| 久月久在线视频| 丁香婷婷激情网站| 色综合偷拍| 影音先锋四区| 丁香五月天色综合| 久色精品| 色无码| 中文资源在线a | 九九国产视频| 激情综合网激情五月天| 五月天婷婷乱| 色一情一乱一乱一区9| 超级碰碰碰97免费| 91人人操.COM| 久久曰曰| 只有久久精品免费| 色婷婷第四色| 99久久www| 任你草| 国产看真人毛片爱做A片| 欧美婷婷五月| 五月综合激情| 这里有精品| 五月久久亚洲| 加勒比日本一区二区三区| 亚洲精品视频在线播放| 婷婷激情综合无月| www.99操| 日本美女上人| 久久性爱视频免费| 婷婷五月丁香综合瑟瑟| 四虎成人精品永久免费AV九九| 激情综合五月激情17| 日韩五月婷婷久久| 久久资源网五月婷| 国产va在线视频| 天天操天天插天天射| 久久婷婷丁香| 久热这里有精品视频| www.夜夜爱.com| 六月99天天婷婷激情综合| 天天日天天摸天天| 伊人久久大香线蕉AV最新午夜| 狠狠做婷婷| 婷婷五月六月丁香综合| 亚洲AVwwwwwww| 五月丁香六月婷婷久久| 五月色俺婷婷| 天天久综合网永久入口17v | 色99久草在线| 六月婷婷激情图片| 中文人妻主播久久| 超级碰碰视频无码| 六月激情综合| 色色色色av色色色色| 99色视频| 欧美十二区| 在线中文av| 色了色综合| 五月天堂色| 亚洲狠狠终合停停终合| 久热伊人| 狠狠色丁香久久婷婷综合五月| 色婷另类| 91丁香综合| 99在线视频精品| 天天射天天射一道本日本社区| 99热1| 丁香六月在线综合| 无码啪啪| 日韩爱操视频| 五月激情另类| 亚洲黄色精品| 五月婷婷亚洲综合在线 | 五月色欧美| 久久久久激情| 婷婷五月天亚洲综合网| 国产色色视频| 亚洲成人五月| 天天插天天草人人玩| 亚洲av成人在线| 丁香五月激情综合久久| 99激情视频| 97亚洲婷婷| 丁香五月六月激情| 五月总合激情网| 琪琪色影音先锋| 亚洲无码 图片区| 26uuu成人网| www.五月丁香| 丁香五月在线看| 欧美色骚婷婷五月天| 日本欧美国产| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 操久久网| 成人色五婷婷| 影音先锋 婷婷| 天天爽在线视频| 97五月婷婷| 另类五月激情| 九九热免费| 性综合网| 婷婷五月天奸女| 婷婷五月天综合久久日美女| 九九热精品| 成人免费在线电影| 深爱激情网五月天| 亚洲免费婷婷| 狠狠色97| 婷婷五月天综合久久| 五月天婷婷色播在线网| 69热在线| 99黄色性生活| 色娸娸综合网| 91亚洲天堂| 亚州成人综合在线| 国产乱人偷精品人妻A片| 婷婷丁香五月亚洲| 伊人五月综合网| 婷婷综合五月天亚洲综合| 婷婷玉月丁香五月在线视频| 77799热| 97综合在线| 久操无码| 在线观看av网站| 9精品视频在线| 色444综合网| 婷婷久综合| 欧美特大片黄| 极品人妻VIDEOSSS人妻| 亚洲人妻av伦理| 九九无码| 五月天综合在线| 久久五月天婷婷| 五月天色影院| 日韩一级片| 國語久久婷| 天天搞天天色综合| 99只有这里有精品在线视频| 色五月六月| 这里只精品热在线18| 天天天天色天天天天天干| 婷婷开心综合人妻小说网址| 9这里只有精品| 很很干在线视频| 婷婷丁香一月| 丁香五月视频在线观看| 国产超碰在线| 婷婷亚洲天堂| 超碰女人天堂| 亚洲激情视频在线观看| 婷婷射丁香| 99re6热在线精品视频播放速度| 亚洲色综久久五月| 海外网站专业操老外| 九9九9无码| 亚洲综合另类| 色情五月天丁香社区| 97干在线播放| 生活片五区| 六月丁香婷婷综合狠狠爱夜夜爱| 五月天激情四射网站| 9l视频自拍九色9l视频在线观看| 97碰碰在线观看视频| 日韩 中文 欧美| 人人操97| 日本久久精品| 91九色国产| 丁香五月激情婷婷视频| 五月天五月色婷婷综合| 天天噜天天爱| 五月婷婷激情四月| 色 色 色综合com| 美英法精品无码免费视频| 丁香五月a| 久久人人妻| 性色婷婷| 99热伊人| 日韩丰满少妇无码内射| 日本激情综合| 色婷婷文字幕| 成人一级片| 丁香色情五月天| 色婷激情网| 久久99热这里只有精品| 五月天丁香婷| 亚洲最大视频| CHINESE熟女老女人HD视频| 亚洲成人影视在线| 成片免费观看大全| 91在线日本| 色色激情| 色五月婷婷婷婷| 五月激情站| 99热这| 成人片黄网站色大片免费毛片 | www.jiujiujiu| 国产 码在线成人网站| 白天AV月月| 婷婷五月天在线观看免费| 色噜噜狠狠色综合网| 五月天成人在线视频网站| 欧美三级巜人妻互换| 极品五月天| 最新久久网址| 丁香婷婷偷拍| 日本九九热| 99热只有| 97av在线视频| 99超超碰| 免费亚洲成人电影AV| 五月丁香综合| 婷婷丁香五月六月激情| 99热精品观看| 激情婷婷| 新激情综合| 超碰狠狠操| 亚洲第一色区| 欧美日朝成人| 97久久人人人干| 成人资源在线| 丁香色六月婷婷| 九九热只有精品| 久热免费视频| 一区=区操屄高清大全av| 色婷婷影视| 丁香六月视频免费观看| 婷婷综合五月| 丁香五月激动深爱欧美| 欧美天天搞| 久热这里有精品视频| 丰满熟女人妻一区二区三 | 五月天久久综合婷婷丁香| 五月天色五月| 欧美交换配乱吟粗大25P| 婷婷人妻激情| 成人深爱丁香五月| 99在线免费视频| 亚洲精品V天堂中文字幕| 亚洲免费av在线| 91操色| 色婷久九| 三级毛片视频| 庭庭久久内射| 亚洲性色XXXXX| 五月丁香综合在线| 色色97丁香婷婷五月天| 袁子仪视频观看| 人妻少妇色综合| 尤物一区二区| 丁香五月激情啪| 99成人免费视频| 99热在这里只有精品| 五月四色激情| 激情久久久| 人人色婷婷| 激情内射人妻1区2区3区| 久操大香蕉| 色婷视频| 精品无码久久久久久久久| 亚洲碰碰碰| www.热99热| 色五月天婷婷| 99色在线观看视频| 麻豆五月丁香婷婷| 狠狠综合网| 97碰免费精采视频| 色综合网综合| 色色五月婷| 丁香五月色网| 亚州操人在线视频| 欧美顶级少妇做爰HD| 51XX午夜影福利| 俺去也五月天婷婷| 五月婷婷色色爱| 色色网站免费在线视频| 人妻AV在线观看| 日韩美一级毛卡片| 五月丁香六月综合激情网| 99热这里只有精品8| 丁香六月| 婷婷五月丁香色情| 99这里有精品视频| 欧洲一区二区| 天天综合中文| 播丁香五月婷婷欧美| 五月婷婷开心深| 色综合久| 精品女人九九九| 色五月涩涩婷婷| 九九无毛| 久香草视频在线观看| 来吧亚洲综合网| 国产avapp 网| 激情五月天激情小说| 久久丁香综合香蕉| 爱草视频在线观看| 99热这里| wWwCom夜操wwW| 久久久久久久97| 久久久五月五丁香| 日日操日日撸| 亚洲成人av在线观看 | 爽天天天天天天天| 99超级超级超级碰| 99热99这里只有精品| 香蕉综合网| 婷婷五月69| 深爱激情综合网| 亚洲免费99| 操操天堂| www久久艹| 99热这里只有精品9| 婷婷五月天性爱视频| 99精品大片| 亚洲视频综合网| 中国AV性爱观看| 日日操天天操| 婷婷五六月丁香| 99热精品在线观看| 97色婷| 久久激情五月婷婷| 久热超碰| 五月婷av| 久久er视频6| 爱射综合| 色波激情五月天| 色婷婷丁香| 欧美激情xxxXX| 婷婷丁香六月| 丁香成人综合| 少妇人妻偷人精品无码视频新浪| 99久热这里只有精品视频删减版| 91免费看片| 精品99在线| 狼人久草| 婷婷啪啪| 天天夜夜六月丁香五月婷婷老师| 五月婷婷六月激情| 可以免费看的av网站| 狠狠精品干练久久久无码中文字幕 | 五月丁香婷婷色| site:picc-up.com| 亚洲精品又粗又大又爽A片 | 六月婷婷国产| 色99xx| 丁香五月天婷婷激情| 草榴视频网| 女同激情久久av久久| 九九色色| 99色综合| 日日射天天射| AA片在线观看视频在线播放| 五月久久亚洲| 嫩草视频。| 九月色婷婷综合| 欧美婷婷日本| 99热综合| 伊人日日干| 久久玖玖99| 天天爽夜夜爽夜夜爽精品视频| 伊人婷婷91| 99这里只有| 欧美色骚婷婷五月天 | 久大香蕉| 超碰久热| 中字幕视频在线永久在线观看免费 | www.色擼擼.com| 亚洲四色五月| 亚洲九九夜夜| 色婷婷性爱| 97色色色色色| 五月天自拍视频| 精品国产a| 九月激情网| 99久久国产成人精品| 激情五月天婷婷播播久久综合91| 婷婷色情五月| 五月天婷婷綜合院| 成人片在线播放| 少妇人妻凹凸视频| 91啪啪网| 久久99网站| 五月丁香直播| 九九人人看| 六月丁香激情网| 777精品成人a v久久| 综合99在线| 26UUU精品一区二区| 五月婷婷免费| 婷婷丁香五月天大香蕉| 狠狠干五月天| 婷婷五月天亚洲图片| 亚洲色图五月丁香| 少妇被下春药玩弄A片| 欧美成人五月天| 久久色区| 色婷婷六月| 欧美这里只有精品| 在线五月婷婷小电影| 五月天婷婷综合色| 在线观看的av| 26uuu国产精品| 超碰色天堂| 99精品网| 婷婷五月视屏| 久久视屏这里只有久久| 亚洲成人在线观看网址| 久久99网站| 日日艹思思热| 色五月婷婷av| 蜜臀综合久草| 另类视频综合| 99综合99| 超碰成人在线观看| 日韩av变天就操逼不卡区| 五月99久久| 婷婷五月婷婷五月天| 婷婷五月天综合AV| 国产SUV精品一区二区883| 综合99视频| 婷婷丁香五月天色区| 啪啪操超碰| http:色情日本com| 六月激情婷婷| 天天爽夜夜爽| 五月天激情四射| 99re免费视频| 国产FREESEXVIDEOS性中国| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | www98日本小时间到了| 欧州婷婷五月天综合| 91ncom.色| 五月婷婷开心亚州在线| 五月天国产成人| 色五月激情问网站| 五月天色区| 五月天成人免费视频| 内射激情在线| 亚洲免费99| 日韩有码一区| 五月天激情网图片| 国产VA亚洲VA96| 婷婷五月色情| 九月丁香网婷婷| 5月丁香啪啪啪| 《蜘蛛女》梁铮1995| 深爱激情网婷婷| 久久久ww| 久久青青日本视频| 国产毛片欧美毛片久久久| 91久久精品无码一区二区三区| 激情婷婷综合五月少妇| 久热这里只精品| 日本97在线| 日本nghangse中文字幕| 六月天婷婷| 五月婷婷色影院| 99热这里只有精品首页| http://www.lingjunshare.com/| 狠狠色婷婷7777久| 97操碰人免费| 这里只有精品视频在线| 色综合丁香| 狠狠色狠狠操| 天天爽日日爽夜夜爽| 久久只这里有精品| 激情网站五月| 99久操| 中文字幕精品推荐免费在线观| 女人高潮内射99精品| 天天插综合| 色婷婷a| 亚洲欧美一区二区三区爱爱动图| 高清无码中文字幕aVDV| 天天综合情| 射区导航| 婷婷丁香五月基地| 亚洲AV日韩在线观看| 国产毛片精品一区二区色欲黄A片| www.激情| PORNY九色9l自拍视频成人| 超碰高清在线| 天天色天天爱天天爱天天爱y| 天天热夜夜操| 色情久久久| 日韩欧美四五区| 亭亭丁香久久五月| 色婷丁香五月| 婷婷啪啪| 激情小说五月天| 亚洲av日韩无码| 色婷婷瘦婷婷日韩| 五月天婷婷无码| 综合AV网| 久久精品一区二区三区四区| 色色色网站| 色偷偷五月天| www.夜夜| 五月婷婷色五月| 久久五月天婷婷| 九九热在线99| 99热这里只有精品9| 五月亭亭六月天| 五月丁香在线观看| 99日韩|