日韩在线欧美高清一区,伊人五月,免费三级在线观看

　　前段時(shí)間自學(xué)了一段時(shí)間的Python，想著濃一點(diǎn)項(xiàng)目來(lái)練練手。看著大佬們一說(shuō)就是爬了100W+的數(shù)據(jù)就非常的羨慕，不過(guò)對(duì)于我這種初學(xué)者來(lái)說(shuō)，也就爬一爬圖片。

　　我相信很多人的第一個(gè)爬蟲程序都是爬去貼吧的圖片，嗯，我平時(shí)不玩貼吧，加上我覺得豆瓣挺良心的，我就爬了豆瓣首頁(yè)上面的圖片。其實(shí)最剛開始是想爬全站，后來(lái)一想我這簡(jiǎn)直是腦子犯抽，全站的圖片爬下來(lái)得有多少，再說(shuō)這個(gè)只是練一下手，所以就只爬取了首頁(yè)上的圖片。廢話不多說(shuō) 開始代碼。

　　首先是主文件的代碼：

									import re

									from html_downloder import HtmlDownloader

									from html_downloder import Image

									"'起始URL'"

									url = "https://www.douban.com"

									"'保存目錄'"

									image_path = "F:\source\Python\爬蟲\ImageGet\Image%s.jpg"

									"'定義實(shí)體類'"

									downloader = HtmlDownloader()

									html = downloader.download(url)

									"'SaveFile(html, html_path)'"

									html = html.decode('utf-8')

									"'正則表達(dá)式'"

									reg1 = r'="(https://img[\S]*?[jpg|png])"'

									"'提取圖片的URL'"

									dbdata = re.findall(reg1, html)

									imgsave = Image()

									"'下載保存圖片'"

									imgsave.ImageGet(dbdata, image_path)

我們打開豆瓣首頁(yè)然后看一下里面圖片的url會(huì)發(fā)現(xiàn)

Python制作豆瓣圖片的爬蟲

都是以“=”等號(hào)開頭，后面接雙引號(hào)，中間都是https://img，末尾以雙引號(hào)結(jié)束。

因此我們的正則表達(dá)式可以寫成 reg1 = r'="(https://img[\S]*?[jpg|png])"'

在這個(gè)表達(dá)式中"[]"中括號(hào)里面的東西會(huì)作為一個(gè)整體，其中[\S]表示大小寫字母和數(shù)字，[jpg|png]表示以png結(jié)尾或者jpg結(jié)尾（在這次爬蟲中并沒有包括gif，因?yàn)榇蜷_gif的url發(fā)現(xiàn)是空白）。

然后是html_downloder.py的代碼：

									# file: html_downloader.py

									import urllib.request

									import urllib.error

									import time

									class HtmlDownloader(object):

									 def download(self, url):

									  if url is None:

									   return None

									  try:

									   header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'}

									   "'發(fā)出請(qǐng)求'"

									   request = urllib.request.Request(url=url, headers=header)

									   "'獲取結(jié)果'"

									   response = urllib.request.urlopen(url)

									  except urllib.error.URLError as e:

									   if hasattr(e, "code"):

									    print(e.code)

									   if hasattr(e, "reason"):

									    print(e.reason)

									  if response.getcode() != 200:

									   return None

									  html = response.read()

									  response.close()

									  return html

									class Image (object):

									 def ImageGet(self, imageurl, image_path):

									  x = 0

									  for li in imageurl:

									   urllib.request.urlretrieve(li, image_path % x)

									   x = x + 1

									   "'休眠5s以免給服務(wù)器造成嚴(yán)重負(fù)擔(dān)'"

									   time.sleep(5)