前言
為了上班摸魚(yú)方便，今天自己寫(xiě)了個(gè)爬取筆趣閣小說(shuō)的程序。好吧，其實(shí)就是找個(gè)目的學(xué)習(xí)python，分享一下。
一、首先導(dǎo)入相關(guān)的模塊
|
1
2
3
|
import osimport requestsfrom bs4 import BeautifulSoup |
二、向網(wǎng)站發(fā)送請(qǐng)求并獲取網(wǎng)站數(shù)據(jù)
網(wǎng)站鏈接最后的一位數(shù)字為一本書(shū)的id值，一個(gè)數(shù)字對(duì)應(yīng)一本小說(shuō)，我們以id為1的小說(shuō)為示例。
進(jìn)入到網(wǎng)站之后，我們發(fā)現(xiàn)有一個(gè)章節(jié)列表，那么我們首先完成對(duì)小說(shuō)列表名稱(chēng)的抓取
|
1
2
3
4
5
6
7
8
9
10
11
12
|
# 聲明請(qǐng)求頭headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}# 創(chuàng)建保存小說(shuō)文本的文件夾if not os.path.exists('./小說(shuō)'): os.mkdir('./小說(shuō)/') # 訪問(wèn)網(wǎng)站并獲取頁(yè)面數(shù)據(jù)response = requests.get('http://www.biquw.com/book/1/').textprint(response) |
寫(xiě)到這個(gè)地方同學(xué)們可能會(huì)發(fā)現(xiàn)了一個(gè)問(wèn)題，當(dāng)我去正常訪問(wèn)網(wǎng)站的時(shí)候?yàn)槭裁捶祷鼗貋?lái)的數(shù)據(jù)是亂碼呢？
這是因?yàn)轫?yè)面html的編碼格式與我們python訪問(wèn)并拿到數(shù)據(jù)的解碼格式不一致導(dǎo)致的，python默認(rèn)的解碼方式為utf-8，但是頁(yè)面編碼可能是GBK或者是GB2312等，所以我們需要讓python代碼很具頁(yè)面的解碼方式自動(dòng)變化
|
1
2
3
4
5
6
7
8
9
|
#### 重新編寫(xiě)訪問(wèn)代碼```pythonresponse = requests.get('http://www.biquw.com/book/1/')response.encoding = response.apparent_encodingprint(response.text)'''這種方式返回的中文數(shù)據(jù)才是正確的''' |
三、拿到頁(yè)面數(shù)據(jù)之后對(duì)數(shù)據(jù)進(jìn)行提取
當(dāng)大家通過(guò)正確的解碼方式拿到頁(yè)面數(shù)據(jù)之后，接下來(lái)需要完成靜態(tài)頁(yè)面分析了。我們需要從整個(gè)網(wǎng)頁(yè)數(shù)據(jù)中拿到我們想要的數(shù)據(jù)(章節(jié)列表數(shù)據(jù))
1.首先打開(kāi)瀏覽器
2.按F12調(diào)出開(kāi)發(fā)者工具
3.選中元素選擇器
4.在頁(yè)面中選中我們想要的數(shù)據(jù)并定位元素
5.觀察數(shù)據(jù)所存在的元素標(biāo)簽
|
1
2
3
4
5
6
7
8
9
10
11
|
'''根據(jù)上圖所示，數(shù)據(jù)是保存在a標(biāo)簽當(dāng)中的。a的父標(biāo)簽為li，li的父標(biāo)簽為ul標(biāo)簽，ul標(biāo)簽之上為div標(biāo)簽。所以如果想要獲取整個(gè)頁(yè)面的小說(shuō)章節(jié)數(shù)據(jù)，那么需要先獲取div標(biāo)簽。并且div標(biāo)簽中包含了class屬性，我們可以通過(guò)class屬性獲取指定的div標(biāo)簽，詳情看代碼~'''# lxml: html解析庫(kù) 將html代碼轉(zhuǎn)成python對(duì)象，python可以對(duì)html代碼進(jìn)行控制soup = BeautifulSoup(response.text, 'lxml')book_list = soup.find('div', class_='book_list').find_all('a')# soup對(duì)象獲取批量數(shù)據(jù)后返回的是一個(gè)列表，我們可以對(duì)列表進(jìn)行迭代提取for book in book_list: book_name = book.text # 獲取到列表數(shù)據(jù)之后，需要獲取文章詳情頁(yè)的鏈接，鏈接在a標(biāo)簽的href屬性中 book_url = book['href'] |
四、獲取到小說(shuō)詳情頁(yè)鏈接之后進(jìn)行詳情頁(yè)二次訪問(wèn)并獲取文章數(shù)據(jù)
|
1
2
3
|
book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)book_info_html.encoding = book_info_html.apparent_encodingsoup = BeautifulSoup(book_info_html.text, 'lxml') |
五、對(duì)小說(shuō)詳情頁(yè)進(jìn)行靜態(tài)頁(yè)面分析
|
1
2
|
info = soup.find('div', id='htmlContent')print(info.text) |
六、數(shù)據(jù)下載
|
1
2
|
with open('./小說(shuō)/' + book_name + '.txt', 'a', encoding='utf-8') as f: f.write(info.text) |
最后讓我們看一下代碼效果吧~
抓取的數(shù)據(jù)
到此這篇關(guān)于python爬蟲(chóng)之爬取筆趣閣小說(shuō)的文章就介紹到這了,更多相關(guān)python爬取小說(shuō)內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！
原文鏈接：https://blog.csdn.net/zhiguigu/article/details/115915722
