簡(jiǎn)單的寫(xiě)了一個(gè)爬取www.seebug.org上poc的小玩意兒~
首先我們進(jìn)行一定的抓包分析
我們遇到的第一個(gè)問(wèn)題就是seebug需要登錄才能進(jìn)行下載，這個(gè)很好處理，只需要抓取返回值200的頁(yè)面，將我們的headers信息復(fù)制下來(lái)就行了
（這里我就不放上我的headers信息了，不過(guò)headers里需要修改和注意的內(nèi)容會(huì)在下文講清楚）
|
1
|
|
2
3
4
5
6
7
8
9
|
headers = { 'Host':******, 'Connection':'close', 'Accept':******, 'User-Agent':******, 'Referer':'https://www.seebug.org/vuldb/ssvid-', 'Accept-Language':'zh-CN,zh;q=0.8', 'Cookie':***********} |
由上所知，我們的中點(diǎn)就是referer這一項(xiàng)，是我們后面要進(jìn)行修改的
那么怎么去修改這個(gè)呢？
我先進(jìn)行點(diǎn)擊下載鏈接抓包發(fā)現(xiàn)，seebug的poc下載鏈接特別的整齊：
'https://www.seebug.org/vuldb/downloadPoc/xxxxx',
后面只需要加上一個(gè)五位數(shù)就行，而且五位數(shù)是連號(hào)的哦！
這就一目了然，我更改了五位數(shù)再次進(jìn)行請(qǐng)求時(shí)發(fā)現(xiàn)，并沒(méi)有返回美麗的200狀態(tài)碼，瞄了一眼header，發(fā)現(xiàn)了referer這一項(xiàng)：
'Referer':'https://www.seebug.org/vuldb/ssvid-xxxxx'
也就是說(shuō)referer這一項(xiàng)的五位數(shù)字也要隨之變化，這樣我們的get請(qǐng)求頭部就完成了
接下來(lái)是線程的問(wèn)題
使用了queue和threading進(jìn)行多線程處理，發(fā)現(xiàn)我們不能圖快，不然會(huì)被反爬蟲(chóng)發(fā)現(xiàn)
于是導(dǎo)入time增加time.sleep(1)，能有一秒的休眠就行了，線程數(shù)給了2個(gè)（這樣看來(lái)好像線程的意義并不大，不過(guò)也就這么寫(xiě)啦）
|
1
|
|
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
|
# coding=utf-8import requestsimport threadingimport Queueimport time headers = { ****** }url_download = 'https://www.seebug.org/vuldb/downloadPoc/'class SeeBugPoc(threading.Thread): def __init__(self,queue): threading.Thread.__init__(self) self._queue = queue def run(self): while not self._queue.empty(): url_download = self._queue.get_nowait() self.download_file(url_download) def download_file(self,url_download): r = requests.get(url = url_download,headers = headers) print r.status_code name = url_download.split('/')[-1] print name if r.status_code == 200: f = open('E:/poc/'+name+'.txt','w') f.write(r.content) f.close() print 'it ok!' else: print 'what fuck !' time.sleep(1)''' def get_html(self,url): r = requests.get(url = url,headers = headers) print r.status_code print time.time()'''def main(): queue = Queue.Queue() for i in range(93000,93236): headers['Referer'] = 'https://www.seebug.org/vuldb/ssvid-'+str(i) queue.put('https://www.seebug.org/vuldb/downloadPoc/'+str(i)) #queue用來(lái)存放設(shè)計(jì)好的url，將他們放入一個(gè)隊(duì)列中，以便后面取用 threads = [] thread_count = 2 for i in range(thread_count): threads.append(SeeBugPoc(queue)) for i in threads: i.start() for i in threads: i.join()if __name__ == '__main__': main() |
代碼如上
控制下載的range()中的兩個(gè)五位數(shù)，大家只要去seebug庫(kù)中找一找想要掃描的庫(kù)的開(kāi)頭和結(jié)尾編碼的五位數(shù)就行了（也就是他們的編號(hào)）
關(guān)于返回的狀態(tài)碼，如果項(xiàng)目不提供poc下載、poc下載不存在、poc需要兌換幣才能下載，就不能夠返回正常的200啦（非正常：404/403/521等）
當(dāng)然，如果一直出現(xiàn)521，可以考慮刷新網(wǎng)頁(yè)重新獲取header并修改代碼
最后進(jìn)行一個(gè)狀態(tài)碼的判斷，并且將200的文件寫(xiě)出來(lái)就好了
（
表示慚愧感覺(jué)自己寫(xiě)的很簡(jiǎn)單
如果大家發(fā)現(xiàn)錯(cuò)誤或者有疑惑可以留言討論哦
）
以上這篇python爬蟲(chóng)_自動(dòng)獲取seebug的poc實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持服務(wù)器之家。
