本文將介紹使用Python編寫多線程HTTP下載器，并生成.exe可執行文件。
環境：windows/Linux + Python2.7.x
單線程
在介紹多線程之前首先介紹單線程。編寫單線程的思路為：
1.解析url；
2.連接web服務器；
3.構造http請求包；
4.下載文件。
接下來通過代碼進行說明。
解析url
通過用戶輸入url進行解析。如果解析的路徑為空，則賦值為'/'；如果端口號為空，則賦值為"80”；下載文件的文件名可根據用戶的意愿進行更改（輸入'y'表示更改，輸入其它表示不需要更改）。
下面列出幾個解析函數：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#解析host和pathdef analyHostAndPath(totalUrl): protocol,s1 = urllib.splittype(totalUrl) host, path = urllib.splithost(s1) if path == '': path = '/' return host, path#解析portdef analysisPort(host): host, port = urllib.splitport(host) if port is None: return 80 return port#解析filenamedef analysisFilename(path): filename = path.split('/')[-1] if '.' not in filename: return None return filename |
連接web服務器
使用socket模塊，根據解析url得到的host和port連接web服務器，代碼如下：
|
1
2
3
4
5
6
7
8
|
import socketfrom analysisUrl import port,hostip = socket.gethostbyname(host)s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect((ip, port))print "success connected webServer！！" |
構造http請求包
根據解析url得到的path, host, port構造一個HTTP請求包。
|
1
2
3
|
from analysisUrl import path, host, portpacket = 'GET ' + path + ' HTTP/1.1\r\nHost: ' + host + '\r\n\r\n' |
下載文件
根據構造的http請求包，向服務器發送文件，抓取響應報文頭部的"Content-Length"。
|
1
2
3
4
5
6
7
8
|
def getLength(self): s.send(packet) print "send success!" buf = s.recv(1024) print buf p = re.compile(r'Content-Length: (\d*)') length = int(p.findall(buf)[0]) return length, buf |
下載文件并計算下載所用的時間。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
def download(self): file = open(self.filename,'wb') length,buf = self.getLength() packetIndex = buf.index('\r\n\r\n') buf = buf[packetIndex+4:] file.write(buf) sum = len(buf) while 1: buf = s.recv(1024) file.write(buf) sum = sum + len(buf) if sum >= length: break print "Success!!"if __name__ == "__main__": start = time.time() down = downloader() down.download() end = time.time() print "The time spent on this program is %f s"%(end - start) |
多線程
抓取響應報文頭部的"Content-Length"字段，結合線程個數，加鎖分段下載。與單線程的不同，這里將所有代碼整合為一個文件，代碼中使用更多的Python自帶模塊。
得到"Content-Length"：
|
1
2
3
4
5
6
|
def getLength(self): opener = urllib2.build_opener() req = opener.open(self.url) meta = req.info() length = int(meta.getheaders("Content-Length")[0]) return length |
根據得到的Length，結合線程個數劃分范圍：
|
1
2
3
4
5
6
7
8
9
10
|
def get_range(self): ranges = [] length = self.getLength() offset = int(int(length) / self.threadNum) for i in range(self.threadNum): if i == (self.threadNum - 1): ranges.append((i*offset,'')) else: ranges.append((i*offset,(i+1)*offset)) return ranges |
實現多線程下載，在向文件寫入內容時，向線程加鎖，并使用with lock代替lock.acquire( )...lock.release( );使用file.seek( )設置文件偏移地址，保證寫入文件的準確性。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
def downloadThread(self,start,end): req = urllib2.Request(self.url) req.headers['Range'] = 'bytes=%s-%s' % (start, end) f = urllib2.urlopen(req) offset = start buffer = 1024 while 1: block = f.read(buffer) if not block: break with lock: self.file.seek(offset) self.file.write(block) offset = offset + len(block) def download(self): filename = self.getFilename() self.file = open(filename, 'wb') thread_list = [] n = 1 for ran in self.get_range(): start, end = ran print 'starting:%d thread '% n n += 1 thread = threading.Thread(target=self.downloadThread,args=(start,end)) thread.start() thread_list.append(thread) for i in thread_list: i.join() print 'Download %s Success!'%(self.file) self.file.close() |
運行結果：
將(*.py)文件轉化為(*.exe)可執行文件
當寫好了一個工具，如何讓那些沒有安裝Python的人使用這個工具呢？這就需要將.py文件轉化為.exe文件。
這里用到Python的py2exe模塊，初次使用，所以對其進行介紹：
py2exe是一個將Python腳本轉換成windows上可獨立執行的可執行文件（*.exe）的工具，這樣，就可以不用裝Python在windows上運行這個可執行程序。
接下來，在multiThreadDownload.py的同目錄下，創建mysetup.py文件，編寫：
|
1
2
3
4
|
from distutils.core import setupimport py2exesetup(console=["multiThreadDownload.py"]) |
接著執行命令：Python mysetup.py py2exe
生成dist文件夾，multiTjhreadDownload.exe文件位于其中，點擊運行即可：
demo下載地址：HttpFileDownload.rar
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。
原文鏈接：http://www.cnblogs.com/ybjourney/p/6387965.html
