1.爬蟲的工作原理
網(wǎng)絡(luò)爬蟲，即Web Spider，是一個(gè)很形象的名字。把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁的。從網(wǎng)站某一個(gè)頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。這樣看來，網(wǎng)絡(luò)爬蟲就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁的程序。網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁。那么如何才能隨心所欲地獲得自己想要的頁面？先從URL開始。
抓取網(wǎng)頁的過程其實(shí)和讀者平時(shí)使用IE瀏覽器瀏覽網(wǎng)頁的道理是一樣的。比如說你在瀏覽器的地址欄中輸入www.baidu.com這個(gè)地址。打開網(wǎng)頁的過程其實(shí)就是瀏覽器作為一個(gè)瀏覽的“客戶端”，向服務(wù)器端發(fā)送了 一次請求，把服務(wù)器端的文件“抓”到本地，再進(jìn)行解釋、展現(xiàn)。HTML是一種標(biāo)記語言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁面。
簡單的來講，URL就是在瀏覽器端輸入的http://www.baidu.com這個(gè)字符串。在理解URL之前，首先要理解URI的概念。
什么是URI？
Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個(gè)通用資源標(biāo)志符(Universal Resource Identifier， URI)進(jìn)行定位。
URI通常由三部分組成：
- 訪問資源的命名機(jī)制；
- 存放資源的主機(jī)名；
- 資源自身 的名稱，由路徑表示。
如下面的URI：http://www.why.com.cn/myhtml/html1223/
- 這是一個(gè)可以通過HTTP協(xié)議訪問的資源，
- 位于主機(jī) www.webmonkey.com.cn上，
- 通過路徑“/html/html40”訪問。
2. URL的理解和舉例
URL是URI的一個(gè)子集。它是Uniform Resource Locator的縮寫，譯為“統(tǒng)一資源定位 符”。通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上。采用URL可以用一種統(tǒng)一的格式來描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的一般格式為(帶方括號[]的為可選項(xiàng))：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三部分組成：
- 第一部分是協(xié)議(或稱為服務(wù)方式)。
- 第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號)。
- 第三部分是主機(jī)資源的具體地址，如目錄和文件名等。
第一部分和第二部分用“://”符號隔開，第二部分和第三部分用“/”符號隔開。第一部分和第二部分是不可缺少的，第三部分有時(shí)可以省略。
3、URL和URI簡單比較
URI屬于URL更低層次的抽象，一種字符串文本標(biāo)準(zhǔn)。換句話說，URI屬于父類，而URL屬于URI的子類。URL是URI的一個(gè)子集。URI的定義是：統(tǒng)一資源標(biāo)識符；URL的定義是：統(tǒng)一資源定位符。二者的區(qū)別在于，URI表示請求服務(wù)器的路徑，定義這么一個(gè)資源。而URL同時(shí)說明要如何訪問這個(gè)資源（http://）。
下面來看看兩個(gè)URL的小例子。
1.HTTP協(xié)議的URL示例：
使用超級文本傳輸協(xié)議HTTP，提供超級文本信息服務(wù)的資源。
例：http://www.peopledaily.com.cn/channel/welcome.htm
其計(jì)算機(jī)域名為www.peopledaily.com.cn。
超級文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。
這是中國人民日報(bào)的一臺計(jì)算機(jī)。
例：http://www.rol.cn.NET/talk/talk1.htm
其計(jì)算機(jī)域名為www.rol.cn.Net。
超級文本文件(文件類型為.html)是在目錄/talk下的talk1.htm。
這是瑞得聊天室的地址，可由此進(jìn)入瑞得聊天室的第1室。
2．文件的URL
用URL表示文件時(shí)，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路 徑(即目錄)和文件名等信息。
有時(shí)可以省略目錄和文件名，但“/”符號不能省略。
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個(gè)URL代表存放在主機(jī)ftp.yoyodyne.com上的pub/files/目錄下的一個(gè)文件，文件名是foobar.txt。
例：file://ftp.yoyodyne.com/pub
代表主機(jī)ftp.yoyodyne.com上的目錄/pub。
例：file://ftp.yoyodyne.com/
代表主機(jī)ftp.yoyodyne.com的根目錄。
爬蟲最主要的處理對象就是URL，它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對它 進(jìn)行進(jìn)一步的處理。
因此，準(zhǔn)確地理解URL對理解網(wǎng)絡(luò)爬蟲至關(guān)重要。
以上就是本文的全部內(nèi)容，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，同時(shí)也希望多多支持服務(wù)器之家！
原文鏈接：http://www.cnblogs.com/Issac-Gan/p/6500619.html
