什么是robots.txt?robots文件怎么寫

robots文件簡單的來說就是給你的網(wǎng)站做一個(gè)權(quán)限清單，一般是針對做SEO優(yōu)化的。在這個(gè)文件里面寫上哪些文件、哪些形式的鏈接允許搜索引擎抓取，哪些不允許。

為什么要放這個(gè)文件?放哪里?

在你的網(wǎng)站還沒有調(diào)整好的時(shí)候，不想讓搜索引擎收錄，可以通過這個(gè)文件屏蔽搜索引擎。就像QQ你隱身了別人就看不到你。

這個(gè)文件的名字就是robots.txt，是固定的，不管哪個(gè)網(wǎng)站要放這個(gè)都是這個(gè)名字。一般我們會(huì)把robots.txt放到FTP根目錄下。

如何屏蔽搜索引擎?

robots.txt就是一個(gè)記事本，所以只要在里面寫上如下內(nèi)容就可以屏蔽。

User-agent: *

Disallow:/

WP網(wǎng)站如何寫robots.txt?

最簡單的這樣寫就行了。

User-agent: *

Disallow: /wp-*

#Allow: /wp-content/uploads/

Disallow: /*.php$

Disallow: /*.inc$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /?s=

robots.txt的寫法規(guī)則

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC整個(gè)目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面

Disallow: /jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件。

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符

Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄

Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例