僅當(dāng)您的網(wǎng)站里面含有不期望被搜索引擎網(wǎng)站收錄的內(nèi)部實(shí)質(zhì)意義時(shí)，才需求運(yùn)用robots.txt文件。假如您期望搜索引擎網(wǎng)站收錄網(wǎng)站上全部?jī)?nèi)部實(shí)質(zhì)意義，請(qǐng)勿樹(shù)立robots.txt文件。
查緝?cè)摼W(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開(kāi)創(chuàng)一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中沒(méi)想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴(yán)禁全部搜索引擎網(wǎng)站過(guò)訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準(zhǔn)許全部的robot過(guò)訪 (還是也可以建一個(gè)具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴(yán)禁Baiduspider過(guò)訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準(zhǔn)許Baiduspider過(guò)訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準(zhǔn)許Baiduspider以及Googlebot過(guò)訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴(yán)禁spider過(guò)訪特別指定目次 在這個(gè)例子中，該網(wǎng)站有三個(gè)目次對(duì)搜索引擎網(wǎng)站的過(guò)訪做了限止，即robot不會(huì)過(guò)訪這三個(gè)目次。需求注意的是對(duì)每一個(gè)目次務(wù)必分開(kāi)聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準(zhǔn)許過(guò)訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運(yùn)用"*"限止過(guò)訪url 嚴(yán)禁過(guò)訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細(xì)目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運(yùn)用"$"限止過(guò)訪url 僅準(zhǔn)許過(guò)訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴(yán)禁過(guò)訪網(wǎng)站中全部的動(dòng)態(tài)頁(yè)面User-agent:* Disallow:/*?*
例11.嚴(yán)禁Baiduspider抓取網(wǎng)站上全部圖片 僅準(zhǔn)許抓取網(wǎng)頁(yè)，嚴(yán)禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準(zhǔn)許Baiduspider抓取網(wǎng)頁(yè)和.gif款式圖片 準(zhǔn)許抓取網(wǎng)頁(yè)和gif款式圖片，不準(zhǔn)許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴(yán)禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見(jiàn)用處
查緝?cè)摼W(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開(kāi)創(chuàng)一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中沒(méi)想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴(yán)禁全部搜索引擎網(wǎng)站過(guò)訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準(zhǔn)許全部的robot過(guò)訪 (還是也可以建一個(gè)具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴(yán)禁Baiduspider過(guò)訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準(zhǔn)許Baiduspider過(guò)訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準(zhǔn)許Baiduspider以及Googlebot過(guò)訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴(yán)禁spider過(guò)訪特別指定目次 在這個(gè)例子中，該網(wǎng)站有三個(gè)目次對(duì)搜索引擎網(wǎng)站的過(guò)訪做了限止，即robot不會(huì)過(guò)訪這三個(gè)目次。需求注意的是對(duì)每一個(gè)目次務(wù)必分開(kāi)聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準(zhǔn)許過(guò)訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運(yùn)用"*"限止過(guò)訪url 嚴(yán)禁過(guò)訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細(xì)目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運(yùn)用"$"限止過(guò)訪url 僅準(zhǔn)許過(guò)訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴(yán)禁過(guò)訪網(wǎng)站中全部的動(dòng)態(tài)頁(yè)面User-agent:* Disallow:/*?*
例11.嚴(yán)禁Baiduspider抓取網(wǎng)站上全部圖片 僅準(zhǔn)許抓取網(wǎng)頁(yè)，嚴(yán)禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準(zhǔn)許Baiduspider抓取網(wǎng)頁(yè)和.gif款式圖片 準(zhǔn)許抓取網(wǎng)頁(yè)和gif款式圖片，不準(zhǔn)許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴(yán)禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見(jiàn)用處
