作為站長們無人不知 Robots文件，而它的作用具有有那些，很多人只知道它僅是一種協(xié)議，而針對(duì)于它的真正作用點(diǎn)就僅限于屏蔽錯(cuò)誤頁面了而已，當(dāng)然這只是青秦營養(yǎng)軟件中心站長跟一些朋友交流他們得出來的結(jié)論。但是，真的是這樣的嘛？
其實(shí)，筆者想在這里給大家做一詳細(xì)解說，希望 Robots文件它的作用發(fā)揮到極致。既然筆者這么說了，很明顯， Robots文件不僅僅局限與屏蔽錯(cuò)誤頁面這么簡單的作用，它的作用可以說對(duì)于我們站長網(wǎng)站來說作用很大，而且在網(wǎng)站優(yōu)化中起到了不可缺少的一部分。
閑話不多說，在這里筆者就將其真正的作用在這里給大家進(jìn)行解說。在介紹 Robots文件作用之前，我們先了解一下 Robots的基本概念。 Robots是網(wǎng)站和搜索引擎之間的一個(gè)協(xié)議。看到“協(xié)議”這2個(gè)字嘛，它僅只是協(xié)議，與命令是有差別的。協(xié)議是在搜索引擎抓取網(wǎng)站后一段時(shí)間才會(huì)生效，而命令則是立馬就生效的。因此要完全區(qū)分該2者之間的作用。有的站長常常遇到這樣的情況，當(dāng)他昨天才做了 Robots，就問為什么我的網(wǎng)站做了Robots搜索引擎還在抓取網(wǎng)站信息，其實(shí)就是因?yàn)榇蠹易龅?Robots還未生效所致。
或許作為初步學(xué)習(xí)的站長朋友不是很明白，我在這里給大家介紹一下搜索引擎爬蟲的原理。當(dāng)蜘蛛下載一個(gè)網(wǎng)頁;它就會(huì)保存一個(gè)txt純文本，就是那個(gè)快照緩存文本。爬蟲還會(huì)提取一些標(biāo)記和標(biāo)簽。他把站外的鏈接和內(nèi)部鏈接進(jìn)行分開然后再次抓取。就是這樣來連接整個(gè)互聯(lián)網(wǎng)。這個(gè)就是一個(gè)爬去原理。這就出現(xiàn)了一個(gè)問題，如果我們不想讓爬蟲爬取我們網(wǎng)站的某一個(gè)頁面，那怎么辦呢？這時(shí)候我們就能運(yùn)用到Robots協(xié)議。這也是Robots協(xié)議產(chǎn)生的具體原因。
說了這么多，朋友會(huì)問，那么Robots協(xié)議到底運(yùn)用到網(wǎng)站那塊呢？下來我就將我了解的幾點(diǎn)給大家進(jìn)行整理：
1、屏蔽無內(nèi)容頁
作為Robots協(xié)議第一條就是可以屏蔽無內(nèi)容頁面。無內(nèi)容頁面是什么？比如說：我們網(wǎng)站的登陸頁，打印頁，個(gè)人信息頁，商城的購物頁、登陸頁等等。為什么要屏蔽無內(nèi)容頁面？作為站長應(yīng)該知道無內(nèi)容頁面會(huì)分散網(wǎng)站整體的權(quán)重、關(guān)鍵詞的排名。
2、屏蔽si鏈接
網(wǎng)站大量的si鏈接對(duì)于網(wǎng)站的影響想必站長們都清楚，我就在這里不多說了。而唯一可以解決這些鏈接的方法就是對(duì)其進(jìn)行robots屏蔽。
3、屏蔽重復(fù)頁
所謂重復(fù)頁面，就是頁面的簡寫版本以及空評(píng)論頁，再或者多個(gè)路徑可以打開同一頁面，等等重復(fù)頁面。重復(fù)的頁面對(duì)于站內(nèi)頁面的質(zhì)量也是會(huì)受到非常嚴(yán)重的影響的。比如我們的評(píng)論頁面。內(nèi)容毫無意義，對(duì)于網(wǎng)站來說反而有很大的影響。
以上是由青秦營養(yǎng)軟件中心站長根據(jù)自身的一些觀點(diǎn)進(jìn)行整理，還望與大家一同交流，有什么好的意見、建議望大家提出來，讓我們的網(wǎng)站發(fā)展的越來越好！！！
其實(shí)，筆者想在這里給大家做一詳細(xì)解說，希望 Robots文件它的作用發(fā)揮到極致。既然筆者這么說了，很明顯， Robots文件不僅僅局限與屏蔽錯(cuò)誤頁面這么簡單的作用，它的作用可以說對(duì)于我們站長網(wǎng)站來說作用很大，而且在網(wǎng)站優(yōu)化中起到了不可缺少的一部分。
閑話不多說，在這里筆者就將其真正的作用在這里給大家進(jìn)行解說。在介紹 Robots文件作用之前，我們先了解一下 Robots的基本概念。 Robots是網(wǎng)站和搜索引擎之間的一個(gè)協(xié)議。看到“協(xié)議”這2個(gè)字嘛，它僅只是協(xié)議，與命令是有差別的。協(xié)議是在搜索引擎抓取網(wǎng)站后一段時(shí)間才會(huì)生效，而命令則是立馬就生效的。因此要完全區(qū)分該2者之間的作用。有的站長常常遇到這樣的情況，當(dāng)他昨天才做了 Robots，就問為什么我的網(wǎng)站做了Robots搜索引擎還在抓取網(wǎng)站信息，其實(shí)就是因?yàn)榇蠹易龅?Robots還未生效所致。
或許作為初步學(xué)習(xí)的站長朋友不是很明白，我在這里給大家介紹一下搜索引擎爬蟲的原理。當(dāng)蜘蛛下載一個(gè)網(wǎng)頁;它就會(huì)保存一個(gè)txt純文本，就是那個(gè)快照緩存文本。爬蟲還會(huì)提取一些標(biāo)記和標(biāo)簽。他把站外的鏈接和內(nèi)部鏈接進(jìn)行分開然后再次抓取。就是這樣來連接整個(gè)互聯(lián)網(wǎng)。這個(gè)就是一個(gè)爬去原理。這就出現(xiàn)了一個(gè)問題，如果我們不想讓爬蟲爬取我們網(wǎng)站的某一個(gè)頁面，那怎么辦呢？這時(shí)候我們就能運(yùn)用到Robots協(xié)議。這也是Robots協(xié)議產(chǎn)生的具體原因。
說了這么多，朋友會(huì)問，那么Robots協(xié)議到底運(yùn)用到網(wǎng)站那塊呢？下來我就將我了解的幾點(diǎn)給大家進(jìn)行整理：
1、屏蔽無內(nèi)容頁
作為Robots協(xié)議第一條就是可以屏蔽無內(nèi)容頁面。無內(nèi)容頁面是什么？比如說：我們網(wǎng)站的登陸頁，打印頁，個(gè)人信息頁，商城的購物頁、登陸頁等等。為什么要屏蔽無內(nèi)容頁面？作為站長應(yīng)該知道無內(nèi)容頁面會(huì)分散網(wǎng)站整體的權(quán)重、關(guān)鍵詞的排名。
2、屏蔽si鏈接
網(wǎng)站大量的si鏈接對(duì)于網(wǎng)站的影響想必站長們都清楚，我就在這里不多說了。而唯一可以解決這些鏈接的方法就是對(duì)其進(jìn)行robots屏蔽。
3、屏蔽重復(fù)頁
所謂重復(fù)頁面，就是頁面的簡寫版本以及空評(píng)論頁，再或者多個(gè)路徑可以打開同一頁面，等等重復(fù)頁面。重復(fù)的頁面對(duì)于站內(nèi)頁面的質(zhì)量也是會(huì)受到非常嚴(yán)重的影響的。比如我們的評(píng)論頁面。內(nèi)容毫無意義，對(duì)于網(wǎng)站來說反而有很大的影響。
以上是由青秦營養(yǎng)軟件中心站長根據(jù)自身的一些觀點(diǎn)進(jìn)行整理，還望與大家一同交流，有什么好的意見、建議望大家提出來，讓我們的網(wǎng)站發(fā)展的越來越好！！！
