爬行和索引是seo的兩個專業(yè)術(shù)語，當很多新手接觸seo的時候，他們會將這兩個詞混合使用，認為爬行就是索引。今天筆者就和大家仔細講述一些爬行和索引之間的區(qū)別是什么？
1、爬行
當搜索引擎蜘蛛在站點中發(fā)生爬行時，站點中有一個并且只有唯一一個url被抓取，搜索引擎可以從其他網(wǎng)頁的鏈接跟蹤爬行到這個站點中，所以對爬行的認識就是搜索引擎按照鏈接對站點特定的url進行抓取。
可能上面的概念比較抽象，我們舉例簡單說明，比如說，在很多時候蜘蛛在爬行站點的時候，站點中的有些鏈接就不能被抓取，比如：
(1)鏈接編碼是Javascript，因為這被稱為“蜘蛛陷阱”，爬行站點的時候，蜘蛛會自動屏蔽爬行這些鏈接。
(2)鏈接被標記為robots.txt的 “禁止指令。
(3)孤立的鏈接(沒有人掛的情況下的sitemaps.xml，包括如鏈接)
(4)鏈接所在的頁面是一個包含鏈nofollow指令的頁面
(5)本來是要抓取的鏈接，但是因為服務(wù)器不穩(wěn)定的原因無法進行抓取。
2、索引
索引和爬行最大的區(qū)別就是，索引不是一個特定的url被抓取，而是頁面中的很多歌url，簡單的說就是當搜索引擎確定好要索引哪個頁面之后，它就會這個頁面中的所有url進行處理和抓取，在抓取的過程中，蜘蛛會根據(jù)頁面的內(nèi)容進行適當?shù)奶幚恚e一個簡單的例子，在有的頁面內(nèi)容中雖然存在一個url但這個url已經(jīng)加上了NOINDEX指令，那么搜索引擎是不會抓取這個頁面的。
站點頁面處于非索引狀態(tài)的原因：
(1)在頁面中含有NOINDEX指令()
(2)重復(fù)的內(nèi)容：具有相同內(nèi)容頁面可能無法被索引。
(3)其他原因：鏈接的年齡和鏈接流行
如果新手想知道站點中的哪些頁面已經(jīng)被索引了，那么可以通過“site+網(wǎng)站域名”的方式檢索，通過這樣的方式，搜索引擎將會顯示有多少個頁面已經(jīng)被蜘蛛所引并且是哪些頁面。
爬行和索引雖然表示的都是蜘蛛抓取站點，但他們所包含的方向是不一樣的，這里筆者建議注意區(qū)分開。
1、爬行
當搜索引擎蜘蛛在站點中發(fā)生爬行時，站點中有一個并且只有唯一一個url被抓取，搜索引擎可以從其他網(wǎng)頁的鏈接跟蹤爬行到這個站點中，所以對爬行的認識就是搜索引擎按照鏈接對站點特定的url進行抓取。
可能上面的概念比較抽象，我們舉例簡單說明，比如說，在很多時候蜘蛛在爬行站點的時候，站點中的有些鏈接就不能被抓取，比如：
(1)鏈接編碼是Javascript，因為這被稱為“蜘蛛陷阱”，爬行站點的時候，蜘蛛會自動屏蔽爬行這些鏈接。
(2)鏈接被標記為robots.txt的 “禁止指令。
(3)孤立的鏈接(沒有人掛的情況下的sitemaps.xml，包括如鏈接)
(4)鏈接所在的頁面是一個包含鏈nofollow指令的頁面
(5)本來是要抓取的鏈接，但是因為服務(wù)器不穩(wěn)定的原因無法進行抓取。
2、索引
索引和爬行最大的區(qū)別就是，索引不是一個特定的url被抓取，而是頁面中的很多歌url，簡單的說就是當搜索引擎確定好要索引哪個頁面之后，它就會這個頁面中的所有url進行處理和抓取，在抓取的過程中，蜘蛛會根據(jù)頁面的內(nèi)容進行適當?shù)奶幚恚e一個簡單的例子，在有的頁面內(nèi)容中雖然存在一個url但這個url已經(jīng)加上了NOINDEX指令，那么搜索引擎是不會抓取這個頁面的。
站點頁面處于非索引狀態(tài)的原因：
(1)在頁面中含有NOINDEX指令()
(2)重復(fù)的內(nèi)容：具有相同內(nèi)容頁面可能無法被索引。
(3)其他原因：鏈接的年齡和鏈接流行
如果新手想知道站點中的哪些頁面已經(jīng)被索引了，那么可以通過“site+網(wǎng)站域名”的方式檢索，通過這樣的方式，搜索引擎將會顯示有多少個頁面已經(jīng)被蜘蛛所引并且是哪些頁面。
爬行和索引雖然表示的都是蜘蛛抓取站點，但他們所包含的方向是不一樣的，這里筆者建議注意區(qū)分開。
