robots.txt和nofollow都可以禁止搜索引擎抓取頁面,如果你同時使用了robots.txt文件和robots meta標簽,如果robots.txt和meta標簽有沖突,googlebot將使用限制更嚴的。具體來說:
如果你在robots.txt里禁止了某一頁,Googlebot永遠也不會去索引那一頁,也不會讀取那一頁的任何標識。南京大金空調維修
如果你在robot.txt中允許,但是在頁面中使用 meta 標簽對其進行限制,那么Googlebots會訪問那一頁,讀取里面的標簽,但不會對其進行索引。
如果你在robots.txt里禁止了某一頁,Googlebot永遠也不會去索引那一頁,也不會讀取那一頁的任何標識。南京大金空調維修
如果你在robot.txt中允許,但是在頁面中使用 meta 標簽對其進行限制,那么Googlebots會訪問那一頁,讀取里面的標簽,但不會對其進行索引。

