(一)避免網(wǎng)站重復(fù)頁面的收錄。

　　如果各位站長有閱讀過百度優(yōu)化手冊的話，相信都會記得其中有一條標(biāo)明對網(wǎng)站重復(fù)頁面的信息，也就是說同一個域名下存在兩個不同URL地址，但是頁面是完全相同，那么這時候搜索引擎只會在兩個url下選擇其一。而搜索引擎并不能夠從根本上區(qū)分要收錄兩個頁面中的哪一個，那么這個時候也就造成了網(wǎng)站重復(fù)頁面被蜘蛛抓取，搜索引擎收錄。雖然這樣的做法確實(shí)可以提升我們網(wǎng)站的收錄，但是最終的結(jié)果也是必然被搜索引擎剔除，這個時候就很容易的造成我們收錄上面的大波動。并且如果網(wǎng)站中存在大量重復(fù)內(nèi)容頁面的話，也很容易會被搜索引擎認(rèn)定為采用作弊手法，所以對網(wǎng)站的發(fā)展是極為不利的，嚴(yán)重者可能會直接被降權(quán)、被K。如果您網(wǎng)站存在大量的重復(fù)頁面的話，這時候可以通過robots進(jìn)行屏蔽這樣重復(fù)頁面的鏈接就OK了。

　　(二)避免一些不友好頁面的收錄。 

　　在很多的時候，相信很多站長會遇到這樣一種兩難的局面，網(wǎng)站的某些文章質(zhì)量低下，但是卻能夠得到用戶的喜愛，雖然搜索引擎不喜歡它，那么這個時候我們就需要采用一些適當(dāng)?shù)钠帘问址ǎ瑏碜屗阉饕鏌o法抓取收錄。就舉一個我們比較常見的例子吧，我們會發(fā)現(xiàn)很多的地方門戶都存在一個廣告模塊，專為一些商家用戶提供的，這個模塊方便用戶發(fā)布廣告信息，也方法一些買家用戶獲取到廣告信息，然而對于搜索引擎而講，廣告信息就屬于垃圾信息，因?yàn)橐话愕膹V告都是商家直接復(fù)制過來的，其中還有可能存在大量的鏈接，雖然這樣的頁面用戶是可以接受的，但是搜索引擎是無法接受的，所以面對這樣情況的時候我們只能夠很好的衡量用戶體驗(yàn)和優(yōu)化的情況下，盡可能的保留這樣頁面，另一方面就是盡可能屏蔽這些頁面讓蜘蛛無法抓取。

　　(三)避免網(wǎng)站死鏈的收錄。

　　對于一個網(wǎng)站的運(yùn)營發(fā)展而言，存在一些死鏈接是非常正常的事情，就比如說我們在刪除某一個欄目或者某篇文章的情況下，無論這些頁面是否已經(jīng)被搜索引擎所收錄，我們都是需要去進(jìn)行屏蔽工作的。也許這時候很多人就不解了，被收錄的屏蔽也就算了，為什么那些沒有收錄的頁面也要進(jìn)行屏蔽呢?其實(shí)原因是很簡單的，因?yàn)樵诤芏鄷r候搜索引擎是已經(jīng)收錄了這些頁面，只不過是收錄了還沒有放出來，需要在下一次或者某一階段下才能夠放出，所以對于無論收錄與否的頁面，我們都是需要進(jìn)行屏蔽的哦，當(dāng)然也是可以直接采用404頁面來進(jìn)行處理的哦。

　　(四)避免一些不必要的頁面被收錄。

　　對于很多網(wǎng)站而講，網(wǎng)站是存在一些用戶信息以及后臺的頁面，對于這些頁面而講，往往對于搜索引擎而言是無意義的，所以都屬于一些比較低質(zhì)量的頁面內(nèi)容，并且嚴(yán)重的話還有可能會涉及一些用戶的隱私問題，所以對于這類型頁面的屏蔽工作是非常有必要的哦。