如果各位站長有閱讀過百度優化手冊的話，相信都會記得其中有一條標明對網站重復頁面的信息，也就是說同一個域名下存在兩個不同URL地址，但是頁面是完全相同，那么這時候搜索引擎只會在兩個url下選擇其一。而搜索引擎并不能夠從根本上區分要收錄兩個頁面中的哪一個，那么這個時候也就造成了網站重復頁面被蜘蛛抓取，搜索引擎收錄。雖然這樣的做法確實可以提升我們網站的收錄，但是最終的結果也是必然被搜索引擎剔除，這個時候就很容易的造成我們收錄上面的大波動。并且如果網站中存在大量重復內容頁面的話，也很容易會被搜索引擎認定為采用作弊手法，所以對網站的發展是極為不利的，嚴重者可能會直接被降權、被K。如果您網站存在大量的重復頁面的話，這時候可以通過robots進行屏蔽這樣重復頁面的鏈接就OK了。

 

　　(二)避免一些不友好頁面的收錄。

 

　　在很多的時候，相信很多站長會遇到這樣一種兩難的局面，網站的某些文章質量低下，但是卻能夠得到用戶的喜愛，雖然搜索引擎不喜歡它，那么這個時候我們就需要采用一些適當的屏蔽手法，來讓搜索引擎無法抓取收錄。就舉一個我們比較常見的例子吧，我們會發現很多的地方門戶都存在一個廣告模塊，專為一些商家用戶提供的，這個模塊方便用戶發布廣告信息，也方法一些買家用戶獲取到廣告信息，然而對于搜索引擎而講，廣告信息就屬于垃圾信息，因為一般的廣告都是商家直接復制過來的，其中還有可能存在大量的鏈接，雖然這樣的頁面用戶是可以接受的，但是搜索引擎是無法接受的，所以面對這樣情況的時候我們只能夠很好的衡量用戶體驗和優化的情況下，盡可能的保留這樣頁面，另一方面就是盡可能屏蔽這些頁面讓蜘蛛無法抓取。

 

　　(三)避免網站死鏈的收錄。

 

　　對于一個網站的運營發展而言，存在一些死鏈接是非常正常的事情，就比如說我們在刪除某一個欄目或者某篇文章的情況下，無論這些頁面是否已經被搜索引擎所收錄，我們都是需要去進行屏蔽工作的。也許這時候很多人就不解了，被收錄的屏蔽也就算了，為什么那些沒有收錄的頁面也要進行屏蔽呢?其實原因是很簡單的，因為在很多時候搜索引擎是已經收錄了這些頁面，只不過是收錄了還沒有放出來，需要在下一次或者某一階段下才能夠放出，所以對于無論收錄與否的頁面，我們都是需要進行屏蔽的哦，當然也是可以直接采用404頁面來進行處理的哦。

 

　　(四)避免一些不必要的頁面被收錄。

 

　　對于很多網站而講，網站是存在一些用戶信息以及后臺的頁面，對于這些頁面而講，往往對于搜索引擎而言是無意義的，所以都屬于一些比較低質量的頁面內容，并且嚴重的話還有可能會涉及一些用戶的隱私問題，所以對于這類型頁面的屏蔽工作是非常有必要的哦。