為了避免網(wǎng)站內(nèi)部競爭等原因，我們常常需要禁止搜索引擎收錄某些特定頁面或者網(wǎng)站。這種禁止傳遞權(quán)重或者禁止搜索引擎收錄的方法有很多，今天深圳神州通達就來推薦幾種常用的禁止搜索引擎收錄網(wǎng)站的方法。

一、A標簽加nofollow屬性值禁止傳遞權(quán)重

      此方法可以用于站內(nèi)的鏈接，也可以用于站外的鏈接。顧名思義就是告訴搜索引擎，該鏈接頁面我不準備向他傳遞任何權(quán)重。

      早些年就有一些SEOER利用NOFOLLOW標簽試圖操作搜索引擎的鏈接流動。后期有不少SEO大牛給出一種假設，就是每個頁面都會有一個相當?shù)臋?quán)重值，比如某個頁面權(quán)重是1它也可以像外面投出100個鏈接的投票，那么每個鏈接傳遞的權(quán)重就是0.01，如果該頁面100個鏈接中有30個是加了NOFOLLOW標簽的，那么你就等于浪費掉了這30票。

      使用NOFOLLOW標簽需要注意的是，如果只是通過NOFOLLOW標簽來禁止蜘蛛爬行的話。搜索引擎很有可能通過其他其他渠道訪問到該頁面，并進行索引。

具體寫法：<a rel="nofollow" href="new/" >

nofollow百度百科的解釋:

　　這個標簽的意義是告訴搜索引擎"不要追蹤此網(wǎng)頁上的鏈接或不要追蹤此特定鏈接"。

　　nofollow[1] 是一個HTML標簽的屬性值。它的出現(xiàn)為網(wǎng)站管理員提供了一種方式，即告訴搜索引擎"不要追蹤此網(wǎng)頁上的鏈接"或"不要追蹤此特定鏈接"。這個標簽的意義是告訴搜索引擎這個鏈接不是經(jīng)過作者信任的，所以這個鏈接不是一個信任票。

　　nofollow標簽是由谷歌領(lǐng)頭創(chuàng)新的一個“反垃圾鏈接”的標簽，并被百度、yahoo等各大搜索引擎廣泛支持，引用nofollow標簽的目的是：用于指示搜索引擎不要追蹤(即抓取)網(wǎng)頁上的帶有nofollow屬性的任何出站鏈接，以減少垃圾鏈接的分散網(wǎng)站權(quán)重!

　　簡單的說就是，如果A網(wǎng)頁上有一個鏈接指向B網(wǎng)頁，但A網(wǎng)頁給這個鏈接加上了 rel="nofollow" 標注，則搜索引擎不把A網(wǎng)頁計算入B網(wǎng)頁的反向鏈接。搜索引擎看到這個標簽就可能減少或完全取消鏈接的投票權(quán)重。

二、META標簽禁止傳遞權(quán)重

MEAT標簽禁止搜索引擎收錄的原理和NOFOLLOW屬性標簽一樣，是通過該標簽，告訴搜索引擎，該頁面的所有連接都不準備傳遞權(quán)重。只不過該標簽是設置在該頁面的META標簽里面的。

具體寫法：<META NAME="ROBOTS" CONTENT="NOINDEX">     注釋：大小寫沒所謂

三、META標簽禁止收錄當前頁面

設置原理同上，也是放到使用頁面的MEAT標簽里面。通過該標簽，可以告訴搜索引擎，禁止收錄該頁面。

具體寫法：<META NAME="ROBOTS" CONTENT="NOFOLLOW">

四、robots.txt文件

       robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

       robots.txt(請使用小寫)是存在于網(wǎng)站根目錄下的一個TXT文件，一般來說蜘蛛在爬行網(wǎng)頁之前都得先去檢索這個文件。記得今年360搜索引擎還敗訴給百度，就是因為百度設置了某些網(wǎng)頁不允許任何搜索引擎索引抓取，而360違反了這個規(guī)則?？梢姮F(xiàn)在ROBOTS規(guī)則已經(jīng)明確列入到法律的范圍了，所以用這個協(xié)議禁止搜索引擎收錄，爬行，是最有效的辦法。

       使用方法如下：

       User-agent: *         注釋：所有搜索引擎

       Allow: /                   注釋：允許抓取所有文件

       Disallow: /news/    注釋：禁止抓取news欄目下的文件

      需要注意的是，:(冒號)后面是需要加空格的，而且規(guī)則的第一個字母要求大寫（欄目和文件不用），如果格式寫錯了會造成不可估量的損失。因為有的網(wǎng)站編碼的問題，或者其他問題經(jīng)常導致類似事件發(fā)生。所以建議各位SEOER還是使用工具來生成。對于那些已經(jīng)生成ROBOTS的SEOER可以用下面的地址去檢測是否設置正確。