網站在沒有做靜態化的時候直接上線，之后又重新做靜態化處理,在搜索引擎收錄中時常有一個現象，一個頁面有兩個收錄地址,一個是動態鏈接,一個是靜態鏈接,顯然這樣的搜索引擎收錄對網站權重影響很大,所以我們在網站優化的時候要使用robots來屏蔽掉動態鏈接。

    首先,我們來看看為什么會出現重復收錄的情況,可能的原因有以下幾點

    1.搜索引擎是程序語言來識別判斷，做不到像人一樣的充分的識別，只是鏈接地址不一樣就收錄了，動態地址和靜態地址自然就分不清楚了。

    2.建站過程中因為時間原因或是測試需要在還沒有做靜態化的情況下就上線了網站,搜索引擎直接收錄所致

    3.模板問題,例如wordpress程序雖然看上去網站整站已經做了靜態化,但是在網站地圖中都是動態鏈接

    其次,我們說說重復收錄的后果有哪些

    搜索引擎更喜歡靜態頁面,所以有時會自動剔除動態鏈接,這樣收錄之后再刪除的工作重復，會使蜘蛛工作量加大，反感你的網站，降低收錄

    最后，如何避免內容被重復收錄

    1.網站中盡量用統一的靜態地址，檢查網站中手動增加或是導航鏈接等地方是否還有動態鏈接，有的話一律改為動態的。

    2.robots.txt進行動態文件的屏蔽，如：“Disallow: /*?*”提示：如此屏蔽法適合在不存在“TAG標簽”下利用，否則標簽也將被屏蔽。不同程序進行不同屏蔽。

    robots.txt文件的規范性。在文件開頭進行空格。例如，robots.txt文件的開頭：

    “User-agent: *

    Disallow: /plus/ad_js.php”

    很多的時候，user-agent分號后面沒有空格，而是直接“*”號了。這就是一個很微小的錯誤，但是也是致命的錯誤。

    要注意的是，我們知道php動態頁面都是從數據調用的數據，而這個網頁不是真實存在的，所以搜索引擎久而久之就會丟棄這樣的頁面，它會認為這是不可靠的頁面。所以我們要屏蔽這樣的動態頁面，從而降低我們網頁的重復頁面。那么我們只要在robots.txt文件里面，加上這樣的代碼就行了："Disallow:/*?*”。這個代碼的意思是根目錄下個所有動態禁止搜索引擎訪問。

    網站建設與優化嚴把細節優化，內容重復收錄是大患，應認真對待，否最終難以逾越排名障礙。