相信很多人都聽說過網(wǎng)站robots文件，也有很多人一直在用robots文件，也有很多人只是聽說過但是沒有用robots文件。所以仟億科技小編今天就寫一下關(guān)于robots文件的個人看法。

曾經(jīng)覺得robots文件對網(wǎng)站的作用不大，直到我膝蓋中了一箭才知道其在網(wǎng)站中的重要性啊。

有一天http://www.zyhzmj.com收錄出了問題，仟億科技官網(wǎng)全站采用靜態(tài)頁面，但是程序還是會自動保留生成動態(tài)頁面，所以有時候百度會選擇收錄動態(tài)頁面從而放棄收錄靜態(tài)頁面。也許有人說只要收錄不就好了，管他動態(tài)還是靜態(tài)呢。其實不是這樣的，如果網(wǎng)站中同一篇文章出現(xiàn)兩個網(wǎng)站，那就屬于重復頁面，對搜索引擎很不友好。所以在度娘那搜索下什么情況，說法不一，但是有一個說是robots文件沒寫好。然后我找了寫關(guān)于robots寫法的文章，基本了解下，知道了屏蔽搜索引擎爬行的寫法。

我用robots屏蔽收錄很多文件夾，只開放文章文件和文章目錄文件夾。兩天之后終于有了變化，百度不但不收錄動態(tài)頁面改收錄靜態(tài)頁面了，而且收錄數(shù)量立刻翻倍。從這個現(xiàn)象可以看出百度放蜘蛛的時候根據(jù)每個網(wǎng)站的不同會給不同網(wǎng)站蜘蛛不同的爬行力度，如果網(wǎng)站權(quán)重非常高，百度給蜘蛛的爬行力度就很高，這樣就會收錄很多。如果網(wǎng)站權(quán)重相對低，百度給你網(wǎng)站蜘蛛爬行力度就會偏低一些。但是不管權(quán)重高與低，百度給你網(wǎng)站蜘蛛爬行力度是一個大概定值的，這個定值你一定要用在刀刃上。盡量屏蔽掉沒有必要讓百度蜘蛛爬行的文件夾或者頁面，這樣能夠讓百度蜘蛛更好的爬行其他頁面。從而可以提高收錄數(shù)量。

---