深入認識robots
搜索引擎使用spider程序自動范文互聯網上的網頁并獲取網頁信息。Spider在訪問一個網站時，會首頁檢查該網站的根域名下是否有一個叫robots.txt的純文本，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站上創建一個robots.txt，在文件中聲明改網站中哪些目錄不讓搜索引擎收錄。(robots.txt文件應該放置在網站根目錄下。)
1、robots的用法
User-agent：定義進制搜索引擎名字，比如說：百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*號代表全部搜索引擎
Disallow：不允許收錄
Allow：允許收錄
案例：
User-agent: * (聲明禁止所有的搜索引擎抓取以下內容)
Disallow：/blog/(禁止網站blog欄目下所有的頁面。比如說：/blog/123.html)
Disallow：/api(比如說：/apifsdfds/123.html也會被屏蔽。)
Allow：/blog/12/(一般情況下不需要寫Allow的，而我們在禁止的目錄下面，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說我們前面禁止了blog欄目下所有的頁面，同時我們想/12/欄目下被收錄，這個時候我們就需要通過Allow來允許搜索引擎的收錄。)
Disallow：*?*(只要你的路徑里面帶有問號的路徑，那么這條路徑將會被屏蔽。比如說：將會被屏蔽。)
Disallow：/*.php$(意思是以.php結尾的路徑全部屏蔽掉。)
如何使用Robots提升排名
一、屏蔽死鏈接
許多時候，我們網站會產生死鏈接，比如說：網站改版、文章刪除等，都很有可能會導致網站出現404頁面，那么這個時候我們就需要通過robots來屏蔽這些死鏈接。查看死鏈的方法有以下兩種：
1、)通過網站日志查詢。
我們可以通過下載網站日志來查看我們的404頁面(網站日志可以向空間商要，空間商會提供下載通道)，我們用txt打開網站日志，通過搜索“404”，如果你網站有404頁面，并且被訪問到了，那么這個時候就會被網站日志給記錄。
2、)百度站長平臺查詢
我們首先需要驗證百度站長平臺(如何驗證就不說了，最基本的。)驗證以后，我們通過百度站長工具的死鏈工具，可以清楚的看到，我們網站有哪些死鏈接。
二、屏蔽無價值的頁面
許多網站都有一些沒有價值的頁面，比如說SEO指導中心的用戶個人中心頁面，這個個人中心頁面不會對網站產生價值，在百度上面的展現也不會給網站帶來權重。因此我們需要利用robots來屏蔽這樣的頁面。又比如說：一個企業網站的聯系我們頁面，這種頁面不會給網站帶來權重，用戶也不會去搜索“聯系我們”來找他想要的產品。因此我們需要把這種頁面同時屏蔽。
三、屏蔽重復路徑
當你網站出現重復路徑的時候，百度將會對我們的網站進行直接降分，比如說：一個網站做了偽靜態，同時他的動態頁面也可以訪問，這個時候就會出現重復路徑。因此我們需要通過robots屏蔽這些重復路徑。
總結：也許很多人都不知道，許多細節都很有可能是你網站排名不上的原因，而這些小小的細節往往被大家給忽略了。同時希望站長在做網站優化的時候多多關注一些網站細節的問題。
SEO專題推薦：
關鍵詞優化專題：網站關鍵詞優化沒效果?來這里學習最實用的關鍵詞優化技巧!
內鏈優化專題：最能提升網站權重的內鏈部署優化技巧與方法
外鏈建設專題：高質量自然外鏈怎么做?讀完這些你將質的飛躍
網站降權專題：2015年最有用的網站降權、被K、被黑、被攻擊的解決方法
用戶體驗專題：學習完這些，作為站長的你可以秒懂如何做網站用戶體驗
行業網站專題：優化行業網站的“葵花寶典”看完后無優化壓力
申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！
