1、robots協議是什么
robots協議也叫 robots.txt（統一小寫）是一種存放于網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。
2、robots協議怎么寫
因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。
User-agent: *
Disallow:
allow:
"*"和"$"的含義
Baiduspider支持使用通配符"*"和"$"來模糊匹配url。
"$" 匹配行結束符。
"*" 匹配0或多個任意字符。
對于一般企業可以這樣的去寫，在Disallow掉不想被搜索引擎抓取的文件即可，比如我們的網站數據，圖片等等。
申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！
今天大概總結一下：首先說明一點：每天百度派出的蜘蛛是有限的，robots寫出來是為了節省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄！
當我們的網站上線之后，一定會有一些不想讓百度抓取的頁面、文件，針對這種問題，我們就要使用協議去屏蔽。那么這個協議是什么？究竟怎么寫這個協議呢？
曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復雜?曾慶平SEO的robots.txt：http://www.xxx.com/robots.txt這樣做的目的是，讓搜索引擎看來網站更規范和權威。
如果以上都沒有錯誤，那么你就要檢查你的CDN了，很可能是因為CDN緩存而造成的，或者是你配置了https，而站長平臺卻綁定的http，無法訪問，這兩點自己排查，如果以上都做到，那么是不會提示這類錯誤的，當然也不排查百度站長平臺本身的問題，不過這種機率性很小。
網站優化過程非常容易忽視的一個就是robots文件，因為如果網站徹底不做robots文件好像也沒有多大影響，但不做好這個文件，引起的問題可不能小視。
