網站優化過程非常容易忽視的一個就是robots文件，因為如果網站徹底不做robots文件好像也沒有多大影響，但不做好這個文件，引起的問題可不能小視。
什么是robots文件?簡單的說就是告訴搜索引擎哪些是你能抓取的哪些是你不能碰的，哪個蜘蛛可以進來哪個不能進來，做好了robots文件有以下幾點好處：節省服務器資源，避免不必要的抓取;像有客戶資料的私密信息不會泄露;讓蜘蛛爬取的更加順利方便，增加搜索引擎的友好度等等。
一、robots文件看法
想要看別人網站的robots文件，直接在網址欄輸入：http://www.域名.com/robots.txt，比如你想看A5的robots文件就可以輸入：http://www.huangbo3.com/robots.txt
二、robots文件寫法
這個在網上有大量的教程，本人的表達能力也比較欠佳，就不再贅述了。建議還是參照百度站長平臺的資訊更加簡單易懂一點。
三、如果robots文件出現了問題導致網站數據出現嚴重問題怎么辦
robots文件對于稍稍有點規模的網站都是不可或缺的，很多不必要的搜索引擎的蜘蛛那就沒有必要讓它們爬取來占取資源，這時靠robots封禁，如果網站出現了嚴重的數據波動，比如收錄索引全部掉完，排名全部下降，若網站沒有出現其他問題正常優化的情況下，首先就要檢查robots文件，這時也不要慌，筆者整理了方法，供大家參考使用。
1.修改Robots封禁為允許，然后到百度站長后臺檢測并更新Robots。
2.在百度站長后臺抓取檢測，此時顯示抓取失敗，沒關系，多點擊抓取幾次，觸發蜘蛛抓取站點。
3.在百度站長后臺抓取頻次，申請抓取頻次上調。
4.百度反饋中心，反饋是因為誤操作導致了這種情況的發生。
5.百度站長后臺鏈接提交處，設置數據主動推送(實時)。
6.更新sitemap網站地圖，重新提交百度，每天手工提交一次。
以上處理完，接下來就是等待了，基本5天內就能回到正常狀態!在最后筆者還是建議大家要好好做好網站的robots文件，因為好處是有目共睹的，放在根目錄下就可以了，當然，還可以在robots文件中放上網站的sitemap，對蜘蛛的爬取很有好處。
筆者：在職考研招生信息網www.eduzzyjs.com，轉載請附上鏈接
友情提示：A5官方SEO服務，為您提供權威網站優化解決方案，快速解決網站流量異常，排名異常，網站排名無法突破瓶頸等服務：http://www.admin5.cn/seo/zhenduan/
申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！
