由于該網站的robots.txt文件存在限制指令，系統無法提供該頁面的內容描述

　　這是個SEO新手容易遇到問題！簡單來說，搜索引擎收錄網站內容是有協議的，我們可以設置自己的網站內容不被百度等搜索引擎收錄！當我們做了這樣的設置，百度上顯示我們的網站收錄下面就會有這樣的字樣！下面丁哥來詳細解答一下這個問題產生的原因及如何解決！

　　一、robots.txt文件的意義，它在網站的什么位置

　　這個文件就是網站和搜索引擎的收錄協議，搜索引擎基本上都會按照這個協議來處理網站的收錄情況！

　　文件放置在網站根目錄下，如下圖顯示文件在ftp中的位置！

　　二、網站為什么要禁止搜索引擎收錄

　　1.我們大部分網站在改版、建站初期因為內容，鏈接變動多，為了不讓搜索引擎抓取到頻繁的更改，所以我們要屏蔽搜索引擎抓取！

　　2.巨頭網站之間的利益之爭，如業內很知名的淘寶屏蔽百度收錄！關于這個“舒揚”曾經寫過一篇文章，大家可以看看

　　我眼中的巨頭之站：淘寶為何屏蔽百度抓取？

　　三、網站遇到這樣的問題怎么解決

　　1、找到根目錄下的robots.txt文件，去掉這一句disallow:/，解除屏蔽抓取；

最簡單的robots.txt文件設置：表示容許所有的搜索引擎收錄網站所有內容！

　　2、下面一步很關鍵，就是到站長平臺下去更新robots文件，告訴搜索引擎你的網站已經對它解除了屏蔽，可以來抓取我的網頁內容了，主動對搜索引擎示好，快照更新過來之后，現象就會消失了。