z-blog網站robots怎么設置

問題：z-blog網站robots怎么設置？

回答：這個是問題是筆者看到有朋友在搜外上提問，穩到zblog網站robots文件設置的問題。具體內容如下：

為什么z-blog很多模板商、或者SEO插件商都推薦下面這種robots寫法？？ 除了安裝文件就這兩個文件為什么要全禁止了？

怪的是全部禁止后通過站長工具檢測居然是正常的，原理是什么回事，百度蜘蛛也都能正常抓取嗎？

User-agent: *

Disallow: /zb_users/

Disallow: /zb_system/

Sitemap:

首先解釋下，前面robots代碼里寫到的，是禁止zb_users和zb_system文件目錄下文件被搜索引擎抓取，這樣寫是沒有錯的。因為這兩個目錄下的文件沒有被抓取的必要。

那么為什么禁止蜘蛛抓取了，站長工具測試還是正常能抓取呢？原因可能有三個：

1、robots文件沒有上傳成功；

2、robots文件在搜索引擎那里沒有更新；

3、站長工具檢測不準。

解釋了問題出現的原因，我們再來看看z-blog網站robots怎么設置。本站的主程序就是zblog的，來看看本站的robots文件，如下圖：

可以看到對于主站的zblog程序，筆者并沒有設置任何的限制抓取，只是對于目錄下的bbs論壇做了限制。事實上這沒有任何的問題，也就是說對于zblog我們無需糾結哪些目錄文件需要禁止抓取，直接開放全部抓取也不會出現影響。

robots文件的作用的確是存在的，對于內容比較多的大站來說，通過robots的設置，可以有效的調節蜘蛛抓取的資源。比如說商城網站會出現很多的幫助文檔，這些幫助文檔就可以通過robots的設置來限制抓取，從而節省了蜘蛛抓取頻次。但是大家要注意一個問題，那就是對于那些正常不需要被抓取的頁面，設置robots還是有必要的，但是對于zblog這種系統文件，設置與否其實無關緊要。如果硬是要去設置的話，按照前面代碼那樣做，是可以的。

關于z-blog網站robots怎么設置的問題，筆者就簡要的說這么多。總之來說就是，zblog的系統文件不需要被抓取，但正常情況下搜索引擎也不會去抓取，所以設置與否其實沒有很大影響。不想麻煩的話，直接全部開放抓取即可；實在不放心的，也可以去做下限制。