資訊中心

      資訊中心

      z-blog網(wǎng)站robots怎么設(shè)置

      問題:z-blog網(wǎng)站robots怎么設(shè)置?

      回答:這個是問題是筆者看到有朋友在搜外上提問,穩(wěn)到zblog網(wǎng)站robots文件設(shè)置的問題。具體內(nèi)容如下:

      為什么z-blog很多模板商、或者SEO插件商都推薦下面這種robots寫法?? 除了安裝文件就這兩個文件為什么要全禁止了?

      怪的是全部禁止后通過站長工具檢測居然是正常的,原理是什么回事,百度蜘蛛也都能正常抓取嗎?

      User-agent: *

      Disallow: /zb_users/

      Disallow: /zb_system/

      Sitemap:

      首先解釋下,前面robots代碼里寫到的,是禁止zb_users和zb_system文件目錄下文件被搜索引擎抓取,這樣寫是沒有錯的。因為這兩個目錄下的文件沒有被抓取的必要。

      那么為什么禁止蜘蛛抓取了,站長工具測試還是正常能抓取呢?原因可能有三個:

      1、robots文件沒有上傳成功;

      2、robots文件在搜索引擎那里沒有更新;

      3、站長工具檢測不準(zhǔn)。

      解釋了問題出現(xiàn)的原因,我們再來看看z-blog網(wǎng)站robots怎么設(shè)置。本站的主程序就是zblog的,來看看本站的robots文件,如下圖:

      可以看到對于主站的zblog程序,筆者并沒有設(shè)置任何的限制抓取,只是對于目錄下的bbs論壇做了限制。事實上這沒有任何的問題,也就是說對于zblog我們無需糾結(jié)哪些目錄文件需要禁止抓取,直接開放全部抓取也不會出現(xiàn)影響。

      robots文件的作用的確是存在的,對于內(nèi)容比較多的大站來說,通過robots的設(shè)置,可以有效的調(diào)節(jié)蜘蛛抓取的資源。比如說商城網(wǎng)站會出現(xiàn)很多的幫助文檔,這些幫助文檔就可以通過robots的設(shè)置來限制抓取,從而節(jié)省了蜘蛛抓取頻次。但是大家要注意一個問題,那就是對于那些正常不需要被抓取的頁面,設(shè)置robots還是有必要的,但是對于zblog這種系統(tǒng)文件,設(shè)置與否其實無關(guān)緊要。如果硬是要去設(shè)置的話,按照前面代碼那樣做,是可以的。

      關(guān)于z-blog網(wǎng)站robots怎么設(shè)置的問題,筆者就簡要的說這么多。總之來說就是,zblog的系統(tǒng)文件不需要被抓取,但正常情況下搜索引擎也不會去抓取,所以設(shè)置與否其實沒有很大影響。不想麻煩的話,直接全部開放抓取即可;實在不放心的,也可以去做下限制。


      評論(0 條評論)
      游客

      歡迎咨詢技術(shù),多一份參考總有益處

      點擊QQ咨詢
      添加我,免費做你的網(wǎng)絡(luò)顧問
      返回頂部
      主站蜘蛛池模板: a级成人免费毛片完整版| 亚洲欧美中文字幕5发布| 中文无线乱码二三四区| 性欧美xxxx| 国产成人AV区一区二区三| 久久国产精品范冰啊| 熟女老女人的网站| 国产小视频你懂的| 99久久国产综合精品五月天| 欧美换爱交换乱理伦片免费| 国产日产成人免费视频在线观看 | 亚洲av永久综合在线观看尤物| 精品国产一区二区二三区在线观看| 国产成人精品一区二区三区免费| 中文字幕第2页| 男女激情边摸边做边吃奶在线观看| 国产综合成人亚洲区| 九月婷婷人人澡人人添人人爽| 男人插女人视频软件| 国产精品久久久福利| 久久人人爽人人爽av片 | 黑人巨鞭大战欧美肥妇| 挺进白嫩老师下面视频| 亚洲黄色在线观看网站| 6080一级毛片| 播播开心激情网| 亚洲jizzjizz在线播放久| 狠狠色噜噜狠狠狠合久| 国产男女猛烈无遮挡| 中文字幕a∨在线乱码免费看| 特大巨黑吊aw在线播放| 国产日产欧洲无码视频| 99久久99热精品免费观看国产| 插鸡网站在线播放免费观看| 亚洲AV无码乱码国产精品| 波多野结衣无内裤护士| 国产欧美日韩视频在线观看| 中文精品久久久久国产网址| 波多野结衣与黑人| 国产国语高清在线视频二区| videsgratis欧美另类|