為什么robots禁止抓取了但搜索引擎還會抓取

問題：為什么robots禁止抓取了但搜索引擎還會抓取？

回答：嚴格來說robots限制蜘蛛抓取，搜索引擎也是會遵循這個規則的，現在百度搜索引擎對于robots的態度是，依然會抓取，但是不會保留百度快照。其他搜索引擎基本也是同樣的。

在百度百科里面有這么一條：robots協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。

設置robots禁止抓取主要是基于兩個原因：第一個是新站調試期間，不想讓搜索引擎抓取；第二個就是網站下某些目錄頁面，不想被搜索引擎抓取。對于第一種，如果完全不想讓搜索引擎抓取，你建議在本地測試，或者是采用其他的域名綁定線上測試，測試沒有問題之后再綁定目標域名。至于第二種，其實是沒有辦法的，因為如果搜索引擎不按照robots規則，那我們似乎也沒有什么好的辦法阻止，如果搜索引擎收錄了這些限制抓取的頁面，只能去投訴快照了。

但是大家也要注意，搜索引擎抓取robots文件限制的頁面，這對于網站來說并不會造成很大的影響。原則上說這不會浪費抓取份額，除了網站首頁以后，也很少發現會收錄robots限制抓取的內頁。所以，大家也不要太過擔心，搜索引擎想抓就讓它去抓，如果收錄了，就去投訴申請刪除。

另外有朋友擔心安全的問題，搜索引擎蜘蛛只是一個工具，它本身是沒有惡意的，只是會按照規則去工作。大家也不要把搜索引擎想得那么壞，如果網站沒有敏感的內容，在不影響到網站優化的情況下，讓蜘蛛去抓取也沒有什么損失。大家莫要驚慌哦！

關于為什么robots禁止抓取了但搜索引擎還會抓取的問題，本文就簡單的說這么多。總之來說，理論上搜索引擎還是會遵循robots規則的，不會胡亂收錄這些禁止收錄的頁面。