網站robots文件是否需要放網站地圖

問題：網站robots文件是否需要放網站地圖？

回答：網站robots.txt這個文件里面是否放網站地圖是沒有影響的，通常我們在網站正式上線以后，都會去提交sitemap文件頁面，這樣搜索引擎就能知道網站地圖的存在，后面也會不斷的來抓取。所以沒有必要在robots文件里添加，當然添加了也是可以的。

關于網站地圖的問題，百度發了及時清理歷史sitemap文件的公告，從這個公告中可以看出，目前搜索引擎對于網站頁面的抓取不會太過依賴網站地圖。相反，如果網站地圖的文件過大，還會影響到搜索引擎對網站新內容頁面的抓取。所以大家不要糾結要不要在robots文件里添加網站地圖鏈接了，因為網站地圖的作用已經明顯降低，對于數據并且自動更新網站地圖的網站來說，這個sitemap文件已經有了雞肋的意思。

大家之所以想要在robots文件里面添加網站地圖，就是擔心怕某些頁面不會被搜索引擎抓取到。其實不用擔心，百度搜索的自動抓取功能已經再次上線，只要網站頁面被打開，就會自動推送到百度搜索。至于蜘蛛抓取后收錄還是不收錄頁面，這就要另行討論了。

另外，前段時間百度搜索似乎在對robots這個功能進行升級，經常出現異常情況。這也說明百度會陸續對robots和網站地圖等這些基本功能進行調整，所以我們不能繼續墨守成規，過去使用的某些SEO技巧，放在現在未必就實用。

關于網站robots文件是否需要放網站地圖的問題，SEO就簡單的說這么多。總之來說，網站地圖的功能已經沒有那么好，大家不用在這個問題上浪費時間，做好內容建設和用戶體驗才是王道。