
資訊中心
robots里這樣寫,就能避免蜘蛛爬這個“index.htm”這個首頁?
關鍵詞:htm,這個,index 來源:南寧網站建設公司 作者:云尚網絡 發布日期:2022-02-20????瀏覽次數:1533
我robots這樣寫是不是就能避免蜘蛛爬這個“index.htm”這個首頁?
我的index.htm是現在默認的首頁,想屏蔽蜘蛛抓取。讓蜘蛛爬另一個文檔,主要是規避備案巡查
我的網站和我備案的不一樣,服務器那邊要求改,我就整了個htm文檔來規避下。
寫法沒有問題。但正常的不建議屏蔽首頁地址,,“index.htm”這個后綴地址是需要處理掉的。
當然,如果只是應付備案短暫需求,,就只能這樣處理。
后續備案處理后,盡快處理后綴“index.htm”。同時robots修改回去。
robots設置方法視頻
評論(0 條評論)