
資訊中心
Baiduspider 百度蜘蛛
關鍵詞:Baiduspider,百度,蜘蛛 來源:南寧網站建設公司 作者:云尚網絡 發布日期:2022-02-12????瀏覽次數:1698
Baiduspider - 百度蜘蛛:
百度是如何收錄到那么多網頁的呢?這個百度用以抓取互聯網上數以億計的網頁的程序,就叫做Baiduspider - 百度蜘蛛。
它是一個程序,夜以繼日得在互聯網上找尋新的URL,接著抓取URL上的內容,返回到百度的網頁暫存數據庫。
百度用來抓取網頁內容的程序,叫做Baiduspider,抓取其他內容的蜘蛛,則是新的名字:
產品名稱 對應user-agent
網頁搜索 Baiduspider 無線搜索 Baiduspider-mobile 圖片搜索 Baiduspider-image 視頻搜索 Baiduspider-video 新聞搜索 Baiduspider-news 百度搜藏 Baiduspider-favo 百度聯盟 Baiduspider-cpro
不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro,現在我們明白它是百度聯盟蜘蛛,用以百度聯盟程序匹配相應的廣告。
評論(0 條評論)