新鏈接重要程度判斷

發布：2017-12-21 18:22:25 瀏覽：3410

上面介紹了影響Baiduspider正常抓取的原因，下面介紹Baiduspider的一些判斷原則。在建庫環節前，Baiduspider會對頁面進行初步內容分析和鏈接分析，通過內容分析決定該網頁是否需要建索引庫，通過鏈接分析發現更多網頁，再對更多網頁進行抓取—一分析是否建庫&發現新鏈接的流程。理論上，Baiduspider會將新頁面上所有能“看到”的鏈接都抓取回來。那么，面對眾多新鏈接，Bartender根據以下兩個方面判斷哪個更重要。

(1)對用戶的價值

①內容獨特，百度搜索引擎喜歡unigue的內容。

②主體突出，切不要出現網站制作主體內容不突出而被搜索引擎誤判為空短頁面不抓取的情況。

③內容豐富。

④廣告適當。

(2)鏈接的重要程度

①目錄層級——淺層優先。

②鏈接在站內的受歡迎程度。