Baidu spider抓取頻次原則

發(fā)布：2017-12-21 18:03:54 瀏覽：3447

Baiduspider根據(jù)上述網(wǎng)站設(shè)置的協(xié)議對(duì)站點(diǎn)頁(yè)面進(jìn)行抓取，但是不可能做到對(duì)所有站點(diǎn)，視同仁，會(huì)綜合考慮站點(diǎn)實(shí)際情況確定一個(gè)抓取配額，每天定量抓取站點(diǎn)內(nèi)容.即我們常說的抓取頻次，那么，百度搜索引擎是根據(jù)什么指標(biāo)來確定對(duì)一個(gè)網(wǎng)站的抓取頻次的呢，主要指標(biāo)有以下4個(gè):

(1)網(wǎng)站更新頻率。更新快多來，更新慢少來，直接影響B(tài)aiduspider的來訪頻率。

(2)網(wǎng)站更新質(zhì)量，更新頻率提高了，僅僅是吸引了Baiduspider的注意，baiduspider對(duì)質(zhì)量是有嚴(yán)格要求的，如果網(wǎng)站每天更新出的大量?jī)?nèi)容都被Baiduspider判定為低質(zhì)頁(yè)面，依然沒有意義。

(3)連通度、網(wǎng)站應(yīng)該安全穩(wěn)定、對(duì)Baiduspider保持暢通，經(jīng)常給Baiduspider吃閉門羹可不是好事情。

(4)站點(diǎn)評(píng)價(jià)。百度搜索引擎對(duì)每個(gè)站點(diǎn)都會(huì)有一個(gè)評(píng)價(jià)，且這個(gè)評(píng)價(jià)會(huì)根據(jù)站點(diǎn)的情況不斷變化，是百度搜索引擎對(duì)站點(diǎn)的一個(gè)基礎(chǔ)打分(絕非外界所說的百度權(quán)重)，是首度內(nèi)部一個(gè)非常機(jī)密的數(shù)據(jù)。站點(diǎn)評(píng)級(jí)從不獨(dú)立使用，會(huì)配合其他因子和閾值一起共同影響網(wǎng)站的抓取和排序。

抓取頻次間接決定著網(wǎng)站有多少頁(yè)面有可能被建庫(kù)收錄，如此重要的數(shù)值如果不符合站長(zhǎng)預(yù)期.該如何調(diào)整呢?百度站長(zhǎng)平臺(tái)提供了抓取頻次工具(http://zhanzhang.baidu.com/pressure/index)，并已完成多次升級(jí)。該工具除了提供抓取統(tǒng)計(jì)數(shù)據(jù)外，還提供“頻次調(diào)整”功能，網(wǎng)站建設(shè)者根據(jù)實(shí)際情況向百度站長(zhǎng)平臺(tái)提出希望Baiduspider增加來訪或減少來訪的請(qǐng)求，工具會(huì)根據(jù)站長(zhǎng)的意愿和實(shí)際情況進(jìn)行調(diào)整。