企業(yè)網(wǎng)站設(shè)計(jì)
企業(yè)網(wǎng)站設(shè)計(jì)限定爬蟲(chóng)
發(fā)布：2020-10-21 13:01:59 瀏覽：2179
限定爬蟲(chóng)。藏文網(wǎng)頁(yè)搜索使用的爬蟲(chóng), 是一種限定爬蟲(chóng), 在爬蟲(chóng)的功能定位上只抓取藏文的網(wǎng)頁(yè), 本質(zhì)是對(duì)網(wǎng)頁(yè)文本所用語(yǔ)言的限定。藏文網(wǎng)頁(yè)的限定爬蟲(chóng), 表面上是限定語(yǔ)言, 具體操作層面需要通過(guò)限定IP、限定URL、限定charset來(lái)實(shí)現(xiàn)。
限定爬蟲(chóng)就是對(duì)爬蟲(chóng)所爬取的主機(jī)的范圍做一些限制, 通常, 限定爬蟲(chóng)包含以下幾個(gè)方面: (1) 限定域名的爬蟲(chóng)。比如, 只抓取edu.cn結(jié)尾的域名; (2) 限定爬取層數(shù)的爬蟲(chóng)。比如, 限定只抓取2層的數(shù)據(jù); (3) 限定IP的抓取。比如, 只抓取西藏自治區(qū)內(nèi)的IP; (4) 限定語(yǔ)言的抓取。比如, 只抓取中文漢字頁(yè)面。
抓取藏文網(wǎng)頁(yè)一方面要設(shè)計(jì)限定爬蟲(chóng), 另一方面建立動(dòng)態(tài)更新的藏文網(wǎng)站域名庫(kù)、藏文網(wǎng)站主機(jī)IP庫(kù), 配合限定爬蟲(chóng)工作。目前已有部分藏文網(wǎng)站在頁(yè)面中加入了標(biāo)記, 如中國(guó)藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">。可以根據(jù)網(wǎng)頁(yè)代碼中的標(biāo)記來(lái)識(shí)別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫(kù)和藏文網(wǎng)站主機(jī)IP庫(kù), 需要人工操作, 人為添加一些地址, 這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫(kù)”實(shí)現(xiàn)。
>>> 查看《企業(yè)網(wǎng)站設(shè)計(jì)限定爬蟲(chóng)》更多相關(guān)資訊 <<<
本文地址：http://www.ms699.com/news/html/21004.html
