企業(yè)網(wǎng)站設(shè)計限定爬蟲
日期 : 2020-10-21 18:39:41
限定爬蟲。藏文網(wǎng)頁搜索使用的爬蟲, 是一種限定爬蟲, 在爬蟲的功能定位上只抓取藏文的網(wǎng)頁, 本質(zhì)是對網(wǎng)頁文本所用語言的限定。藏文網(wǎng)頁的限定爬蟲, 表面上是限定語言, 具體操作層面需要通過限定IP、限定URL、限定charset來實現(xiàn)。
限定爬蟲就是對爬蟲所爬取的主機(jī)的范圍做一些限制, 通常, 限定爬蟲包含以下幾個方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結(jié)尾的域名; (2) 限定爬取層數(shù)的爬蟲。比如, 限定只抓取2層的數(shù)據(jù); (3) 限定IP的抓取。比如, 只抓取西藏自治區(qū)內(nèi)的IP; (4) 限定語言的抓取。比如, 只抓取中文漢字頁面。
抓取藏文網(wǎng)頁一方面要設(shè)計限定爬蟲, 另一方面建立動態(tài)更新的藏文網(wǎng)站域名庫、藏文網(wǎng)站主機(jī)IP庫, 配合限定爬蟲工作。目前已有部分藏文網(wǎng)站在頁面中加入了標(biāo)記, 如中國藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕?jù)網(wǎng)頁代碼中的標(biāo)記來識別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫和藏文網(wǎng)站主機(jī)IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫”實現(xiàn)。
限定爬蟲就是對爬蟲所爬取的主機(jī)的范圍做一些限制, 通常, 限定爬蟲包含以下幾個方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結(jié)尾的域名; (2) 限定爬取層數(shù)的爬蟲。比如, 限定只抓取2層的數(shù)據(jù); (3) 限定IP的抓取。比如, 只抓取西藏自治區(qū)內(nèi)的IP; (4) 限定語言的抓取。比如, 只抓取中文漢字頁面。
抓取藏文網(wǎng)頁一方面要設(shè)計限定爬蟲, 另一方面建立動態(tài)更新的藏文網(wǎng)站域名庫、藏文網(wǎng)站主機(jī)IP庫, 配合限定爬蟲工作。目前已有部分藏文網(wǎng)站在頁面中加入了標(biāo)記, 如中國藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕?jù)網(wǎng)頁代碼中的標(biāo)記來識別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫和藏文網(wǎng)站主機(jī)IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫”實現(xiàn)。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
