由rvest函數(shù)包配合Selector Gadget工具實現(xiàn)R語言在網頁信息爬取上的應用這個方法, 與采用XML包和RCurl包進行爬取相比, 更加簡單, 代碼更加簡潔直觀。R中的rvest包將原本復雜的網頁爬蟲工作壓縮到讀取網頁, 檢索網頁和提取文本, 使其變得非常簡單, 而且根據(jù)網頁的規(guī)律, 運用for () 循環(huán)函數(shù)進行實現(xiàn)多張網頁的信息爬取。而使用XML包和RCurl包進行實現(xiàn), 則需要一些關于網頁的基礎知識, 模擬瀏覽器行為偽裝報頭, 接著訪問頁面解析網頁, 然后定位節(jié)點獲取信息, 最后再將信息整合起來。該方法更為困難繁瑣, 在訪問網頁時有時并不能順利讀取解析, 并且在選取節(jié)點的時候需要HTML的基礎知識, 在網頁源代碼中找尋, 有些網頁的源代碼相當復雜, 并不易于定位節(jié)點。
兩種實現(xiàn)的方法所能達到的效果基本大同小異, 而且利用for () 循環(huán)函數(shù)可以實現(xiàn)多網頁數(shù)據(jù)的爬取, 從上手角度上講, rvest包顯示是更勝一籌, 是XML包和RCurl包的進化, 更加簡潔方便。而除此之外, 用Python實現(xiàn)網絡爬蟲也是很受歡迎。Python的pandas模塊工具借鑒了R的dataframes, 而R中的rvest包則參考了Python的Beautiful Soup, 兩種語言在一定程度上存在互補性。Python在實現(xiàn)網絡爬蟲上更有優(yōu)勢, 但就網頁數(shù)據(jù)爬取方面而言, 基于R語言工具進行實現(xiàn), 更加簡潔方便, 而且R在統(tǒng)計分析上是一種更高效的獨立數(shù)據(jù)分析工具, 運用R語言獲取的數(shù)據(jù)避免了平臺環(huán)境轉換的繁瑣, 從數(shù)據(jù)獲取、數(shù)據(jù)清洗到數(shù)據(jù)分析, 代碼環(huán)境、平臺保持了一致性。
本文地址：http://blackside-inc.com//article/20719.html
