一些程序的請(qǐng)求若不通過(guò)瀏覽器發(fā)出,則我們無(wú)法獲取所需的內(nèi)容。因此要將用于爬取程序發(fā)出的請(qǐng)求偽裝成由瀏覽器發(fā)出的,即使用request庫(kù),在傳遞URL的同時(shí),加入指定的headers。
且由于不少網(wǎng)站都需要登錄之后才能查看更加詳細(xì)的內(nèi)容,所以使用的cookie值必須是已經(jīng)登錄后所產(chǎn)生的cookie值。
本文地址：http://blackside-inc.com//article/20489.html
