0x0 背景
最近在學習Python爬蟲的相關(guān)知識，主要是之前有一個小idea想要用Python實現(xiàn)，沉寂了一年，近期終于下定決心要利用假期時間首要解決此項任務，不然拖到最后都沒完成，自己遺憾不說，還會養(yǎng)成拖沓的壞習慣，只有想法不去實現(xiàn)，終究不能提高。
于是乎，利用假期的時間，竟然十分順利的完成了初期設(shè)想的大部分功能，而且運行良好。正當我準備使用時，發(fā)現(xiàn)有個功能需要爬取的網(wǎng)頁發(fā)生了變化，以前使用requests.get()可以得到的內(nèi)容，由于需要打開網(wǎng)頁后加載，現(xiàn)在抓不到了！這個問題困擾了我差不多兩天的時間，終于通過查閱資料解決，記錄一下。
0x1 Selenium+PhantomJS
雖然PhantomJS因為某些內(nèi)部原因暫停更新，但是相比其他的瀏覽器解決方案要實例化窗口，這個應該還是要高效一點吧，而且不更新不代表不能用，等以后有需求了再看別的，目前就選該解決路徑了。
安裝環(huán)境(此處為MacOS環(huán)境)
安裝PhantomJS
- 官網(wǎng)下載 選擇相應平臺版本下載
- 設(shè)置環(huán)境變量
nano ~/.bash_profile
##將Phantomjs路徑加入path中
export PATH=/Your/Path/to/Phantomjs/bin:$PATH
##保存退出
##生效
source ~/.bash_profile
- 測試
~ phantomjs
phantomjs>
安裝selenium
直接用pip安裝即可
pip3 install selenium --user
0x2 使用
剩下的就挺簡單了，直接上代碼：
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get(your_url)
html = driver.execute_script('return document.documentElement.outerHTML')
雖然selenium有很多更高級的用法，但是由于筆者之前用的是cssselect，所以就得到完整加載的HTML源碼內(nèi)容為短期目的，進階使用再下一步學習吧。
