由于網(wǎng)頁模塊化的開發(fā)，很多網(wǎng)頁的信息加載都是通過js完成的，單純靠解析靜態(tài)網(wǎng)頁已不能完成需求，本文通過PhantomJS來完成js的渲染，然后通過上一篇介紹的beautifusoup完成解析。
首先是安裝PhantomJS,閱讀官網(wǎng)文檔。由于js需要瀏覽器才能運(yùn)行，所以還需要一個(gè)無界面的瀏覽器內(nèi)核工具:selenium,以及火狐驅(qū)動(dòng)程序eckodriver。
為詳細(xì)介紹，本文使用以下需求作為開發(fā)任務(wù)：
抓取百度圖片輸入關(guān)鍵詞“ SHE”后頁面顯示的圖片，如圖：

SHE圖片.png

通過查看網(wǎng)頁源代碼可以發(fā)現(xiàn)，此頁面采用了js異步加載圖片完成，故需要先將js信息渲染完成，然后才能完成解析工作。
代碼如下：

#coding:utf-8
from selenium import webdriver
from bs4 import BeautifulSoup

# browser = webdriver.Firefox(executable_path="/Users/brave/geckodriver/geckodriver")
browser = webdriver.PhantomJS()
browser.get("http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=SHE")
soup = BeautifulSoup(browser.page_source, 'html.parser')
imgpage = soup.find("div",class_="imgpage")
list = imgpage.find_all("li",class_="imgitem")
print(len(list))

for i in range(1,len(list)):
    imagitem = list[i]
    imageURL = imagitem["data-objurl"]
    savePath = "/Users/brave/Documents/python/SHE/" + str(i) +".jpg"
    print(savePath)
    try:
        saveImage(imageURL,savePath)
    except:
        print(imageURL)

browser.quit()

根據(jù)圖片URL即可下載圖片，此處由于簡化次要細(xì)節(jié)默認(rèn)圖片格式為.jpg，代碼如下：

def saveImage(imageURL,savePath):
    # headers = {'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:55.0) Gecko/20100101 Firefox/55.0'}
    # req = urllib.request.Request(url=imageURL, headers=headers)
    # data = urllib.request.urlopen(req).read()
    data = urllib.request.urlopen(imageURL).read()
    fout = open(savePath, "wb")
    fout.write(data)
    fout.close()

抓取結(jié)果示例：

SHE圖片.png